text summarization sprachliche informationsverarbeitung ... · definition • „a summary is a...

Text Summarization

Sprachliche Informationsverarbeitung Computerlinguistik I

Dozent Juumlrgen Hermes

09022016

Sarah Ewerts

Uumlbersicht

bull Definition

bull Geschichte

bull Typen der Textzusammenfassung

bull Anwendung

bull Beispiele

bull Probleme

bull Quellen

Sarah Ewerts 09022016

Definition bull bdquoa summary is a text that is produced from one or

more texts that contains a significant portion of the

information in the original text(s) and that is no

longer than half of the original text(s)ldquo (Hovy 2003)

bull ldquoAn automatic summary is a text generated by a

software that is coherent and contains a significant

amount of relevant information from the source

text Its compression rate ĩ is less than a third of the

length of the original documentrdquo (Torres-Moreno

2014)


Geschichte bull 1955 - 1973 Erste Extraktion

o Algorithmen hatten statistische Ansaumltze

o Luhn 1958 Worthaumlufigkeit Position im Satz

bull 1961 - 1979 Linguistische Ansaumltze o Linguistische und strukturelle Zusammenhaumlnge werden beruumlcksichtigt

o Edmundson 1969 Behandlung von ausgewaumlhltem Korpus

Unterschiedliche Gewichtung verschiedener Saumltze amp Schluumlsselwoumlrter

bull 90er Jahre Comeback o 1995 Kupiec et al Indikatorphrasen fuumlr zentrale Aussagen ldquoIn

conclusionldquo Wortmerkmale (Groszligschreibung Laumlnge Haumlufigkeit)


Typen der Textzusammenfassung

bull Text-Extraktion o Zusammenfassung bildet sich aus Auswahl im Original vorhandener

Woumlrter Phrasen oder Saumltze

o GetDigest

bull Text-Abstraktion o Entwickeln interne semantische Repraumlsentation und nutzen Techniken zur

Textgenerierung Naumlher an menschlicher Zusammenfassung Kann Woumlrter enthalten die nicht im Original vorhanden sind

o Abstraction Assistant

bull Uumlberwiegende Konzentration auf Extraktion aufgrund der Komplexitaumlt abstrahierender Methoden



bull Computergestuumltzte Textzusammenfassung o Techniken des maschinellen Lernens aus Feldern Information Retrieval und

Data Mining

o Kombination von automatischen Methoden mit menschlichem Input

o Vorauswahl von wichtigen Passagen durch Mensch

o Nachbearbeitung des Ergebnisses durch Menschen

o CAST (Computer-Aided Summarization Tool)


Anwendung

bull Informationsflut

bull Filterung

bull Zeitersparnis

bull Kostenersparnis


Anwendung bull Schreibprogramme Word Open Office und

GoogleDocs bieten keine Autozusammenfassung

(mehr) an

bull Freie Tools online TextCompactor AutoSummarizer

bull Freie Demo-Versionen online GetDigest

EssentialMining


Beispiele bull Originaltext bdquoLittle Red Riding Hoodldquo der Gebruumlder

Grimm

(httpwwwworldoftalescomfairy_talesBrothers_Grim

mLITTLE20RED-

CAP205BLITTLE20RED20RIDING20HOOD5Dhtml)

bull GetDigest (Online Demo) (httpgetdigestcom)

bull TextCompactor (httpsessential-

miningcomsummarizeronlineindexjspuilang=de)

bull EssentialMining (Online Demo)(httpsessential-


bull Autosummarizer (httpautosummarizercom)


Probleme bull Mensch kann Struktur Bedeutung und Relevanz von

Informationen erkennen ndash Maschine verarbeitet

Algorithmen

bull Generisch vs Benutzerfokussiert

bull auch menschliche Leser haben unterschiedliche

Auffassungen daruumlber welche Informationen wichtig sind Subjektivitaumlt


Quellen bull Hovy E (2003) Text Summarization In Rulsan

Mitkov The Oxford Handbook of Computational

Linguistics Oxford Oxford University Press

bull Torres-Moreno J-M(2014) Automatic Text

Summarization New York Wiley-ISTE

bull Wartala Ramon (2003) Erschlieszligung von groszligen

Textmengen Universitaumlt Heidelberg

bull Mani I et al (1999) Advances in Automatic Text

Summarization Cambridge Mass MIT Press


Quellen (Stand 08022016)

bull httpwwwiicmtugrazatcguetlcoursesisruearchiveuews2007Ue320Automatische20Text20Zusammenfassungpdf

bull httpwwwcscolumbiaedu~gmwcandidacyHahnMani00pdf

bull httprgclwlvacukprojectsCASTprogramsCASTcastphp

bull httplinguni-konstanzdepageshomezinsmeisterMLPMaterialTextzusammenfassungpdf

bull httpautosummarizercom

bull httpsessential-miningcomsummarizeronlineindexjspuilang=de

bull httptextcompactorcom

bull httpgetdigestcom

bull httpwwwworldoftalescomfairy_talesBrothers_GrimmLITTLE20RED-CAP205BLITTLE20RED20RIDING20HOOD5Dhtml


Vielen Dank fuumlr eure

Aufmerksamkeit

Uumlbersicht

bull Definition

bull Geschichte

bull Typen der Textzusammenfassung

bull Anwendung

bull Beispiele

bull Probleme

bull Quellen











2014)














o GetDigest








Data Mining






Anwendung


bull Filterung

bull Zeitersparnis





(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit










2014)














o GetDigest








Data Mining






Anwendung


bull Filterung

bull Zeitersparnis





(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit













o GetDigest








Data Mining






Anwendung


bull Filterung

bull Zeitersparnis





(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit



Data Mining






Anwendung


bull Filterung

bull Zeitersparnis





(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit

Anwendung


bull Filterung

bull Zeitersparnis





(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit



(mehr) an



EssentialMining



Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit


Grimm


mLITTLE20RED-











Algorithmen



























Aufmerksamkeit



Algorithmen



























Aufmerksamkeit























Aufmerksamkeit

text summarization sprachliche informationsverarbeitung ... · definition • „a summary is a...

Documents