Semantische Annotationen verstehen - Ergebnisse zweier Nutzerstudien

Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel

Xinnovations 2012, 12. September 2012, Berlin

2

Markierungen in Texten

Kommentar

Symbol

überlappende Markierungen

Kategorien

kurze/lange Markierungen

3

Begriffe

Annotationsinhalt

Textatom

4

Use case: loomp

Kategorien

Annotationsinhalt

Textatom

Markierung

5

Beispiel - Loomp: Semantische Anreicherung von Inhalten

• Erzeuge semantisch angreicherten Inhalt …

• so einfach wie Auszeichnungen in Word,

• ohne Wissen über semantische Technologien,

• mit automatischer Unterstützung durch Vorschlagsannotationen.

History The earliest evidence of settlements in today's Berlin central areas is a wooden beam dated from approximately 1192.[18] The first written mention of towns in the area of present-day Berlin dates from the late twelfth century. The settlement of Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did not join Berlin until 1920.[19] The central part of Berlin can be traced back to two towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin, across the Spree in what is now called the Nikolaiviertel, is referenced in a document from 1244.[18] The former is considered to be the "founding date…

City District Country Geography

Cancel Save

Waters

Vocabularies Annotations

Geography Berlin is located in eastern Germany, about 70 kilometers (44 miles) west …

Climate Summers are warm with average high temperatures of 22 - 25°C (mid 70s) …

Search Berlin

One Click Annotator

6

Kollaborative Semantische Annotation

7

Aspekte von Annotationen

• Markieren von Textatomen

• Umgang mit überlappenden Markierung

• Verknüpfen von Markierung und Annotationsinhalten

Zwei Nutzerstudien

Einfache semantische Annotationen und deren Visualisierung

9

Erste Studie: Einfache semantische Annotationen

• Zuordnung von vordefinierten Kategorien

• Überlappende Annotationen

Überschneidung Inklusion

Angrenzung Identität

10

Zuordnungen und Überlappungen

• Hintergrundfarbe

• Unterstreichung

• Fettdruck

• Farbmischung

• Mischung von Textstilen

• Horiz./vert. Balken

11

Design der Nutzerstudie

• Fokus

• Zuordnen von Kategorien

• Überlappungsarten

• kurze und lange Textatome

Balk

en-A

nsic

ht

Box-A

nsic

ht

12

Durchführung der Studie

• Web-Anwendung

• 12 TeilnehmerInnen

• 2 Pilottests

• 4 Phasen

• 2 Gruppen

Studie erklären

Ausprobieren

Aufgaben lösen

Fragebogen

13

Hauptergebnis

• Balken-Ansicht Lange Annotationen

• Box-Ansicht Kurze Annotationen

Annotieren mit semantischen Identitäten

15

Semantik in Annotationen

Freitext

Kategorien

Semantische Identität

16

Semantische Identität

• Feingranulare maschinelle Verarbeitung von Inhalten

Zuordnen eines Identifikators zu einem Textatom

http://dbpedia.org/resource/Turkey

17

Design der Studie

• Fokus

• Zuordnen von semantischen Identitäten

• Studie

• Paper Prototype

• 12 TeilnehmerInnen

• 4 Phasen

18

Wahl der ID ist schwierig

Da müsste eine Liste aller Kanzler der BRD sein.

Was ist das, sind das ein oder zwei Flüsse?

19

Nicht alle Annotationen waren korrekt

Irgendwie ist der ganze Text ein politisches Event.

Ich würde einen Kollegen fragen.

20

Erkenntnisse

• Semantische Identitäten sind noch ungebräuchlich

• Task-Experte zusätzlich zum Domänenexperten

• Use Cases und Evaluationskriterien nötig

21

Vielen Dank

• Ralf Heese heese@inf.fu-berlin.de

• Adrian Paschke paschke@inf.fu-berlin.de

• Annika Hinze hinze@cs.waikato.ac.nz

1. Corporate Semantic Web http://www.corporate-semantic-web.de 2. User-guided Semantic Enrichment

http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/

22

Links

• User-guided Semantic Enrichment Projekt http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/

• Corporate Semantic Web Loomp http://www.corporate-semantic-web.de/technologies.html http://www.loomp.org/ Github: https://github.com/ag-csw/loomp

• Publications

• Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference (1) 2012: 165-181 (spotlight best paper at ISWC 2012)

• Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: 209-214

• Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung 2012: 1047-1058

• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities – The Magazine of the Semantic Web, Issue 11, pp. 17-18, 2010.

• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC 2010, Crete, Greece, May 31, 2010.

• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5-11, 2009.

• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured Knowledge (CK 2009) , colocated with ISWC 2009, Washington, DC., USA, October 25, 2009

• Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the Web Workshop at WWW2009, Madrid, Spain, April 20, 2009