semantische suche

Dr. Harald Sack

Hasso-Plattner-Institut für Softwaresystemtechnik

Universität Potsdam

11. Juni 2009

Semantische Sucheam Beispiel audiovisueller Daten

Donnerstag, 11. Juni 2009

Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam

Dr. Harald Sack■ Promotion Uni Trier, 2002: formale Verifikation

■ 2002-2008: PostDoc FSU Jena

■ 2007-2009: Gastwissenschaftler am HPI

■ seit 1.1.2009: Senior Researcher am HPI

■ Forschungsschwerpunkte:

□ Semantic Web Technologien

□ Multimedia Retrieval

■ Videosuchmaschine yovisto.com

2

0. Kurzvorstellung



3

0. Kurzvorstellung



4

Semantische Suche

1. Schlüsselwort-basierte Suche

1.1 klassisches Information Retrieval

1.2 Suchmaschinen im World Wide Web

1.3 Probleme aktueller WWW-Suchmaschinen

2. Suche in Audiovisuellen Daten

2.1 allgemeine Problematik

2.2 automatisierte Videoanalyse und Metadatengewinnung

2.2 yovisto.com - Akademische Videosuche

3. Semantische Suche

3.1 Semantic Web Technologie

3.2 Semantisch unterstütztes Information Retrieval

3.3 Semantische Suche in Audiovisuellen Daten



5

1. Schlüsselwort-basierte Suche1.1 Klassisches Information Retrieval

“Information-Retrieval Systems • process files of records and requests for information, and • identify and retrieve from the files certain records in response to the

information requests. • The retrieval of particular records depends on the similarity between

the records and the queries, which in turn is • measured by comparing the values of certain attributes to records

and information requests.”(nach Salton,G., McGill, M.J.: Introduction to Modern Information Retrieval. McGraw-Hill, New York 1983)

Menge von Anfragen

informationrequests

Menge von Dokumenten

files of records

Indexierungs-sprache

similarityIndexierungAnfrage-

formulierung



6


InformationRetrieval

Bereitstellenvon

Informationen

Suchfunktionenund

Navigationsformen

Interne Wissens-repräsentationen

Verfahren derWissensrekonstruktion

Analyse/Modellierungder im Objektbereich

festgelegtenWissensobjekte

mit dem Zielberuht auf

durch Anwendung von durch Anwendung von

operieren überErgebnisse abgelegt alsAllgemeines Modell des Information Retrievalnach [Kuhlen 1995]

Informations-aufbereitung

Retrieval



Information Retrieval Modelle

• Boolean Retrieval

• Vector Space Model

• Probabilistic Model

7


A B

C(A ∧ ¬B) ∧ C

• verwendet Aussagenlogik als Retrievalsprache• erlaubt Selektion und Verknüpfung beliebiger

Dokumentenmengen aus einer einer Dokumentenkollektion• mit Hilfe Boolescher Junktoren (Suchoperatoren) • einfache Implementierung• keine differenzierte Termgewichtung möglich• keine Rangreihenfolge der Ergebnisse (Ranking)







8


Deskriptor1

Deskriptor2

Deskriptor3

Dokument = (2,4,2)Suchabfrage = (1,0,0)

Dokument

Suchanfrage

2

2

4

Bsp.: n = 3

ρ

• Dokumente und Anfragen werden als Punkte in einem hochdimensionalen, metrischen Vektorraum repräsentiert

• Zum Retrieval wird die Distanz zwischen Suchanfrage- und Dokumentenvektor verwendet

• Relevanzbewertung (Ranking) erfolgt nach der ermittelten Distanz

• Differenzierte Termgewichtung möglich• lineare Termanordnung im Dokument geht

verloren • mangelnde semantische Sensitivität

(Vokabularabhängigkeit)

G. Salton, A. Wong, C. S. Yang: "A Vector Space Model for Automatic Indexing," Communications of the ACM, vol. 18, nr. 11, pp. 613–620, 1975.


http://en.wikipedia.org/wiki/Gerard_Salton

http://en.wikipedia.org/wiki/Gerard_Salton

http://www.cs.uiuc.edu/class/fa05/cs511/Spring05/other_papers/p613-salton.pdf

http://www.cs.uiuc.edu/class/fa05/cs511/Spring05/other_papers/p613-salton.pdf






9


• Dokumente werden gemäß der Wahrscheinlichkeit ihrer Relevanz bzgl. der Anfrage gewichtet

• IR-System schätzt die Wahrscheinlichkeit der Relevanz bzgl. einer Anfrage ab

Robertson, S. E., Sparck Jones, K.: Relevance weighting of search terms. In Document Retrieval Systems, P. Willett, Ed. Taylor Graham Series In Foundations Of Information Science, vol. 3. Taylor Graham Publishing, London, UK, 143-160, 1988.



Information Retrieval Modelle10


Dominik Kuropka: Modelle zur Repräsentation natürlichsprachlicher Dokumente. Ontologie-basiertes Information-Filtering und -Retrieval mit relationalen Datenbanken, Advances in Information Systems and Management Science, Bd. 10, Logos Verlag, Berlin, 2004.


http://www.logos-verlag.de/cgi-local/engtransid?page=/Buchreihen/amsis.html&lng=eng&id=





Evaluation von Information Retrieval Systemen11


relevante Dokumente gefundene Dokumente

relevante Dokumente, die gefunden wurden

R P

Recall=| R ∩ P |

|R|

Precision=| R ∩ P |

|P|

Text REtrieval Conference (TREC, seit 1992)veröffentlicht jährlich Challenges in unterschiedlichen Gebieten des Information Retrievals mit zugehörigen Testdaten



12

Semantische Suche














• World Wide Web ist ein verteiltes Hypermediasystem

• multimediale Dokumente

• über Hyperlinks miteinander vernetzt

• WWW-Suchmaschinen sind Information Retrieval Systeme mit folgenden Aufgaben

• Erstellung und Pflege eines Indexes (Web Crawler + Indexing)

• Verarbeitung von Suchabfragen (Retrieval + Ranking)

• Aufbereitung der Ergebnisse (Visualisierung)


13

1. Schlüsselwort-basierte Suche1.2 Suchmaschinen im World Wide Web



14


Web-Crawler (Web Robot)

URL Liste

http://www.xxxx.de/1234...http://www.xxxx.de/2234...http://www.xxxx.de/3234...http://www.xxxx.de/4234...http://www.xxxx.de/5234...http://www.xxxx.de/6234...http://www.xxxx.de/7234......

<a href=“...“ .../>

<a href=“...“ .../>

HTMLDokumente

WWW-ServerHTTP Request

WWW-Server liefert angefragteHTML-Dokumente an denWeb-Crawler zurück

1

2

3

4



Vorverarbeitung und Indexierung15


Datennormalisierung

Wortidentifikation

Sprachidentifikation

Word Stemming

POS-Tagging

Deskriptorengenerierung

Web Crawler

Indexierung

Datenanalyseund Anlegender Index-

Datenstrukturen



Effiziente Indexdatenstrukturen16


Aachen

Altavista

Ananas

……

Zustand

Zypern

Indexdatei

AnanasDocID Pos Frequenz GewichtD123 1;13;77;132 4 9.4D456 22;38 2 6.7 … … … …D998 15 1 1.2

Location List D123Frequenz URL <H1> … <H6> <title> … text

4 1 1 0 1 … 1

D123 http://producers.ananas.org/index.htm

<html><head><title=“Ananas around the World“></head><body> … </body></html>

Invertierte Datei

Direkte Datei



Relevanzbewertung (Ranking)

• Ranking erfolgt nach Linkpopularität (Google PageRank)

17


A

1.0

D

1.0

B

1.0

C

1.0

Ausgangssituation

Nr. PR(A) PR(B) PR(C) PR(D)1 1,0 1,0 1,0 1,0

2 1,0 0,575 2,275 0,15

3 2,083 0,575 1,1912 0,15

… … … … …

n 1,49 0,7833 1,577 0,15

Iteration der PageRank Berechnung A

1.49

D

0,15

B

0,78

C

1.57

resultierender PageRank



Das ,Google Paradigma‘18


• Eingabe einer Suchphrase

• Boolesche Verknüpfung einzelner Suchbegriffe• Volltextsuche

• Normalisierung ...





• Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste

• TFIDF / PageRank

• Personalisierung (Logdatenanalyse)



21

Semantische Suche















22

1. Schlüsselwort-basierte Suche1.3 Probleme aktueller WWW-Suchmaschinen

Das WWW ist ,ziemlich groß`•ca. 25 x 109 in Suchmaschinenindizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005)

•Web Crawler: > 1012 Dokumente(The Official Google Blog: We knew the Web was Big....., Juli 25, 2008)

•DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001)

Probleme:• Aktualität des Suchmaschinenindex• syntaktische / semantische Inkonsistenzen im Suchmaschinenindex• Skalierbarkeit der Suchmaschinenanwendung• kann man der Information auch trauen...?


http://www.tnl.net/blog/2005/09/27/google-has-24-billion-items-index-considers-msn-search-nearest-competitor/




http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html

http://googleblog.blogspot.com/2008/07/we-knew-web-was-big.html


23


Problemfeld 1: Informationssuche

•Keyword-Suche führt zu vielen nicht relevanten Ergebnissen•Bedeutungsunterschiede•Homonyme•unterschiedlicher Kontext

•Keyword-Suche findet nichtalle relevanten Ergebnisse•Synonyme•fehlende Kontextpräzisierung

Suchbegriff: „Golf“



24


Problemfeld 2: Informationsextraktion• kann nur von menschlichem

“Agenten“ korrekt durchgeführt und bewertet werden

•heterogene Anordnung von Information

•Software-Agent verfügt nicht über• Kontextwissen• Weltwissenum Informationen aus der Text-/Bilddarstellung zu lösen

• implizites Wissen, muss durch logische Schlussfolgerungenaus der Kombination vorhandener Informationen ermittelt werden

bild.de



25

Semantische Suche















26

2. Suche in audiovisuellen Daten2.1 allgemeine Problematik

Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.



27


Retrieval in Audiovisuellen (zeitabhängigen) Daten

•

automatische inhaltliche Analyse ist • schwierig und• berechnungs-/speicheraufwändig

Marlene Dietrich ????????

„...ich bin von Kopf bis Fuß...“

{

© Friedrich Wilhelm Murnau Stiftung, DFI



28


Retrieval in Audiovisuellen (zeitabhängigen) Daten

• Fazit: Wir benötigen textuelle Beschreibungen

• des Inhalts

• des Produktionsprozesses

• der technischen Parameter

• etc....

Metadaten

AV-Analysemanuell

automatisch



29

Semantische Suche















30

2. Suche in audiovisuellen Daten2.1 Automatisierte Analyse und Metadatengewinnung

Videosuchmaschine - prinzipielle Architektur

VideoDatabase

MetadataServer

MPEG-Dekoder

temporaleVideo-

segmentierung

Extraktion vonMPEG-7

Deskriptoren

Inde

xier

ung

Retrieval

User-interfaceQuery input, Player, Timeline, Summary,...

Metadatengenerierung



31 Automatische Metadatengewinnung in AV-Daten

•Typische Aufgaben:

•Segmentierung (Shot-, Szenen-, Kapiteldetektion)

•Videoanalyse

•kombinierte Audio-/Videoanalyse...

•Intelligent Character Recognition (ICR)

•Objekterkennung / Objektverfolgung

•Gesichtserkennung / Identifikation ...

•Kontextdetektion

•in-/outdoor, Landschaft, Gebäude,...

•Genreerkennung

•Nachrichten, Sport, Werbung,...

•Eventanalyse

•Tennis, Fußball etc. ...




32 Videosegmentierung

sub-shot 1 sub-shot 2 sub-shot 3 sub-shot 4 sub-shot 5

scene 1 scene 2 scene 3 scene 4 scene 5

shot 1 shot 2 shot 3

frames

scenelevel

shotlevel

framelevel

sub-shotlevel

news feature film commercials feature filmprogram/clip level

frames




33 Szenenerkennung

•Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften:

•Ereignis

•Kameraeinstellung

•Zeitraum




34 Keyframe Extraktion

Shot-/Subshotdetection

Color:DominantColor,ScalableColor,ColorLayout,ColorStructureTexture:EdgeHistogram,HomogeneousTexture,TextureBrowsingShape:Contour-basedShape,Region-basedShape

Motion:GoF/GoP,MotionActivity,CameraMotion,MotionTrajectory,ParametricMotion

shot01 shot02




35

Semantische Suche














yovisto.com• Videosuchmaschine mit dem Schwerpunkt

akademischer Lehrveranstaltungen

• aktuell mehr als 6.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt

• automatische Segmentierung und Videoanalyse

• benutzergenerierte Co-Annotation

• Social Tagging

• Diskussionen

• Rezensionen

• Wikis

• Lernmaterialien

• Zielgenauer Zugriff auf gesuchte Videoinhalte


36

2. Suche in audiovisuellen Daten2.2 yovisto.com - Akademische Videosuche



37 yovisto.com - Arbeitsweise

WWWWWW

upload your ownacademic videorecording

analyze and link toany available academic video recording in the WWW

video analysis andsearch index creation

search forvideo content

browse, play, and annotate video results

search engine frontend




Strukturelle (temporäre) Segmentierung■ Grobsegmentierung (rein strukturell)

□ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich

■ Feinsegmentierung (inhaltsbasiert)

□ --> Objekterkennung/-verfolgung

□ --> OCR/ICR

□ --> Korrelation Audio/Video (NLP)

38

Zeit

ZeitZusammenfassen Verfeinern Zusammenfassen




Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen

Metadaten

■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren

■ Metadaten als Basis für traditionelles Information Retrieval

39

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten




40

ICR / OCR

ASR

Dic

tiona

ry

Keyterm Spotting

Metadatengewinnung




41 Benutzergenerierte Metadaten□ automatische Analyse nur begrenzt leistungsfähig

□mangelnde Genauigkeit / Vollständigkeit

□ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein

□ autoritative Metadaten

□ strukturierte Daten

□ unstrukturierte (textuelle) Daten

□ nicht-autoritative Metadaten

□ Tags

□ Kommentare

□ Diskussionen

□ Rezensionen

□ Feedback

□ etc...




Kollaborative Annotation42

AutorRessourceBenutzer

autoritativeMetadaten

Apfel

Frucht

nicht-autoritativeMetadaten

Apfel

apple

Obst

Frühstück

kaufen




43 Kollaborative Annotation -- Social Tagging

•Visualisierung der Benutzerannotation als Tag-Cloud




Temporale Annotation der Videodaten44

• Nutzer1: Informatik • Nutzer4: Vorlesung• Nutzer3: Dr. Sack…

• Nutzer1: Sprache • Nutzer2: Kehlkopf, Sprache• Nutzer3: Spracherzeugung• Nutzer4: Klausur• ...

• Nutzer2: Phonogramm• Nutzer3: Piktogramm, Ideogramm• Nutzer4: Klausur, Schriftzeichen, Logogramme• ...

0:00:00 0:02:34 0:13:57


Key Frame 01 Key Frame 02 Key Frame 03

Zeit



Spatiale Annotation45

(xmin, ymin, xmax, ymax)Hieroglyphen mitKönigskartusche,Haute-Relief

(xmin, ymin, xmax, ymax)Harald Sack




MPEG-7 Metadata Description Framework■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen

Beschreibung von multimedialen Daten

46

<!xml version=“1.0“ encoding=“iso-8859-1“><Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …>…<AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> ….




Facettierte Suche■ Nutze (strukturierte)

Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse

■ ermöglicht besserenÜberblick durch facettierte Filterung

47




Facettierte Suche■ Nutze (strukturierte)

Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse

■ ermöglicht besserenÜberblich durchfacettierte Filterung

48




49

Semantische Suche















50

3. Semantische Suche3.1 Semantic Web Technologie

Die ursprüngliche Vision des World Wide Web

„The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “

Voraussetzung:• Inhalte können maschinell gelesen und korrekt

interpretiert (= verstanden) werden

Tim Berners-Lee, Semantic Web Roadmap, Sept 1998

Wie kann das funktionieren?



51


Inhalte im Web maschinell „verstehen“•um Inhalte im Web maschinell „verstehen“ zu können werden zwei unterschiedliche Ansätze verfolgt

Natural Language Processing• Natürliche Sprache soll mit

Techniken der Linguistik und Statistik analysiert werden

• Die Bedeutung (Semantik) soll implizit (oder auch explizit) daraus erschlossen werden

• Techniken kommen im klassischen Information Retrieval (WWW-Such-maschinen) zum Einsatz

Semantic Web• (Natürlichsprachliche) Web-

Inhalte werden explizit mit Hilfe von semantischen Metadaten annotiert

• semantische Metadaten tragen die Bedeutung (Semantik) der Web-Inhalte und lassen sich maschinell lesen und korrekt interpretieren



52


Inhalte im Web maschinell „verstehen“

Text: „Diego zu Bayern?“

Diego Ribas da Cunha (Instanz)

Fußballspieler

ist ein

(Klasse)

Person

ist eine

(Klasse)

Superklasse

Subklasse

ist eine

Klassen-zugehörigkeit

Entitäten-zuweisung

• Die Bedeutung (Semantik) der Klassenmuss ebenfalls explizit definiert werden.

• Bedeutung wird über geeignete Wissens-repräsentationen (Ontologien) kodiert



53


Ontologien als Wissensrepräsentation

„Philosophische Disziplin, die sich primär mit dem Sein, dem Seienden als solchem und mit den fundamentalen Typen von Entitäten beschäftigt…“ (wikipedia)

"An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what ‘exists’ is that which can be represented.“

(Thomas R. Gruber, 1993)

Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante Begriffe, Beziehungen)Explizit: Bedeutungen aller Begriffe definiertFormal: maschinenverstehbarGemeinsam: Konsens bzgl. Ontologie



54


Ontologien als Wissensrepräsentation

Symbol Gegenstandsteht für

„Golf“Ogden, Richards, semiotisches Dreieck, 1923

Konzept

ruft hervor referenziert

verwendengemeinsames Konzept



Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert)

• Damit wird es möglich,

•die Bedeutung der Informationen maschinell zu verarbeiten

•unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen

•implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern

55


Das Semantic Web ist eine Art globaler Datenbank, dieein universales Netz semantischer Aussagen bereit hält



Das Semantic Web - Architektur56


URI / IRI

XML / XSDData Interchange: RDF

RDFS

Ontology: OWL Rule: RIF

Query:SPARQL

Proof

Unifying Logic

Cry

pto

Trust

Interface & Application

Current Research



57


Inhalte im Semantic Web<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML+RDFa 1.0//EN" "http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xmlns:foaf="http://xmlns.com/foaf/0.1/" version="XHTML+RDFa 1.0" xml:lang="en">... <body>... <div class=“content“ about=“http://www2.diego10.com.br/diego“ instanceof=“foaf:Person“> <span property=“foaf:givenname“>Diego</span> zu Bayern?“ ... <img rel=“foaf:depiction“ src=“http://www.bild.de/xyz.jpg /> ... </div> ... </body></html>

Webseite

http://www2.diego10.com.br/diego

foaf:Person

rdf:type

Diego

foaf:givenname

http://www.bild.de/xyz.jpgfoaf:depiction


http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd

http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd

http://www.w3.org/1999/xhtml

http://www.w3.org/1999/xhtml

http://xmlns.com/foaf/0.1/

http://xmlns.com/foaf/0.1/



http://www.bild.de/xyz.jpg

http://www.bild.de/xyz.jpg












Linked Data - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘

58




59


Linked Data Mashups□ Linked Data Mashups sind Web-Anwendungen, die vernetzte RDF-

Daten aus unterschiedlichen Datenquellen nutzen

□ im Gegensatz zu diversen Schnittstellen und Ergebnisformaten regulärer Web-APIs bieten vernetzte Daten (Linked Data) folgende Vorteile:

□ flexibles, standardisiertes Datenformat (RDF)□ standardisierter Zugriffsmechanismus (http)□ Möglichkeit, Verweise (Links) zwischen unterschiedlichen Datenquellen

zu setzen» ermöglicht Navigation» wird von Suchmaschinen genutzt (Crawler)» Ermöglichung expressiver Suchfunktionalität über gesammelte

Daten hinweg

S. Auer, J. Lehmann, Ch. Bizer: Semantitsche Mashups auf Basis vernetzter Daten, in T. Pellegrini, A. Blumauer (Hrsg.): Social Semantic Web, Springer, 2009.



60

Semantische Suche















61

3. Semantische Suche3.2 Semantisch unterstütztes Information Retrieval

Semantisch unterstütztes Information Retrieval• Semantische Annotationen ermöglichen eine Verbesserung der

traditionellen Schlüsselwort-basierten Suche durch

• Erweiterung / Präzisierung der Suchergebnisse

• Herleitung von impliziten Informationen

• Herstellung von Querverweisen

• Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum (Explorative Suche)

•Um semantische Annotationen im Information Retrieval effizient nutzen zu können, müssen diese explizit in die Indexdatenstruktur einer Suchmaschine integriert werden



62


Erweiterung der Suchergebnisse•Keyword-basierte Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase, da Synonyme, Metaphern und Umschreibungen den gesuchten Inhalt mit anderen Termen beschreiben.

•Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement)• Nutzung von Wörterbüchern und Thesauri

• Synonyme, Ober- und Unterbegriffe

• Nutzung von Domain Ontologien

• Meronyme, Holonyme, Assoziationen

Suchphrase: Bank

Mögliche Erweiterung: Bank ∨ Kreditanstalt ∨ Sparkasse ∨ ... Bank ∨ Konto ∨ Kredit ∨ ... Bank ∨ Santander ∨ Raiffeisen ∨ ...



63


Präzisierung der Suchergebnisse•Keyword-basierte Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase, da Suchbegriffe mehrere Bedeutung und in unterschiedlichem Kontext/Pragmatik genutzt werden.

•Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement)• Nutzung von Wörterbüchern und Thesauri

• Homonyme mit Hilfe von Ober- und Unterbegriffen disambiguieren

• Nutzung von Domain Ontologien

• Meronyme, Holonyme

Suchphrase: Bank

Mögliche Erweiterung: Bank ∧ Kreditanstalt oder Bank ∧ Sitzgelegenheit oder Bank ∧ Sediment



64


Herleitung impliziter Information■ deduktives Reasoning

□ häufigste Form, aus explizit gespeicherten Fakten wird auf implizites Wissen geschlossen

□ Anna rdf:type Mutter .Mutter rdf:subClass Frau .Schlussfolgerung: Anna ist eine Frau

■ induktives Reasoning

□ Lernprozess, aus vorhandenem Faktenwissen werden allgemeinere Behauptungen aufgestellt

□ Anna rdf:type Frau .Anna hasChild Franz .Beate rdf:type Frau .

□ Lerne neues Konzept „Mutter“ aus positivem Beispiel (Anna) und negativem Beispiel (Beate) --> (Frau ⊓ ∃hasChild)



65


Herstellung von Querverweisen□ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht

notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen

□ Nutzung von Domain Ontologien

□ Nutzung von Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora

Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorAusweitung der Suche auf andere amerikanische Autoren

dbpedia:Ernest_Hemingway

dbpedia:AmericanNovelists

rdf:type

Hemingway

Instanzerkennung

dbpedia:Edgar_Allen_Poe

rdf:type











Explorative Suche• Abkehr vom „Google Paradigma“

• Visualisierung von Querverbindungen zwischen

• Suchbegriffen (Ontologieebene)

• Suchergebnissen (Instanzebene)

• Ermöglicht es dem Benutzer

• Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity)

• einen besseren Überblick über den Suchraum / Ergebnisraumzu gewinnen

66




Implementierung einer explorativen Suche• Beispiel NPBibSearch

• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)

67


(NP-Ontologie, Sack, Niedermeier, Vogel )

decision problem complexity classis a member ofhas member

can be reduced to

is weaker / stronger

is special/general variant

SAT 3-SATColorability

is a is a

NP P

NP-complete

is a is a

graph problem logic problem set problem… problem

is a is a



Implementierung einer explorativen Suche• Beispiel NPBibSearch

• bibliografische Suche auf ECCC(Electronic Colloquium of Computational Complexity)

68


reducible to

reducible to

SAT

3-SAT

Colorability

CNF-SAT

2-SAT

SATSAT

Knapsack

Vertex Cover

generalization

weakerversion

Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and its Application in Bibliographic Search, XML-Tage Berlin, 2006



69

5. Explorative Suche



70

Semantische Suche















Semantische Videoanalyse■ Ursprüngliche Metadaten enthalten

□ OCR/ICR - Textdaten

□ Textdaten aus Audio-Transkribierung

□ Low Level Deskriptoren

■ Identifiziere relevante Schlüsselwörter

□ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc.

■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie

□ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung)

□ Manuelle Auswahl durch Autor/Ersteller

■ Instanz-Erkennung / Konzept-Erkennung

□ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc.

71

3. Semantische Suche3.3 Semantische Suche in audiovisuellen Daten



Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des

Grunddatenbestand

72


ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc

semantische Metadaten(z.B. als DC-RDF / MPEG7-COMM u.a.)



Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des

Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien

73


Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc

z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, ....




Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)

• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten

74


Klasse A Klasse BstehtInBeziehungMit




Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data)

• Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten

• Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten

75




Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung gleichartiger Entitäten

76


dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ .dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist .

Finde weitere Ressourcen vom selben Typ, d.h.(1) finde weitere amerikanische Autoren(2) finde Ressourcen (Videos) mit weiteren amerikanischen Autoren





• Bestimmung eines geeigneten ,Properties‘

77


dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ .dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound .dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist ....dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway .dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist .






78








79







• Bestimmung eines geeigneten „Properties“

• Nutzung des Properties zur Navigation/Visualisierung

• Erweitere Suche mit asoziierten Entitäten

80


dbpedia:ontology/influences dbpedia:ontology/influences

Ezra Pound Ernest Hemingway J.D. Salinger



81


Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.

Explore Window



82

Semantische Suche













Vielen Dank für Ihre Aufmerksamkeit !Fragen....?

Links:• HPI Homepage: http://www.hpi.uni-potsdam.de/meinel/sack.html• Yovisto: www.yovisto.com• Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/


http://www.yovisto.com

http://www.yovisto.com

http://moresemantic.blogspot.com

http://moresemantic.blogspot.com

http://yovisto.blogspot.com

http://yovisto.blogspot.com

semantische suche

Technology