Anotação semântica de dados multimídia

Paulo Bittencourt Moura CIn - UFPE

Agenda● Introdução● Anotação semântica por feedback● Anotação semântica com ontologias● MPEG-7 e a web semântica● Sistemas e ferramentas● Considerações finais

Introdução● Recuperação baseada em texto

● Recuperação baseada em conteúdo

● Recuperação baseada em semântica

Anotação semântica por feedback

● Feedback utilizado para “aprender” semântica

● Mesclam palavras chaves com dados visuais

● Utilizam técnicas de IA para efetuar agrupamentos

Anotação semântica por feedback (2)

● [2003, Zhang] Propaga rotulações durante processo de

feedback

Utiliza modelos probabilístico para agrupamento e propagação de anotações

Anotação semântica por feedback (3)

● [2004, Gosselin and Cord] Vetor de relevância para cada busca

● 1 – relevante● 0 – não classificado● -1 – irrelevante

Faz soma ponderada das buscas Considera competência do usuário Matriz de similaridade compactada

Anotação semântica por feedback (4)

● [2005, WANG and ZHANG] Descrição em dois níveis: categoria e palavras-

chave Redes semânticas ponderadas Hierarquia de palavras-chave

Anotação semântica com ontologias

● O uso de ontologias altera a anotação em alguns sentidos como: Guiam o processo de anotação Explicitam a relação entre agentes, propriedades

etc. Ontologia trazem consigo conhecimento

adicional itens que não se enquadram na busca podem

ser recomendados

Anotação semântica com ontologias (2)

● [2002, Hyovonen e Raatikka] Eventos promocionais da Universidade de

Helsinki Consultas na forma classe=instancia ou

classe=subclasse Contador de visitas para recomendar imagens

mais populares Mantém log das sessões para não repetir as

recomendações RDF(S)

Anotação semântica com ontologias (3)

● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Anotações de imagens de macacos Terminologia geral (Wordnet e ICONCLASS) Ontologia de anotação + ontologia de domínio RDF(S)

Anotação semântica com ontologias (4)

● [2007 Leslei, Chua e Ramesh] Anotação de pinturas Ontologia baseada em AAT e ULAN Usa algorítmos probabilísticos para anotações

sobre cores e estilos de pinceladas Heurísticas do domínio artístico para anotação

sobre autor, escola e período Ontology-base Concept Desambiguation (OCD)

MPEG-7 e Web Semântica● MPEG-7

especifica uma forma padronizada de descrever vários tipos de conteúdo multimídia independente de sua forma de representação ou armazenamento

Elementos básicos● Descriptors (D)● Description Schemes (DS)● Description Definition Language (DDL)● System Tools

MPEG-7 e Web Semântica● MPEG-7 - divisão

Parte 1: Systems Parte 2: DDL Parte 3: Visual Parte 4: Audio Parte 5: Generic Entities and MDS Parte 6: Reference Software Parte 7: Conformance Testing Parte 8: Extraction and Use of MPEG-7

Descriptions Parte 9: Profiles and levels Parte 10: Schema Definition

MPEG-7 e Web Semântica● MPEG-7 - falha em interoperabilidade

semântica Anotação com texto livre

<FreeTextAnnotation xml:lang="en">Zinedine Zidane scoring against England.</FreeTextAnnotation>

Anotação com palavras-chave<KeywordAnnotation xml:lang="en"><Keyword>Zinedine</Keyword><Keyword>Zidan</Keyword><Keyword>scoring</Keyword><Keyword>England</Keyword><Keyword>goal</Keyword></KeywordAnnotation>

MPEG-7 e Web Semântica

MPEG-7 e Web Semântica● MPEG-7 - falha em interoperabilidade

semântica Anotação estruturada com rótulos

<StructuredAnnotation><Who><Name xml:lang="en">Zinedine Zidane</Name></Who><WhatAction><Name xml:lang="en">Zinedine Zidane scoring against England.</Name></WhatAction></StructuredAnnotation>

MPEG-7 e Web Semântica

MPEG-7 e Web Semântica● MPEG-7 - falha em interoperabilidade

semântica Anotação com descritor semântico

<Semantic id="FormalAbstractionDescription"><SemanticBase xsi:type="AgentObjectType" id="Zidane"><Label><Name>Zidane </Name></Label><Agent xsi: ="PersonType"><Name><GivenName>Zinedine</GivenName><FamilyName>Zidane</FamilyName></Name></Agent></SemanticBase><SemanticBase xsi:type="EventType" id="scoring"><Label><Name>Zinedine Zidane scoring against England.</Name></Label></SemanticBase></Semantic>

MPEG-7 e Web Semântica

MPEG-7 e Web Semântica● MPEG-7 – ontologias

Hunter: cobre parte do MDS● RDFS / OWL Full● 60 classes e 40 propriedades● Usa ABC como base

Tsinaraki: cobre todo o MDS● OWL DL● 420 classes e 175 propriedade

MPEG-7 e Web Semântica● MPEG-7 – ontologias

Hollink: visual● RDFS● Usa Wordnet como base

VDO: visual● RDFS● Usa DOLCE como base

MPEG-7 e Web Semântica● MPEG-7 – ontologias

DMAG: cobre todo o MPEG-7● OWL Full● 2372 classes e 975 propriedades● Gerada automaticamente com XSD2OWL

SCDO: cobre o esquema de Descrição semântica

● OWL● 23 classes e 71 propriedades

MPEG-7 e Web Semântica● [2006, Burger, Guntner e Gams]

Define pontos de extensão onde o MPEG-7 pode ser aumentado com triplas RDF

Utiliza técnicas modernas de análise para extração de informação semântica

● Key frames, detecção automática de cenas, reconhecimento de fala, transformação de fala em texto etc.

Sistemas e ferramentas

• M-ontomant-annotizer– Extende Ontomat-Annotizer– Implementa Visual

Drescription Extraction (VDE)

– DOLCE + VDO + MSO + Ontologias de domínio

– Análise de similaridade

Sistemas e ferramentas (2)

• VideoAnnEx– Segmentação de vídeo– Editor de ontologia– Anotação em termos de

evento, objetos e ações– Sugestão de anotações

Sistemas e ferramentas (3)● MuseumFinland

Anotações de acervo de museus Integra informações de museus distintos Uma ontologia de termos para integração de

vocabulário Várias ontologias de domínio Geração de HTML

Considerações finais● Avanços na área são significativos e notórios

mas... Será possível um sistema aberto e universal? Será possível automatizar completamente a

anotação de multimídia?

Referências● [2005, Wang e Zhang] A Novel Method of Image

Categorization and Retrieval Based on the Combination of Visual and Semantic Features

● [2004, Gosselin and Cord] Semantic kernel updating for content-based image retrieval

● [2003, Zhang] Learning semantics in content based image retrieval

● [2002, Hyovonen e Raatikka] Ontology-Based Semantic Metadata Validation

● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Ontology-based photo annotation

● [2007 Leslei, Chua e Ramesh] Annotation of paintings with high-level semantic concepts using transductive inference and ontology-based concept disambiguation

Referências● [2004, Hyovonen, Salminen, Junnila e Junnila] A Content

Creation Process for the Semantic Web● 04041333.pdf - [2006, Burger, Guntner e Gams] The Role of

MPEG-7 in semantic Annotation and the Cross-Media Publishing Process

● [2005, Hunter] Adding Multimedia to the Semantic Web: Building and Applying an MPEG-7 Ontology

● [2004 Tsinaraki] Interoperability support for Ontoly-based Video Retrieval Appications

● [2005, Hollink] Building a Visual Ontology for Video Retrieval

● [2006, VDO] Petridis et al., Knowledge representation and semantic annotation of multimedia content

● [2005, MDAG] Garciae Celma, Semantic Integration and Retrieval of Multimedia Metadata

● [2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards an Ontology for MPEG-7 Semantic Descriptions