vitalas, hacia una nueva generación de buscadores multimedia

VITALAS, hacia una

nueva generación de

buscadores multimedia

Iñaki EtxanizCristina MartínezTECNALIA - Sistemas de Información e Interacción

WWW/Internet 2010

10-11 Diciembre

Algarve, Portugal

Contexto

Multimedia hoy

El índice de Google contenía un billón (1012) de páginas web en 2008

YouTube recibe cada minuto 24 horas de video (= 34.000 horas al día)

Flicker recibe 3,7 millones de fotos al día.

Multimedia en la Web

SAXASXSAX

Usuarios profesionales:medios de comunicación, agencias fotográficas, compañías multimedia…

Necesitan encontrar lo que buscan:una herramienta capaz de almacenar y recuperar información con rapidez y eficacia

VITALAS, contexto

VITALAS, el reto

Desarrollar un buscador multimedia avanzado que localice contenidos de forma eficaz, incluso sin anotación manual previa.

Que ofrezca facilidades, parcialmente presentes en otros buscadores, como:

Búsqueda por similaridad visual (like.com)

Búsqueda por conceptos (Getty Images)

Búsqueda por color (Exalead, Xcavator)

Sugerencias (Yahoo, Google)

Relevance feedback (Sortfix, Vimasearch)

Lightboxes (Dreamstime, 123rf)

VITALAS, un caso de uso

“Michael, a journalist of the national newspaper «Le Soir» needs to find a picture of a researcher in a medical laboratory with the “right type of material”.

As part of the request is not precisely expressed (material?), the results may not be relevant. The user has to browse the resulting picture set to select one corresponding to the illustration he imagines.”

1. Búsqueda textual y/o de conceptos multimedia 2. Resultados en función del perfil del usuario3. Navegación interactiva en los resultados4. Zoom y selección de un resultado5. Búsqueda de resultados similares

Pasos de la búsqueda:

VITALAS,visión general

VITALAS – Video & Image Indexing and Retrieval in the Large Scale

Objetivo: Buscador multimedia, orientado a profesionales del sector y archivistas, con el fin de gestionar la indexación y recuperación a gran escala de videos e imágenes.

Proyecto: Europeo IP (FP6-IST)

Plazo: 36+3 meses: ene 2007 – mar 2010

Socios (12):(BE) Belga

(DE) Fraunhofer IAIS, IRT(ES) Tecnalia-Sistemas de Información e Interacción*(FR) INRIA, ERCIM, INA, EADS(GB) Univ. of Sunderland, Codeworks(GR) CERTH-ITI(NL) CWI

* Responsable de la Interfaz Gráfica de Usuario (GUI)

VITALAS, arquitectura

Arquitectura Orientada a Servicios (SOA)

Client & Web-Server tiers (source: The Java EE 5 Tutorial, Sun)

Interfaz de usuario Web avanzado (RIA)

Capa cliente (HTML, Ajax, JScript, CSS, JSON)Capa lógica de servidor (JSPs, servlets, Java)

Extracción de Conceptos cross-media

Low-levelFeature

ExtractionFusion Classifiers

Multimedia

Document

CONCETP

Scores

Low-level featuresWBL, DCOLOR, CSD, HOUGH, Text, MFCC-Audio

FusionEarly fusion / Cross-domain concept fusion

ClassifiersArray of SVMs (one per concept)

Concept selectionCharacteristic terms selected + LSCOMFiltered by users and technicians

Concept disambiguationDefinition, examples, related keywords.

Training set selectionFrom captions; >5 positive examples per conceptDocuments manually annotated, 530 concepts

90s

abbey aborigines abused_child abused_woman ac_milan_soccer academy_award accident_non_car accident actor actress adult advertisement_commercial aerobics aerospace affectionate african_culture african_ethnicity agreement agricultural_people agriculture aircraft_cabin ………………..

VITALAS, el usuario es importante

“La eficiencia de una aplicación mejora cuando está diseñada para aprender del comportamiento del usuario”.

-> Perfiles de Usuario y Preferencias

“El valor de un buscador depende tanto de su eficiencia como de facilidad de uso y comprensión de los resultados”.

-> Usabilidad

-> Diseño Centrado en el Usuario

Personalización

Preferencias de UsuarioPersonalización de búsquedasPersonalización de la presentación de resultados

Lightboxes Salva resultados relevantes (imagen & video)Múltiples lightboxes

Histórico de búsquedasAlmacena y lanza ‘queries’ previas

SugerenciasBasadas en ‘logs’ de usuarios

Diseño centrado en el usuario

ISO 13407:1999 Human-centred design for interactive systems

Diseño centrado en el usuarioI. Identificación del contexto e involucración de los usuarios


Diseño centrado en el usuario


I. Identificación del contexto e involucración de los usuariosII. Especificaciones basadas en casos de uso

Diseño centrado en el usuarioI. Identificación del contexto e involucración de los usuariosII. Especificaciones basadas en casos de usoIII. Soluciones de diseño siguiendo directrices de usabilidad


Diseño centrado en el usuarioI. Identificación del contexto e involucración de los usuariosII. Especificaciones basadas en casos de usoIII. Soluciones de diseño siguiendo directrices de usabilidadIV. Evaluaciones de funcionalidad y ergonomía con usuarios


Diseño centrado en el usuarioI. Identificación del contexto e involucración de los usuariosII. Especificaciones basadas en casos de usoIII. Soluciones de diseño siguiendo directrices de usabilidadIV. Evaluaciones de funcionalidad y ergonomía con usuarios

Varias iteraciones para una mejora progresiva del sistema


VITALAS, directrices de diseño

Ayudas claras a la navegaciónNinguna página sin salidaProporcionar atajos para usuarios experimentados Simplicidad y coherenciaDar importancia a la estética en el diseño

VITALAS, directrices de diseño

Ayudas claras a la navegaciónNinguna página sin salidaProporcionar atajos para usuarios experimentados Simplicidad y coherenciaDar importancia a la estética en el diseño

Mostrar los resultados de forma inmediataResaltar los términos de la búsqueda en los resultadosOfrecer diferentes vistas de resultadosIntegrar navegación y búsquedaEquilibrar opciones por defecto vs. control por el usuarioProporcionar sugerencias al usuarioProporcionar un historial de búsquedas

VITALAS, evaluaciones

Evaluación de funcionalidad y ergonomíaAceptación, utilidad y usabilidad

Tests de usuarios: Thinking-aloud y cuestionario

Evaluación heurística: Análisis siguiendo principios de usabilidad (lista de criterios predefinidos, p.e. Nielsen).

+Participación en el concurso interactivo TRECVID’09

VITALAS, varias iteraciones

v1 (2008)


v1 (2008) v2 (2009)


v1 (2008) v2 (2009) v3 (2010)

VITALAS,el buscador

VITALAS, diseño y funcionalidad

Basic search


Basic searchExtended search


Basic searchExtended searchAdvanced search


Basic searchExtended searchAdvanced searchTerm/concept suggestion


Basic searchExtended searchAdvanced searchTerm/concept suggestionSimilar search + Upload


Basic searchExtended searchAdvanced searchTerm/concept suggestionSimilar search + UploadSearch by color


Basic searchExtended searchAdvanced searchTerm/concept suggestionSimilar search + UploadSearch by colorLight boxes


Basic searchExtended searchAdvanced searchTerm/concept suggestionSimilar search + UploadSearch by colorLight boxesSearch on part of a picture

VITALAS, diseño y funcionalidad (II)

Zoom / Video preview

http://vitalas.belga.be/


Zoom / Video previewRelevance feedback

http://vitalas.belga.be/


Zoom / Video previewRelevance feedbackCluster view


Zoom / Video previewRelevance feedbackCluster viewKeyframes


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom Video playback position


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom Video playback positionHighlight relevant segments


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom Video playback positionHighlight relevant segments Highlight matching terms in transcription


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom Video playback positionHighlight relevant segments Highlight matching terms in transcriptionClick to play a segment


Zoom / Video previewRelevance feedbackCluster viewKeyframesTimelines zoom Video playback positionHighlight relevant segments Highlight matching terms in transcriptionClick to play a segmentSimilar video

VITALAS,conclusiones

evaluaciones + iteraciones + usuarios

Mejoras como resultado de los test de usuario:

Drag & drop de resultados. Vista de cluster para agrupar los resultados según los criterios de

búsqueda Back/forward para moverse entre las vistas Histórico de las búsquedas realizadas en la sesión, que permita repetirlas Usar mouse-over en lugar de clicks (zoom, seleccionar segmentos) Vista preliminar de los videos en la vista de resultados (fotogramas) Mejoras en la interacción con el video (zoom, cursor, marcar seg./texto)

VITALAS, conclusiones

Valoración muy positiva de las posibilidades de búsqueda multi-modal, que se pueden combinar entre sí (fused search).

Efectividad: búsquedas por similaridad (2x); búsquedas por conceptos (3x); búsquedas combinadas (5x).

La ergonomía de la aplicación favorece el manejo del sistema y junto con el look and feel profesional mejora la experiencia del usuario.

Criterio Valor (1-Muy útil; 5 Nada útil)

Utilidad 1,3 Funcionalidad 2,1 Facilidad de uso 2,2 Ergonomía 1,9

Evaluación del sistema sobre colecciones profesionales extensas (16K horas de video + 1M de imágenes)

Obrigado-Gracias

Obrigado-Gracias

VITALAS, hacia una nueva generación de buscadores multimedia

[email protected]

vitalas, hacia una nueva generación de buscadores multimedia

Technology