Per Mª Pia Muñoz Trallero

Tutors:

Xavier Giró

Xavier Vives

Escola d’Enginyeria de Terrassa (EET) – Juny 2010

Introducció

Requeriments

Estat de l’art

Disseny i resultats Eina global

Digitrace

Entorn de desenvolupament

Conclusions

Índex

2Índex/ 31

Digitalització

Emmagatzematge

Recuperació

Introducció

3

Continguts audiovisualsCerques

textuals ?

Proposta: tècniques de processat de la imatge

Introducció/ 31

Introducció

4

Precedent:

Ramon Salla 2009, Aplicació Rica d’Internet per a la consulta amb text i imatge al repositori de vídeos de la Corporació Catalana de Mitjans Audiovisuals

Idea principal:

“Recuperació d’imatges a partir d’una idea”

Projecte universitat – empresa situat en el marc d’un projecte estatal:

Introducció/ 31

Requeriments:

5

els continguts audiovisuals

s’emmagatzemen formant

assets

Requeriments

els keyframes són imatges clau

que s’extreuen del vídeo

/ 31

Requeriments

Eines precedents: Digition

6

Material

audiovisual

digitalitzat

Cerca

d’assets

Descriptors

textuals

/ 31

Eines precedents: Digimatge

7Requeriments

Consultes

textuals

Consultes

per imatges

similars

Cerca

d’assets i

imatges

Ramon Salla, 2009

/ 31

Requeriments

Eines precedent:

Detector de text

8

Cerca de text a dins d’una imatge

/ 31

Requeriments

Integració i millores:

La CCMA demana una eina multimodal que integri les funcionalitats presentades:

9

Detecció de text

Consultes

mitjançant imatge

Consultes textuals

Cerca d’imatges

mitjançant regions

Digition

Digimatge Detector de text

Incorporació

d’una nova eina

/ 31

Requeriments

Integració i millores:

10

Digimatge:

Aquest projecte neix amb la finalitat d’assolir

les mancances del Digimatge i estendre les

cerques per imatge a cerques per regió

UPSeek:

L’eina s’ha de comunicar amb el mòdul de la

UPC que s’encarrega del processat de laimatge i de retornar els resultats de la cerca.

Descriptors:

L’eina ha de permetre configurar els pesos de

cadascun dels descriptors visuals en lescerques tant per imatge global com per regió.

/ 31

Objectius

11Requeriments

Digition:

Integració d’una

interfície multimodal

Digitrace:

Interfície Gràfica d’Usuari

per a la cerca d’imatges

mitjançant regions

/ 31

Estat de l’art

12Estat de l’art

Consultes mitjançant exemple - Content-based Image Retrieval

Imatge exemple:

Estudi del

contingut visual

Sistema CBIR:

Comparació

contra la

base de dades

Resultat:

Imatges

similars

/ 31

Sistema CBIR: Eines

13Estat de l’art

Indexador: Cercador:

• Analitza tota la col·lecció

d’imatges i vídeos

• Ingesta metadades a la

base de dades

• Interfície gràfica d’usuari

• Permet navegar i fer

consultes sobre la col·lecció

/ 31

Cercadors que incorporen consultes

basades en el contingut visualIMARS CALIPH & EMIR

Eina comercial proposada per IBM Projecte de codi lliure

ACM Multimedia Open Soure

Competition 2009

14Estat de l’art/ 31

Sistema CBIR per consultes amb regions

15Estat de l’art/ 31

Entorn web Entorn d’escriptori

Accessible Instal·lació prèvia

Segmentació manual Segmentació asistida

Segmentació interactiva: Interfícies

16Estat de l’art

IST:

GIMP:

Squigl:

Label

Me:

/ 31

Segmentació interactiva:

17Estat de l’art

Nom de la tècnica SRG1 SIOX2 BPT3

Grau d'interacció Alt Mitjà Baix

Descriptor Color Color Color, textura, dispersió, ...

Comparativa de tècniques de segmentació asistida

1. Adams i Bischof - Adobe Photoshop

2. Gerald Friedland - GIMP

3. Luis Garrido, UPC - Clients UPSeek (GAT i GOS)

/ 31

Disseny

Disseny: eina global

18

S’ha decidit fer una integració jeràrquica de totes les eines a l’entorn del Digition

Digition

Mòdul de visualització de keyframes

Digimatge

Cerca

per

imatge

Cerca

per

regióDetecció

de

textDescriptors

visuals

Descriptors

visuals

/ 31

Disseny

Digitrace: Interfície gràfica

19

Mòdul principal

Menú

de

mode

Menú

de

configuració

Imatge

+

màscara

Botó

de

cerca

*

Menú

de

marcadors

Menú

d’edició

Mòdul secundari

Colors Configuració Ajuda

1. Marcadors

2. Màscara

1. Descriptors

2. Pinzell

1. Inici

2. Modes

/ 31

Disseny

Digitrace: Segmentació interactiva

20

Moderectangle:

1. Rectangle: Objecte

2. Punts: selecció o deselecció de regions

Elecció dels marcadors:

1. Traces objecte

2. Traces fons * *Opcional

Modetraça:

/ 31

Disseny

Digitrace: Segmentació interactiva

21

Proposta per arbres binaris de particions (BPT):

/ 31

Disseny

Digitrace: Segmentació interactiva

22

• Punt fort: marcadors únicament d’objecte.

• Distingim dos criteris de propagació de fulles:

Criteri sense expansió Criteri amb expansió

Per a cada node objecte, seleccionarem el seu pare sempre i quan el subarbre del seu

germà tingui, com a mínim, un node seleccionat i no en tingui cap node fons.

/ 31

Disseny

Digitrace: Definició de modes

23

Rectangle sense expansió Rectangle amb expansió

Traça sense expansió Traça amb expansió

/ 31

Arquitectura modular

Cloud computing

Protocol HTTP

Entorn de desenvolupament

Entorn de desenvolupament:

24 / 31

Entorn de desenvolupament

Crides: Consultes per regió

25

Crida getQbE Mètode HTTP Paràmetres

d'entrada

Paràmetres

de sortida

Mode rectangle:

Obtenció de màscara

GET assetId

timeCode

coordenades

Màscara

Mode rectangle:

Obtenció de resultats

GET assetId

timeCode

coordenades

descriptors

Keyframes resultants

Mode traça:

Obtenció de màscara

POST assetId

timeCode

label

Imatge

bpt_neg

bpt_pos

Màscara

bpt_neg

bpt_pos

Mode traça:

Obtenció de resultats

GET assetId

timeCode

bpt_neg

bpt_pos

descriptors

Keyframes resultants

/ 31

Entorn de desenvolupament

Entorn de desenvolupament:

Marc de desenvolupament: Adobe Flex

Llenguatges de programació: MXML i ActionScript

• Aplicació web : Rich Internet Application

26

Usabilitat

Rapidesa

InteraccióCapacitatsmultimèdia

Atractiu

/ 31

Disseny de les interfícies:

- Digitrace

- Mòdul keyframes

Implementacióamb Flex de les

interfícies

Disseny delsmodes de

segmentacióinteractiva

Disseny de les crides HTTP

Conclusions

Conclusions:Treball realitzat

27 / 31

Conclusions

Conclusions:

28

Requeriments assolits:

Interfície multimodal

Integració del Digitrace

Descriptors visuals

Comunicació amb l’UPSeek

Punts forts de la interfície:

Comparteix les qualitats de les interfícies d’escriptori i les

interfícies web.

Originalitat de la proposta de segmentació interactiva: garantia

de resultats coherents amb marcadors únicament d’objecte.

/ 31

Conclusions

Conclusions:

29

Conclusions de l’avaluació dels modes de segmentació proposats:

El mode traça resulta útil per a imatges homogènies amb un

esforç mínim.

El mode rectangle és aconsellable, en canvi, per a imatges amb

molts colors i contorns.

Conclusions personals:

Experiència de treball en equip

Mediació entre la universitat i la empresa

Continuïtat de l’eina

/ 31

Conclusions

Treball futur:

30

A curt termini:

Incorporació de la màscara utilitzada en la cerca i dels resultats

Dinamitzar el mòdul de metadades del Digition

Agrupament dels resultats

A llarg termini:

Millorar la interacció de l’usuari amb els pesos dels descriptors

Eficiència de la cerca

Incorporar consultes textuals a partir del Detector de text

/ 31

Gràcies per la

vostra atenció

Alguna

pregunta?

Conclusions

Exemples:

32

Millores al Digimatge:

Mòdul de keyframes del Digition

33Resultats

Millores al Digimatge:Detector de text i Descriptors visuals

34Resultats

Millores al Digimatge: Digitrace

35Resultats