PROGETTO E REALIZZAZIONE DI UN SISTEMAPER L’ANNOTAZIONE AUTOMATICA DIIMMAGINI CON TECNICHE DI WEB MINING

Laureando:ANDREA DE LORENZO

Relatore:CHIAR.MO PROF. ALBERTO BARTOLICorrelatore:CHIAR.MO PROF.ERIC MEDVET

Problema

Abbiamo una coppia <immagine,testo>

Vogliamo annotare automaticamente le persone presenti nell’immagine

Vogliamo che la verifica non richieda l’intervento umano

Motivazioni

Questo sistema può servire per: Annotazione foto Indicizzazione motori di ricerca

Annotazione foto: Molto usata su social network Facebook 2° Traffic Rank Alexa

Indicizzazione: Oggi Internet si basa su ricerca di contenuti Migliorare indicizzazione dei contenuti è molto

importante

Descrizione del sistema

< Immagine I, Testo T > Trova i nomi presenti in T Per ogni nome N cerca immagini su

Internet Confronta l’immagine di partenza I

con quelle scaricate per ogni nome N

Stato dell’arte

Esistono diversi studi per l’annotazione di immagini con testo

Tutti si basano su dataset già acquisiti prima di effettuare l'annotazione

Vogliamo annotare l’immagine senza nessun dataset: estrando da Internet sul momento

Annotazione dell’immagine

Silvio Berlusconi

Nicolas Sarkozy

Carla Bruni

Troviamo i nomi nel testoTroviamo le facce nell’immagineCalcoliamo un “punteggio” per ogni coppiaTeniamo le coppie i cui “punteggi” superano una “soglia S”

Descrizione sistema

< Immagine I, Testo T > Componenti del sistema

Estrattore nomi propri di persona da T Estrattore facce Associatore nome-faccia in I basato su

Internet

Componenti del sistema

Estrazione dei nomi

Tre differenti metodi:1. Ricerca sequenze di parole maiuscole2. Natural Language Processing3. API per “term extraction”

1 - Parole maiuscole

Nomi propri di persona iniziano con maiuscole

Cerchiamo ripetizioni di parole maiuscole Ricerca tramite espressione regolare Scartiamo quelle che non contengono

nomi presenti in una lista

«Dal divano di casa è facile guidare una squadra, ma potrei prendere in considerazione l'ipotesi di allenare in futuro. È una sfida e a me le sfide piacciono». Roberto Baggio esce dall'esilio mediatico in cui ha vissuto negli ultimi anni e torna a parlare in occasione di un'iniziativa editoriale della Gazzetta dello Sport con Raitrade dedicata alla carriera del “Divin Codino” con 10 dvd dal titolo «Io che sarò Roberto Baggio»

2 - Natural Language Processing

Individua i nomi analizzando le singole frasi

Si basa su metodi statistici Implementato nella libreria

OpenNLP Funziona solo per l’Inglese Non occorre filtrare con una lista di

nomi

3 - Term Extraction

Utilizza servizi online per estrazione di parole chiave

Questi restituiscono una lista di parole chiave che caratterizza il testo

I risultati vengono filtrati tramite una lista di nomi propri.

API usate: Yahoo! Term Extractor Zemanta

Aggregazione risultati

Per migliorare i risultati 2 metodi: output di almeno un metodo output di almeno due algoritmi

Valutazione sperimentale

Preso un dataset di 20 articoli italiani e 20 inglesi

Misurati valori di precision e recall Per noi più importante recall Se manca un nome la foto non può

essere annotata Precision indica efficienza del sistema

Valutazione sperimentale

Useremo questa

Estrattore facce

Usiamo libreria OpenCV di Intel Usa classificatori pre-addestrati Restituisce le coordinate di una zona

“interessante” Facciamo anche elaborazioni grafiche per

migliorare questa estrazione

Associatore nome-faccia

Troviamo facce su Internet per la persona Google Immagini Bing Immagini Yahoo! Immagini

Otteniamo un “punteggio” per l’immagine Se “punteggio” maggiore di una “soglia”,

la persona è nell’immagine

Punteggio

Dimensionality reduction tramite PCA (da 10000 dimensioni a 80)

Il punteggio viene calcolato come Local Density Score (LDS)

Prendiamo da Internet K facce più vicine alla faccia ignota

Punteggio = distanza media faccia incognita dalle K facce più vicine

Due distanze possibili: Shared neighbors (una distanza basata sul numero

di vicini in comune) Euclidea

k

ffdfLDS

fRf jkj

),'()'(

)'(

LDS

Faccia da annotare Estratte da Internet

Valutazione sperimentale

Usiamo un dataset di 40 nomi e immagini di persone famose

Ogni foto è stata valutata con il nome corretto e 3 nomi sbagliati

Otteniamo delle curve ROC, una per ogni K (numero facce più vicine da cui calcolo la distanza media)

ROC - Distanza Euclidea

ROC - Distanza Shared Neighbors

Valutazione sistema completo

Sistema provato con 30 coppie < T, I > 54% delle facce è stato annotato correttamente 28% delle facce non è stata annotata

correttamente 18% delle facce non è stata annotata

Nicolas Sarkozy

Silvio Berlusconi

Nicolas Sarkozy

Carla Bruni

Nicolas Sarkozy

Esempi

Immagine Annotazione

1-Sara Tommasi

1-Nicolas Sarkozy 2-Silvio Berlusconi

2-Al Presidente Berlusconi

1-Giorgio Napolitano 2-Nicola Mancino

Conclusioni

Uso di Internet come dataset è possibile per il annotazione automatica immagini

Sviluppi futuri: SURF