pyxel, una llibreria per a l’anotació automàtica de fotografies
TRANSCRIPT
Pyxel, una llibreria per a l’anotació automàtica de fotografies
Irene Gris Sarabia
Supervisat perXavier Giró i Nieto
Agraïments
Amaia Salvador
Xavi Giró
Sergi ImedioEva Mohedano
Daniel Manchón
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
3
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
4
5
Motivació
6
Introducció Pyxel
Pyxel ja està disponible a la plataforma de control de versions Bitbucket
URL: https://bitbucket.org/emohe/pyxel/src
IndexIntroducció
RequerimentsEstat de l’art
DesenvolupamentDisseny i Implementació
Avaluació i resultatsConclusions
7
Requeriments
8
Crear un sistema complert i genéric d’anotació d’imatges
Extracció de característiques; visuals i textuals
Entrenament i Detecció
Avaluació de la qualitat de les
anotacions automàtiques
Usuaris potencials → Estudiants universitaris
● Facilitar l’accés a llibreries externes als usuaris que s’inicien en la materia
● Proporcionar eines per obtenir el sistema complert de forma sencilla i ràpida.
Que es demana?
Requeriments
9
Crear un sistema complert i genéric d’anotació d’imatges
Que es demana?
Manual Annotations Model
Trainer
New Image New Annotation
Detector
Bloc: http://bitsearch.blogspot.com/search/label/classification
Requeriments
10
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
Requeriments
11
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
w1
w2
w3
w4w1 w2 w3 w4
Clusterització
Paraules visuals
Requeriments
12
Extracció de característiques visuals
Extracció de característiques SIFT
Generació d’un vocabulari visual
Obtenció dels vectors de característiques BoF
2 3 3 0
w1
w2
w3
w4
w1 w2 w3 w4
Vector de caraterístiques
Requeriments
13
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TF-IDF
[ I, love, surf ]
Títol: “I love university concerts”
Metadades
Títol: “I love surf”
[ I, love, university, concerts ]
Requeriments
14
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TF-IDF
TF-IDF → [ 0 , 0 , 0.3 , 0.3 , 0.3 ] [ I , love, university, concerts, surf ]
[ university, concerts, surf, I, love ]
[ 0.3 , 0.3 , 0.3 , 0, 0 ]
Vocabulari/Diccionari → [ university, concerts, surf ]
Requeriments
15
Extracció de característiques textuals
Obtenir les metadades de la imatge; etiquetes.
Generació d’un vocabulari textual
Obtenció dels vectors de característiques TFIDF
Vocabulari/Diccionari → [ university, concerts, surf ]
[ I, love, surf ]
[ I, love, university, concerts ] [ 1 , 1 , 0 ]
[ 0 , 0 , 1 ]
Requeriments
16
Mesures de qualitat
Que es demana?
docId1 Label1docId2 Label1docId3 Label2docId4 Label3
.
.
.docIdn Labeln
Avaluació F1
F1
docId1 Label1docId2 Label4docId3 Label2docId4 Label3
.
.
.docIdn Labeln
cp = certs positius
fp = falsos positius
fn = falsos negatius
Ver
itat T
erre
nyA
nota
cion
s pr
edite
s
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
17
Estat de l’artExtracció de característiques
visuals
18
NLTKNatural LanguageToolKit
Extracció de característiques textuals Reconeixement de patrons
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
19
Disseny
20
Extracció de característiques; visuals i textuals
Classificació
Avaluació de la qualitat de les
anotacions automàtiques
Disseny general de classificació
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
Extracció de característiquesDisseny
21
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
EntrenamentDisseny
22
Classe Semantica + + Classe Semantica
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Model Visual Model TextualTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator
=
Evaluator
EntrenamentDisseny
23
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
DeteccióDisseny
24
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
DeteccióDisseny
25
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
AvaluacióDisseny
26GroundTruth GroundTruth
Són la mateixa classe
Són la mateixa classe
Són la mateixa classe
Imatge Metadades
BofExtractor
Trainer
TFIDFExtractorVisualVocabulary
Trainer
Visual Model Textual ModelTRAIN
TEST Imatge Metadades
BofExtractor TFIDFExtractor
DetectorDetectorVisual Model Textual Model
PredictedAnnotation PredictedAnnotation
TextualVocabulary
Evaluator Evaluator
Disseny
27
IndexIntroducció
RequerimentsEstat de l’art
Disseny DesenvolupamentAvaluació i resultats
Conclusions
28
Llenguatge de programacióDesenvolupament
29
Entorn de desenvolupamentDesenvolupament
30
Té llicencia per estudiants
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
31
32
Contribució a Pyxel
20 % 40 % 90 %60 %
Dataset, Annotation, AnnotatedSemanticClass, Ontology
VisualVocabulary, SiftExtractor, BofExtractorTextualVocabulary, TfidfExtractor
100 % 100 %
Metadata, GroundTruth
Trainer
100 %
DetectorEvaluator
Avaluació i resultats
100 %
Documentació
Avaluació i resultats Detecció de productes de supermercat en vídeos
egocèntrics
33
Sergi Imedio, “An investigation of eye gaze tracking utilities in image object recognition”. Dublin City University 2014.
Avaluació i resultats
34
Amb Pyxel es poden obtenir aquests resultats
Avaluació i resultatsDetecció d’esdeveniments en
fotografies d’Instagram
35
Els estudiants de GDSA han utilitzat Pyxel per fer un clasificador d’imatges de tipus d’esdeveniments.
IndexIntroducció
RequerimentsEstat de l’art
Disseny Desenvolupament
Avaluació i resultatsConclusions
36
Conclusions
37
Objectius del projecte
Sistema complert d’anotacions d’imatges● Extracció de característiques● Anotació● Avaluació
Utilització d’altres usuaris
● Han aconseguit dur a terme el que se'ls demanava utilitzant Pyxel● Han extès la llibreria per ajustar-la a les eines amb les que han volgut fer el
processat
Conclusions
38
Participació al ICMR
Detalls: https://imatge.upc.edu/web/publications/photo-clustering-social-events-extending-phototoc-rich-context
Conclusions
39
Participació al MediaEval2014
Manchon-Vizuete, D., Gris-Sarabia, I., Giro-i-Nieto, G. “UPC at MediaEval 2014 Social Event Detection Task”. Working Notes Proceedings of the MediaEval 2014 Workshop, Barcelona, Catalunya, Spain, October 16-17, 2014, CEUR-WS.org, online ceur-ws.org/Vol-1263/mediaeval2014_submission_58.pdf
40
Moltes gràcies!