enver sangineto, dipartimento di informatica riconoscimento automatico di oggetti in immagini...
TRANSCRIPT
Enver Sangineto,Dipartimento di Informatica
Riconoscimento automatico di oggetti in immagini digitali
p. 2
Panoramica della presentazione
Motivazioni Problemi Principali approcci
p. 3
Riconoscimento di oggetti
L’obiettivo di un sistema di object recognition è rilevare la presenza di “oggetti” d’interesse all’interno di immagini/video digitali
Passo fondamentale per permettere ad un computer di “capire cosa sta guardando”
p. 4
Perchè riconoscere automaticamente gli oggetti di un'immagine
Recupero/classificazione d'immagini in data base visivi (Image Retrieval): ricerche on-line, annotazione (automatica) video, organizzazione di archivi fotografici musei, e-commerce...
Visione applicata alla robotica: manipolazione d’oggetti, navigazione guidata dalla visione
p. 5
Perchè riconoscere automaticamente gli oggetti di un'immagine [2]
Video sorveglianza: rilevamento di intrusioni, …
Biometria Interfacce uomo-macchina di tipo “intelligente” Guida automatica di veicoli su strada Visione industriale, medica, aerea, militare, ... Altro…
p. 6
Object recognition è un problema aperto
Non esistono sistemi general purpose
p. 7
Problemi principali nel riconoscimento di oggetti
Variabilità delle apparenze Segmentazione della scena
p. 8
Variabilità: cambiamento del punto di vista
Michelangelo 1475-1564
p. 9
Variabilità [2]: cambiamento delle condizioni di illuminazione
p. 10
Variabilità [3]: oggetti deformabili
Xu, Beihong 1943
p. 11
Variabilità [4]: variazione intra-classe
p. 12
Segmentazione: Occlusioni
Magritte, 1957
p. 13
Klimt, 1913
Segmentazione [2]: separazione dallo sfondo
p. 14
Approcci principali al riconoscimento
Model-based Machine learning
p. 15
Ipotesi…
Un solo oggetto per immagine Machine learning per rappresentare la
conoscenza
p. 16
Riconoscimento tramite apprendimento automatico: schema
generale Suppongo di disporre, in fase di training, di un
insieme
T = {(I1, y1), …, (IN, yN)},
dove Ij è un’immagine e yj un’etichetta che indica l’oggetto in essa contenuto:
yj {o1, …, om}
p. 17
Riconoscimento tramite apprendimento automatico [2]
Ogni Ij è rappresentata tramite un punto xj in Rn, detto spazio delle feature
Utilizzo T per stimare la distribuzione statistica dei punti in Rn e costruire il classificatore C
p. 18
Riconoscimento tramite apprendimento automatico [3]
On-line, uso C per classificare un’immagine nuova I, non appartenente a T:
C(I) {o1, …, om}
p. 19
Un semplice esempio
Istogramma dell’intensità dei pixel in I: Divido il range [0, 255] in n bin Assegno ogni pixel ad un bin: I(p) -> divn(I(p)) f(I) = (v0, …, vn-1)T, dove: vi = # { p I : divn(I(p)) = i}
p. 20
Esempio [2]
Rappresentazione di T in Rn (n,m = 2)
p. 21
Esempio [3]
Rappresentazione della nuova immagine (x = f(I))
p. 22
Rappresentazione di un’immagine mediante feature
Una feature è una rappresentazione, tramite valori numerici, di tutta o parte dell’immagine
Se I' è una sottoparte dell’immagine I, allora una feature f è t.c.:f(I') Rd, f(I') = (v0, … vd-1)T,
d >= 1
p. 23
Feature globali e locali
I' = I: feature globale I' I: feature locale
p. 24
Esempio: feature locale
fi(I') I'
I
immagine presa da: Tutorial CVPR 07
p. 25
Scelta delle feature
L’immagine in esame viene quindi descritta usando i valori di un insieme di feature pre-scelte f1, …, fk
p. 26
Spazio delle feature
Se: fj(I) Rd (1 <= j <= k), allora: x(I) = (f1(I) T f2(I) T … fk(I) T)T è un
punto in Rk*d (spazio delle feature)
p. 27
Proprietà (desiderabili) delle feature
Stabilità, Capacità discriminative, Efficienza computazionale, …
p. 28
Proprietà (desiderabile) del feature space
Punti geometricamente “vicini” corrispondono ad immagini simili
p. 29
Teoria Decisionale Bayesiana
Data l’immagine x e m classi di oggetti C1, … Cm, associare x alla classe più probabile
Scelgo Cj* tale che:
Notazione abbreviata:
p. 30
Esempio
Le probabilità sono stimate tramite training
immagine presa da: Duda, Hart, Stork, Pattern Classification
p. 31
Metodi discriminativi
Mirano a determinare i bordi di decisione (superfici iper-dimensionali) che meglio partizionano Rn rispetto alle classi d’interesse
p. 32
Bordi di decisione: ese. monodimensionale
c1c2c1c2
p. 33
Bordo di decisione: ese. bidimensionale
p. 34
Esempi di classificatori discriminativi
Reti neurali (ANN) Support Vector Machines (SVM) Decision Trees K-Nearest Neighbor (k-NN) Boosting …
p. 35
Riassumendo…
In un approccio all’object recognition basato sul machine learning è necessario modellare due tipi di conoscenza: Conoscenza visiva (e.g., scegliere le feature) Conoscenza statistica (e.g., scegliere il
classificatore)
p. 36
Alcuni riferimenti
Forsyth, Ponce, Computer Vision, a Modern Approach 2003
Duda, Hart, Stork, Pattern Classification (II edition) 2001
Bishop, Pattern Recognition and Machine Learning, 2006
Sebe, Cohen, Garg, Huang, Machine Learning in Computer Vision, 2005
p. 37
Domande…