classe 9 visió

20391: Visió per ComputadorApunts de l’assignatura

Jordi Vitrià 20391: Visió per Computador 1

Classe 9

Reconeixement d’Objectes (I)


Quin és el problema?

Problema: Equivalència entre estímuls.


1 objecte ↔ ∞ imatgesCauses: escala, orientació, etc. Cal trobar característiques

invariants!



Problema: Equivalència entre estímuls (il·luminació).





En alguns casos podem trobar mecanismes simples de reconeixement associats a característiques més o menys simples de les imatges i que constitueixen senyals no ambigus


imatges i que constitueixen senyals no ambigus de la presència de l’objecte.

Però en la majoria dels casos no hi ha una altre camí que l’aprenentatge de descripcions complexes.




“The Cubist are destined... To give back

to painting its true aim, which is to

reproduce... objects as they are.

Lighting must be eliminated because ... it


Lighting must be eliminated because ... it

is the sign of a particular instant... As

well, perspective must be eliminated

because ... it is accidental a think like

lighting”

J.Rivière. Present tendencies in painting. Revue d’Europe et Amérique, Paris, March 1912.



Diferència entre classificar i identificar .




Perquè és útil el reconeixement de classes?

Reconeixement de nous objectes dins d’una classe: • Podem inferir les propietats (usos, perills, …) de coses que no hem vist mai! (Imaginem el primer europeu que va veure un tigre!); • Restringeix el nombre de models per identificar (indexació);• Permet l'ús d’informació específica de la classe per identificar


• Permet l'ús d’informació específica de la classe per identificar (p.e. neutralitzar expressions facials);• Fa possible la generalització des d’informació molt parcial (p.e. La Mona Lisa!).



(Alguns) Mètodes:

Classificació de les característiques de la imatge.

Ajust de Models geomètrics a la imatge.


Aparença o reconeixement basat en vistes.


Mètodes


Objectiu: Definir un espai de característiques de la imatge que permeti representar els objectes a partir del seu aspecte (o d’un conjunt de característiques locals) en la imatge.


locals) en la imatge.

Hi ha 3 parts:

• Definició d’una representació adequada. Normalment intentarem reduir la dimensió de les dades de forma que es conservin les invariancies i s’eliminin les altres dimensions.

• Aprenentatge, a partir d’un conjunt d’exemples.

• Reconeixement, a partir del model après.


Mètodes




Mètodes



Classificació entre túbul i interstici en una biòpsia renal a partir de característiques texturals.


Mètodes


Usarem com a operacions bàsiques la dilatació ( ) i erosió ( ) morfològiques amb elements estructurants que són cercles de radi k:

)(kBε )(kB∂

)(kB


La seva combinació crea una nova operació: l’apertura .

))(()( )()( IkBI kBkB εδ=o

)(kB


Mètodes


Efecte de l’apertura en una imatge:



Mètodes


Llavors definim per a cada punt (x,y) de la imatge el següent vector:

{}))(())1((

,)),2(())1((),(

nBIvolnBIvol

BIvolBIvolyxG

oo

Koo

−−−=


On

Aquest vector, que anomenem GRANULOMETRIA (o la seva derivada!) representa el comportament de l’entorn de cada punt respecte a l’operació apertura, iés un bón descripció de textura!

∑∈

−−=)(),(

)','()),((nByx

yyxxIyxIvol

}))(())1(( nBIvolnBIvol oo −−


Mètodes




Mètodes


Resultat de classificar la granulometria de cada punt amb una xarxa neural.



Mètodes

Classificació de les característiques de la imatge: SEEMORE.



Mètodes




Mètodes

Ajust de Models Rígids.

Disposem d’una mostra de l’objecte, en forma de de corba o de model de “filferro” + les transformacions que són


+ les transformacions que són admissibles.


Mètodes

Ajust de Models Rígids.

Correspondència : Donada una imatge, hi ha molts llocs i moltes maneres per a provar de fer correspondre l’objecte!

Representació : Com representem internament els


Representació : Com representem internament els objectes per a que el procés de correspondència sigui eficient? Un model per a tot? Un model per a cada vista?...

Semblança : Com decideixo que he trobat una correspondència?


Mètodes

Ajust de Models Rígids: Reconeixement per alineació.

Es basa en buscar la correspondència entre una vista 2D d’un objecte rígid i un model 3D. L’objecte vist pot tenir una posició 3D, orientació i escala arbitràries, i


tenir una posició 3D, orientació i escala arbitràries, i pot estar semiocult.

Dividim el problema en dos parts:• Aliniació• Transformació i comparació.


Mètodes


Alineació del model amb la imatge a partir d’un conjunt reduït de punts del model i de la imatge.

Si assumim que l’objecte es pot representar bé amb una “projecció ortogonal+escala”, llavors es pot


una “projecció ortogonal+escala”, llavors es pot demostrar que:

“..donats tres punts del model sobre un pla paral·lel al pla imatge i tres punts a la imatge, hi ha una única transformació que posa en correspondència els punts del model i els de la imatge”.


Mètodes



Imatge model i punts característics

Punts característics detectats en una escena.Hi ha forces correspondències possibles!

Resultats amb un nivell de semblança suficient.


Mètodes




Mètodes


Però, com comparem?Hi ha diverses solucions: funció distància entre característiques binàries .

A cada punt de la imatge li assignem un valor


A cada punt de la imatge li assignem un valor equivalent a la distància que hi ha entre aquest punt i la característica més propera.

Quan projectem les característiques del model, sumem els valors de la funció distància del píxels sobre els que han caigut les característiques. Com menor sigui el valor, més correspondència!


Mètodes

Un cas interessant: detecció de cares .

Detection i tracking

Alineament i

Processament de cares:


Alineament i normalització.

Representació i modelat d’identitats.


Mètodesde

tecc

ió d

e ca

res

.


Calculem mesures locals a la imatge

Classificador Cara/No cara

La imatge es divideix en un gran conjunt de finestres (solapades). Cada finestra és classificada com a “cara” o “no cara”, basant-se en un conjunt de mesures locals.

Un

cas

inte

ress

ant:

dete

cció

de

care

s


Mètodes

dete

cció

de

care

s.

Par

tim d

’un

GR

AN

con

junt

d’e

xem

ples


Un

cas

inte

ress

ant:

dete

cció

de

care

s

Par

tim d

’un

GR

AN

con

junt

d’e

xem

ples

i c

ontr

aexe

mpl

es.


Mètodes


Estratègia:

Preprocessament & Normalització de mida


Finestra analitzada

Finestra normalitzada

Comparació

Classificador Cara/No Cara

Canonical Face Pattern Model


Mètodes



classe 9 visió

Travel