classe 11 visió

20391: Visió per ComputadorApunts de l’assignatura

Jordi Vitrià 20391: Visió per Computador 1

Classe 11

Visió Activa


Visió Activa

Objectiu : Modificació del procés d’obtenció de les imatges i del processament en funció dels estímuls visuals i de la tasca desenvolupada.

Com?


Assumirem un esquema antropomòrfic: visió binocular + fixació + visió foveal + control de la mirada.


Visió Activa



Visió Activa

Yarbus’ early scanpath recording:

• trace 1: examine at will• trace 2: estimate wealth• trace 3: estimate ages


• trace 3: estimate ages• trace 4: guess previous activity• trace 5: remember clothing• trace 6: remember position• trace 7: time since last visit


Visió Activa

Model antropomòrfic (multiresolució):

Camp visual: 180Camp visual: 180°°horitz. horitz. ×××××××× 130130°°vert.vert.Fovea Centralis (foveola): highest acuityFovea Centralis (foveola): highest acuity

1.31.3°°visual angle; 25,000 conesvisual angle; 25,000 cones


Fovea: high acuity (at 5Fovea: high acuity (at 5°°, , acuityacuity drops to 50%)drops to 50%)55°°visual angle; 100,000 conesvisual angle; 100,000 cones

Macula: within “useful” acuity region (to about 30Macula: within “useful” acuity region (to about 30°°))16.716.7°°visual angle; 650,000 conesvisual angle; 650,000 cones

Hardly any rods in the foveal regionHardly any rods in the foveal region


Visió Activa

Object Distance Angle subtended

thumbnail arm’s length 1.5-2 deg sun or moon - .5 deg


US quarter coin arm’s length 2 deg

US quarter coin 85 m 1 min

US quarter coin 5 km 1 sec


Visió Activa

Model antropomòrfic (fixació):

• Binocularitat.

• Manteniment de la vergència.


• Enfocament.

• Control de la mirada.


Visió Activa

Disseny d’un sistema de visió activa (paràmetres) :

•• Òptics: Òptics: •• Distància focalDistància focal , o zoom, que permet canviar la magnificació.• AcomodacióAcomodació .• AperturaApertura .


• AperturaApertura .•• Sensorials, Sensorials, podem triar coses com la forma de la retina, la densitat d’elements fotosensibles, la seva sensibilitat…•• Mecànics, Mecànics, per a veure quins graus de llibertat donem a l’ull (i al cap).•• Algorísmics, Algorísmics, o com manipular tots els paràmetres anteriors.


Comportament Visual

El comportament visual es definirà a partir dels següents factors:

•• Control de la mirada: Control de la mirada: •• Seguiment suauSeguiment suau o smooth pursuit.• VergènciaVergència .• Moviments sacàdicsMoviments sacàdics .


• Moviments sacàdicsMoviments sacàdics .• Estabilització reflexaEstabilització reflexa (optokinesi).

•• Control dels paràmetres d’adquisició, Control dels paràmetres d’adquisició, focus, zoom, apertura…•• Visió foveal, Visió foveal, processament seqüencial multiscala.•• Integració BinocularIntegració Binocular .


Comportament Visual

Moviments mecànics i control de la mirada:

•• Seguiment suauSeguiment suau o smooth pursuit. Seguiment d’objectes mòbils a partir de la generació de senyals de control de velocitat. Com? Processament del moviment a la fòvea.• VergènciaVergència . Manteniment de les dues fòvees centrades en el mateix punt 3D. Com? Correlacions entre els centres dels dos


mateix punt 3D. Com? Correlacions entre els centres dels dos ulls.• Moviments sacàdicsMoviments sacàdics . Moviments precalculatsd’alta velocitat que canvien la direcció de la mirada. Supressió d’estímuls visuals. Depèn de “què” fem.• Estabilització reflexaEstabilització reflexa (optokinesi), utilitza l’acomodació, la vergència i els moviments del cap per estabilitzar el vector “mirada”. Com? Correlacions entre t i t+1.


Comportament Visual

Moviments mecànics i control de la mirada:Extracció d’informació útil.



Comportament Visual

Com passar el punt de fixació de A a B ?

A

B


B

Horopter


Comportament Visual

Com ho fem els humans?

A

B

A

B

A

B

Moviment de

vergència

Moviment de

versió

A

B

Moviment de

vergència


B B B B


Comportament Visual

Com ho sabem implementar? (I)

A

B

A

B



Comportament Visual

Com ho sabem implementar? (II)

A

B

Aquest esquema no és òptim:

• Hi ha un ull dominant.• Dirigeix l’acomodació de l’ull dominant.


dominant.• Fem més moviments dels necessaris.

.. Però és fàcilment implementable combinant acomodació i correlacions.


Comportament Visual

Estímuls de la vergència : disparitat + focus.

Cyclopean Axis

Objecte

Eix Visual


Eix Visual

d d


Comportament Visual

Convergència Asimètrica

ObjecteObjecte



Comportament Visual

Processos Oculars Primaris: Estabilització Focus + Vergència

Đ�ṭāǩ

Eṣṭłṭ� �

Eō Eṣ

Eǩ�āĕⁿ


Đ�ṭāǩ

Eṣṭłṭ� �

Eō Eṣ

Eǩ�āĕⁿ ⁺

Eǩ�ṣ��ōṭō�ṣ


Comportament Visual

Processos Oculars Primaris: Estabilització Focus + Vergència

La integració porta conflictes:

• Vergència i estructures repetitives.


• Vergència i estructures repetitives.• Vergència i ull tapat.• Enfocament i vergència diferents.


Comportament Visual

Processos Oculars Primaris: una possible implementació simple.


Fòvea Fòvea

Estimador de disparitat

Filtre de Disparitat

Zero

Vergència Seguiment Suau

Motors


Comportament Visual

Processos Oculars Primaris: una possible implementació simple.



Comportament Visual

Processos Oculars Primaris: Filtre de disparitat zero.

Per fer seguiment suau només cal seguir el que hi ha amb disparitat zero.



Comportament Visual

Focus d’atenció.

Exemple: Lectura, amb salts de 3 o 4 paraules.

Processament preatentiu i atentiu en paral·lel.

Regles:


Regles:• Proper a l’actual.• Cap amunt.• Cantonades, simetries, gradients.

Avantatges: reducció de dades a computar, combinació d’alta resolució/camp visual ampli.


Comportament Visual

Funció dels mecanismes d’atenció.

Manegar esdeveniments no esperats; reducció selectiva de dades a processar en el temps i espai (resolució i lloc).

Explorem l’entorn de forma seqüencial i dependent de la tasca que fem.


L’algorisme de control basat en aquests mecanismes es pot aplicar a:

• Control preatentiu: esdeveniments i estructures no previstos atreuen el focus d’atenció.• Control atentiu (reconeixement d’una cara).• Habituació: l’impacte de les estructures es redueix a mesura que apareixen habitualment.


Comportament Visual

Mecanismes d’atenció.

Hi ha tres tipus d’inputs pels processos atentius:

• Dirigits per la tasca (p.e. Mentre caminem, la selecció del punt de fixació és geomètrica).• Dirigits per les característiques visuals, s’activa per


• Dirigits per les característiques visuals, s’activa per detectar esdeveniments no previstos o per fer “wandering around”.• Dirigits pel context, i útils pel reconeixement. La posició del següent punt de fixació depèn del resultat del processament de l’actual i de la seva posició.


Comportament Visual




Comportament Visual



(a) aesthetic group (b) semantic group


Comportament Visual




Comportament Visual

Exemple: Control de la direcció.



Comportament Visual




Comportament Visual

Exemple: Temps de contacte.



Comportament Visual



classe 11 visió

Travel