az alak-és formalátás mechanizmusai - u-szeged.huaz alak-és formalátás mechanizmusai dr. sáry...
TRANSCRIPT
1
Az alak- és formalátás mechanizmusai
dr. Sáry Gyula2011. április 14.
Alak- és formafelismerésünk
robusztus, megbízható folyamat …nekünk
szemmozgás
méret (távolság) forgatás (fák, kocsik, arcok)fényviszonyok meg a nap
tükörkép
eredeti
nézıpont 1. nézıpont 2. (teória!)
(másik) eredeti
2
Kezdeti lépések
• alak – háttér szétválasztás
A stimulus „lebontása”
• retina sejtjei: fénymintázatok
• V1 sejtjei: orientált vonalak, élek (él-detektorok)
• szín, vonalhossz, görbület, sarkok, metszések,
irány, 3D
• retinotopikus tulajdonság (feature) térképek
– ( guruló ceruza esete)
• parallel processing
+--
-
-
-
3
A stimulus rekonstruálása 1.
Össze kell rakni az egyes vonásokat, de melyiket és hogyan?
Gestalt pszichológusok: melyik elemeket rakjuk össze?
• a jó folytonosság elve
• a közelség elve
• közös sors elve (madárraj)
• összekapcsolódás
A stimulus rekonstruálása 2.
Hogyan rakjuk össze az elemeket?
• a figyelem „fényszórója” – térbeli figyelem – figyelem limitált, egyszerre kicsi felszín, mozogni kell
és akkor:
a tárgy képe egységes reprezentációvá áll össze –hasonlítható a belsı reprezentációhoz
A „change blindness” problémája:
a reprezentáció nem is olyan teljes / korrekt?
4
Change blindness
Change blindness
5
Change blindness
Change blindnness
6
A tárgylátás teóriái
• a tárgylátás a retinán kezdıdik: a tüzelési mintázat a
tárgy reprezentációja (de csak abban a helyzetben,
világításban, stb.)
• tárgylátási teóriák: hogyan kompenzál a látórendszer?
A 3D struktúra helyreállítása
• a retinális kép 2D-s (több 2D-s kép tartozik u. ahhoz a 3D-s
tárgyhoz – egyformán kell kezelni ıket!
• 3D helyreállítása � nézıpont független reprezentáció
• nem mőködik mindig a rekonstrukció (David Marr)
• csak egyes részeket kell/lehet rekonstruálni (kis lépések,
tárgy konstancia)
• nézıpont függı reprezentáció is mőködhet (típusos nézet) ha
össze lehet vetni a belsı reprezentációval
• pontos strukturális leírás – egyszerő illesztés
• nézıpont függı leírás – bonyolult illesztés
7
Primitívek
• primitívek: elemi alkotók
• percepciós lépések– lokális intenzitáskülönbségek
– kontúrok (orientált élek, metszéspontok, sarkok, stb)
– felszíndarabok (2,5 D)
– térbeli „primitívek” (kockák, hengerek, gúlák, stb.)
Veszedelmes primitív viszonyok
• primitívek: elemi alkotók
• percepciós lépések– intenzitási különbségek
– kontúrok (orientált élek)
– felszíndarabok (2,5 D)
– térbeli primitívek (kockák, hengerek, gúlák, stb.)
pixelek élekstrukturális leírás,primitívek
nézıpont változikde leírás jó
de!
8
Strukturális leírás vs. nézıpont
• primitívek és viszonyaik: nézıpont invariáns reprezentáció √
• de: nem érzékeny a tárgyak közti kis különbségekre
– biz. információ elvész
• megoldás: hierarchikus „descriptorok”
– egyre pontosabbak, de egyre kevésbé stabilak
Strukturális leírás vs. nézıpont• Biederman geon (geometrical icon) teóriája
9
A tárgylátás elektrofiziológiája
A tárgylátás elektrofiziológiája
10
IINFERONFEROTTEMPOREMPORÁÁLISLISKKÉREGÉREG
STSSTS
V1V1 V2V2
CerebellumCerebellum
V4V4F. SYLVIIF. SYLVII
IPIP
MTMT
A kérgi vizulális pályarendszerekA kérgi vizulális pályarendszerek ((majombanmajomban))
A ventrális pályarendszer áttekintı sémája
11
Az inferotemporalis (IT) kéreg tulajdonságai
• utolsó vizuális terület a ventrális pályán
• complex, színes ingerekre reagál
• sejtjei szelektívek különbözı alakzatokra
• az IT eltávolítása alakfelismerési zavarokkal jár
Alak- és formafelismerésünk
robusztus, megbízható folyamat
színes
illuzórikus kontúrsziluett
vonalas rajz
textúra
fekete-fehér
12
A regisztrációs kamra helyének meghatározásaA regisztrációs kamra helyének meghatározása
A: 17, L: 23
Kísérleti elrendezés
fixációs pont
stimulus
(Wurtz után)
13
-100 100 300 5000
50
100
150c191fx.exp
idö (ms)
aktivitás (
kis
ülé
s/s
)
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
-100 100 300 5000
50
100
150
Az IT sejtek ingerszelektivitása
Tompa et al., 2005
A színek eltávolításának hatása az inferotemporalis sejtek szelektivitására
színes
szürke-árnyalatos
14
Tompa et al., 2005
A színes és a szürkeárnyalatos stimulusokra kapott populációs hangolási görbék
ANOVA: F(3, 96)=1,3668, p=,25760
leghatékonyabb hatékony rossz legrosszabb
Stimulussorrend
-10
-5
0
5
10
15
20
25
30
Ne
tto
tü
ze
lési a
ktivitá
s [kis
ülé
s/s
] szürkeárnyalatú
színes
n= 33
A színek eltávolításának hatása az inferotemporalis sejtek szelektivitására
Egy négyszög három arca
luminancia mozgás textúra
15
A sejtek szelektivitása független a háttértıl való elkülönülés módjától
luminancia
mozgás
textura
luminancia
mozgás
textura
Sáry et al. 1993.
Takart tárgyak
16
IT sejt szelektivitása a takart alakzatokra
takaratlan
takaratlan
50% takarás
50% takarás
Kovács et al. 1995
Illuzórikus kontúrok
17
Sáry et al., 2008
Illuzórikus kontúrok reprezentációja az inferotemporális kéregben
0 400
50
time [ms]
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
avr
. n
et firi
ng
rate
[s
pik
es/s
]
18
Sáry et al., 2007
Illuzórikus kontúrok reprezentációja az inferotemporalis kéregben
0 400
50
time [ms]
avr
. n
etfiri
ng
rate
[spik
es/s
]0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
0 400
50
Kovács et al., 2003
A képi inger redukciója és ennek hatása az ITkéreg sejtjeinek aktivitására
19
sztereo bal szem jobb szem
bal szem jobb szem
STS
IT sejtek reagálnak 3 D tárgyakra
Janssen et al. 1999
Az IT sejtek tulajdonságai
• Szelektívek lehetnek egyes alakzatokra.
• A szelektivitás megtartott akkor is, ha a háttértıl való
elkülönülést változtatjuk.
• A szelektivitás megtartott akkor is ha csökkentjük a
kép felszínérıl érkezı információt.
• A szelektivitás megtartott akkor is ha a kép egyes
részei hiányoznak (takarásban vannak).
20
arcra specifikusan reagáló sejt “kéz” sejt
Az IT sejtek „nagymama” sejtek?(Sárga Volkswagen detektorok?)
Az IT sejtek ideális jelöltek.
De:
• kevesebb sejt van, mint ahány felismerendı tárgy
• a sejtek pusztulása nem jár felismerési zavarokkal
• a sejtek nem igazán szelektívek (stimulus preferencia)
• egy sejt egymástól nagyon különbözı stimulusokra is
reagálhat
21
Az IT sejtjei egyes, kritikus részletekre reagálnak
22
Sáry et al., 2006
Feladatfüggı moduláció az inferotemporalis kéregben vizuális felismerési feladatban
Fixáció Diszkrimináció
23
Sáry et al., 2006
Feladatfüggı moduláció az inferotemporalis kéregben vizuális felismerési feladatban
0 50 100 150 200 250 300 350 400
20
40
60
80
100
idõ (ms)
ak
tiv
itás
(kis
ülé
s/s)
C157 sejt átlagos tüzelése a fixációs és diszkriminációs feladatban
FIX
DIS