sz ámítógépes grafika és képfeldolgozás
DESCRIPTION
Sz ámítógépes grafika és képfeldolgozás. III el őadás : Fourier-m ódszerek a képfeldolgozásban Jegyzet: Sz ékely Vladimír: Képfeldolgozás 6. fejezet. A mai el őadás tartalma. Fourier sorfejt és 2D-ben 1D összefoglaló 2 változós fv Fourier-sora Fourier-összetevők értelmezése - PowerPoint PPT PresentationTRANSCRIPT
Számítógépes grafika és képfeldolgozás
III előadás: Fourier-módszerek a képfeldolgozásban
Jegyzet:Székely Vladimír: Képfeldolgozás
6. fejezet
A mai előadás tartalma• Fourier sorfejtés 2D-ben
– 1D összefoglaló– 2 változós fv Fourier-sora– Fourier-összetevők értelmezése
• A diszkrét Fourier-transzformáció– DFT 1D-ben– DFT 2D-ben– DFT képek jellegzetességei
• Műveletek Fourier-tartományban– textúra analízis– szűrés– képjavítás/élkiemelés– inverz szűrés– 3D objektum vetületekből
A Fourier-sorfejtés
1D eset
)2
exp()( xnL
πjCxf
nn
Fourier-együtthatók: dxxnL
πjxf
LC
L
n )2
exp()(1
0
L hosszúsággal periódikus függvényt ad
)()( Lxfxf
Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel.
nn CC~
ha f(x) valós
2D függvény Fourier-sora
Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók:
dxL
xmπjyxf
LyC
xL
xxm )2exp(),(
1)(
0
Cm(y) sorfejtése:dy
L
ynπjyC
LC
yL
ym
ymn )2exp()(
1
0
yx LyLx 0,0
A függvény: f(x,y)
dxxnL
πjxf
LC
L
n )2
exp()(1
0
2D függvény Fourier-sora
Együttesen:
dyL
ynπjdx
L
xmπjyxf
LLC
y xL
y
L
xxymn )2exp()2exp(),(
11
0 0
dxL
xmπjyxf
LyC
xL
xxm )2exp(),(
1)(
0 dy
L
ynπjyC
LC
yL
ym
ymn )2exp()(
1
0
Ekvivalens átalakítások után:
dydxL
yn
L
xmπjyxf
LLC
y xL L
yxyxmn
0 0
2exp),(1
Cmn – az f(x,y) függvény 2D Fourier-együtthatói.
2D függvény Fourier-sora
Bebizonyítható, hogy az f(x,y) függvény ezen együtthatók alapján visszaállítható az alábbi módon:
dydxL
yn
L
xmπjyxf
LLC
y xL L
yxyxmn
0 0
2exp),(1
yxm nmn L
yn
L
xmπjCyxf 2exp),(
mnnm CC~
x- és y-irányú periodicitás
Lx
Ly
y
x
f(x,y)
ha f(x,y) valós
A 2D Fourier-együtthatók értelmezése
dydxL
yn
L
xmπjyxf
LLC
y xL L
yxyxmn
0 0
2exp),(1
komplex harmónikusok
yxmn
yxmn
yxnm
yxmn
L
yn
L
xmπC
L
yn
L
xmπC
L
yn
L
xmπjC
L
yn
L
xmπjC
2sin2)Im(2cos2)Re(
2exp2exp
mnnm CC~
mertcos(x) = (exp(jx)+exp(-jx))/2
sin(x) = (exp(jx)-exp(-jx))/2j
A 2D Fourier-együtthatók értelmezése
dydxyxfLL
Cy x
L L
yx0 0
00 ),(1
az f(x,y) függvény átlagértéke – valós
yxmn
yxmn
yxnm
yxmn
L
yn
L
xmπC
L
yn
L
xmπC
L
yn
L
xmπjC
L
yn
L
xmπjC
2sin2)Im(2cos2)Re(
2exp2exp
térharmónikusok: cos-hullámok
Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója
Térharmónikusok
m=6 n=4
A 2D Fourier-együtthatók értelmezése
yxmn
yxmn
yxnm
yxmn
L
yn
L
xmπC
L
yn
L
xmπC
Ly
nLx
mπjCLy
nLx
mπjC
2sin2)Im(2cos2)Re(
2exp2exp
Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója
térharmónikusok:
λf tér /1térfrekvencia:
221
yx L
n
L
m
λ
hullámhossz:
m=3 n=2
x
y
Lm
Lnα
/
/arctan
Térharmónikusok
Térharmónikusok
Térharmónikusok
DFT
A diszkrét Fourier-transzformáció
NLx /
xxinL
πjF
LC
N
iin
)2
exp(1 1
0
)2
exp(1
)2
exp(1 1
0
1
0
inN
πjF
NN
Lin
L
πjF
N
L
LC
N
iii
N
in
)2
exp(1 1
0
inN
jFN
CN
iin
dxxnL
πjxf
LC
L
n )2
exp()(1
0
A diszkrét Fourier-transzformáció
)2
exp(1 1
0
inN
jFN
CN
iin
• Fourier-együtthatók számítására vonatkozó közelítésf(xk) = Fk mintavételezett függvényre (mintavételi tv.!)
dxxnL
πjxf
LC
L
n )2
exp()(1
0 )
2exp(
1 1
0
inN
jFN
CN
iin
)2
exp(1 1
0
inN
πjF
ND
N
iin
)
2exp(
1
0
nkN
πjDF
N
nnk
• Új transzformációFk Dn – az Fk minták diszkrét Fourier-transzformáltja
nNn DD
A diszkrét Fourier-transzformáció
• Fk minták: N db valós szám
)2
exp(1 1
0
inN
πjF
ND
N
iin
• Dn értékek:– periodicitás N szerint: – valós– azaz– valós (mert önmaga konjugáltja kell legyen)
nNn DD
0D
nn DD~ nnN DD
~
2/ND
• Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele:
A 0. és az N/2-edik valós, a többi komplex: N db adat.
2/210 ,,, NDDDD
A diszkrét Fourier-transzformáció• Az Fk mintasorozat (N db valós szám) diszkrét Fourier-
transzformáltját egyértelmüen megadja a Dn értéksor fele.
12/
12/0
2sin)Im(
2cos)Re(2)cos(
N
nnnNk kn
N
πDkn
N
πDkπDDF
• Az eddigiek alapján Fk kapcsolata a harmónikus összetevöivel:
2/
10 )
2sin()Im()
2cos()Re(2)(
N
nnn x
L
πnDx
L
πnDDxf
• Ha az Fk értéksort f(x) mintavételezésével kaptuk, akkor:
DFT 2D-ben
• Transzformáljuk a 2D mátrix formájában adott mintákat:
NqNpFpq 0,0
1
0
1
02
)(2
exp1 N
q
N
ppqmn qnpm
N
πjF
ND
• A DFT együtthatók is egy mátrixot alkotnak:
)(2
exp1
0
1
0
nsmrN
πjDF
N
n
N
mmnrs
• Visszatranszformálás:
DFT 2D-ben
• Mind a Dmn transzformált, mind az Frs visszatransz-formált értéksor N-nel periódikus:
nmmn DD ~• Valós függvény transzformáltjára igaz:
Lx
Ly
y
x
f(x,y)
Mint folytonos esetben:
Képek DFT-je
• A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek
0 térfrekvenica: a kép "DC értéke" == átlgafényesség
• Középen az fmax-hoz tartozó pont
• Origóra szimmetrikusan:
Képek DFT-je
DFT képek jellegzetességei
Valós kép ...
... és DFT-je
Komplex kép kellene legyen. Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk.
Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás.
f=0fmax fmax
fmax
fmax
A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag.
Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy", nincsenek benne erős élek.
DFT képek jellegzetességei
Valós kép ...
a DFT kép
Periodicitás a DFT képben: ismétlődő elemek a valós képben
Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben
Integrált áramkör elektronmikroszkópi képe.
180o-os forgatási szimmetria DFT képen!
DFT képek jellegzetességei
Valós kép ...
a DFT kép
Határozott periódikusság: szabályos minta a valós képben
Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben
sin(x)/x jellegű DFT: résfüggvény jellegű valós kép
Szabályos kép, valóban résfüggvény jellegű kép
-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
0 5 10 15 20 25
sin(x)
1D emlékeztető:
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
0 5 10 15 20 25
sin(x)/x
DFT képek – kioltási vonalakSötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték
9 px
6 px
Nx pixel
Kx pixel
0)(2
exp1 1
0
1
02
N
q
N
ppqmn qnpm
NjF
ND
0-t kapunk, ha Kx egész számú többszöröse valamelyik térharmónikus hullámhosszánakAz alapharmónikus hullámhossza az Nx képméret.
Az m-edik felharmónikus hullámhossza: Nx/m
xx KNkm )(A kioltott frekvenciák indexe:
A kioltási vonalak távolsága: m = Nx/Kx
Tehát a kioltási vonalak a képet Kx részre osztják
6
9
A kioltás feltétele:m
NkK x
x
Műveletek a Fourier-térben:
textúra analízisszűrésképjavítás/élkiemelésinverz szűrésalakfelismerés3D objektum vetületekből
Textúra analízis DFT-vel
Textúra analízisPirolitikus grafit kristály, STM felvétel.
A kristályfelület atomi szerkezete látható.
Hexagonális kristályrács
Textúra analízis
Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással
Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel
Textúra analízisUjjlenyomat (küszöbölés után).
Irány információ nem olvasható ki, hiszen az eredeti képen sincs jellemző irányultság.
2622 nmR
Nagyobb térharmónikus arány az alapharmónikustól (középpont) kb. 26 pixelnyi távolságra:
Az ujjlenyomat barázdák átlagos térharmónikusa az alapharmónikusnak kb. 26-szorosa, irányuk nem jellemző.
Textúra analízis teljesítményspektrum
mnmnmnmn DDDP~2
• A "teljesítményt" így definiáljuk:
• A Pnm értékekből folytonos P(n, m) függvény interpolációval
22 nmf mnγ /arctan1/f
γ
• Átszámítás polár koordinátákra: P(f, γ)
• A következő integrálokat számoljuk:
π f
dfγfPγqγdγfPfp2
0
max
0
),()(,),()(
Textúra analízis teljesítményspektrum
π f
dfγfPγqγdγfPfp2
0
max
0
),()(,),()(
Domináns térfrekvenciák domináns irányok
Szűrés, képjavítás
Szűrés a frekvenciatartományban
KépFourier-
transzformáció
DFT kép
Szűrés: egyes térfrekvenciás komponensek módosítása
Szűrt DFT kép
Inverz Fourier- transzformáció
Szűrt kép
Szűrőkarakterisztikák:
Egyszerű töréspontos aluláteresztő:
Butterworth-szűrő:
nhff
fB2/1
1)(
Szűrés a frekvenciatartományban
• Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban:
ESA )()()( ESA DFTDFTDFT helyett
• Konvolúció helyett szorzás a frekvenciatartományban
• Megjegyzések:– a transzformált értékek komplexek, ezért itt komplex
szorzásról van szó– a transzformáció periódikus eredményt ad, ezért ez a
konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi:
)(mod),(mod
1
0
1
021
1 2
jnim
N
i
N
jijmn NN
ESA
Szűrés a frekvenciatartományban
8fa16fa
Nagy térfrekvenciájú komponensek kiszűrése
Zajtalanabb, lágyabb kép
Csökken az élesség
fa – az alapharmónikus térfrekvenciája
Szűrés a frekvenciatartományban
10fa
Kis térfrekvenciájú komponensek kiszűrése
Lassú változások törlése: mindenütt egyen-szürke
Az élesség (nagy térfrekvenciás rész) megmarad
fa – az alapharmónikus térfrekvenciája
4fa
Minél erősebb a vágás, annál szürkébb lesz a kép
Szűrés a frekvenciatartománybanKépjavítás: nagy térfrekvenciák kiemelése
Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő.
Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele.
Inverz szűrés
• Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye)
Inverz szűrés
• Adott egy T torzított kép
• Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre:
STE 1 ahol a dekonvolúció jele1
• Dekonvolúció helyett osztás a frekvenciatartományban
)(
)()(
S
TE
DFT
DFTDFT
majd vissza transzformáljuk E-t
SET ahol E a torzítatlan kép
Ekkor:
Képhelyreállítás inverz szűréssel
Inverz Fourier- transzformáció
T torzított kép
Fourier- transzformáció )(TDFT
Csatorna S szóródási függvénye
Fourier- transzformáció )(SDFT
)(
)()(
S
TE
DFT
DFTDFT Helyre-
állított kép
Képhelyreállítás inverz szűrésselKísérlet – előkészítés
torzított kép
Lineáris szűrő
eredeti kép
Lineáris szűrő
1 fénylő pötty (Dirac-) szóródási függvény
Képhelyreállítás inverz szűrésselKísérlet – helyreállítás
inverz szűrés torzított kép
szóródási függvény
helyreállított kép
A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők.
A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen.
Zajmentes eredeti kép
Zajos helyreállított kép
• Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni.
• Kioltási vonalak: – Lehet, hogy a súlyfüggvényben, amivel osztanunk kell,
sok 0 közeli érték lesz.– Ennek zajkiemelő hatása van, a kép élvezhetetlenné
válhat.– Korlátozni kell az inverz szűréssel megvalósuló
térharmónikus-kiemelés mértékét.
• A teljes képnek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben.
Képhelyreállítás inverz szűrésselMegjegyzések
• Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a sarkon elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz:
Képhelyreállítás inverz szűrésselMegjegyzések
• Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt.
Képhelyreállítás inverz szűrésselPélda
Életlenre állított kamerával felvett kép
Valami szöveg, de teljesen olvashatatlan
Életlenre állított kamerával felvett folt
és annak DFT-je:
A helyreállított kép
és a jó eredeti kép:
Képhelyreállítás inverz szűrésselPélda
Háromszor exponált képA háromszoros expozíció
szóródási függvénye
és annak DFT-je:
A helyreállított kép
Alakfelismerés
• Az alábbi, képként adott szövegrészletben szeretnénk az e betűket megtalálni:
Alakfelismerés
– olyan képhez szeretnénk jutni, ahol minden e betű helyén egy pont van, egyebütt üres a kép,
– ennek a képnek a jele legyen EPOZ,
– az egyetlen e betű képe pedig E.
• Ekkor a SZOVEG, mint kép így adható meg:
TOBBIEPOZESZOVEG ahol TOBBI a kép többi, e betűktől különböző része.
ETOBBIEPOZESZOVEG 11
• Az E-vel dekonvolváljuk a SZOVEG-et:
Alakfelismerés
ETOBBIEPOZESZOVEG 11
• Az E-vel dekonvolváljuk a SZOVEG-et:
Megjelenik a keresett kép
Ha a többi betű nem hasonlít az e-re, ez jól levágható háttérzaj
Valóban az e betűk pozícióit találtuk meg!
További alkalmazások
– Rtg felvételek sorozata készül, különböző szögekből,– mindegyik felvétel 1-1 vetületi képet ad,– ezekből kell a térbeli képet előállítani.
– Egy vetületből a térbeli kép Fourier-együtthatóinak egy része előállítható.
– A testet körüljárva sok vetület készül, a Fourier-együtthatókból számolják vissza a test egy kereszt-metszetének a képét.
– A számítógép által generált képeket rtg-filmen rögzítik. E képsorozatot használják az orvosok.
További alkalmazások• CT képek készítése
zL
dzzyxfyxv0
),,(),(
dxdydzL
zp
L
yn
L
xmjzyxf
LLLC
x y zL L L
zyxzyxmnp
0 0 0
2exp),,(1
dxdyL
yn
L
xmjyxv
LLLC
x yL L
yxzyxmn
0 00 2exp),(
1
CT kiértékelés