sz ámítógépes grafika és képfeldolgozás

Számítógépes grafika és képfeldolgozás

III előadás: Fourier-módszerek a képfeldolgozásban

Jegyzet:Székely Vladimír: Képfeldolgozás

6. fejezet

A mai előadás tartalma• Fourier sorfejtés 2D-ben

– 1D összefoglaló– 2 változós fv Fourier-sora– Fourier-összetevők értelmezése

• A diszkrét Fourier-transzformáció– DFT 1D-ben– DFT 2D-ben– DFT képek jellegzetességei

• Műveletek Fourier-tartományban– textúra analízis– szűrés– képjavítás/élkiemelés– inverz szűrés– 3D objektum vetületekből

A Fourier-sorfejtés

1D eset

)2

exp()( xnL

πjCxf

nn

Fourier-együtthatók: dxxnL

πjxf

LC

L

n )2

exp()(1

0

L hosszúsággal periódikus függvényt ad

)()( Lxfxf

Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel.

nn CC~

ha f(x) valós

2D függvény Fourier-sora

Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók:

dxL

xmπjyxf

LyC

xL

xxm )2exp(),(

1)(

0

Cm(y) sorfejtése:dy

L

ynπjyC

LC

yL

ym

ymn )2exp()(

1

0

yx LyLx 0,0

A függvény: f(x,y)

dxxnL

πjxf

LC

L

n )2

exp()(1

0

2D függvény Fourier-sora

Együttesen:

dyL

ynπjdx

L

xmπjyxf

LLC

y xL

y

L

xxymn )2exp()2exp(),(

11

0 0

dxL

xmπjyxf

LyC

xL

xxm )2exp(),(

1)(

0 dy

L

ynπjyC

LC

yL

ym

ymn )2exp()(

1

0

Ekvivalens átalakítások után:

dydxL

yn

L

xmπjyxf

LLC

y xL L

yxyxmn

0 0

2exp),(1

Cmn – az f(x,y) függvény 2D Fourier-együtthatói.

2D függvény Fourier-sora

Bebizonyítható, hogy az f(x,y) függvény ezen együtthatók alapján visszaállítható az alábbi módon:

dydxL

yn

L

xmπjyxf

LLC

y xL L

yxyxmn

0 0

2exp),(1

yxm nmn L

yn

L

xmπjCyxf 2exp),(

mnnm CC~

x- és y-irányú periodicitás

Lx

Ly

y

x

f(x,y)

ha f(x,y) valós

A 2D Fourier-együtthatók értelmezése

dydxL

yn

L

xmπjyxf

LLC

y xL L

yxyxmn

0 0

2exp),(1

komplex harmónikusok

yxmn

yxmn

yxnm

yxmn

L

yn

L

xmπC

L

yn

L

xmπC

L

yn

L

xmπjC

L

yn

L

xmπjC

2sin2)Im(2cos2)Re(

2exp2exp

mnnm CC~

mertcos(x) = (exp(jx)+exp(-jx))/2

sin(x) = (exp(jx)-exp(-jx))/2j

A 2D Fourier-együtthatók értelmezése

dydxyxfLL

Cy x

L L

yx0 0

00 ),(1

az f(x,y) függvény átlagértéke – valós

yxmn

yxmn

yxnm

yxmn

L

yn

L

xmπC

L

yn

L

xmπC

L

yn

L

xmπjC

L

yn

L

xmπjC

2sin2)Im(2cos2)Re(

2exp2exp

térharmónikusok: cos-hullámok

Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója

Térharmónikusok

m=6 n=4

A 2D Fourier-együtthatók értelmezése

yxmn

yxmn

yxnm

yxmn

L

yn

L

xmπC

L

yn

L

xmπC

Ly

nLx

mπjCLy

nLx

mπjC

2sin2)Im(2cos2)Re(

2exp2exp

Cmn valós része egy cos-hullám, képzetes része egy sin-hullám amplitudója

térharmónikusok:

λf tér /1térfrekvencia:

221

yx L

n

L

m

λ

hullámhossz:

m=3 n=2

x

y

Lm

Lnα

/

/arctan

Térharmónikusok

Térharmónikusok

Térharmónikusok

DFT

A diszkrét Fourier-transzformáció

NLx /

xxinL

πjF

LC

N

iin

)2

exp(1 1

0

)2

exp(1

)2

exp(1 1

0

1

0

inN

πjF

NN

Lin

L

πjF

N

L

LC

N

iii

N

in

)2

exp(1 1

0

inN

jFN

CN

iin

dxxnL

πjxf

LC

L

n )2

exp()(1

0

A diszkrét Fourier-transzformáció

)2

exp(1 1

0

inN

jFN

CN

iin

• Fourier-együtthatók számítására vonatkozó közelítésf(xk) = Fk mintavételezett függvényre (mintavételi tv.!)

dxxnL

πjxf

LC

L

n )2

exp()(1

0 )

2exp(

1 1

0

inN

jFN

CN

iin

)2

exp(1 1

0

inN

πjF

ND

N

iin

)

2exp(

1

0

nkN

πjDF

N

nnk

• Új transzformációFk Dn – az Fk minták diszkrét Fourier-transzformáltja

nNn DD

A diszkrét Fourier-transzformáció

• Fk minták: N db valós szám

)2

exp(1 1

0

inN

πjF

ND

N

iin

• Dn értékek:– periodicitás N szerint: – valós– azaz– valós (mert önmaga konjugáltja kell legyen)

nNn DD

0D

nn DD~ nnN DD

~

2/ND

• Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dn értéksor fele:

A 0. és az N/2-edik valós, a többi komplex: N db adat.

2/210 ,,, NDDDD

A diszkrét Fourier-transzformáció• Az Fk mintasorozat (N db valós szám) diszkrét Fourier-

transzformáltját egyértelmüen megadja a Dn értéksor fele.

12/

12/0

2sin)Im(

2cos)Re(2)cos(

N

nnnNk kn

N

πDkn

N

πDkπDDF

• Az eddigiek alapján Fk kapcsolata a harmónikus összetevöivel:

2/

10 )

2sin()Im()

2cos()Re(2)(

N

nnn x

L

πnDx

L

πnDDxf

• Ha az Fk értéksort f(x) mintavételezésével kaptuk, akkor:

DFT 2D-ben

• Transzformáljuk a 2D mátrix formájában adott mintákat:

NqNpFpq 0,0

1

0

1

02

)(2

exp1 N

q

N

ppqmn qnpm

N

πjF

ND

• A DFT együtthatók is egy mátrixot alkotnak:

)(2

exp1

0

1

0

nsmrN

πjDF

N

n

N

mmnrs

• Visszatranszformálás:

DFT 2D-ben

• Mind a Dmn transzformált, mind az Frs visszatransz-formált értéksor N-nel periódikus:

nmmn DD ~• Valós függvény transzformáltjára igaz:

Lx

Ly

y

x

f(x,y)

Mint folytonos esetben:

Képek DFT-je

• A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek

0 térfrekvenica: a kép "DC értéke" == átlgafényesség

• Középen az fmax-hoz tartozó pont

• Origóra szimmetrikusan:

Képek DFT-je

DFT képek jellegzetességei

Valós kép ...

... és DFT-je

Komplex kép kellene legyen. Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk.

Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás.

f=0fmax fmax

fmax

fmax

A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag.

Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy", nincsenek benne erős élek.

DFT képek jellegzetességei

Valós kép ...

a DFT kép

Periodicitás a DFT képben: ismétlődő elemek a valós képben

Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben

Integrált áramkör elektronmikroszkópi képe.

180o-os forgatási szimmetria DFT képen!

DFT képek jellegzetességei

Valós kép ...

a DFT kép

Határozott periódikusság: szabályos minta a valós képben

Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben

sin(x)/x jellegű DFT: résfüggvény jellegű valós kép

Szabályos kép, valóban résfüggvény jellegű kép

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 5 10 15 20 25

sin(x)

1D emlékeztető:

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 5 10 15 20 25

sin(x)/x

DFT képek – kioltási vonalakSötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték

9 px

6 px

Nx pixel

Kx pixel

0)(2

exp1 1

0

1

02

N

q

N

ppqmn qnpm

NjF

ND

0-t kapunk, ha Kx egész számú többszöröse valamelyik térharmónikus hullámhosszánakAz alapharmónikus hullámhossza az Nx képméret.

Az m-edik felharmónikus hullámhossza: Nx/m

xx KNkm )(A kioltott frekvenciák indexe:

A kioltási vonalak távolsága: m = Nx/Kx

Tehát a kioltási vonalak a képet Kx részre osztják

6

9

A kioltás feltétele:m

NkK x

x

Műveletek a Fourier-térben:

textúra analízisszűrésképjavítás/élkiemelésinverz szűrésalakfelismerés3D objektum vetületekből

Textúra analízis DFT-vel

Textúra analízisPirolitikus grafit kristály, STM felvétel.

A kristályfelület atomi szerkezete látható.

Hexagonális kristályrács

Textúra analízis

Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással

Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel

Textúra analízisUjjlenyomat (küszöbölés után).

Irány információ nem olvasható ki, hiszen az eredeti képen sincs jellemző irányultság.

2622 nmR

Nagyobb térharmónikus arány az alapharmónikustól (középpont) kb. 26 pixelnyi távolságra:

Az ujjlenyomat barázdák átlagos térharmónikusa az alapharmónikusnak kb. 26-szorosa, irányuk nem jellemző.

Textúra analízis teljesítményspektrum

mnmnmnmn DDDP~2

• A "teljesítményt" így definiáljuk:

• A Pnm értékekből folytonos P(n, m) függvény interpolációval

22 nmf mnγ /arctan1/f

γ

• Átszámítás polár koordinátákra: P(f, γ)

• A következő integrálokat számoljuk:

π f

dfγfPγqγdγfPfp2

0

max

0

),()(,),()(

Textúra analízis teljesítményspektrum

π f

dfγfPγqγdγfPfp2

0

max

0

),()(,),()(

Domináns térfrekvenciák domináns irányok

Szűrés, képjavítás

Szűrés a frekvenciatartományban

KépFourier-

transzformáció

DFT kép

Szűrés: egyes térfrekvenciás komponensek módosítása

Szűrt DFT kép

Inverz Fourier- transzformáció

Szűrt kép

Szűrőkarakterisztikák:

Egyszerű töréspontos aluláteresztő:

Butterworth-szűrő:

nhff

fB2/1

1)(

Szűrés a frekvenciatartományban

• Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban:

ESA )()()( ESA DFTDFTDFT helyett

• Konvolúció helyett szorzás a frekvenciatartományban

• Megjegyzések:– a transzformált értékek komplexek, ezért itt komplex

szorzásról van szó– a transzformáció periódikus eredményt ad, ezért ez a

konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi:

)(mod),(mod

1

0

1

021

1 2

jnim

N

i

N

jijmn NN

ESA

Szűrés a frekvenciatartományban

8fa16fa

Nagy térfrekvenciájú komponensek kiszűrése

Zajtalanabb, lágyabb kép

Csökken az élesség

fa – az alapharmónikus térfrekvenciája

Szűrés a frekvenciatartományban

10fa

Kis térfrekvenciájú komponensek kiszűrése

Lassú változások törlése: mindenütt egyen-szürke

Az élesség (nagy térfrekvenciás rész) megmarad

fa – az alapharmónikus térfrekvenciája

4fa

Minél erősebb a vágás, annál szürkébb lesz a kép

Szűrés a frekvenciatartománybanKépjavítás: nagy térfrekvenciák kiemelése

Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő.

Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele.

Inverz szűrés

• Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye)

Inverz szűrés

• Adott egy T torzított kép

• Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre:

STE 1 ahol a dekonvolúció jele1

• Dekonvolúció helyett osztás a frekvenciatartományban

)(

)()(

S

TE

DFT

DFTDFT

majd vissza transzformáljuk E-t

SET ahol E a torzítatlan kép

Ekkor:

Képhelyreállítás inverz szűréssel

Inverz Fourier- transzformáció

T torzított kép

Fourier- transzformáció )(TDFT

Csatorna S szóródási függvénye

Fourier- transzformáció )(SDFT

)(

)()(

S

TE

DFT

DFTDFT Helyre-

állított kép

Képhelyreállítás inverz szűrésselKísérlet – előkészítés

torzított kép

Lineáris szűrő

eredeti kép

Lineáris szűrő

1 fénylő pötty (Dirac-) szóródási függvény

Képhelyreállítás inverz szűrésselKísérlet – helyreállítás

inverz szűrés torzított kép

szóródási függvény

helyreállított kép

A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők.

A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen.

Zajmentes eredeti kép

Zajos helyreállított kép

• Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni.

• Kioltási vonalak: – Lehet, hogy a súlyfüggvényben, amivel osztanunk kell,

sok 0 közeli érték lesz.– Ennek zajkiemelő hatása van, a kép élvezhetetlenné

válhat.– Korlátozni kell az inverz szűréssel megvalósuló

térharmónikus-kiemelés mértékét.

• A teljes képnek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben.

Képhelyreállítás inverz szűrésselMegjegyzések

• Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a sarkon elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz:

Képhelyreállítás inverz szűrésselMegjegyzések

• Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt.

Képhelyreállítás inverz szűrésselPélda

Életlenre állított kamerával felvett kép

Valami szöveg, de teljesen olvashatatlan

Életlenre állított kamerával felvett folt

és annak DFT-je:

A helyreállított kép

és a jó eredeti kép:

Képhelyreállítás inverz szűrésselPélda

Háromszor exponált képA háromszoros expozíció

szóródási függvénye

és annak DFT-je:

A helyreállított kép

Alakfelismerés

• Az alábbi, képként adott szövegrészletben szeretnénk az e betűket megtalálni:

Alakfelismerés

– olyan képhez szeretnénk jutni, ahol minden e betű helyén egy pont van, egyebütt üres a kép,

– ennek a képnek a jele legyen EPOZ,

– az egyetlen e betű képe pedig E.

• Ekkor a SZOVEG, mint kép így adható meg:

TOBBIEPOZESZOVEG ahol TOBBI a kép többi, e betűktől különböző része.

ETOBBIEPOZESZOVEG 11

• Az E-vel dekonvolváljuk a SZOVEG-et:

Alakfelismerés

ETOBBIEPOZESZOVEG 11

• Az E-vel dekonvolváljuk a SZOVEG-et:

Megjelenik a keresett kép

Ha a többi betű nem hasonlít az e-re, ez jól levágható háttérzaj

Valóban az e betűk pozícióit találtuk meg!

További alkalmazások

– Rtg felvételek sorozata készül, különböző szögekből,– mindegyik felvétel 1-1 vetületi képet ad,– ezekből kell a térbeli képet előállítani.

– Egy vetületből a térbeli kép Fourier-együtthatóinak egy része előállítható.

– A testet körüljárva sok vetület készül, a Fourier-együtthatókból számolják vissza a test egy kereszt-metszetének a képét.

– A számítógép által generált képeket rtg-filmen rögzítik. E képsorozatot használják az orvosok.

További alkalmazások• CT képek készítése

zL

dzzyxfyxv0

),,(),(

dxdydzL

zp

L

yn

L

xmjzyxf

LLLC

x y zL L L

zyxzyxmnp

0 0 0

2exp),,(1

dxdyL

yn

L

xmjyxv

LLLC

x yL L

yxzyxmn

0 00 2exp),(

1

CT kiértékelés