képregisztrációs eljárásokhome.mit.bme.hu/~hadhazi/oktatas/okd17/regisztracio.pdfmintákból...
TRANSCRIPT
-
Képregisztrációs eljárások
Orvosi képdiagnosztika
2017 ősz
-
• Két kép egymáshoz igazítása, illesztése
– Példák:
• Időbeli követés
• Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI, ...)
fúzió
• Műtét (menet közbeni felvétel előzetes felvétellel való
összevetése)
• Kép alapú egyéb beavatkozás (besugárzás beállítás... )
• Mozgás hatásának kompenzációja
• I1 és I2: referencia kép, új kép
• A regisztrációs eljárások elemei:
– Transzformáció, interpoláció, hasonlósági metrika, optimalizálási
algoritmus
Regisztráció célja
-
Regisztráció célja
Korábbi felvétel Későbbi, ellenőrző felvétel
Időbeli követés
-
Korábbi felvétel Egyszerű kivonás
Regisztráció célja
Időbeli követés
-
Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás
Regisztráció célja Időbeli követés
-
Korábbi merev regisztráció Későbbi rugalmas regisztrációval
elastic B-spline registration
Regisztráció célja
Időbeli követés
-
Korábbi merev regisztrációval Végső összehasonlítás
Regisztráció célja
Időbeli követés
-
• Fúzióra:
– MRI-CT, PET-CT
– CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor,
gyulladás
Regisztráció célja
-
Regisztráció célja
• Feltételezve, hogy a megfeleltetés ismert
keressük azt az f () és g() függvényt, hogy a két kép a lehető legjobban illeszkedjen (valamilyen kritérium értelmében)
• I2(x,y)=g (I1(f (x,y))
• f () – 2D képbeli transzformáció
• g() –1D intenzitás transzformáció
-
• Dimenzió:
• 2D-2D, 2D-3D, 3D-3D
• A regisztráció bázisa
– pontok vonalak, felületek, ...
• Geometriai transzformáció
– merev, nem merev
• Az interaktivitás mértéke
– teljesen automatikus, emberi közreműködés
• Optimalizáló eljárás
– hasonlóságmérték, hibafüggvény
– zárt forma, analitikus megoldás, iteratív megoldás
• Modalitás
– azonos
– különböző (multimodalitás)
• A regisztáció objektuma
– azonos, különböző (fúzió)
Regisztráció csoportosítása
-
Képbeli (sík) transzformációk
• Merev – Távolságtartó – egybevágósági transzformáció
• Nem merev – Merev + skálázás
– Affin: egyenestartó párhuzamosság megtartó
– Projektív: egyenestartó
– Perspektívikus
– Görbült, általános nemlineáris: globális polinom
– Görbült, általános nemlineáris: lokális polinom
– Általános nemlineáris: Spline, RBF, neuronháló
– ....
-
Merev Transzformáció skálázással
• Forgatás (R)
• Eltolás (t)
• Skálázás (s)
2
2
2
x
y
p1
1
1
x
y
p
2 1 p t sRp
cos( ) sin( )
sin( ) cos( )
R
1
2
s
s
s1
2
t
t
t
Műveletek sorrendje nem közömbös (ha s nem skalár).
Általában:
Izotróp skálázás: hasonlósági transzformáció
2 1 p t Rsp
Rs sR
T R R E
-
Affin transzformáció
• Forgatás
• Eltolás
• Skálázás
• Nyírás
• R elemeire (aij) nincs semmi megkötés azon kívül, hogy nem szinguláris
1
1
2221
1211
23
13
2
2
y
x
aa
aa
a
a
y
x
A párhuzamosok párhuzamosak maradnak, síkok/egyenesek síkok/egyenesek maradnak
2 1 p t Rp
-
Affin transzformáció
• Kiindulás: vegyünk egy euklideszi síkot.
• A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le.
• Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése.
– a) párhuzamos egyeneseket párhuzamos egyenesekbe képez
– b) parallelogrammát parallelogrammába képez
• A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.
-
Projektív transzformáció
• Megtartja az egyeneseket és a síkokat • (x1,y1) eredeti koordináták
• (x2,y2) transzformált koordináták
• aij együtthatók a kép és a síkok egyenleteiből számíthatók
• homogén lineáris transzformáció aij –kből képzett mátrixa nem szinguláris
11 1 12 1 13
2
31 1 32 1 33
a x a y ax
a x a y a
21 1 22 1 23
2
31 1 32 1 33
a x a y ay
a x a y a
1
2
1
T
Rp tp
v p
11 12
21 22
a a
a a
R
13
23
a
a
t31
32
a
a
v 33a
-
Összetett transzformációk görbült (nemlineáris) transzformációk
Globális polinomiális transzformáció Lehet többváltozós polinom is: Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában
( ) ( )( ) ( )x yT P x P y
, ,
1 2
1 , 1 1 , 1 1
, ,
I J I J
i j i j
i j i j
i j i j
x y x y
p c c
, 2I J
-
Oszcilláció elkerülése: szakaszonként polinomiális traszformáció: a tér particionálása négyszögletes tartományokra Minden i,j tartományra T transzformációt hajtunk végre, ahol P egy egyváltozás m-ed fokú polinom A négyszögletes tartományok határán a folytonosság, ill. a folytonos differenciálhatóság biztosítható: spline (gyakori: köbös spline, B-spline). Egyenletes csomopont elhelyezés mellett Egyváltozós B-splineok
Összetett transzformációk görbült (nemlineáris) transzformációk
, ,( ) ( )x y
i j i jT P x P y
0 1 2 30
0.2
0.4
0.6
0.8
1
0 0.5 1 1.5 20
0.2
0.4
0.6
0.8
1
0 1 2 30
0.2
0.4
0.6
0.8
1
0 1 2 3 40
0.2
0.4
0.6
0.8
1
egyébként0
ha1)(
)(1
)()(
1
1
1
11
jj
j
k
j-kj
jj
k
j-kj-
j-kj
k
IxxB
xBx
xBx
xB
N
iii
xgg1
x
Ij=(j-1j] a j-edik bemeneti intervallum
Többváltozós: tenzorszorzatttal:
-
• Általános folytonos nemlineáris transzformációk
• Tetszölegesen elhelyezett kontrolpontoknál is működik – Radiális bázisfüggvényes leképezés
– Szakaszonként lineáris
– Köbös
– Multikvadratikus, ha =1/2
– Inverz multikvadratikus, ha =2
– Thin plate spline
– Gauss
Összetett transzformációk görbült (nemlineáris) transzformációk
)
g r r
3g r r
2 2g r c r
2 2g r c r
2 lng r r r
-
Regisztrációs eljárások elemei
• Jellemzők meghatározása
• Hasonlósági mértékek definiálása
• Keresési stratégiák / optimalizálás végrehajtása
-
Jellemző alapú regisztráció
• Jellemzők:
– Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb.
– Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny)
– Intenzitás (a teljes képet felhasználja)
– Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek
– Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,
– ...
-
Regisztrációs módszerek
• Pont alapú
• Intenzitás alapú (Korreláció, stb)
• Fourier
-
Pont leképezés alapú regisztráció
• Referenciapontok meghatározása
• Referenciapontok: – anatómiai jelentéssel rendelkező pontok
– egyéb markerpontok: jól megkülönböztethető, azonosítható pontok
– Fontos a pontok minél pontosabb meghatározása (lokalizációs hiba)
– Interaktív bejelölés
– Automatikus kiválasztás
• Megfelelő transzformáció keresése a pontok megfeleltetéséhez
-
Regisztráció minősítése, kritériumfüggvény - egybevágósági:
Ortogonális Procrustes
Pont leképezés alapú regisztráció
Véletlen nulla várható értékű, izotróp eloszlású hiba
-
Regisztrációs algoritmusok
1. Pont alapú merev regisztráció (egybevágósági transzf):
Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint)
súlyok ahol
1. Súlyozott centroidok:
2. Középpont eltolás
3. Súlyozott kovarianciamátrix számítás
4.
5.
6.
22
1
1( , )
N
i i i
i
C wN
R t Rx t y 21
i
i
wFLE
2iFLE
2 2
1 1
1/
N N
i i i
i i
w wN
x x
lokalizációs hiba
2 2
1 1
1/
N N
i i i
i i
w wN
y y
; i i i i x x x y y y
2
1
N
T
i i i
i
w
H x y
1 2 1 2 ( , ) 0
(1,det( ))
T T T
T
diag
diag
H UΛV U U V V I Λ
R V VU U
t y Rx
-
Regisztrációs algoritmusok – Ortog.
Procrustes eljárás (1)
•
•
•
•
• Tehát
•
• Vegyük a SVD felbontást
• Tehát ortonormált mátrixok, pedig diagonális,
minden eleme nem negatív
2arg min . . T
F s t
S
R SA B S S I
2 TF Tr SA B SA B SA B SA B SA B
2T T T T TTr Tr SA B SA B A S SA B B B SA
2 , , 2 ,T T T TTr A S SA B B B SA A A B B B SA
arg max , . . T s t S
R B SA S S I
, , T T T T T TTr Tr Tr B SA SA B A S B BA S S BAT TBA UΛV
, ,U V S Λ
-
Regisztrációs algoritmusok – Ortog.
Procrustes eljárás (2)
• Tehát maximalizáljuk -t
– De ortonormált, míg diagonális
– Tehát
– Használjuk ki azt, hogy ortonormált, és
• Ott van a maximum, ahol
• Mivel ortonormáltak, ezért
• Tehát levezettük, hogy
– Másik megközelítésnél súlyozzuk a mintákat
– És az 5. pontban kikényszerítjük, hogy +1 legyen , azaz
forgatást kapjunk, egyébként analóg a két módszer
–
T T T TTr TrS UΛV V S UΛT T
V S U Λ
, ,T T T T
i i i ii
Tr V S UΛ V S UT T
V S U
T T V S U I
R N NΛ
,V U T TS VU TS UV
TR UV
det R
, ,..., , ,..., 1 2 M 1 2 MA x x x B y y y
-
Regisztrációs algoritmusok
2. Hasonlósági transzformáció
2
1
2
1
N
T
i i i
i
N
T
i i i
i
w
s
w
s
Rx y
x y
t y Rx
22
1
( , , )
N
i i i
i
C s w s
R t Rx t y
Keressük R, t és s értékeit, melyek mellett minimális: Legyen s=1 Határozzuk meg R-et az előző alg. 1.-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt
-
3. Nemizotróp skálázás
Regisztrációs algoritmusok
Keressük R, t és S értékeit, melyek mellett minimális:
Határozzuk meg az és középértékeket és az eltolt értékeket: Legyen n=1
Válasszunk kezdeti skálázási mátrixot S(0)
iteráció: - Legyen - Hajtsuk végre az 1. algoritmus 3.-5. lépéseit R meghatározására - n=n+1
- Határozzuk meg S(n)-t
- Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment
x y x y
( ) ( )n n
i ix S x
22
1
1( , , )
N
i i i
i
C wN
R t S RSx t y
-
• Korreláció
• A két kép 2D normalizált kereszt korrelációs függvénye
Hasonlóságot mér különböző eltolások esetén
A normalizálás a lokális
intenzitás hatásának
kiküszöbölésére kell
Intenzitás alapú eljárás
1 2
2
2
( , ) ( , )( , )
( , )
x y
x y
I x y I x u y vC u v
I x u y v
-
Korreláció tétel
• A két kép korrelációjának Fourier transzformáltja az
egyik kép Fourier transzformáltjának a szorzata a másik
Fourier transzformáltjának komplex konjugáltjával.
• Egydimenziós esetre a korreláció tétel
exp 2
exp 2 exp 2
z x t y t dt x t Y j t d dt
z Y x t j t dt j d
Z Y X
-
Fourier transzformáción alapuló módszerek
• Fázis-korreláció
• Kereszt teljesítmény spektrum
• Teljesítmény cepstrum
A Fourier transzformáción alapuló módszerek hatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk)
Ez is intenzitás alapú eljárás – lokális intenzitásváltozásokat képtelen követni.
-
Fázis korreláció alapú regisztráció eltolás
transzformáció identifikálására
• Egymáshoz képest eltolt képek transzformáció-jának identifikációja
– Eltolás modellezhető egy megfelelő helyen lévő dirac-deltával történő konvolúcióval.
–
– Tehát
– Vizsgáljuk meg a két jel kereszt teljesítmény spektrumát:
– Innen az eltolás már könnyen kiszámítható
• Lokális intenzitásváltozásokat nem képes figyelembe venni
0 0exp 2F x x j x
0 0exp 2F y x x x Y j x
0exp 2j x Y Y Y Y
1 10 0exp 2F j x F Y Y Y Y x x
-
Fázis korreláció alapú regisztráció elforgatás
transzformáció identifikálására
• Egy kép fokkal középpontja körüli elforgatása a kép spektrumát is ilyen mértékben forgatja el:
– Egyszerűen belátható a Fourier vetítősík tétel alkalmazásával
• Ampl. spektrum eltolás invariáns:
– Tehát ha az ampl. spektrum elfordulását meg tudnánk határozni, akkor kész lenne a regisztráció
– Az elforgatás az ampl. spektrum polár koordinátás felírása esetén megegyezik a vízszintes tengellyel bezárt szög szerinti cirkuláris eltolással
– Tehát visszavezettük a problémát az eltolás meghatározására
-
Fourier vetítősík tétel
-
Példa – Fourier regisztráció
100 200 300 400 500 600 700
100
200
300
400
500
600
700100 200 300 400 500 600 700
100
200
300
400
500
600
700
-
Példa – Fourier regisztráció
A két kép ampl. spektruma polárkoordinátás
ábrázolásban
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
theta theta
frekvencia
frekvencia
-
Fourier regisztráció példa
-
Hasonlóság mértékek
• Intenzitás alapú eljárásokhoz
• Kép különbségképzés: SSD sum of squares of intensity differences
• Korrelációs együttható
• Együttes sűrűségfüggvény
ahol Hist(j,k) a két kép együttes hisztogramja
1 2
2
2
( , ) ( , )( , )
( , )
x y
x y
I x y I x u y vC u v
I x u y v
2
1 2
1
1( ) ( )
N
i
SSD I i I iN
,
( , )( , )
( , )j k
Hist j kPDF j k
Hist j k
-
Együttes hisztogram
• MR-MR
• MR-CT
• MR-PET
illeszkedő kis elmozdulás nagyobb elmozdulás
-
Együttes hisztogram - fúziós regisztráció
-
Együttes hisztogram - fúziós regisztrációs
tökéletesen illeszkedő 2mm elmozdulás 5mm elmozdulás
képek az egyik képnél
Megfigyelés: a két kép tökéletes illesztésénél az együttes hisztogram a legélesebb
-
PET - CT
-
Hasonlóság mértékek
( ) log ( )s
H p s p s
Intenzitás alapú eljárásokhoz Entrópia Az együttes entrópia (minimalizálás) Kölcsönös információ (maximalizálás)
MI(I1, I2’) = H(I1)+H(I2’)-H(I1,I2’)
Kullback-Leibler divergencia
,
( , ) log ( , )j k
H PDF j k PDF j k
1 2
,
( , ') logij
ij
i ji j
pMI I I p
p p
1,
1 2 1,
2,
( , ') logi
i
ii
pKL I I p
p
-
Hasonlósági metrikák
• Normalizált keresztkorrelációs függvény
– Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a
korrelációtérben nagy csúcsot találni
• Korrelációs együttható
• Fázis korreláció
– Frekvenciafüggő zajra nem érzékeny
• Az intenzitáskülönbségek abszolút értékeinek összege
– Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést
lehet találni
• Kontúr/felszín különbségek
– Strukturális regisztráció esetén jó
• Előjelváltások száma a pontonkénti intenzitáskülönbségeknél
– Nem hasonló képeknél működik jól