Analiza neodvisnih Analiza neodvisnih komponent (ICA)komponent (ICA)

Fakulteta za elektrotehnikoFakulteta za elektrotehniko

Avtor: Alan Keber

Mentor: prof. Dr. Stanislav Kovačič

Seminarska naloga

Primer:Primer:

tx2

tx1 ts1

ts2

tsatsatx

tsatsatx

2221212

2121111

tx1

tx2

ts1

ts2

ts1̂

ts2ˆ

Asx

Statistična neodvisnost

Definicija za statistično neodvisnost:

nn

n

yfyfyfyyyf

yyy

...),...,,(

,...,,

2121

21

Naključne spremenljivke y so medsebojno neodvisne, če je funkcija gostote verjetnosti enaka produktu gostot verjetnosti za vsako spremenljivko posebej.

Če so naključne spremenljivke medsebojno statistično neodvisne, so tudi nekorelirane, obratno pa ne velja. Potreben, vendar ne zadosten pogoj za statitistično neodvisnost je nekoreliranost. Nekoreliranost je zadosten pogoj za neodvisnost le vprimeru Gaussove porazdelitve naključnih spremenljivk.

22112211 {}{}{ ygEygEygygE

Definicija nekoreliranosti:

}{}{}{ 2121 yEyEyyE

Primer:Primer:

uniformna porazdelitevneorelirane spremenljivke

statistično neodvisne spremenljivke

Nekorelirane spremenljivkestatistično odvisne spremenljivke

Imamo dve neodvisni spremenljivki s, ki so uniformno porazdeljene, so neodvisne in nekorelirane (spodnja slika levo). Če je matrika A ortogonalna in če monžimo matriko A z vektorjem naključnih spremenljivk s po spodnji enačbi, potem dobimo vektor naključnih spremenljivk x (spodnja slika desno), za katere velja:

• naključne spremenljivke x so nekorelirane

• x so statistično odvisne

Asx

Definicija linearnega ICAIskanje statistično neodvisnih spremenljivk s iz meritev x sestoji iz določanja linearne treansformacije oz. matrike W tako ,da velja enačba:

Wxs Matriko W iščemo s pomočjo maksimizacije ali minimizacije kriteriske funkcije:

nsssF ,...,, 21

Kriterijska funkcija je merilo za statistično neodvisnost.

Asx1AW

Velja tudi spodnja enačba:

kjer je:

Določljivost ICA modela

Model ICA je možno določiti, če velja :

• statistično neodvisne spremenljivke s ne smejo biti porazdelejne po Gaussu, razen ene

• število meritev x mora biti vsaj toliko veliko, kot je število neodvisnih spremenljivk s

• matrika A mora biti polnega ranga

Asx Enačba modela ICA:

Primer:

Dve naključni spremenljivki s porazdeljeni po Gaussu. Ker je simetrična porazdelitev, bo ne glede na matriko A ostala (ortogonalna matrika), ostala enaka.

Kriterijske funkcije za ocenitev ICA modelaKurtosis:Kurtosis:

Diferenčna entropija:Diferenčna entropija:

}{3}{ 24 sEsEskurt

Je kriterij za merjenje, koliko so naključne spremenljivke s porazdeljena po Gaussu oz. koliko niso.

Če je naključna spremenljivka porazdeljena po Gaussu, potem je vrednost kurt(s)=0

Definicija entopije:

Največja vrednost entropije je, kadar so naključne spremenljivke porazdeljene po Gaussu, vse z enako varianco. Zato lahko zapišemo kriterijsko funkcijo (spodnja enačba), ki bo vedno večja ali enaka 0. 0 bo le v primeru, ko bodo naključne spremenljivke porazdeljene po Gaussu.

yHyHYJ Gauss )(

i

YpYpYH log

Aproksimacija diferenčne entropije:Aproksimacija diferenčne entropije:

Ker je računanje kriterijske funkcije po enačbi za diferenčno entropijo računsko prezahtevna naloga, se poslužujemo pribljižka po spodnji enačbi:

}{}{ GEyGEYJ je Gaussova spremenljivka, za katero velja:

4

2

1

4

1

coshlog1

2

yyG

eyG

yaa

yG

y

a

Primeri za funkcijo G:

Z aproksimacijo diferenčne entropije dosežemo kompromis med lastnostmi Kurtosis-a in lastnostmi diferenčne entropije.

IvvE

vET

}{

0}{

Predobdelava podatkov Pred samo izvedbo ICA algoritma, je koristno, če se izvede predobdelava vektorja

naključnih spremenljivk x.

Centriranje:Centriranje:

Beljenje:Beljenje:}{xExx

Vektorju naključnih spremenljivk odštejemo njegovo povprečno vrednost.

Prva predpostavka je, da je vektor x je centriran po zgornjem postopku. Če vektor x še dekoreliramo, potem smo že bližje statistični neodvisnosti (x je nekoreliran). Vektor x je nekoreliran, če je cov(x)=I. Postopku, ki doseže, da je cov(v)=I, pravimo beljenje. Postopek beljenja poteka s pomočjo PCA metode.

IEDEDEED

EDxEDEDxxEDEv

EDEx

EDV

xEDv

TT

TTT

T

T

T

2

1

2

1

2

1

2

1

2

1

2

1

2

1

2

1

cov}{cov

cov

•E je matrika lastnih vektorjev po PCA metodi

• D matika lastnih vrednosti po diagonali

Primer beljenja:Primer beljenja:

IBBBssBEv

VAB

BsVAsVxv

TTT

}{)cov(

Primer prikazuje vektor x, ki je sestavljen iz linearne transformacije dveh neodvisnih naključnih spremenljivk z uniformno porazdelitvijo (slika desno). Slika desno prikazuje pobeljen vektor naključnih spremenljivk.

Če je cov(s)=cov(v)=I => B je ortogonalen.

Preizkus FP-ICA algoritma na slikahIzbral sem FP-ICA algoritem, ki temelji na maksimizacije funkcije Kurtosisa. Pogoj za delovanje tega algoritma je da je vektor x predhodno centriran in pobeljen. Dobra lastnost tega algoritma je, da hitro konvergira proti rešitvi.

1. preizkus:1. preizkus:• dve 8 bitni bmp sivi sliki dimenzij 112 x 92

• vsako sliko predstavimo kot vektor p dimenzije 112 x 92

• naredil x=Hp, kjer je H permutacijska matrika polnega ranga

• preko FP-ICA ocenil s

• narisal s

2. preizkus:2. preizkus:• 24 bitna RGB bmp slika dimenzij 640 x 480

• sliko ločil na R,G,B, kjer vsaka komponenta predstavlja svoj vektor dimenzije 640 x 480

• preko FP-ICA ocenil s

•Združil zopet v 24 bitno RGB sliko in jo narisal

1. preizkus:1. preizkus:

Original sliki Pomešani sliki Ocenjeni sliki

2.15.0

5.05.0H

Original sliki Pomešani sliki Ocenjeni sliki

2.13.1

8.05.0H

2. preizkus:2. preizkus:

Originalna slika Ocenjena slika

Originalna slika Ocenjena slika

Uporaba ICA:

• Magnetocefalografija

• ekonomija (iskanje skritih faktorjev v finančnih podatkih)

• čiščenje šuma iz slike

• telekomunikacije

Literatura HyvHyväärinen, A., Oja, E. (1999) Independent Component rinen, A., Oja, E. (1999) Independent Component

Analysis: Algorithms and Applications. Neural Networks.Analysis: Algorithms and Applications. Neural Networks. Hurri, J. (1997) Independent component analysis of image Hurri, J. (1997) Independent component analysis of image

data. Master thesis, Dept. of Computer Science and data. Master thesis, Dept. of Computer Science and Engineering, Helsinki University of Technology. Engineering, Helsinki University of Technology.

HyvHyväärinen, A., Oja, E. (1997) A Fast Fixed-Point Algorithm rinen, A., Oja, E. (1997) A Fast Fixed-Point Algorithm for Independent Component Analysis. Neural Computation, for Independent Component Analysis. Neural Computation, 9: 1483-1492.9: 1483-1492.

HyvHyväärinen, A. (1999) Fast and Robust Fixed-Point rinen, A. (1999) Fast and Robust Fixed-Point Algorithms for Independent Component Analysis. IEEE Algorithms for Independent Component Analysis. IEEE Trans. On Neural Networks.Trans. On Neural Networks.

HyvHyväärinen, A. Survey on Independent Component rinen, A. Survey on Independent Component Analysis. URL naslov: Analysis. URL naslov: http://www.cis.hut.fi/~aapo/http://www.cis.hut.fi/~aapo/ (20.4.2003)(20.4.2003)

KONEC

Hvala za potrpežljivost.