sűrűségfüggvény parzen becslés mintapontszám, szigma
DESCRIPTION
Sűrűségfüggvény Parzen becslés Mintapontszám, szigma. Küszöb hatása távolságnál. (távolságnál). Skálázás hatása. Skálázás hatása. K-means. Kohonen map. Kiinduló adatok. SOM (Kohonen) kiinduló számos iteráció után. Kohonen map. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/1.jpg)
Sűrűségfüggvény Parzen becslés
Mintapontszám, szigma
![Page 2: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/2.jpg)
(távolságnál)
Küszöb hatása távolságnál
![Page 3: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/3.jpg)
Skálázás hatása
![Page 4: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/4.jpg)
Skálázás hatása
![Page 5: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/5.jpg)
K-means
![Page 6: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/6.jpg)
![Page 7: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/7.jpg)
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
(b)
200 tanító lépés utáni állapot
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
(a)
kiinduló állapot
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
(c)
4000 tanító lépés utáni állapot
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
(d)
78000 tanító lépés utáni állapot
Kohonen map
![Page 8: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/8.jpg)
![Page 9: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/9.jpg)
![Page 10: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/10.jpg)
Kiinduló adatok
![Page 11: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/11.jpg)
SOM (Kohonen)
kiinduló számos iteráció után
![Page 12: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/12.jpg)
Kohonen map
![Page 13: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/13.jpg)
SOM eredménySzövegbányászati alkalmazás
Több mint 12000 dokumentum feldolgozás
Világos helyek sűrűsödések
![Page 14: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/14.jpg)
NN klaszterezés: két Gauss eloszlású mintakészlet; hozzáadva egy pontot a helyzet nagyon megváltozik
![Page 15: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/15.jpg)
Példa PCA alkalmazására képtömörítésnél.
![Page 16: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/16.jpg)
Sajátértékek alakulása
![Page 17: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/17.jpg)
Az első 20 legfontosabb sajátvektor (sajátkép)
![Page 18: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/18.jpg)
A 141-160 saját értékekhez tartozó sajátképek
![Page 19: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/19.jpg)
Kernel PCA
)( ,: xΦXxΦ FNR 1
1C Φ x Φ x
P T
j jjP
VCV
P
iii
1
xΦV
Φ x V Φ x CVT Tk k
P
i
P
i
P
jij
Tjk
Tiik
Ti P1 1 1
1xΦxΦxΦxΦxΦxΦ
jiT
jiij KK xΦxΦxx ,
αKKα 2P
KααP
1kTk VV
kTkk
P
ji
kTkij
kj
ki
P
jiji
Tkj
ki
K
αα
αKα
xΦxΦ
1,
1,
1
P
ii
ki
P
ii
Tki
Tk K11
,xxxΦxΦxΦV
A sajátvektorok normalizálása
A sajátvektorra vett vetület:
![Page 20: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/20.jpg)
1
1Φ x Φ x Φ x
P
i i kkP
jiT
ijK xΦxΦ~~~
αα ~~~~K iP
i i xΦV~~~
1
ijPPPP
P
kpkjpkip
P
p
P
kkjikpjipij
P
kkj
P
ppiij
KP
KP
KP
K
PPK
K11K1K1K
xΦxΦxΦxΦ
1,2
1 1
11
111
11
11
11~
A nulla várhatóérték biztosítása a jellemzőtérben
jiT
ijK xΦxΦ 11 ij PijP /11
Kapcsolat a nulla várhatóértékű és az eredeti kernelmátrixok között
![Page 21: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/21.jpg)
Nemlineáris főkomponens probléma: tesztfeladatok
![Page 22: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/22.jpg)
Kernel PCA egyre magasabb-fokú polinom kernellelfokszám: 1 2 3 4
Az e
lső
háro
m s
aját
vekt
or „
irány
” a
bem
eneti
térb
en á
bráz
olva Konstans
főkom-ponens értékek vonalai a bemeneti térben ábrázolva
![Page 23: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/23.jpg)
eredeti
zajos
M=1
4
16
64
256
M=1
4
16
64
256
Gauss zaj pontszerű zaj
PCA-KPCA zajszűrő hatás összehasonlítása
PCA
KPCA
Gauss kernel
![Page 24: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/24.jpg)
![Page 25: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/25.jpg)
![Page 26: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/26.jpg)
Független komponens analízis, ICA
Alapprobléma:
Statisztikai függetlenség és korrelálatlanság
Nemgauss-ság szupergauss (pl. exponenciális), szubgauss (pl. egyenletes)
Mintapéldák időfüggvények, hangfájlok, 2D mintapontkészlet
http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi
![Page 27: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/27.jpg)
http://research.ics.aalto.fi/ica/cocktail/cocktail_en.cgi
![Page 28: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/28.jpg)
3 eredeti jel
![Page 29: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/29.jpg)
3 megfigyelt kevert jel
![Page 30: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/30.jpg)
3 visszaállított jel
![Page 31: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/31.jpg)
3 eredeti jel 3 visszaállított jel
![Page 32: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/32.jpg)
![Page 33: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/33.jpg)
ICAMomentumok, centrális momentumok
kurtózis, normalizált kurtózis, fehérített eset
![Page 34: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/34.jpg)
ICAInformációelméleti alapfogalmak
entrópia
Differenciális entrópia (folytonos valószínűségi változónál)
![Page 35: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/35.jpg)
ICAKülönböző megközelítések
1. Nemgauss-ság alapon,• kurtózis, mivel a Gauss kurtózisa nulla
• szub Gauss, szuper GaussAsx
Keressük z1-et és z2-t
z1=1 és z2=0 vagy fordítva
![Page 36: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/36.jpg)
1. Nemgauss-ság alapon,• negentrópia, mivel a Gauss entrópiája maximális
(ha a kovariancia mátrix azonos)
A negentrópia mindig nemnegatív és csak akkor nulla, ha y Gauss
![Page 37: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/37.jpg)
Kölcsönös információ minimalizálása alapján
A komponensenkénti entrópiák összege és az együttes entrópia különbsége
...ML becslés alaponMegfelelő vetítési irány keresése alaponNemlineáris PCA alapon ...
Előfeldolgozás: fehérítés
Gyors algoritmusok:
![Page 38: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/38.jpg)
![Page 39: Sűrűségfüggvény Parzen becslés Mintapontszám, szigma](https://reader035.vdocuments.site/reader035/viewer/2022062321/568132f4550346895d99afc0/html5/thumbnails/39.jpg)
Mi maradt ki:
Sokminden : regresszió, osztályozás, klaszterezés dinamikus modellek (pl. HMM) hiányzó adatok kezelése, inputation, EM algoritmus ...