a priori elképzelésünk b) van modellünk · osztályozás diszkriminancia analízis diszkrim.doc...
TRANSCRIPT
KEMOMETRIA VII-1/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A struktúra felismerés két módja: a) Nincs a priori elképzelésünk b) Van modellünk A modell lehet elméleti vagy kísérleti A kísérleti modellt illeszteni kell.
KEMOMETRIA VII-2/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Az illesztést (aktualizálás, paraméterbecslés, kalibrálás) ismert értékű objektumokkal végzik. (tanító halmaz, training set, referencia) Nincs training set = clusteranalízis, Kell training set = osztályozás
KEMOMETRIA VII-3/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A kovariancia mátrixról Ha
==
nmnjn
imiji
mj
ij
xxx
xxx
xxx
x
LL
M
LL
M
LL
1
1
1111
)(nmX
az adatmátrix, akkor
KEMOMETRIA VII-4/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
a centrált adatmátrix Gram mátrixa, (n - 1) szabadsági fokkal osztva a kovariancia mátrix.
nmmnmmXXC c
T
cn 1
1
−=
(A G Gram mátrix pozitiv szemidefinit, (det(G) ≥ 0), szimmetrikus és négyzetes)
KEMOMETRIA VII-5/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
C átlós elemei a varianciák, átlón kívüli
szimmetrikus elemei a kovarianciák
=
)var(0)cov(
0)var()cov(
)cov()cov()var(
2
1
mxxx
xxx
xxxxx
C
m1
21
m121
L
M
L
L
KEMOMETRIA VII-6/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Mint ismeretes var(X) = E((X-E(X))2), becsült értéke : s2
és cov(XjXk) = E((Xj-E(Xj)( Xk-E(Xk)) becsült értéke: rjk.sj.sk
rjk: korrelációs együttható.
KEMOMETRIA VII-7/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Ha a tulajdonságok nem kovariálnak, var(xj) = sj
2
jelöléssel: :
=
2
2
2
2
1
00
00
00
ms
s
s
L
M
L
L
C
KEMOMETRIA VII-8/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
és ha minden tulajdonság varianciája egyezik:
EC .22
2
2
2
100
010
001
00
00
00
ss
s
s
s
=
=
=
L
M
L
L
L
M
L
L
Ez a homoszkedasztikus eset
KEMOMETRIA VII-9/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A diszkriminancia analízis modelljei Az m-változós normális eloszlás sűrüség-
függvénye
( )
( ) ( )
−−−=
−
2exp
det2
1)(
1 cxCcx
Cx
T
mP
π
Itt: x egy m-méretű valószínűségi vektor, amelynek várható érték vektora c, és kovariancia mátrixa C.
KEMOMETRIA VII-10/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Képezhető a P(g│x) feltételes valószínűség:
Az x vektorú objektum ahhoz a cg súlypontú és Cg kovariancia mátrixú clusterhez tartozik majd, amelynél a P(g|x) feltételes valószínűség legnagyobb. Itt pg a Bayes elv alkalmazása miatt bevezetett a priori, ”prior” valószínűség.
KEMOMETRIA VII-11/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Célszerű a p(g│x) függvény logaritmusát tekinteni. A szélsőérték szempontjából közömbös
m
π2
1 tag elhagyása után
( )( )( ) ( ) ( ) )ln(detln2
ln2),(
gg
1
g
T
g CcxCcx
xx
+−−+−=
=−=−
gp
gPgD
Ez az érték legyen a helyes g megtalálásakor
maximális.
KEMOMETRIA VII-12/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A diszkriminancia elemzések fajtái Diszkriminancia elemzések clusterek (teljes)
kovariancia mátrixában különböznek.
Különleges eset a legközelebbi súlypont osztályozás, amelyben a tulajdonságok egyezó szórását és korrelálatlanságát is feltételezik.
KEMOMETRIA VII-13/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Diszkriminancia módszerek
Jellemző Elnevezés Közismert név Jel Cg =σ2 E
minden g-re Legközelebbi
súlypont osztályozás
Nearest Mean Classifier
NMC
Cg egyezik minden g-re
Lineáris diszkriminancia
analízis
Linear Discriminant
Analysis
LDA
Cg
különböző minden g-re
Kvadratikus diszkriminancia
analízis
Quadratic Discriminant
Analysis
QDA
KEMOMETRIA VII-14/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A legközelebbi súlypont módszer (NMC) diszkriminancia analízis azon esete, amelyben a célfüggvényt olyan rendszerre írjuk fel, amelyben minden clusterben minden tulajdonság szórása megegyezik és a tulajdonságok nem korrelálnak.
KEMOMETRIA VII-15/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A célfüggvényben ekkor a Cg kovariancia mátrix
helyére az s2.E mátrixot kell helyettesíteni:
( )( ) ( ) ( ) ( ) )ln(1
ln2ln2),( sms
pgPgD g +−−+−=−= g
T
g cxcxxx
Látszik, hogy a D(g,x) célfüggvénynek, osztályonként közös sg = s érték esetén ott van minimuma, ahol x legközelebb van cg súlyponthoz, azaz euklideszi távolságuk legkisebb. (N.B.: m ln (s) konstans)
KEMOMETRIA VII-16/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Még nyilvánvalóbb ez a tény, ha a pg prior
valószínűség minden osztályban egyezik, amikor a célfüggvény
( ) ( )g
T
g cxcxx −−=),(gD
Két cluster között az osztályhatár a két súlypontot összekötő egyenes felezőpontjában az egyenesre merőleges g-dimenziós hipersík
KEMOMETRIA VII-17/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A K-Nearest Neighbors (KNN) clusteranalizis és
a Nearest Mean Classifier (NMC) osztályozás ugyanúgy dönt az obejktumok clusterbe sorolásáról.
A különbség abban áll, hogy az osztályozásnál az osztálysúlypontokat az algoritmus a tanítóhalmaz (training set) elemeiből számítja, és azok az osztályozás során nem mozdulnak el.
KEMOMETRIA VII-18/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
PÉLDA NMC osztályozásra.
KEMOMETRIA VII-19/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
D:\SCAN-I\SCANWIN\DATA\OUR-DATA\IRIS.MTW File>Open Worksheet>d:\...\scan\iris.mtw File>Classify>NMC
KEMOMETRIA VII-20/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Input Predictors: (training set): a négy metrikus méret Select Category: (training set): species Select Options: Class Priors Loss Functions Proportional Unit Equal Spec. by... Spec. by...
KEMOMETRIA VII-21/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Graphs: mind a négy √ √ √ √
Storage: most nem kell OK OK OK Output
Nearest Mean Classifier (NMC)
Category Variable: species
KEMOMETRIA VII-22/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Class Prior N.obj Loss matrix
1 0.333 50 0.0 1.0 1.0
2 0.333 50 1.0 0.0 1.0
3 0.333 50 1.0 1.0 0.0
Prior: Bayes féle a priori valószínüség N.obj: Cluster létszám Loss matrix: Veszteségmátrix
KEMOMETRIA VII-23/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Veszteségmátrix g x g méretű négyzetes mátrix. (k,l) eleme az a nemnegatív szám, amellyel szorozni kell a k → l félreosztályozások számát. Az átlós elemek 0-k. Ha nincs veszteség, a szóbanforgó mátrixelemek 1-ek. A veszteségmátrixot kiegészitő részként az adatmátrixba kell bevinni
KEMOMETRIA VII-24/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
No-model Error Rate: 0.6667
No-model Risk: 0.6667
No-model Error Rate: nmax/nössz Elrettentő referencia érték No-model Risk: mint No-model Error Rate, veszteséggel súlyozva.
KEMOMETRIA VII-25/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Félreosztályozási mátrix
Misclassification Matrix
True Total Assigned classes
Class 1 2 3
1 50 50 0 0
1.000 0.000 0.000
2 50 0 46 4
0.000 0.920 0.080
3 50 0 7 43
0.000 0.140 0.860
KEMOMETRIA VII-26/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
321
3
2
1
assigned class
true
cl
ass
NMC Class Assignments
321
3
2
1
assigned classtr
ue
clas
s
NMC Xvalidated Class Assignments
KEMOMETRIA VII-27/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Hibás osztályozások 2. fajból 51, 52, 77, 78 a 3. fajhoz került.
3. fajból 107 114 120 122 127 128 139 a 2. fajhoz került.
Error Rate: 0.0733 Error Rate: 11 / 150 = 0.0733 Risk: 0.0733 Risk: 0.0733
KEMOMETRIA VII-28/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Cross-validated Misclassification
Matrix
True Total Assigned classes
Class 1 2 3
1 50 50 0 0
1.000 0.000 0.000
2 50 0 45 5
0.000 0.900 0.100
3 50 0 7 43
0.000 0.140 0.860
Cross-validated Error Rate: 0.0800
Cross-validated Risk: 0.0800
KEMOMETRIA VII-29/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
1
2
3
class 1
class 2
class 3
NMC ClassificationObject - Class Distances
Class
KEMOMETRIA VII-30/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
1
2
3
class 1
class 2
class 3
NMC ClassificationObject - Class Probabilities
Class
Skála: 0 - 1 Origó: bal alsó sarok.
KEMOMETRIA VII-31/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Keresztellenőrzés LOO Cross Validation LOO: Leave One Out Gondolatmenet
1. Hagyj ki egy objektumot az adatmátrixból 2. Végezz a tobbivel osztályozást 3. Számítsd ki, hová kerüljön a kihagyott
objektum, és helyezd el ott Ha a kihagyott objektum nem volt kiugró, nagyjából oda kerül, ahova egyébként került volna. Ha kiugró volt, a keresztellenőrzés átlagosabbal helyettesíti.
KEMOMETRIA VII-32/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
4. Tedd vissza a kihagyott objektumot az adatok
közé, és emeld ki a következőt 5. Ha ez a következő nem volt az utolsó, folytasd
az eljárást a 2. ponttól 6. Ha minden objektum sorrakerült, a kereszt-
ellenőrzés befejeződött és az eredmények (error rate, misclassification etc.) kiszámíthatók.
KEMOMETRIA VII-33/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Diszkriminancia módszerek
Jellemző Elnevezés Közismert név Jel Cg =σ2 E
minden g-re Legközelebbi
súlypont osztályozás
Nearest Mean Classifier
NMC
Cg egyezik minden g-re
Lineáris diszkriminancia
analízis
Linear Discriminant
Analysis
LDA
Cg
különböző minden g-re
Kvadratikus diszkriminancia
analízis
Quadratic Discriminant
Analysis
QDA
KEMOMETRIA VII-34/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Emlékeztetés: Háromféle korrelációs mátrixról beszélnek: 1. Teljes, kovarianciákat is tartalmazó 2. Átlós, csak varianciákat tartalmazó 3. s2E alakú, egyetlen varianciát tartalmazó
KEMOMETRIA VII-35/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Valamennyi kovariancia mátrix meghatároz egy
ellipszoidot. Az
km
jmm
m
T
j =−
11
xCx 1
kvadratikus alak ugyanis egy m-méretű. súlypontközepű ellipszoid egyenlete.
KEMOMETRIA VII-36/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Ez a kovariancia ellipszoid Általános esetben a koordináta tengelyekhez
képest elfordult n-dimenziós szivar, amelynek szélső értékei a szórások.
Átlós esetben a koordináta tengelyekkel párhuzamos tengelyű ellipszoid, amelynek féltengelyei hossza arányos a szórásokkal
Homoszkedasztikus esetben szórással arányos sugarú hipergömb
KEMOMETRIA VII-37/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
QDA esetén a g osztályok tetszőleges
kovariancia ellipszoidjai különbözhetnek. A training set-ből ki kell számítani g súlypontot, g x m varianciát és g x m(m-1)/2 kovarianciát. Az osztályokat elválasztó határok másodfokú felületek.
LDA esetén a g osztályok tetszőleges kovariancia ellipszoidjai nem különböznek. A training set-ből ki kell számítani g súlypontot, m varianciát és m(m-1)/2 kovarianciát. Az osztályokat elválasztó határok hipersíkok.
KEMOMETRIA VII-38/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
NMC esetben minden osztály kovariancia
ellipszoidja azonos sugarú m-méretű hipergömb. A training set-ből ki kell számítani g súlypontot, és egy varianciát. Az osztályokat elválasztó határok hipersikok.
KEMOMETRIA VII-39/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
RDA = Regularized Discriminant Analysís Hangolt, beállított diszkriminancia elemzés
Állítsuk be Cg kovariancia mátrixot E, C és Cg közé valahova, oly célból, hogy a beállított mátrix-szal való osztályozás keresztellenőrzött kockázata minimális legyen.
KEMOMETRIA VII-40/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Használjunk a beállításhoz két paramétert: λ-t és γ-t
( ) ( ) CCC gg λλλ +−= 1
( ) ( ) ECCC ggg */))(()(1, mtrace λγλγγλ +−=
KEMOMETRIA VII-41/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
Itt
( )( ) ( )( )
( ))((var
)()( ,1,
λ
λλλλ
g
mgg
ave
cavem
cc
m
trace
x
Cg
g
=
==++
=L
a beállított kovariancia mátrix átlós elemeinek (a varianciáknak) átlaga. Ez a skalár E-vel szorozva az átlagvariancia mátrix.
KEMOMETRIA VII-42/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A paraméterek változtatásával a határesetek is
előállíthatók. γ = 0, λ = 0
( ) gg CC =λ ( ) CgCg =γλ, (QDA) γ = 0, λ = 1
( ) CCg =λ ( ) CCg =γλ, (LDA) γ = 1, λ = 1
( ) CCg =λ ( ) ECCg *)/)((, mtrace=γλ (NMC)
KEMOMETRIA VII-43/43 /2013 ősz Osztályozás Diszkriminancia analízis
Diszkrim.doc
A beállító paraméterek rendszeres próbálgatással határozhatók meg.