kanoni ka korelaciona analiza i primene - pmf.ni.ac.rs · anoni£kak korelaciona analiza se koristi...
TRANSCRIPT
Univerzitet u Ni²u
Prirodno - matemati£ki fakultet
Departman za matematiku
KANONI�KA KORELACIONAANALIZA I PRIMENE
Master rad
Student:
Martina M. �iki¢
Mentor:
Prof. dr Aleksandar S. Nasti¢br. indeksa 177
Ni², 2019.
Sadrºaj
1 Uvod 3
2 Populaciona kanoni£ka korelaciona analiza 5
2.1 Slu£ajni vektor i linearna kombinacija njegovih koordinatnih promen-ljivih . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Najbolje linearne kombinacije . . . . . . . . . . . . . . . . . . . . . . 92.3 Konstrukcija vektora kanoni£kih koe�cijenata . . . . . . . . . . . . . 122.4 Standardizovane promenljive . . . . . . . . . . . . . . . . . . . . . . 232.5 Interpretacija kanoni£kih promenljivih i kanoni£kih korelacija . . . . . 27
2.5.1 Tradicionalno tuma£enje . . . . . . . . . . . . . . . . . . . . . 272.5.2 Kanoni£ka optere¢enja . . . . . . . . . . . . . . . . . . . . . . 27
2.6 Generalizacija nekih drugih koe�cijenata korelacije i indeksi redu-dantnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Uzora£ka kanoni£ka korelaciona analiza 34
3.1 Uzora£ke kanoni£ke promenljive i uzora£ke kanoni£ke korelacije . . . 373.2 Matrice uzora£kih kanoni£kih optere¢enja . . . . . . . . . . . . . . . 393.3 Dodatna merenja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3.1 Matrice gre²ke aproksimacije . . . . . . . . . . . . . . . . . . . 413.3.2 Proporcija obja²njene uzora£ke varijanse . . . . . . . . . . . . 43
3.4 Svojstva i testovi kod velikih uzoraka . . . . . . . . . . . . . . . . . . 46
4 Primena 50
4.1 Primer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504.2 Kanoni£ka korelaciona analiza u R-u . . . . . . . . . . . . . . . . . . 52
5 Dodatak A 55
6 Zaklju£ak 63
Literatura 64
Biogra�ja 65
2
Glava 1
Uvod
Multivarijacione statisti£ke metode omogu¢avaju istovremeno analiziranje vi²epromenljivih kori²¢enjem teorije matrica. Kanoni£ka korelaciona analiza je mul-tivarijaciono pro²irenje korelacione analize. Predstavlja generalizaciju Pirsonovogkoe�cijenta korelacije i jedna je od najop²tijih multivarijacionih metoda. Bavi seutvr�ivanjem postojanja veze i ispitivanjem njene ja£ine izme�u dva skupa pro-menljivih, izme�u kojih ne mora da postoji uzro£no-posledi£na veza. Kao takva,kanoni£ka korelaciona analiza se koristi za re²avanje raznih teorijskih i primenjenihproblema u ekonometriji, poslovanju, psihologiji, obrazovanju, ekologiji, atmosfer-skim naukama itd.
Osnovnu teoriju kanoni£ke korelacione analize je razvio Hotelling ("Relation Be-tween Two Sets of Variates", 1936). Metodu je primenio na vezu izme�u dva skupapromenljivih, od kojih prvi skup £ine rezultati brzine £itanja i snage £itanja, dokse drugi skup sastoji od tako�e dve promenljive koje opisuju aritmeti£ku brzinu iaritmeti£ku snagu. Rezultati testova £itanja i aritmeti£kih testova dobijeni su odukupno 140 u£enika £etvrtog razreda osnovne ²kole.
U ovom radu ¢emo se upoznati sa nekim osnovnim svojstvima kanoni£ke korela-cione analize. Fokusira¢emo se isklju£ivo na ovu metodu, bez daljeg upore�ivanja sanekim drugim multivarijacionim tehnikama, od kojih neke postoje kao njeni speci-jalni slu£ajevi (regresiona analiza, analiza varijansi, faktorska analiza, neke metodeklaster analize).
Struktura rada je, nakon uvodnog dela, prirodno podeljena u dve osnovne celine.U drugoj glavi ¢emo najpre, nakon ukazivanja na glavne ciljeve kanoni£ke korela-cione analize, uvesti neke rezultate u vezi sa slu£ajnim vektorima koji ¢e nam unastavku sluºiti kao glavni alat u izlaganju metode, jer ¢emo skupove promenljivihkoje razmatramo predstaviti upravo pomo¢u dva ovakva vektora. U ovoj glavi izla-ºemo populacioni model i uvodimo osnovne veli£ine ove tehnike. Na prvom mestu,tu su kanoni£ke promenljive, u £ijoj izgradnji u£estvuju vektori kanoni£kih koe�ci-jenata. Njihovu konstrukciju opisujemo kroz niz izvedenih zaklju£aka. Najbitnijemesto me�u osnovnim veli£inama kanoni£ke korelacione analize kroz ove zaklju£keopravdavaju kanoni£ke korelacije. Vide¢emo da su to koe�cijenti korelacije izme�ukanoni£kih promenljivih odgovaraju¢eg para, a kasnije i na koji na£in pomo¢u njihopisujemo odnose polazna dva skupa promenljivih. Ukazujemo u nastavku i naosobinu invarijantnosti kanoni£ke korelacije, gde se kao specijalan slu£aj javljaju
3
Uvod 4
rezultati vezani za standardizovane promenljive originalnih promenljivih iz dva po-smatrana skupa. Me�u bitnim veli£inama zna£ajno mesto zauzimaju i koe�cijentikorelacije strukture i unakrsna kanoni£ka optere¢enja, £ija se glavna uloga odigravapri interpretaciji rezultata analize. U nastavku utvr�ujemo vezu izme�u kanoni£kihkorelacija i nekih drugih koe�cijenata korelacije i na kraju ukazujemo na ukupniindeks redundantnosti kao alternative iskazivanja mere deljene varijanse izme�u po-laznih skupova.
U narednoj, tre¢oj glavi, bavimo se uzora£kom korelacionom analizom. Nakonuvo�enja matri£nih zapisa nekih osnovnih statistika neophodnih za izlaganja u na-stavku, po analogiji sa populacionim veli£inama iz druge glave, de�ni²emo uzora£kekanoni£ke promenljive, uzora£ke vektore koe�cijenata, uzora£ke kanoni£ke korelacije,uzora£ka kanoni£ka optere¢enja. Osvr¢emo se na neka dodatna merenja, gde raz-matramo gre²ke aproksimacija, a zatim i proporcije obja²njene uzora£ke varijanse,korisne pokazatelje mere u kojoj uzora£ke kanoni£ke promenljive predstavljaju svojeskupove. U nastavku se bavimo testiranjem zna£ajnosti kanoni£kih korelacija, poduslovom normalne vi²edimenzionalne raspodele.
U £etvrtoj glavi navodimo primer primene kanoni£ke korelacione analize i u na-stavku ukazujemo na mogu¢nost kori²¢enja programskog jezika R i u ovoj analizi.Izra£unavanja u primerima datih u prvoj glavi izvr²ena su tako�e u ovom programu,²to je ilustrovano u dodatku A.
Rad se zavr²ava zaklju£kom i spiskom literature.
Glava 2
Populaciona kanoni£ka korelacionaanaliza
Ukoliko se u istraºiva£kim studijama javlja potreba za merenjem ja£ine pove-zanosti izme�u dva skupa promenljivih, kao odgovor na takvu vrstu istraºiva£kogproblema, javlja se kanoni£ka korelaciona analiza.
Od posebne je vaºnosti da se pre samog kori²¢enja ove metode multivarijacionestatisti£ke analize jasno de�ni²u ciljevi istraºivanja i smisleno odaberu skupovi kojisu polazna ta£ka istraºivanja. Rezultati analize su osetljivi na prelaze promenljivihiz jednog skupa u drugi, pa svakom od skupova je potrebno dati jasno teorijskozna£enje.
Glavni cilj kanoni£ke korelacione analize je na¢i najbolju mogu¢u reprezentacijupolazna dva skupa pomo¢u nekih drugih promenljivih, koje ¢e biti najvi²e mogu¢ekorelirane. Unutar svakog od skupova se formiraju linearne kombinacije promenlji-vih koje su u njima sadrºane. Metoda se fokusira na korelaciju izme�u ovih linearnihkombinacija. Preciznije, potrebno je najpre prona¢i najbolje linearne kombinacije,u smislu da izme�u tog para linearnih kombinacija postoji najve¢a korelacija. Uko-liko su ove linearne kombinacije dobri reprezentatori svojih skupova, problem pro-u£avanja povezanosti dva skupa promenljivih se pojednostavljuje, jer se svodi naizu£avanje para izvedenih promenljivih.
Dalje, od preostalih linearnih kombinacija, bira se par sa najve¢om me�usob-nom korelacijom, koji je uz to i nekoreliran sa prvim izabranim parom. U nastavkuse, sli£nim postupkom, izdvajaju ostali parovi linearnih kombinacija koje nazivamokanoni£ke promenljive, dok njihove me�usobne korelacije nazivamo kanoni£ke kore-lacije. Zbog zahteva nekoreliranosti, informacija koju ¢e svaki par pruºati ne¢e bitidostupna u preostalim parovima.
5
Populaciona kanoni£ka korelaciona analiza 6
2.1 Slu£ajni vektor i linearna kombinacija njegovih
koordinatnih promenljivih
Multivarijacioni podaci se sastoje od vi²estrukih merenja koja su dobijena nakolekciji posmatranih promenljivih. Naj£e²¢i na£in za organizovanje podataka jepomo¢u tzv. matrice podataka, u kojoj vrsta predstavlja slu£ajne vrednosti svihpromenljivih na jednoj opservaciji, dok kolona predstavlja slu£ajne vrednosti jednepromenljive za sve opservacije.
Pretpostavimo da se kolekcija sastoji od p promenljivih, i neka je n broj obavlje-nih opservacija. Tada je matrica podataka, u oznaci X, oblika
X =
X11 X12 · · · X1k · · · X1p
X21 X22 · · · X2k · · · X2p
...... . . . ...
...
Xj1 Xj2 · · · Xjk · · · Xjp
......
... . . . ...
Xn1 Xn2 · · · Xnk · · · Xnp
. (2.1)
Kra¢e, (2.1) moºemo pisati kao X = [Xjk]n×p, X = [Xjk], ili X =[XT
j
], gde je XT
j
transponovani vektor p-dimenzionalnog vektora
Xj =
Xj1
Xj2
...
Xjp
. (2.2)
Elementi matrice (2.1) su slu£ajne veli£ine, pa otuda ova matrica nosi naziv slu£ajnamatrica. Specijalno, za p = 1, X = [X1 X2 . . . Xn]
T je n-dimenzionalni slu£ajnivektor. Njegovo o£ekivanje je vektor
µx = E(X) =
E(X1)
E(X2)...
E(Xj)...
E(Xn)
, (2.3)
a kovarijansna matrica je
Σx = Cov(X) = E[(X− µx) (X− µx)
T], (2.4)
Populaciona kanoni£ka korelaciona analiza 7
oblika
Var(X1) Cov(X1, X2) · · · Cov(X1, Xj) · · · Cov(X1, Xn)
Cov(X2, X1) Var(X2) · · · Cov(X2, Xj) · · · Cov(X2, Xn)...
... . . . ......
Cov(Xj, X1) Cov(Xj, X2) · · · Var(Xj) · · · Cov(Xj, Xn)...
...... . . . ...
Cov(Xn, X1) Cov(Xn, X2) · · · Cov(Xn, Xj) · · · Var(Xn)
, (2.5)
koja je simetri£na, pozitivno de�nitna, i na glavnoj dijagonali ima nenegativne ele-mente.
Direktnom proverom se moºe utvrditi da vaºi slede¢i rezultat:
Tvr�enje 1. Za svaki n-dimenzionalni vektor skalara c i svaki slu£ajni vektor X sao£ekivanjem µx i kovarijansnom matricom Σx, vaºi da je
E(cTX) = cTµx, (2.6)
Var(cTX) = cTΣxc. (2.7)
Linearna kombinacija slu£ajnih koordinata vektora X se de�ni²e kao
Y = cTX = c1X1 + c2X2 + · · ·+ cnXn, (2.8)
pri £emu je c = [c1 c2 . . . cn]T n-dimenzionalni vektor skalara. Tada, na osnovu
rezultata (2.6) i (2.7) iz prethodnog tvr�enja, imamo da su o£ekivanje i disperzijajednodimenzionalne slu£ajne promenljive Y
E(Y ) = cTµx, (2.9)
Var(Y ) = cTΣxc, (2.10)
respektivno. Primetimo da je disperzija promenljive Y data kao kvadratna forma,kao i da je u potpunosti odre�ena kovarijansnom matricom slu£ajnog vektora X ikoe�cijentima ci linearne kombinacije.
U op²tem slu£aju, ako je dato m linearnih kombinacija slu£ajnih promenljivihX1, X2, . . . , Xn:
Y1 = c11X1 + c12X2 + · · ·+ c1nXn
Y2 = c21X1 + c22X2 + · · ·+ c2nXn
... (2.11)Ym = cm1X1 + cm2X2 + · · ·+ cmnXn, ,
i ako stavimo da je Y = [Y1 Y2 · · · Ym]T slu£ajni vektor promenljivih Yi, a
Populaciona kanoni£ka korelaciona analiza 8
C = [cij]m×n matrica skalara, (2.11) se moºe predstaviti matri£nom jedna£inom
Y = CX. (2.12)
U tom slu£aju, vaºi da je
µy = E(Y) = Cµx , Σy = Cov(Y) = CΣxCT . (2.13)
Dalje, ako pored m linearnih kombinacija datih u (2.11) imamo jo² s linearnihkombinacija r slu£ajnih promenljivih W1,W2, . . . ,Wr:
Z1 = d11W1 + d12W2 + · · ·+ d1rWr
Z2 = d21W1 + d22W2 + · · ·+ d2rWr
... (2.14)Zs = ds1W1 + ds2W2 + · · ·+ dsrWr ,
²to kra¢e zapisujemo u matri£nom obliku sa
Z = DW, (2.15)
gde je Z s-dimenzionalni slu£ajni vektor promenljivih Zi, a D = [dij]s×r odgovara-ju¢a matrica skalara, vaºi rezultat
Cov(Y,Z) = CΣxwDT , (2.16)
pri £emu smo sa Σxw ozna£ili matricu kovarijansi izme�u slu£ajnih promenljivih Xj
i Wk, za svako j = 1, . . . , n, k = 1, . . . , r.
Za slu£ajni vektor X, sa o£ekivanjem (2.3) i kovarijansnom matricom (2.5), po-smatra se i korelaciona matrica (2.17), £iji su elementi koe�cijenti korelacije izme�uslu£ajnih promenljivih Xi i Xj, u oznaci ρij, koja je oblika:
ρx =
1 ρ12 · · · ρ1i · · · ρ1j · · · ρ1n
ρ21 1 · · · ρ2i · · · ρ2j · · · ρ2n...
... . . . ......
...
ρi1 ρi2 · · · 1 · · · ρij · · · ρin...
...... . . . ...
...
ρj1 ρj2 · · · ρji · · · 1 · · · ρjn...
......
... . . . ...
ρn1 ρn2 · · · ρni · · · ρnj · · · 1
. (2.17)
Veza izme�u kovarijansne i korelacione matrice vektora X je data sa
Σx = V1/2Σx
ρxV1/2Σx, (2.18)
Populaciona kanoni£ka korelaciona analiza 9
gde je VΣx dijagonalna matrica koja sadrºi elemente sa glavne dijagonale matriceΣx, zbog £ega smo je ovako i ozna£ili. Tada je kvadratni koren ove dijagonalnematrice matrica oblika
V1/2Σx
=
√Var(X1) 0 · · · 0 · · · 0
0√Var(X2) · · · 0 · · · 0
...... . . . ...
...
0 0 · · ·√Var(Xj) · · · 0
......
... . . . ...
0 0 · · · 0 · · ·√
Var(Xn)
. (2.19)
Datu relaciju (2.18) moºemo pisati i kao
ρx = V−1/2Σx
ΣxV−1/2Σx
, (2.20)
pri £emu je V−1/2Σx
= diag
(1√
Var(X1),
1√Var(X2)
, . . . ,1√
Var(Xn)
)inverzna ma-
trica matrice (2.19).
2.2 Najbolje linearne kombinacije
Kako je kanoni£ka korelaciona analiza, kako smo rekli, namenjena ispitivanjupovezanosti izme�u dva skupa promenljivih, razmatra¢emo skupove dimenzija p i q,koje, redom, £ine promenljive{
prvi skup : X(1)1 , X
(1)2 , . . . , X
(1)p ,
drugi skup : X(2)1 , X
(2)2 , . . . , X
(2)q ,
uz uslov da se u manjem skupu nalaze bar dve promenljive. Kao predstavnike ovadva skupa promenljivih uze¢emo dva slu£ajna vektora, p-dimenzionalni, u oznaciX(1), i q-dimenzionalni, u oznaci X(2):
X(1) =
X
(1)1
X(1)2...
X(1)p
, X(2) =
X
(2)1
X(2)2...
X(2)q
. (2.21)
Populaciona kanoni£ka korelaciona analiza 10
Za posmatrane slu£ajne vektore (2.21), neka su
E(X(1)) = µ(1), Cov(X(1)) = Σ11,
E(X(2)) = µ(2), Cov(X(2)) = Σ22, (2.22)
odgovaraju¢i vektori o£ekivanja i odgovaraju¢e kovarijansne matrice, oblika datog u(2.3) i (2.4), tj. (2.5). Sa Σ12 ozna£i¢emo matricu kovarijansi koja meri povezanostizme�u slu£ajnih vektora X(1) i X(2). Tada, zbog osobine simetri£nosti kovarijanseimamo da je
Cov(X(1),X(2)) = Σ12 = ΣT21. (2.23)
Dakle, matrica (2.23), dimenzije p×q, sadrºi kovarijanse izme�u parova promenljivihiz razli£itih skupova, za razliku od kovarijansnih matrica iz (2.22) pomo¢u kojih jeiskazana povezanost promenljivih koje pripadaju istom skupu. Matrica (2.23) jeoblika
Cov(X(1)1 , X
(2)1 ) Cov(X
(1)1 , X
(2)2 ) · · · Cov(X
(1)1 , X
(2)q )
Cov(X(1)2 , X
(2)1 ) Cov(X
(1)2 , X
(2)2 ) · · · Cov(X
(1)2 , X
(2)q )
...... . . . ...
Cov(X(1)p , X
(2)1 ) Cov(X
(1)p , X
(2)2 ) · · · Cov(X
(1)p , X
(2)q )
, (2.24)
i u op²tem slu£aju velike dimenzije. Kako je nama od zna£aja upravo ova matrica,glavni zadatak kanoni£ke korelacione analize je da umesto p q kovarijansi sadrºaneu matrici (2.24), odabere manji broj kovarijansi koje ¢e i dalje dobro opisivati vezuizme�u posmatranih skupova promenljivih. Taj manji broj kovarijansi koje saºetosumiraju odnose izme�u X(1) i X(2) se dobija na osnovu linearne kombinacije pro-menljivih iz posmatrana dva skupa, ²to opisujemo u nastavku.
Neka su U = aTX(1) i V = bTX(2) linearne kombinacije promenljivih koje pri-padaju slu£ajnim vektorima (2.21):
U = a1X(1)1 + a2X
(1)2 + · · ·+ apX
(1)p ,
V = b1X(2)1 + b2X
(2)2 + · · ·+ bqX
(2)q . (2.25)
Na osnovu rezultata (2.9) i (2.10) imamo da je
E(U) = aTµ(1), Var(U) = aTΣ11a,
E(V ) = bTµ(2), Var(V ) = bTΣ22b. (2.26)
dok na osnovu rezultata (2.16) dobijamo da je
Cov(U, V ) = aTΣ12b. (2.27)
Ako sa ρuv ozna£imo koe�cijent korelacije izme�u jednodimenzionalnih slu£ajnih
Populaciona kanoni£ka korelaciona analiza 11
promenljivih U i V , primenom prethodnih rezultata (2.26) i (2.27), dobijamo
ρuv =Cov(U, V )√
Var(U)√
Var(V )=
aTΣ12b√aTΣ11a
√bTΣ22b
. (2.28)
Zadatak kanoni£ke korelacione analize je da izabere vektore a i b za koji se postiºemaksimalna vrednost za ρuv. Kako je za proizvoljno c ∈ R+ vrednost koe�cijentakorelacije izme�u promenljivih cU i V jednak koe�cijentu korelacije ρuv, vektorebiramo tako da je Var(U) = Var(V ) = 1. Me�utim, sama metoda ne traga samo zajednim parom ovih vektora, kako smo naglasili ranije. Kanoni£ka korelaciona analizapolazna dva skupa koreliranih promenljivih, unutar kojih tako�e postoji me�usobnazavisnost promenljivih, ºeli da zameni pomo¢u t parova novih slu£ajnih promenljivih(Ui, Vi), gde su
Ui = aTi X(1) = ai1X
(1)1 + ai2X
(1)2 + · · ·+ aipX
(1)p ,
Vi = bTi X(2) = bi1X
(2)1 + bi2X
(2)2 + · · ·+ biqX
(2)q , (2.29)
i = 1, . . . , t, t ≤ min (p, q), linearne kombinacije vektora X(1) i X(2), respektivno.
Vektori ai = [ai1 ai2 · · · aip]T i bi = [bi1 bi2 · · · biq]T se biraju tako da su zado-voljeni slede¢i uslovi:
• parovi slu£ajnih promenljivih (Ui, Vi) su rangirani po vaºnosti njihove korela-cije, u smislu da je
ρ1 ≥ ρ2 ≥ · · · ≥ ρi ≥ · · · ≥ ρt, gde je
ρi =Cov(Ui, Vi)√
Var(Ui)√
Var(Vi)=
aTi Σ12bi√
aTi Σ11a
√bTi Σ22bi
, (2.30)
• slu£ajna promenljiva Ui je nekorelirana sa svim prethodno izvedenim slu£ajnimpromenljivama Uj:
Cov(Ui, Uj) = aTi Σ11aj = 0, j < i, (2.31)
• slu£ajna promenljiva Vi je nekorelirana sa svim prethodno izvedenim slu£ajnimpromenljivama Vj:
Cov(Vi, Vj) = bTi Σ22bj = 0, j < i, (2.32)
• slu£ajne promenljive Ui i Vi imaju jedini£ne disperzije:
Var(Ui) = aTi Σ11ai = 1,Var(Vi) = bT
i Σ22bi = 1, (2.33)
• slu£ajne promenljive Uk i Vl, za k 6= l, su nekorelirane:
Cov(Uk, Vl) = aTk Σ12bl = 0, k 6= l. (2.34)
Populaciona kanoni£ka korelaciona analiza 12
Parovi slu£ajnih promenljivih (Ui, Vi) predstavljaju parove kanoni£kih promen-ljivih, dok korelacije ρi predstavljaju kanoni£ke korelacije i-tog kanoni£kog para.Formalna de�nicija glasi:
De�nicija 1. Prvi par kanoni£kih promenljivih je par linearnih kombinacija
U1 = aT1 X(1) i V1 = bT
1 X(2)
koje imaju jedini£nu disperziju i maksimiziraju korelaciju (2.28).Drugi par kanoni£kih promenljivih je par linearnih kombinacija
U2 = aT2 X(1) i V2 = bT
2 X(2)
koje imaju jedini£nu disperziju i maksimiziraju korelaciju (2.28) me�u svim mo-gu¢im linearnim kombinacijama koje su nekorelirane sa prvim parom kanoni£kihpromenljivih.
...
i-ti par kanoni£kih promenljivih je par linearnih kombinacija
Ui = aTi X(1) i Vi = bT
i X(2)
koje imaju jedini£nu disperziju, maksimiziraju korelaciju (2.28) i za koje vaºi da sunekorelirani sa parovima kanoni£kih promenljivih (U1, V1), . . . , (Ui−1, Vi−1). Korela-cija izme�u promenljivih i-tog kanoni£kog para se naziva i-ta kanoni£ka korelacija.Vektore koe�cijenata linearnih kombinacija ai i bi zovemo vektorima kanoni£kihkoe�cijenata.
2.3 Konstrukcija vektora kanoni£kih koe�cijenata
Slu£ajne vektore (2.21) moºemo posmatrati udruºeno. To £inimo formiranjem(p+ q)-dimenzionalnog slu£ajnog vektora
X =
[X(1)
X(2)
], (2.35)
£iji je vektor o£ekivanja
µ = E(X) =
[µ(1)
µ(2)
], (2.36)
i £ija je kovarijansna matrica
Σ = Cov(X) =
[Σ11 Σ12
Σ21 Σ22
]. (2.37)
Populaciona kanoni£ka korelaciona analiza 13
Sada se osvrnimo na par linearnih kombinacija iz (2.25). Rekli smo da vektorekoe�cijenata linearnih kombinacija (2.25) biramo tako da (2.28) dostiºe maksimalnuvrednost. Uz uslov o jedini£nim disperzijama promenljivih U i V , na² zadatak sesvodi na maksimiziranje funkcije
ρuv = ρuv(a,b) = aTΣ12b, aTΣ11a = 1, bTΣ22b = 1. (2.38)
U cilju nalaºenja maksimuma funkcije (2.38), navodimo, najpre, slede¢i rezultat:
Tvr�enje 2. Neka su u = xTAx, v = yTAx, w = xTAy, gde je A simetri£namatrica, a x i y vektori skalara. Tada je
∂u
∂x= 2Ax (2.39)
∂v
∂x= ATy = Ay,
∂w
∂x= Ay. (2.40)
Sada, neka je funkcija Lagranºa za funkciju (2.38) pri zadatim uslovima vezadata sa
F (a,b) = aTΣ12b−1
2λF1(a
TΣ11a− 1)− 1
2λF2(b
TΣ22b− 1). (2.41)
Primenom rezultata (2.39) i (2.40), imamo da je odgovaraju¢i sistem jedna£ina zaodre�ivanje Lagranºovih multiplikatora λF1 i λF2 , kao i stacionarnih ta£aka funkcije(2.38):
(∗)
∂F
∂a= Σ12b− λF1Σ11a = 0
∂F
∂b= ΣT
12a− λF2Σ22b = 0
aTΣ11a = 1, bTΣ22b = 1 .
Prvu jedna£inu sistema mnoºimo s leva sa aT , dok drugu jedna£inu, tako�e s leva,mnoºimo sa bT . Dalje, primenjuju¢i da je
bTΣT12a =
(aTΣ12b
)T, (2.42)
dobijamo :
aTΣ12b− λF1 aTΣ11a︸ ︷︷ ︸=1
= 0, (2.43)
(aTΣ12b
)T − λF2 bTΣ22b︸ ︷︷ ︸=1
= 0. (2.44)
Populaciona kanoni£ka korelaciona analiza 14
Kako je aTΣ12b skalar, to imamo da je(aTΣ12b
)T=(aTΣ12b
), te otuda iz (2.43)
i (2.44), dobijamo da korelacija izme�u slu£ajnih promenljivih U i V zadovoljava
aTΣ12b = λF1 = λF2 . (2.45)
Dalje, stavljaju¢i λFi= λ, i = 1, 2, u prve dve jedna£ine sistema (∗), i koriste¢i
£injenicu da vaºi (2.23), dobijamo sistem{−λΣ11a + Σ12b = 0
Σ21a− λΣ22b = 0.(2.46)
Mnoºenjem prve jedna£ine sistema (2.46) sa Σ21Σ−111 dobijamo
−λΣ21 Σ−111 Σ11︸ ︷︷ ︸=I(p×p)
a + Σ21Σ−111 Σ12b = 0, (2.47)
a zatim zamenom druge jedna£ine sistema (2.46) u (2.47), dolazimo do jedna£ine(Σ21Σ
−111 Σ12 − λ2Σ22
)b = 0, (2.48)
pri £emu smo u (2.47) sa I(p×p) ozna£ili jedini£nu matricu dimenzije p×p. Analogno,iz sistema (2.46) dolazimo i do jedna£ine(
Σ12Σ−122 Σ21 − λ2Σ11
)a = 0. (2.49)
Dobijene jedna£ine (2.49) i (2.48) su, redom, ekvivalentne sa(Σ−111 Σ12Σ
−122 Σ21 − λ2I(p×p)
)a = 0, (2.50)(
Σ−122 Σ21Σ−111 Σ12 − λ2I(q×q)
)b = 0. (2.51)
Ozna£imo sa Mp = Σ−111 Σ12Σ−122 Σ21 i Nq = Σ−122 Σ21Σ
−111 Σ12, gde nam indeks
ukazuje da su ove matrice dimenzija p × p i q × q, redom. Kako je za proizvoljnunesingularnu matricu M dimenzije p× p∣∣Mp − λ2I(p×p)
∣∣ = |M| ∣∣Mp − λ2M−1M∣∣ ∣∣M−1∣∣ = ∣∣MMpM
−1 − λ2I(p×p)∣∣ , (2.52)
to specijalno za M = Σ1/211 dobijamo da matrica
MMpM−1 = Σ
1/211
(Σ−111 Σ12Σ
−122 Σ21
)Σ−1/211 = Σ
1/211
(Σ−1/211 Σ
−1/211 Σ12Σ
−122 Σ21
)Σ−1/211
= I(p×p)Σ−1/211 Σ12Σ
−122 Σ21Σ
−1/211 = Σ
−1/211 Σ12Σ
−122 Σ21Σ
−1/211 (2.53)
ima iste sopstvene vrednosti kao i matrica Mp, pri £emu je matrica Σ1/211 simetri£na
i predstavlja kvadratni koren kovarijansne matrice Σ11. Sli£no se dobija i da ma-trice Nq i Σ
−1/222 Σ21Σ
−111 Σ12Σ
−1/222 imaju iste sopstvene vrednosti, pa ¢emo otuda u
Populaciona kanoni£ka korelaciona analiza 15
nastavku posmatrati sistem(Σ−1/211 Σ12Σ
−122 Σ21Σ
−1/211 − λ2I(p×p)
)a = 0, (2.54)(
Σ−1/222 Σ21Σ
−111 Σ12Σ
−1/222 − λ2I(q×q)
)b = 0. (2.55)
Posmatrajmo, napre, jedna£inu (2.54). Matrica Σ−1/211 Σ12Σ
−122 Σ21Σ
−1/211 je sime-
tri£na matrica formata p× p. Ozna£imo je sa
Cp = [cij] = Σ−1/211 Σ12Σ
−122 Σ21Σ
−1/211 . (2.56)
Tada posmatrana jedna£ina postaje(Cp − λ2I(p×p)
)a = 0. (2.57)
Nama su, jasno, od interesa jedino netrivijalna re²enja sistema homogenih jedna£ina(2.46). Jedna£ina (2.54), tj. (2.57), ¢e imati netrivijalna re²enja akko je matricasistema singularna, odnosno akko je∣∣Cp − λ2I(p×p)
∣∣ = 0. (2.58)
Drugim re£ima, netrivijalna re²enja posmatranog sistema predstavljaju sopstvenevektore matrice Cp, dok vrednosti λ2 za koje postoje ova netrivijalna re²enja pred-stavljaju odgovaraju¢e sopstvene vrednosti ove matrice, koje odre�ujemo iz karak-teristi£ne jedna£ine (2.58), pri £emu je odgovaraju¢i karakteristi£ni polinom dat sa
PCp(λ2) =
∣∣Cp − λ2I(p×p)∣∣ =
∣∣∣∣∣∣∣∣∣∣∣
c11 − λ2 c12 · · · c1p
c21 c22 − λ2 · · · c2p...
... . . . ...
cq1 cq2 · · · cpp − λ2
∣∣∣∣∣∣∣∣∣∣∣. (2.59)
Izra£unavanjem determinante (2.59) i sre�ivanjem po stepenima od λ2 dobija se daje PCp(λ
2) polinom stepena p koji ima p nula. Kako ove nule predstavljaju sopstvenevrednosti simetri£ne matrice, sve su realne. Ozna£imo nule polinoma (2.59) sa
λ21 ≥ λ22 ≥ . . . ≥ λ2p ≥ 0, (2.60)
a njima odgovaraju¢e normalizovane sopstvene vektore sa
g1, g2, . . . ,gp, gTi gi = 1, gT
j gk = 0, j 6= k. (2.61)
Sada, na osnovu (2.45), moºemo zaklju£iti da se maksimalna korelacija izme�upromenljivih U i V postiºe ukoliko uzmemo λFi
= λ = λ1. Dakle, maksimalnakorelacija ima vrednost kvadratnog korena najve¢e sopstvene vrednosti matrice Cp,pa primenom navedenog zaklju£ka, na osnovu sistema (2.46) dobijamo da je veza
Populaciona kanoni£ka korelaciona analiza 16
izme�u vektora a i b data jedna£inama
a =1
λ1Σ−111 Σ12, b =
1
λ1Σ−122 Σ21a. (2.62)
Analogno prethodnom, ako simetri£nu matricu iz (2.55) formata q× q ozna£imosa
Dq = [dij] = Σ−1/222 Σ21Σ
−111 Σ12Σ
−1/222 , (2.63)
tada se problem svodi na odre�ivanje sopstvenih vrednosti, odnosno sopstvenih vek-tora matrice Dq. Da bismo uo£ili vaºan rezultat koji se odnosi na sopstvene vrednostii sopstvene vektore matrica Cp i Dq, posluºi¢e nam slede¢a matrica
L(p×q) = Σ−1/211 Σ12Σ
−1/222 . (2.64)
Kako za bilo koje dve matrice M i N koje su kompatibilne za mnoºenje vaºi damatrice MN i NM imaju iste nenula sopstvene vrednosti sa istom vi²estruko²¢u,to na osnovu
• LLT =(Σ−1/211 Σ12Σ
−1/222
)(Σ−1/211 Σ12Σ
−1/222
)T=(Σ−1/211 Σ12Σ
−1/222
)(Σ−1/222 Σ21Σ
−1/211
)= Σ
−1/211 Σ12Σ
−122 Σ21Σ
−1/211 = Cp i (2.65)
• LTL =(Σ−1/211 Σ12Σ
−1/222
)T (Σ−1/211 Σ12Σ
−1/222
)=(Σ−1/222 Σ21Σ
−1/211
)(Σ−1/211 Σ12Σ
−1/222
)= Σ
−1/222 Σ21Σ
−111 Σ12Σ
−1/222 = Dq, (2.66)
moºemo zaklju£iti da su pozitivne sopstvene vrednosti matrica (2.56) i (2.63) iden-ti£ne, iste vi²estrukosti. Njihov broj je jednak rangu matrice manje dimenzional-nosti, dok preostale sopstvene vrednosti matrice ve¢e dimenzionalnosti bi¢e jednakenuli.
Bez gubljenja op²tosti, pretpostavimo da je p ≤ q. Neka su, dalje, h1, h2, . . . ,hp,normalizovani sopstveni vektori matrice (2.63) odgovaraju¢i sopstvenim vrednostimaλ21, λ
22, . . . , λ
2p , redom. Sumiraju¢i prethodne rezultate, ako sa (a1,b1) ozna£imo par
vektora koji predstavlja re²enje sistema{−λ1Σ11a + Σ12b = 0
Σ21a− λ1Σ22b = 0,(2.67)
dobijenog na osnovu sistema (2.46) za λ = λ1, uzimamo da je prvi par kanoni£kihpromenljivih
(U1, V1) = (aT1 X(1),bT
1 X(2)), (2.68)
Populaciona kanoni£ka korelaciona analiza 17
pri £emu je
a1 = Σ−1/211 g1 =
1
λ1Σ−111 Σ12Σ
−1/222 h1, (2.69)
b1 =1
λ1Σ−122 Σ21Σ
−1/211 g1 = Σ
−1/222 h1, (2.70)
λ1 = ρuv(a1,b1) = aT1 Σ12b1. (2.71)
Nakon izdvajanja prvog para kanoni£kih promenljivih, biramo dalje drugi parpolaze¢i od funkcije (2.38) kojoj sada dodajemo nove uslove. Ti uslovi opisuju zahtevda drugi par slu£ajnih promenljivih (2.25) bude nekoreliran sa prvim izabranimparom (2.68), i dati su sa
Cov(U,U1) = aTΣ11a1 = 0, Cov(V, V1) = bTΣ22b1 = 0, (2.72)
Cov(U, V1) = aTΣ12b1 = 0, Cov(V, U1) = bTΣ21a1 = 0. (2.73)
Kako vektori a1 i b1 zadovoljavaju jedna£ine sistema (2.67 ), to na osnovu istihimamo da su kovarijanse date u (2.73) jednake
Cov(U, V1) = λ1aTΣ11a1 = 0, (2.74)
Cov(V, U1) = λ1bTΣ22b1 = 0. (2.75)
Sada, neka je funkcija Lagranºa za funkciju (2.38) sa dodatim uslovima vezadata sa
F (a,b) = aTΣ12b−1
2λF1(a
TΣ11a− 1)− 1
2λF2(b
TΣ22b− 1)
+ λF3aTΣ11a1 + λF4b
TΣ22b1, (2.76)
gde su λFi Lagranºeovi multiplikatori koje odre�ujemo iz sistema
(∗∗)
∂F
∂a= Σ12b− λF1Σ11a + λF3Σ11a1 = 0
∂F
∂b= ΣT
12a− λF2Σ22b + λF4Σ22b1 = 0
aTΣ11a = 1 , bTΣ22b = 1
aTΣ11a1 = 0 , bTΣ22b1 = 0
(2.77)
dobijenog primenom rezultata (2.39) i (2.40) i odgovaraju¢ih uslova veza. Prvu jed-na£inu iz (∗∗) mnoºimo s leva vektorom aT , drugu jedna£inu vektorom bT , pa pri-menom uslova jedini£nih disperzija i nekoreliranosti, dolazimo ponovo do rezultata
Populaciona kanoni£ka korelaciona analiza 18
(2.45), te dalje i do jedna£ina (2.46). Otuda, za drugi par kanoni£kih promenljivihuzimamo par slu£ajnih promenljivih
(U2, V2) = (aT2 X(1),bT
2 X(2)), (2.78)
koji je odre�en sa
a2 = Σ−1/211 g2 =
1
λ2Σ−111 Σ12Σ
−1/222 h2, (2.79)
b2 =1
λ2Σ−122 Σ21Σ
−1/211 g2 = Σ
−1/222 h2, (2.80)
λ2 = ρuv(a2,b2) = aT2 Σ12b2. (2.81)
Izdvajanje parova kanoni£kih promenljivih se nastavlja dalje, na prethodno opi-sani na£in. Tako se dobija niz promenljivih
(Ui, Vi) = (aTi X(1),bT
i X(2)), (2.82)
koje su odre�ene sa
ai = Σ−1/211 gi =
1
λiΣ−111 Σ12Σ
−1/222 hi, (2.83)
bi =1
λiΣ−122 Σ21Σ
−1/211 gi = Σ
−1/222 hi, (2.84)
λi = ρuv(ai,bi) = aTi Σ12bi, (2.85)
i pri £emu, u op²tem slu£aju, i = 1, . . . , t, t ≤ min (p, q) = rang(Σ12).
Primer 1. Neka su za p = q = 2 dati slu£ajni vektori (2.21) i neka je njihovakovarijansna matrica
Σ =
3 2 −1 3
2 3 1 1
−1 1 6 2
3 1 2 8
(2.86)
Na¢i parove kanoni£kih promenljivih.
Populaciona kanoni£ka korelaciona analiza 19
Re²enje: U skladu sa podelom (2.37) imamo da je
Σ11 =
[3 2
2 3
], Σ22 =
[6 2
2 8
], Σ12 = ΣT
21 =
[−1 3
1 1
].
Odredimo najpre sopstvene vrednosti matrice (2.56). Odgovaraju¢e inverznematrice kovarijansnih matrica Σ11 i Σ22 su, redom,
Σ−111 =
[0.6 −0.4−0.4 0.6
], Σ−122 =
[0.18181818 −0.04545455−0.04545455 0.13636364
],
dok su inverzne matrice kvadratnih korena kovarijansnih matrica
Σ−1/211 =
[0.7236068 −0.2763932−0.2763932 0.7236068
], Σ
−1/222 =
[0.42247377 −0.05774162−0.05774162 0.36473215
].
Odavde imamo da je
C2 = Σ−1/211 Σ12Σ
−122 Σ21Σ
−1/211 =
[0.8434281 −0.3000000−0.3000000 0.1929356
].
Sopstvene vrednosi matrice C2 su
λ21 = 0.96065795, λ22 = 0.07570569,
a njima odgovaraju¢i sopstveni vektori su
g1 =
[−0.93141280.3639647
]i g2 =
[−0.3639647−0.9314128
].
Otuda sledi da su prva i druga kanoni£ka korelacija, redom,
λ1 = 0.9801316, λ2 = 0.2751467,
a vektori koe�cijenata prvog para linearnih kombinacija su
a1 = Σ−1/211 g1 =
[−0.77457400.5208035
]i b1 =
1
λ1Σ−122 Σ21Σ
−1/211 g1 =
[0.3239096
−0.3109106
].
Dakle, prvi par kanoni£kih promenljivih je
U1 = aT1 X(1) = −0.7745740X(1)
1 + 0.5208035X(1)2 ,
V1 = bT1 X(2) = 0.3239096X
(2)1 − 0.3109106X
(2)2 .
Odredimo i drugi par kanoni£kih promenljivih. Vektori kanoni£kih koe�cijenata
Populaciona kanoni£ka korelaciona analiza 20
drugog para su
a2 = Σ−1/211 g2 =
[−0.005931159−0.573379237
]i b1 =
1
λ1Σ−122 Σ21Σ
−1/211 g1 =
[−0.2773099−0.1992442
],
pa je traºeni par
U2 = aT2 X(1) = −0.005931159X(1)
1 − 0.573379237X(1)2 ,
V2 = bT2 X(2) = −0.2773099X(2)
1 − 0.1992442X(2)2 .
Do ºeljenog rezultata moºemo do¢i i na osnovu matrice D2 odre�ene sa (2.63). Utom slu£aju, sopstveni vektori matrice D2 koji odgovaraju sopstvenim vrednostimaλ21 i λ
22 su, redom,
h1 =
[−0.66457040.7472257
]i h2 =
[−0.7472257−0.6645704
].
Na osnovu njih nalazimo vektore kanoni£kih koe�cijenata
a1 =1
λ1Σ−111 Σ12Σ
−1/222 h1 =
[0.7745740
−0.5208035
]i b1 = Σ
−1/222 h1 =
[−0.32390960.3109106
],
pomo¢u kojih, dalje, dobijamo prvi par kanoni£kih promenljivih
U1 = aT1 X(1) = 0.7745740X
(1)1 − 0.5208035X
(1)2 ,
V1 = bT1 X(2) = −0.3239096X(2)
1 + 0.3109106X(2)2 ,
£iji je koe�cijent korelacije λ1 = 0.9801316.
S druge strane, vektori kanoni£kih koe�cijenata
a2 =1
λ2Σ−111 Σ12Σ
−1/222 h2 =
[−0.005931159−0.573379237
]i b2 = Σ
−1/222 h2 =
[−0.2773099−0.1992442
]
nas dovode do drugog para kanoni£kih promenljivih
U2 = aT2 X(1) = −0.005931159X(1)
1 − 0.573379237X(1)2 ,
V2 = bT2 X(2) = −0.2773099X(2)
1 − 0.1992442X(2)2 ,
sa koe�cijentom korelacije λ2 = 0.2751467.
Primetimo da na osnovu matrice D2 ne dobijamo iste vrednosti za kanoni£kekoe�cijente prvog para linearnih kombinacija (U1, V1) kao i u slu£aju kori²¢enja ma-trice C2. Me�utim, moºemo uo£iti da se njihove vrednosti razlikuju jedino u znaku.
Populaciona kanoni£ka korelaciona analiza 21
Sre¢om, znak koe�cijenta u istom vektoru se moºe menjati, bez gubitka op²tosti.Razlog leºi u tome ²to je u osnovi kanoni£ke korelacione analize problem sopstvenihvrednosti i sopstvenih vektora, a znamo da istoj sopstvenoj vrednosti moºe odgova-rati vi²e razli£itih sopstvenih vektora. Tako, sopstvena vrednost λ21 je odgovaraju¢asopstvenom vektoru g1, ali isto tako i vektoru (−1)g1, a sli£no i sopstvena vrednostλ22 je odgovaraju¢a sopstvenim vektorima g2 i (−1)g2. Otuda, ako bismo, na pri-mer, umesto vektora g1 i g2 posmatrali (tako�e normalizovane) vektore (−1)g1 i g2,dobili bi se isti rezultati za obe matrice (kao oni iznad u slu£aju matrice D2). �
Komentar 1. Za nalaºenje kvadratnih korena kovarijansnih matrica, odnosno nji-hovih inverznih matrica, koristili smo spektralnu dekompoziciju pozitivno de�nitnihmatrica (videti [5], (2.4)). Ra£uni su postupno izvedeni u R-u, ²to je ilustrovano udodatku A.
Osvrnimo se ponovo na matrice Mp i Nq. Moºe se pokazati da ako je λ2i sopstvenavrednost matrice Cp koja odgovara sopstvenoj vrednosti gi, tada je λ2i sopstvenavrednost matrice Mp koja odgovara sopstvenoj vrednosti Σ
−1/211 gi = ai. Analogno,
matrice Dq i Nq imaju iste sopstvene vrednosti, pri £emu sopstveni vektori hi iΣ−1/222 hi = bi su odgovaraju¢i istoj sopstvenoj vrednosti λ2i .Matrice Mp i Nq su istih dimenzija kao i Cp i Dq, no ipak se zbog manje zahtev-
nog ra£una, radije za nalaºenje kanoni£kih korelacija £esto koriste karakteristi£nejedna£ine ∣∣Mp − λ2I(p×p)
∣∣ = 0, (2.87)∣∣Nq − λ2I(q×q)∣∣ = 0, (2.88)
i u tom slu£aju se, kako smo videli ispred, vektori kanoni£kih koe�cijenata dobijajudirektno iz jedna£ina
Mpa = λ2a, (2.89)Nqb = λ2b. (2.90)
Mnogi algoritmi kod kompijuterskih izra£unavanja sopstvenih vektora i sopstve-nih vrednosti prihvataju samo simetri£ne matrice. Me�utim, u op²tem slu£aju,matrice Mp i Nq nisu simetri£ne, za razliku od matrica Cp i Dq, koje se ipak lakoodre�uju uz pomo¢ ra£unara. Tako�e, predstavljanje vektora kanoni£kih koe�cije-nata sa ai = Σ
−1/211 gi i bi = Σ
−1/222 hi olak²ava analiti£ke opise, kao i njihove geo-
metrijske interpretacije, zbog £ega data konstrukcija vektora linearnih kombinacijapreko simetri£nih matrica ima svojih odre�enih prednosti.
Primer 2. Za podatke date u primeru 1, odrediti vektore kanoni£kih koe�cijenataa1 i b1, kori²¢enjem matrica M2 i N2.
Populaciona kanoni£ka korelaciona analiza 22
Re²enje: Sopstvene vrednosti i njima odgovaraju¢i sopstveni vektori matrice
M2 = Σ−111 Σ12Σ−122 Σ21 =
[0.9545455 −0.009090909−0.5909091 0.081818182
]su
λ21 = 0.96065795, λ22 = 0.07570569,
a• =
[0.8298578
−0.5579749
]i a•• =
[0.01034366
0.99994650
].
Vektor kanoni£kih koe�cijenata a1 dobijamo preko vektora a• primenom uslovada je Var(U1) = aT
1 Σ11a1 = 1. Pa, kako je
aT•Σ11a• =
[0.8298578 −0.5579749
] [3 2
2 3
][0.8298578
−0.5579749
]= 1.147841,
to kori²¢enjem da je√1.147841 = 1.071373 dobijamo da je
a1 =1
1.071373a• =
[0.7745740
−0.5208035
].
Dalje, iz uslova da je prvi kanoni£ki koe�cijent jednak korenu sopstvene vrednostiλ21, i uslova da je Var(V1) = bT
1 Σ22b1 = 1, nalazimo da se b1 odre�uje iz relacije
b1 =1
λ1Σ−122 Σ21a1,
pa je
b1 =
[−0.32390960.3109106
].
Sli£no, sopstvene vrednosti matrice
N2 = Σ−122 Σ21Σ−111 Σ12 =
[0.4545455 −0.5272727−0.3636364 0.5818182
]su
λ21 = 0.96065795 , λ22 = 0.07570569.
Sopstvena vrednost λ21 odgovara sopstvenom vektoru
b• =
[0.7214347
−0.6924825
].
U ovom slu£aju, nakon odre�ivanja vektora b1 preko vektora b•, vektor a1 odre�u-
Populaciona kanoni£ka korelaciona analiza 23
jemo iz relacije
a1 =1
λ1Σ−111 Σ12b1.
Izra£unavanja u R-u, korak po korak, se nalaze u dodatku A. �
Prethodnim primerima smo potvrdili da je potrebno re²iti samo jednu od karak-teristi£nih jedna£ina (2.54) ili (2.55), odnosno (2.87) ili (2.88), kako bi se do²lo dovektora koe�cijenata ai i bi, takvih da je λi = ρuv(ai,bi).
2.4 Standardizovane promenljive
Posmatrajmo skupove promenljivih
Z(1) =
Z
(1)1
Z(1)2...
Z(1)p
, Z(2) =
Z
(2)1
Z(2)2...
Z(2)q
, (2.91)
dobijene standardizovanjem (2.21):
Z(1)i =
X(1)i − µ
(1)i√
Var(X(1)i )
, Z(2)j =
X(2)j − µ
(2)j√
Var(X(2)j )
, i = 1, . . . , p, j = 1, . . . , q. (2.92)
Neka su za slu£ajne vektore iz (2.21) odgovaraju¢e korelacione matrice ρ11 i ρ22,i neka je matrica ρ12 matrica koja sadrºi koe�cijenate korelacije izme�u slu£ajnihpromenljivih X
(1)i i X(2)
j . Tada ove matrice predstavljaju odgovaraju¢e matricekovarijansi za (2.91), tj.
Cov(Z(1)) = ρ11, Cov(Z(2)) = ρ22, Cov(Z
(1),Z(2)) = ρ12 = ρT21. (2.93)
Uz pretpostavku da je p ≤ q, kanoni£ke promenljive izraºene preko standardizovanihvrednosti originalnih promenljivih su oblika
Ui(z) = aTi(z)
Z(1) = gTi ρ−1/211 Z(1), (2.94)
Vi(z) = bTi(z)
Z(2) = hTi ρ−1/222 Z(2), (2.95)
gde su gi i hi normalizovani sopstveni vektori matrica
Ep = ρ−1/211 ρ12ρ
−122 ρ21ρ
−1/211 (2.96)
iFq = ρ
−1/222 ρ21ρ
−111 ρ12ρ
−1/222 , (2.97)
Populaciona kanoni£ka korelaciona analiza 24
redom, aλ21 ≥ λ22 ≥ . . . ≥ λ2p ≥ 0 (2.98)
odgovaraju¢e sopstvene vrednosti, pri £emu kvadratni koreni λi predstavljaju i-tekanoni£ke korelacije. Dakle, u slu£aju standardizovanih promenljivih dobijamo istevrednosti kanoni£kih korelacija, dok sa druge strane, kanoni£ke promenljive su sadaizraºene preko standardizovanih vrednosti originalnih promenljivih, pa u slu£ajukori²¢enja korelacionih matrica umesto kovarijansnih, imamo druga£ije vektore ka-noni£kih koe�cijenata.
Neka je ai vektor koe�cijenata koji u£estvuje u izgradnji poromenljive Ui i-togkanoni£kog para (Ui, Vi), dobijen kori²¢enjem kovarijansne matrice. Kanoni£ka pro-menljiva Ui je, u tom slu£aju, konstruisana preko vektora X(1), dok je vektor ko-e�cijenata ai(z) i-te kanoni£ke promenljive Ui(z) konstruisane pomo¢u vektora Z(1),jednak
ai(z) = V1/2Σ11
ai, (2.99)
gde je V1/2Σ11
odgovaraju¢a dijagonalna matrica, oblika datog u (2.19). Sli£no,
bi(z) = V1/2Σ22
bi (2.100)
je vektor koe�cijenata i-te kanoni£ke promenljive Vi(z) konstruisane pomo¢u vektoraZ(2).
Navedeni rezultati za vektore (2.91), odnosno za odgovaraju¢e vektore kanoni£-kih koe�cijenata koji sa njima grade kanoni£ke promenljive, su specijalan slu£ajop²tijeg rezultata koji govori o osobini invarijantnosti kanoni£ke korelacije u odnosuna linerane transformacije originalnih vektora promenljivih. Pomenuti op²ti rezultatje opisan slede¢om teoremom:
Teorema 1. Za nesingularne matrice P(p×p),Q(q×q) i vektore skalara p(p×1),q(q×1),neka su X(>1) = PTX(1) + p i X(>2) = QTX(2) + q. Tada vaºi:
1. kanoni£ke korelacije vektora X(>1) i X(>2) su iste kao one izme�u vektora X(1)
i X(2),2. vektori kanoni£kih koe�cijenata za X(>1) i X(>2) su dati sa
a>i = P−1ai, (2.101)
b>i = Q−1bi, (2.102)
gde su ai i bi vektori kanoni£kih koe�cijenata za X(1) i X(2).
Dokaz. Neka je Σ> kovarijansna matrica (p+ q)-dimenzionalnog slu£ajnog vektora
X> =
[X(>1)
X(>2)
].
Tada je
Σ> = Cov(X>) =
[Σ>
11 Σ>12
Σ>21 Σ>
22
],
Populaciona kanoni£ka korelaciona analiza 25
pri £emu je
Σ>11 = Cov(X(>1)) = PTΣ11P , Σ>
22 = Cov(X(>2)) = QTΣ22Q,
Σ>12 = Cov(X(>1),X(>2)) = PTΣ12Q = Σ>T
21 .
Matrica za X(>1) i X(>2) koja odgovara ranije de�nisanoj matrici Mp je:
M>p =
(PTΣ11P
)−1 (PTΣ12Q
) (QTΣ22Q
)−1 (QTΣ21P
)= P−1Σ−111
(PT)−1
PT︸ ︷︷ ︸=I(p×p)
Σ12 QQ−1︸ ︷︷ ︸=I(q×q)
Σ−122
(QT)−1
QT︸ ︷︷ ︸=I(q×q)
Σ21P
= P−1 Σ−111 Σ12Σ−122 Σ21︸ ︷︷ ︸P = P−1 Mp P.
Otuda, ako je ν sopstvena vrednost matrice M>p koja odgovara sopstvenoj vrednosti
m, tada je po de�niciji M>p m = νm, pa je Mp (Pm) = Pνm = ν (Pm). Prema
tome, sopstvene vrednosti matrice M>p su iste kao i sopstvene vrednosti matrice Mp,
pa imamo, dakle, iste kanoni£ke korelacije. Vektori kanoni£kih koe�cijenata se dobi-jaju direktno na osnovu odgovaraju¢ih jedna£ina (2.89) i (2.90) za M>
p kori²¢enjemuslova jedini£nih disperzija koji ostaje nepromenjen:
Var(U>i ) = Var(a>T
i X(>1)) = a>Ti Σ>
11a>i = a>T
i
(PTΣ11P
)a>i = aT
i Σ11ai = 1.
Odavde vidimo da je Pa>i = ai, odakle sledi da je a>
i = P−1ai. Sli£no, polaze¢i odmatrice N>
q , dolazimo do vektora b>i . �
Matri£ne jedna£ine koje odgovaraju (2.92) su
Z(1) = V−1/2Σ11
(X(1) − µ(1)
), Z(2) = V
−1/2Σ22
(X(2) − µ(2)
). (2.103)
U skladu sa oznakama u prethodnoj teoremi, za P = V−1/2Σ11
i Q = V−1/2Σ22
dobijamoda vaºe rezultati (2.99) i (2.100).
Primer 3. Za slu£ajne vektore (2.21) sa kovarijansnom matricom (2.86), odreditikorelacionu matricu, a zatim na osnovu nje na¢i kanoni£ke korelacije i vektore koe-�cijenata kanoni£kih promenljivih.
Re²enje: Na osnovu relacije (2.20) nalazimo da je korelaciona matrica
ρ =
[ρ11 ρ12
ρ21 ρ22
]=
1.0000000 0.6666667 −0.2357023 0.6123724
0.6666667 1.0000000 0.2357023 0.2041241
−0.2357023 0.2357023 1.0000000 0.2886751
0.6123724 0.2041241 0.2886751 1.0000000
. (2.104)
Populaciona kanoni£ka korelaciona analiza 26
Kako je
ρ−111 =
[1.8 −1.2−1.2 1.8
], ρ−122 =
[1.0909091 −0.3149183−0.3149183 1.0909091
],
ρ−1/211 =
[1.2533237 −0.4787271−0.4787271 1.2533237
], ρ−1/222 =
[1.0332897 −0.1523863−0.1523863 1.0332897
],
to imamo da je
E2 = ρ−1/211 ρ12ρ
−122 ρ21ρ
−1/211 =
[0.8434281 −0.3000000−0.3000000 0.1929356
]= C2,
pa su sopstvene vrednosi matrice E2
λ21 = 0.96065795, λ22 = 0.07570569,
a njima odgovaraju¢i sopstveni vektori su
g1 =
[−0.93141280.3639647
]i g2 =
[−0.3639647−0.9314128
].
Dakle, prva i druga kanoni£ka korelacija su, redom,
λ1 = 0.9801316, λ2 = 0.2751467,
i otuda su vektori koe�cijenata prvog para linearnih kombinacija u ovom slu£aju
a1(z) = ρ−1/211 g1 =
[−1.34160150.9020581
]i b1(z) =
1
λ1ρ−122 ρ21ρ
−1/211 g1 =
[0.7934132
−0.8793880
],
dok su vektori kanoni£kih koe�cijenata drugog para
a2(z) = ρ−1/211 g2 =
[−0.01027307−0.99312197
]i b2(z) =
1
λ2ρ−122 ρ21ρ
−1/211 g2 =
[−0.6792677−0.5635476
].
Sledi da je prvi par kanoni£kih promenljivih sa koe�cijentom korelacijeλ1 = 0.9801316 dat sa
U1(z) = aT1(z)
Z(1) = −1.3416015Z(1)1 + 0.9020581Z
(1)2
V1(z) = bT1(z)
Z(2) = 0.7934132Z(2)1 − 0.8793880Z
(2)2 ,
dok je drugi par kanoni£kih promenljivih
U2(z) = aT2(z)
Z(1) = −0.01027307Z(1)1 − 0.99312197Z
(1)2
V2(z) = bT2(z)
Z(2) = −0.6792677Z(2)1 − 0.5635476Z
(2)2 ,
Populaciona kanoni£ka korelaciona analiza 27
£iji je koe�cijent korelacije λ2 = 0.2751467 . �
2.5 Interpretacija kanoni£kih promenljivih i kano-
ni£kih korelacija
Ispred smo dali tehni£ku de�niciju kanoni£kih promenljivih i kanoni£kih korela-cija. Sada ¢emo se fokusirati na tuma£enje kanoni£kih promenljivih u cilju odre�i-vanja relativne vaºnosti svake od originalnih promenljivih u kanoni£kim odnosima.Predlaºu se tri na£ina: tuma£enje kanoni£kih koe�cijenata, kanoni£kih optere¢enjai kanoni£kih unakrsnih optere¢enja.
2.5.1 Tradicionalno tuma£enje
Tradicionalan pristup tuma£enja kanoni£kih promenljivih bi se ogledao u analizipredznaka i vrednosti kanoni£kih koe�cijenata koje su dodeljene originalnim promen-ljivama pri gra�enju kanoni£kih parova promenljivih. Originalne promenljive uz kojestoji relativno ve¢i koe�cijent bi ukazivao na to da ta promenljiva vi²e doprinosi svo-joj kanoni£koj promenljivoj, i obrnuto, dok bi suprotni znakovi ukazivali na inverznuvezu, a promenljive sa koe�cijentima istog znaka bi ukazivale na direktnu vezu. Me-�utim, sa ovakvim vidom tuma£enja treba biti vrlo oprezan. Kanoni£ki koe�cijentimogu biti jako nestabilni (variranje me�u uzorcima), pote²ko¢e se mogu javiti i zbogmogu¢e pojave multikolinearnosti, kao i zbog razli£itih ra£unskih procedura.
2.5.2 Kanoni£ka optere¢enja
U interpreataciji kanoni£kih promenljivih nam £esto pomaºe izra£unavanje koe-�cijenata korelacija izme�u originalnih i kanoni£kih promenljivih. Tu spadaju kano-ni£ka optere¢enja (koe�cijenti korelacije strukture) i unakrsna kanoni£ka optere¢e-nja, koja se predlaºu kao alternativa kanoni£kim optere¢enjima. Kanoni£ka optere-¢enja su koe�cijenti korelacije izme�u kanoni£kih promenljivih i njihovih originalnihpromenljivih, dok su kanoni£ka unakrsna optere¢enja koe�cijenti korelacije izme�ukanoni£kih promenljivih i originalnih promenljivih suprotnog skupa. Iako se kano-ni£ka optere¢enja smatraju vaºnijim od kanoni£kih koe�cijenata, treba biti oprezani sa njihovim tuma£enjem. Sa druge strane, iako i unakrsna kanoni£ka optere¢enjapruºaju univarijantnu informaciju, u smislu da ne ukazuju na to kako originalnepromenljive zajedni£ki doprinose analizama, ona pruºaju direktniju meru odnosaizme�u posmatranih skupova promenljivih.
Populaciona kanoni£ka korelaciona analiza 28
Ozna£imo sa A i B slede¢e matrice :
A =
a11 a12 · · · a1p
a21 a22 · · · a2p...
... . . . ...
ap1 ap2 · · · app
,B =
b11 b12 · · · b1q
b21 b22 · · · b2q...
... . . . ...
bq1 bq2 · · · bqq
. (2.105)
Primetimo da vrste matrice A £ine vektori kanoni£kih koe�cijenata ai, dok vrstematrice B £ine vektori kanoni£kih koe�cijenata bi. Ako ozna£imo sa
U = [U1 U2 · · · Up]T i V = [V1 V2 · · · Vq]T (2.106)
vektore kanoni£kih promenljivih, tada imamo da je
U = AX(1) i V = BX(2). (2.107)
Kao i ranije, pretpostavi¢emo da je p ≤ q, pa nam je otuda od interesa samoprvih p komponenata vektora V.
Primenom osobina kovarijanse i na osnovu £injenice da je Var(Ui) = 1, imamoda je koe�cijent korelacije izme�u promenljivih Ui i X
(1)k , u oznaci ρ
Ui,X(1)k, jednak
ρUi,X
(1)k
=Cov(aT
i X(1), X(1)k )√
Var(X(1)k )
=
k∑j=1
aijCov(X(1)j , X
(1)k )√
Var(X(1)k )
=k∑
j=1
aijCov
X(1)j ,
1√Var(X
(1)k )
X(1)k
. (2.108)
Ako je ρU,X(1) matrica £iji su elementi dati sa (2.108), tada je odgovaraju¢i matri£nizapis
ρU,X(1) = Cov(AX(1),V−1/2Σ11
X(1)) = AΣ11V−1/2Σ11
. (2.109)
Sli£no, za matrice preostala tri para kanoni£kih i originalnih promenljivih dobi-jamo:
ρU,X(2) = Cov(AX(1),V−1/2Σ22
X(2)) = AΣ12V−1/2Σ22
, (2.110)
ρV,X(1) = Cov(BX(2),V−1/2Σ11
X(1)) = BΣ21V−1/2Σ11
, (2.111)
ρV,X(2) = Cov(BX(2),V−1/2Σ22
X(2)) = BΣ22V−1/2Σ22
. (2.112)
Ukoliko pri izra£unavanju koristimo standardizovane promenljive Z(1) i Z(2), tadaimamo da je
U(z) = A(z)Z(1) i V(z) = B(z)Z
(2), (2.113)
Populaciona kanoni£ka korelaciona analiza 29
gde su U(z) = [U1(z) U2(z) · · · Up(z) ]T i V(z) = [V1(z) V2(z) · · · Vq(z) ]T vektori kano-
ni£kih promenljivih dobijeni preko standardizovanih originalnih promenljivih, i pri£emu smo sa A(z) i B(z) ozna£ili matrice £ije vrste sadrºe vektore koe�cijenata ai(z)
i bi(z) , redom. U tom slu£aju je
ρU(z),Z(1) = A(z)ρ11, ρU(z),Z
(2) = A(z)ρ12,
ρV(z),Z(1) = B(z)ρ21, ρV(z),Z
(2) = B(z)ρ22. (2.114)
Koe�cijenti korelacije koji se pojavljuju u matricama (2.114) imaju iste nume-ri£ke vrednosti kao i koe�cijenti korelacija koji su sadrºani u matricama (2.109)-(2.112). Zaista, kako za kanoni£ke koe�cijente ai(z) i bi(z) vaºe rezultati (2.99) i(2.100), to na osnovu istih i kori²¢enjem veze izme�u kovarijansne i korelacionematrice vektora date u (2.20), imamo da je
ρU,X(1) = AΣ11V−1/2Σ11
= (A
=I(p×p)︷ ︸︸ ︷V
1/2Σ11
)(V−1/2Σ11
Σ11V−1/2Σ11
) = A(z)ρ11 = ρU(z),Z(1) ,
(2.115)
a sli£no se dobija i da vaºi
ρU,X(2) = ρU(z),Z(2) , ρV,X(1) = ρV(z),Z
(1) ,ρV,X(2) = ρV(z),Z(2) . (2.116)
Dakle, standardizacija ne uti£e na vrednost kanoni£kih optere¢enja, pa je otudasvejedno koju oznaku za matrice korelacija koristimo.
2.6 Generalizacija nekih drugih koe�cijenata kore-
lacije i indeksi redudantnosti
Neka su korelacione matrice oblika:
ρ11 =
1 ρ
(1)12 · · · ρ
(1)1p
ρ(1)21 1 · · · ρ
(1)2p
...... . . . ...
ρ(1)p1 ρ
(1)p2 · · · 1
, ρ22 =
1 ρ
(2)12 · · · ρ
(2)1q
ρ(2)21 1 · · · ρ
(2)2q
...... . . . ...
ρ(2)q1 ρ
(2)q2 · · · 1
, (2.117)
ρ12 = ρT21 =
ρ11 ρ12 · · · ρ1q
ρ21 ρ22 · · · ρ2q...
... . . . ...
ρp1 ρp2 · · · ρpq
. . (2.118)
Populaciona kanoni£ka korelaciona analiza 30
Radi kra¢ih zapisa u nastavku, ako uvedemo oznake
σ(1)ij = Cov(X
(1)i , X
(1)j ), σ
(2)ij = Cov(X
(2)i , X
(2)j ), σij = Cov(X
(1)i , X
(2)j ),
gde su, jasno, σ(1)ii = Var(X
(1)i ) , σ
(2)ii = Var(X
(2)i ), matrice kovarijansi posmatrane
ranije dobijaju oblik:
Σ11 =
σ(1)11 σ
(1)12 · · · σ
(1)1p
σ(1)21 σ
(1)22 · · · σ
(1)2p
...... . . . ...
σ(1)p1 σ
(1)p2 · · · σ
(1)pp
, Σ22 =
σ(2)11 σ
(2)12 · · · σ
(2)1q
σ(2)21 σ
(2)22 · · · σ
(2)2q
...... . . . ...
σ(2)q1 σ
(2)q2 · · · σ
(2)qq
, (2.119)
Σ12 = ΣT21 =
σ11 σ12 · · · σ1q
σ21 σ22 · · · σ2q...
... . . . ...
σp1 σp2 · · · σpq
. . (2.120)
Kako smo videli, u kanoni£koj korelacionoj analizi vaºnu ulogu igraju matricekoje smo ispred ozna£ili sa Cp i Dq. Otuda specijalni slu£ajevi koji slede mogupomo¢i u njihovoj interpretaciji.
• Razmotrimo, najpre, slu£aj kada je p = q = 1. Tada se slu£ajni vektori (2.21)svode na jednodimenzionalne promenljive X(1)
1 i X(2)1 , pa za proizvoljne a, b ∈ R\{0}
vaºi:∣∣∣∣∣∣ Cov(aX(1)1 , bX
(2)1 )√
Var(aX(1)1 )
√Var(bX
(2)1 )
∣∣∣∣∣∣ =∣∣∣∣∣∣ abσ11
|a|√σ(1)11 |b|
√σ(2)11
∣∣∣∣∣∣ =∣∣∣∣∣∣ σ11√
σ(1)11
√σ(2)11
∣∣∣∣∣∣ , (2.121)
odakle zaklju£ujemo da je|ρ1| = |ρ11| , (2.122)
gde je ρ1 koe�cijent korelacije izme�u "kanoni£kih promenljivih"
U1 = aX(1)1 i V1 = bX
(2)1 . (2.123)
Dakle, u slu£aju kada se skupovi promenljivih £iju vezu ispitujemo sastoje od pojedne promenljive, imamo da za "kanoni£ku korelaciju"λ1 vaºi:
λ1 = |ρ11| , (2.124)
odnosno, jednaka je apsolutnoj vrednosti koe�cijenta korelacije izme�u promenljivihiz jedno£lanih posmatranih skupova.
Populaciona kanoni£ka korelaciona analiza 31
S druge strane, u ovom slu£aju se matrice na osnovu kojih odre�ujemo kanoni£kekoe�cijente svode na skalar:
C1 = D1 =σ11σ11
σ(1)11 σ
(2)11
= ρ211. (2.125)
Ako slu£ajni vektori (2.21) sadrºe vi²e od jedne promenljive (p, q > 1) tada¢e prva kanoni£ka korelacija biti ve¢a od apsolutne vrednosti bilo kog elemenatakorelacione matrice ρ12. Zaista, uzmimo vektore α(p×1) i β(q×1) takve da je
α = [0 · · · 0 1 0 · · · 0]T i β = [0 · · · 0 1 0 · · · 0]T , (2.126)
pri £emu se kod vektora α jedinica nalazi na i-tom mestu, dok se kod vektora βnalazi na k-tom. Tada je
αTX(1) =[0 · · · 0 1 0 · · · 0
]
X(1)1...
X(1)i...
X(1)p
= X
(1)i , (2.127)
i analogno βTX(2) = X(2)k , odakle sledi da je
λ1 = maxa,b
Cov(aTX(1),bTX(2))√Var(aTX(1))
√Var(bTX(2))
≥
∣∣∣∣∣ Cov(αTX(1),βTX(2))√Var(αTX(1))
√Var(βTX(2))
∣∣∣∣∣ = |ρik|.(2.128)
• Razmotrimo sada slu£aj kada prvi skup sadrºi p > 1, a drugi skup jednupromenljivu (q = 1). Tada dobijamo:
D1 =Σ21Σ
−111 Σ12
σ(2)11
= R2, (2.129)
gde je Σ12 = ΣT21 p-dimenzionlni vektor kovarijansi izme�u X
(2)1 i X(1). Matrica
Dq se u ovom slu£aju svodi na skalar R2 koji nosi naziv koe�cijent determinacije ide�ni²e se kao kvadrat vi²estrukog koe�cijenta korelacije
ρX
(2)1 (X(1))
def= max
a
Cov(X(2)1 , aTX(1))√
Var(X(2)1 )√Var(aTX(1))
= +
√Σ21Σ
−111 Σ12
σ(2)11
. (2.130)
Za vi²e detalja o ovome videti [5], (7.8).
Populaciona kanoni£ka korelaciona analiza 32
Iz poslednjeg izraza moºemo uo£iti da je u ovom slu£aju
λ1 = ρX
(2)1 (X(1))
. (2.131)
Analogno, ukoliko prvi skup sadrºi jednu promenljivu (p = 1), dok drugi skup sadºiq > 1 promenljivih, dobijamo da je
λ1 = ρX
(1)1 (X(2))
, (2.132)
dok ako je p, q > 1, tada je
λ1 ≥ ρX
(1)i (X(2))
, ρX
(2)j (X(1))
, i = 1, . . . , p, j = 1, . . . , q. (2.133)
Pretpostavimo, sada, da je 1 < p ≤ q. Tada vaºi da je
ρUi(X(2)) = maxb
Cov(Ui,bTX(2))√
Var(Ui)√
Var(bTX(2))=
Cov(Ui, Vi)√Var(Ui)
√Var(Vi)
= λi, (2.134)
i sli£no
ρVi(X(1)) = maxa
Cov(Vi, aTX(1))√
Var(Vi)√
Var(aTX(1))=
Cov(Vi, Ui)√Var(Vi)
√Var(Ui)
= λi, (2.135)
pri £emu i = 1, . . . , t, t ≤ p. Odavde, na osnovu interpretacije koe�cijenta vi²estrukekorelacije, odnosno koe�cijenta determinacije, imamo da kvadrat i-te kanoni£ke ko-relacije, λ2i , predstavlja udeo totalne varijacije u kanoni£koj promenljivoj Ui koji jeobja²njen pomo¢u promenljivih slu£ajnog vektora X(2), i tako�e, to je udeo totalnevarijacije u kanoni£koj promenljivoj Vi, obja²njen sa X(1). Otuda se λ2i £esto nazivadeljena (zajedni£ka) varijansa izme�u dva skupa promenljivih, a λ21 se uzima kaoukupni pokazatelj korelacije izme�u posmatranih skupova.
Me�utim, veli£ine λ2i tako�e mogu dovesti do pogre²ne interpretacije jer uka-zuju na deo varijanse koju me�u sobom dele linearne kombinacije promenljivih izposmatrana dva skupa, a ne varijansu koja je izdvojena iz svakog od skupova. Sajedne strane, moºe se desiti da kanoni£ke promenljive ne mogu da izdvoje zna£ajnedelove varijanse iz svojih skupova promenljivih, dok sa druge strane me�u njimamoºe postojati jaka kanoni£ka korelacija. Da bismo odredili obja²njenu varijansu,moramo uzeti u obzir ne samo kanoni£ku korelaciju, ve¢ i kanoni£ka optere¢enja.U cilju jasnije interpretacije i prevazilaºenja nesigurnosti u kori²¢enju λ2i , kao meradeljene varijanse predlaºe se tzv. indeks ukupne redundantnosti (Stewart & Love,1968).
De�nisa¢emo najpre individualne indekse redundantnosti za svaku kanoni£kupromenljivu posebno. Nalazimo zbir kvadrata kanoni£kih optere¢enja i delimo ga sa
Populaciona kanoni£ka korelaciona analiza 33
brojem promenljivih u skupu:
ρUi;X(1) =
p∑k=1
ρ2Ui,X
(1)k
p, (2.136)
ρVi;X(2) =
q∑k=1
ρ2Vi,X
(2)k
q(2.137)
Kvadriranjem svakog kanoni£kog optere¢enja se dobija proporcija deljene varijanseizme�u odgovaraju¢e originalne promenljive i njoj odgovaraju¢e kanoni£ke promen-ljive, pa prosek kvadrata (2.136) pokazuje koliko je ukupne varijanse originalnihpromenljivih prvog skupa obja²njeno kanoni£kom promenljivom Ui. Sli£no, (2.137)predstavlja koli£inu deljene varijanse drugog skupa promenljivih obja²njene sa Vi.Sumiranjem veli£ina iz (2.136) nalazimo proporciju varijanse prvog skupa promen-ljivih obja²njenu kanoni£kim promenljivama ovog skupa, dok zbir veli£ina iz (2.137)daje proporciju varijanse drugog skupa promenljivih obja²njenu kanoni£kim pro-menljivama tog istog skupa.
Indeks redudantnosti kanoni£ke promenljive Ui de�ni²e se sa:
IUi= λ2i ρVi;X(2) (2.138)
i on daje proporciju varijanse drugog skupa promenljivih obja²njene kanoni£kom pro-menljivom Ui. Kona£no, zbir individualnih indekasa (2.138) formira indeks ukupneredudantnosti, koji ukazuje na to u kom stepenu promenljive prvog skupa prekosvojih kanoni£kih promenljivih dobro obja²njavaju varijansu promenljivih drugogskupa.
Analogno prethodnom, indeks redudantnosti kanoni£ke promenljive Vi de�ni²ese sa:
IVi= λ2i ρUi;X(1) (2.139)
a njihova suma daje drugi indeks ukupne redudantnosti i ukazuje u kom stepenupromenljive drugog skupa preko svojih kanoni£kih promenljivih dobro obja²njavajuvarijansu promenljivih prvog skupa.
Glava 3
Uzora£ka kanoni£ka korelacionaanaliza
Da bismo u praksi sproveli analizu kanoni£ke korelacije koristimo uzora£ke ko-varijansne matrice, odnosno uzora£ke korelacione matrice, ukoliko se u analizi vr²iprethodna standardizacija promenljivih. Ranije de�nisane veli£ine u populacionommodelu u uzora£koj korelacionoj analizi "menjamo"njima odgovaraju¢im ocenama.
Pretpostavimo da je izvr²eno n merenja za svaku od promenljivih iz posmatranadva skupa, ²to moºe biti predstavljeno matricom podataka dimenzije n× (p+ q):
X(1)11 · · · X
(1)1k · · · X
(1)1p X
(2)11 · · · X
(2)1l · · · X
(2)1q
... · · · ... · · · ...... · · · ... · · · ...
X(1)j1 · · · X
(1)jk · · · X
(1)jp X
(2)j1 · · · X
(2)jl · · · X
(2)jq
... · · · ... · · · ...... · · · ... · · · ...
X(1)n1 · · · X
(1)nk · · · X
(1)np X
(2)n1 · · · X
(2)nl · · · X
(2)nq
, (3.1)
gde X(1)jk ozna£ava slu£ajnu vrednost j-tog merenja promenljive X(1)
k , a X(2)jl ozna-
£ava slu£ajnu vrednost j-tog merenja promenljive X(2)l , j = 1, . . . , n, k = 1, . . . , p,
l = 1, . . . , q. Matrica (3.1) se zapravo moºe tuma£iti kao polazni skup podataka usituaciji kada na n elemenata neke populacije razmatramo p+ q obeleºja. U skladusa takvim tuma£enjem, kolone u datoj matrici odgovaraju obeleºjima, a vrste izve-denim merenjima, pa se na uobi£ajen na£in de�ni²u statistike:
� uzora£ka sredina:
X(1)
k =1
n
n∑j=1
X(1)jk , k = 1, . . . , p (3.2)
X(2)
l =1
n
n∑j=1
X(2)jl , l = 1, . . . , q (3.3)
34
Uzora£ka kanoni£ka korelaciona analiza 35
� uzora£ka disperzija (varijansa):
S(1)2
k =1
n− 1
n∑j=1
(X
(1)jk −X
(1)
k
)2, k = 1, . . . , p (3.4)
S(2)2
l =1
n− 1
n∑j=1
(X
(2)jl −X
(2)
l
)2, l = 1, . . . , q (3.5)
� uzora£ka kovarijansa:
S(1)k1k2
=1
n− 1
n∑j=1
(X
(1)jk1−X(1)
k1
)(X
(i)jk2−X(i)
k2
), k1, k2 = 1, . . . , p (3.6)
S(2)l1l2
=1
n− 1
n∑j=1
(X
(2)jl1−X(2)
l1
)(X
(i)jl2−X(i)
l2
), l1, l2 = 1, . . . , q (3.7)
Skl =1
n− 1
n∑j=1
(X
(1)jk −X
(1)
k
)(X
(2)jl −X
(2)
l
), k = 1, . . . , p, l = 1, . . . , q (3.8)
Jasno, S(1)kk = S
(1)2
k i S(2)ll = S
(2)2
l , dok S(1)k i S(2)
l predstavljaju uzora£ke standardnedevijacije za obeleºja X(1)
k i X(2)l , redom.
� uzora£ki koe�cijent korelacije:
R(1)k1k2
=S(1)k1k2
S(1)k1S(1)k2
, R(1)kk = 1, k, k1, k2 = 1, . . . , p (3.9)
R(2)l1l2
=S(2)l1l2
S(2)l1S(2)l2
, R(2)ll = 1, l, l1, l2 = 1, . . . , q (3.10)
Rkl =Skl
S(1)k S
(2)l
, k = 1, . . . , p, l = 1, . . . , q (3.11)
Neka je X(i)j = [X
(i)j1 · · · X
(i)jk · · · X
(i)jp ]
T slu£ajni vektor koji odgovara j-tom me-renju sprovedenom na promenljivama iz prvog skupa. Tada se (3.1) moºe predstavitikao
X =[X(1) X(2)
]=
X
(1)T
1 X(2)T
1
X(1)T
2 X(2)T
2...
...
X(1)T
n X(2)T
n
=
XT
1
XT2...
XTn
, (3.12)
Uzora£ka kanoni£ka korelaciona analiza 36
gde su, sada, X(1) i X(2) matrice dimeznija n× p i n× q, redom. Koristimo u ovomtrenutku istu oznaku za ove slu£ajne matrice kao u (2.21) za slu£ajne vektore, bezopasnosti od zabune. U nastavku ¢e biti napomenuto kada se oznaka odnosi navi²edimenzionalnu promenljivu (slu£ajan vektor), a ukoliko to nije nagla²eno, bi¢elako uo£iti iz samih izraza.
Za podatke (3.12) se moºe de�nisati vektor uzora£kih sredina:
X =
X(1)
1...
X(1)
p
X(2)
1...
X(2)
q
=
[X
(1)
X(2)
]=
1
n
n∑j=1
X(1)j
1
n
n∑j=1
X(2)j
, (3.13)
a dalje, de�ni²u¢i uzora£ke kovarijansne matrice sa:
S11 = [S(1)k1k2
] =1
n− 1
n∑j=1
(X
(1)j −X
(1))(
X(1)j −X
(1))T
, (3.14)
S22 = [S(2)l1l2
] =1
n− 1
n∑j=1
(X
(2)j −X
(2))(
X(2)j −X
(2))T
, (3.15)
S12 = [Skl] =1
n− 1
n∑j=1
(X
(1)j −X
(1))(
X(2)j −X
(2))T
, (3.16)
pri £emu vaºi da jeS12 = ST
21, (3.17)
uzora£ka kovarijansna matrica za (3.12) moºe biti prikazana kao
S =
[S11 S12
S21 S22
]. (3.18)
Na kraju, uzora£ku korelacionu matricu koja odgovara podacima (3.12) ozna£a-vamo sa R i predstavljamo pomo¢u blok matrice:
R =
[R11 R12
R21 R22
], (3.19)
pri £emu je R11 = [R(1)k1k2
], R22 = [R(2)l1l2
] i R12 = [Rkl] = RT21.
Uzora£ka kanoni£ka korelaciona analiza 37
3.1 Uzora£ke kanoni£ke promenljive i uzora£ke ka-
noni£ke korelacije
Posmatrajmo linearnu kombinaciju
U = aTX(1) = a1X(1)1 + a2X
(1)2 + · · ·+ apX
(1)p , (3.20)
kojoj na j-tom posmatranju odgovaraju¢a linearna kombinacija je
aTX(1)j = a1X
(1)j1 + a2X
(1)j2 + · · ·+ apX
(1)jp , j = 1, . . . , n. (3.21)
Tada, za izvedena posmatranja (3.21), uzora£ka sredina je jednaka
1
n
n∑j=1
aTX(1)j = aTX
(1), (3.22)
a kako je (aTX
(1)j − aTX
(1))2
=(aT(X
(1)j −X
(1)))2
= aT(X
(1)j −X
(1))(
X(1)j −X
(1))T
a, (3.23)
dobija se da je uzora£ka disperzija za (3.20) jednaka
aTS11a. (3.24)
Sli£no, za linearnu kombinaciju
V = bTX(2) = b1X(2)1 + b2X
(2)2 + · · ·+ bqX
(2)q , (3.25)
£ija je odgovaraju¢a linearna kombinacija j-tog posmatranja data sa
bTX(2)j = b1X
(2)j1 + b2X
(2)j2 + · · ·+ bqX
(2)jq , j = 1, . . . , n, (3.26)
uzora£ka sredina je
bTX(2), (3.27)
dok je uzora£ka disperzijabTS22b. (3.28)
Tako�e, moºe se odrediti i uzora£ka kovarijansa za (3.20) i (3.25), koja je u tomslu£aju jednaka
1
n− 1
n∑j=1
(aTX
(1)j − aTX
(1))(
bTX(2)j − bTX
(2))= aTS12b. (3.29)
Uzora£ka kanoni£ka korelaciona analiza 38
Na osnovu prethodnih rezultata, imamo da je uzora£ka korelacija za (3.20) i(3.25) odre�ena sa
ρuv =Cov(U, V )√
Var(U)
√Var(V )
=aTS12b√
aTS11a√
bTS22b. (3.30)
Po analogiji sa de�nicijom 1 iz dela 2.2 imamo slede¢u de�niciju:
De�nicija 2. Prvi par uzora£kih kanoni£kih promenljivih je par linearnih kombina-cija
U1 = aT1 X(1) i V1 = bT
1 X(2)
koje imaju jedini£nu uzora£ku disperziju i maksimiziraju koe�cijent (3.30).Drugi par uzora£kih kanoni£kih promenljivih je par linearnih kombinacija
U2 = aT2 X(1) i V2 = bT
2 X(2)
koje imaju jedini£nu uzora£ku disperziju i maksimiziraju koe�cijent (3.30) me�u svimmogu¢im linearnim kombinacijama koje su nekorelirane sa prvim parom uzora£kihkanoni£kih promenljivih.
...
i-ti par uzora£kih kanoni£kih promenljivih je par linearnih kombinacija
Ui = aTi X(1) i Vi = bT
i X(2)
koje imaju jedini£nu uzora£ku disperziju, maksimiziraju koe�cijent (3.30) i za kojevaºi da su nekorelirani sa parovima uzora£kih kanoni£kih promenljivih
(U1, V1), . . . , (Ui−1, Vi−1) .
Uzora£ka korelacija izme�u promenljivih i-tog uzora£kog kanoni£kog para se nazivai-ta uzora£ka kanoni£ka korelacija. Uzora£ke vektore koe�cijenata linearnih kombi-nacija ai i bi zovemo vektorima uzora£kih kanoni£kih koe�cijenata.
Vektore uzora£kih kanoni£kih koe�cijenata konstrui²emo analogno opisanoj kon-strukciji u slu£aju populacionih vektora koe�cijenata linearnih kombinacija. Otuda,i-ti par uzora£kih kanoni£kih promenljivih je dat sa
Ui = gTi S−1/211︸ ︷︷ ︸
=aTi
x(1), Vi = hTi S−1/222︸ ︷︷ ︸
=bTi
x(2), (3.31)
pri £emu:
∗ x(1) i x(2) su vrednosti promenljivih X(1) i X(2) za odgovaraju¢e posmatranje,
∗ gi je sopstveni vektor matrice S−1/211 S12S
−1/222 S21S
−1/211 ,
Uzora£ka kanoni£ka korelaciona analiza 39
∗ hi je sopstveni vektor matrice S−1/222 S21S
−1/211 S12S
−1/222 ,
∗ uz pretpostavku da je rang(S12) = p ≤ q, λ21 ≥ λ22 ≥ · · · ≥ λ2p su, redom, odgo-varaju¢e sopstvene vrednosti sopstvenim vektorima g1, g2, . . . , gp , a istovremeno suto i sopstvene vrednosti odgovaraju¢e sopstvenim vektorima h1, h2, . . . , hp, redom,
∗ vaºe relacijegi =
1
λiS−111 S12S
−1/222 hi, i = 1, . . . , p, (3.32)
hi =1
λiS−122 S21S
−1/211 gi, i = 1, . . . , p, (3.33)
∗ i-ta uzora£ka kanoni£ka korelacija koja odgovara i-tom kanoni£kom paru (Ui, Vi)je
λi = ρuv(ai, bi) = aiTS12bi (3.34)
Ako pretpostavimo da je X1,X2, . . . ,Xn iid (independent identically distributed)slu£ajni uzorak iz (p + q)− dimenzionalne normalne raspodele sa sredinom (2.36)i kovarijansnom matricom (2.37) , tada umesto matrice (3.18) moºemo posmatratimatricu
Σ =
[Σ11 Σ12
Σ21 Σ22
], (3.35)
koja predstavlja ocenu maksimalne verodostojnosti za (2.37), i pri £emu je
Σ11 =1
n
n∑j=1
(X
(1)j −X
(1))(
X(1)j −X
(1))T
, (3.36)
Σ22 =1
n
n∑j=1
(X
(2)j −X
(2))(
X(2)j −X
(2))T
, (3.37)
Σ12 =1
n
n∑j=1
(X
(1)j −X
(1))(
X(2)j −X
(2))T
= ΣT21. (3.38)
3.2 Matrice uzora£kih kanoni£kih optere¢enja
Neka su, na osnovu slu£ajnog uzorka X1,X2, . . . ,Xn iz zajedni£ke raspodele sasredinom µ i kovarijansnom matricom Σ formirane matrice A i B koje predstavljajuocene matrica datih u (2.105). Vrste matrice A £ine vektori uzora£kih kanoni£kihkoe�cijenata ai, dok vrste matrice B £ine vektori uzora£kih kanoni£kih koe�cijenata
Uzora£ka kanoni£ka korelaciona analiza 40
bi:
A =
a11 a12 · · · a1p
a21 a22 · · · a2p...
... . . . ...
ap1 ap2 · · · app
, B =
b11 b12 · · · b1q
b21 b22 · · · b2q...
... . . . ...
bq1 bq2 · · · bqq
. (3.39)
Ako pretpostavimo da je p ≤ q, od vaºnosti nam je samo prvih p vrsta matrice B.Analogno ranijim rezultatima datih za populacione modele, imamo da je
U = Ax(1), V = Bx(2), (3.40)
RU,x(1) = AS11V−1/2S11
, RU,x(2) = AS12V−1/2S22
, (3.41)
RV,x(1) = BS21V−1/2S11
, RV,x(2) = BS22V−1/2S22
. (3.42)
U slu£aju standardizovanih podataka
Z =[Z(1) Z(2)
]=
Z
(1)T
1 Z(2)T
1
Z(1)T
2 Z(2)T
2...
...
Z(1)T
n Z(2)T
n
=
ZT
1
ZT2...
ZTn
, (3.43)
gde jeZ
(1)j = V
−1/2S11
(X
(1)j − µ(1)
), Z
(2)j = V
−1/2S22
(X
(2)j − µ(2)
), (3.44)
imamo da je
U(z) = A(z)z(1) = AV
1/2S11
z(1) i V(z) = B(z)z(2) = BV
1/2S22
z(2), (3.45)
pri £emu su z(1) i z(2) vrednosti promenljivih Z(1) i Z(2) za odgovaraju¢e posmatranje.
Kako je
RU,x(1) = AS11V−1/2S11
= (AV1/2S11
)(V−1/2S11
S11V−1/2S11
) = A(z)R11 = RU(z),z(1) , (3.46)
i sli£noRU,x(2) = RU(z),z
(2) , RV,x(1) = RV(z),z(1) , RV,x(2) = RV(z),z
(2) , (3.47)
to zaklju£ujemo da standardizacija ne uti£e na vrednosti uzora£kih kanoni£kih ko-relacija.
Uzora£ka kanoni£ka korelaciona analiza 41
3.3 Dodatna merenja
Skupove promenljivih za koje se utvr�uje postojanje veze i ja£ina povezanosti,reprezentuju kanoni£ke promenljive, pa je otuda jasno da nas zanima u kojoj merione jesu dobri reprezentatori. Ukoliko one dobro reprezentuju svaka svoj skup,me�usobna povezanost ovih skupova se moºe izu£avati sa ve¢om pouzdano²¢u.
3.3.1 Matrice gre²ke aproksimacije
Pretpostavimo da je r ≤ p ≤ q. Najpre, na osnovu (3.40) dobijamo da je
x(1) = A−1U i x(2) = B−1V. (3.48)
Primetimo, dalje, da jeCov(U) = AS11A
T = Ip×p, (3.49)
odakle sledi
S11 = A−1(AT )−1 = A−1(A−1)T , (3.50)
pa ukoliko stavimo da je
A−1 =
α11 α12 · · · α1p
α21 α22 · · · α2p
...... . . . ...
αp1 αp2 · · · αpp
, (3.51)
tada na osnovu (3.50) moºemo pisati
S11 =
p∑j=1
αjαTj , (3.52)
gde smo sa αj ozna£ili j-tu kolonu matrice A−1.
Sli£no, kako je Cov(V) = BS22BT = Iq×q, sledi da je
S22 = B−1(B−1)T =
q∑j=1
βjβTj , (3.53)
gde je βj j-ta kolona matrice B−1.
Uzora£ka kanoni£ka korelaciona analiza 42
Tako�e, vaºi rezultat
Cov(U, V) = AS12BT =
λ1 0 · · · 0 0 · · · 0
0 λ2 · · · 0 0 · · · 0...
... . . . ......
......
0 0 · · · λp 0 · · · 0
= λuv, (3.54)
pa se uzora£ka kovarijansna matrica S12 moºe predstaviti kao
S12 = A−1λuv(B−1)T =
p∑j=1
λjαjβTj . (3.55)
Ukoliko u analizi koristimo prvih r uzora£kih parova kanoni£kih promenljivih, tona osnovu (3.48) imamo da je
x(1) =
α11 α12 · · · α1r
α21 α22 · · · α2r
...... . . . ...
αp1 αp2 · · · αpr
U1
U2
...
Ur
i x(2) =
β11 β12 · · · β1r
β21 β22 · · · β2r...
... . . . ...
βq1 βq2 · · · βqr
V1
V2...
Vr
. (3.56)
U tom slu£aju, uzora£ka kovarijansna matrica S12 je aproksimirana sa Cov(x(1), x(2)),dok su uzora£ke kovarijansne matrice Sii aproksimirane sa Cov(x(i)).
Odgovaraju¢e matrice gre²ke aproksimacije su:
� S11 −r∑
j=1
αjαTj = αr+1α
Tr+1 + · · ·+ αpα
Tp (3.57)
� S22 −r∑
j=1
βjβTj = βr+1β
Tr+1 + · · ·+ βqβ
Tq (3.58)
� S12 −r∑
j=1
λjαjβTj = λr+1αr+1β
Tr+1 + · · ·+ λpαpβ
Tp (3.59)
i one pokazuju u kojoj meri prvih r uzora£kih kanoni£kih promenljivih uspe²no repro-dukuju uzora£ke kovarijacione matrice. Zbog samog na£ina konstrukcije kanoni£kihpromenljivih, parovi uzora£kih kanoni£kih promenljivih (U1, V1), . . . , (Ur, Vr), boljereprodukuju elemente matrice S12 = ST
21 , nego elemente matrica S11 i S22. Razlogleºi u tome ²to je, kako vidimo iz (3.59), tu posmatrana matrica gre²ke direktnopovezana sa poslednjih p − r uzora£kih koe�cijenata korelacije koji obi£no imaju
Uzora£ka kanoni£ka korelaciona analiza 43
vrednost jako blisku nuli i za koje vaºi, sad ve¢ dobro poznata relacija
λ1 ≥ · · · ≥ λr ≥ λr+1 · · · ≥ λp, (3.60)
dok s druge strane, matrice gre²ke aproksimacije date u (3.57) i (3.58) zavise samood vektora koe�cijenata, £iji elementi mogu imati i jako velike vrednosti.
Ako u analizi polazimo od standardizovanih podataka, u prethodnim izvo�enjimase uzora£ke kovarijansne matrice zamenjuju odgovaraju¢im uzora£kim korelacionimmatricama.
3.3.2 Proporcija obja²njene uzora£ke varijanse
Kovarijansne matrice nam pruºaju informacije o varijansama i kovarijansama zaskupove £iju vezu ispitujemo. Uzora£ka kovarijaciona matrica S11 sadrºi p uzora£-kih varijansi i p(p−1)
2potencijalno razli£itih uzora£kih kovarijansi, dok S22 sadrºi q
uzora£kih varijansi i q(q−1)2
potencijalno razli£itih uzora£kih kovarijansi. Me�utim,ukoliko ºelimo da za svaki od skupova promenljivih iskaºemo stepen varijabilitetana osnovu jednog broja, u tom cilju se koristi tzv. generalizovana uzora£ka vari-jansa. Ona moºe biti de�nisana kao determinanta odgovaraju¢e uzora£ke kovari-jacione matrice, odnosno korelacione u slu£aju standardizovanih podataka, ili kaosuma dijagonalnih elemenenata ovih matrica. Mi ¢emo u nastavku koristiti drugude�niciju, po kojoj su, dakle, generalizovane uzora£ke varijanse za posmatrana dvaskupa podataka, redom, odre�ene sa :
� trag(S11) = S(1)2
1 + S(1)2
2 + · · ·+ S(1)2
p (3.61)
� trag(S22) = S(2)2
1 + S(2)2
2 + · · ·+ S(2)2
q (3.62)
i u tom slu£aju govorimo o tzv. totalnim uzora£kim varijansama.
Pretpostavimo da su originalne promenljive standardizovane. Tada polazimood podataka (3.43) £ija je uzora£ka kovarijansna matrica data sa (3.19). Kako sudijagonalni elementi korelacionih matrica jednaki jedinici, vaºi:
� trag(R11) = p (3.63)� trag(R22) = q (3.64)
Vrste matrice A(z) £ine vektori uzora£kih kanoni£kih koe�cijenata ai(z) , dok vrstematrice B(z) £ine vektori uzora£kih kanoni£kih koe�cijenata bi(z) . Najpre, na osnovu(3.45) dobijamo da je
z(1) = A−1(z)U(z) i z(2) = B−1(z)V(z), (3.65)
a dalje, kako jeCov(z(1)) = Cov(U(z)) = Ip×p, (3.66)
Uzora£ka kanoni£ka korelaciona analiza 44
Cov(z(2)) = Cov(V(z)) = Iq×q, (3.67)
to nalazimo da je
R11 = A−1(z)(A−1(z))
T , R22 = B−1(z)(B−1(z))
T , (3.68)
RU(z),z(1) = Cov(z(1), U(z)) = A−1(z), (3.69)
RV(z),z(2) = Cov(z(2), V(z)) = B−1(z). (3.70)
Stavimo da je
A−1(z) =
α11(z) α12(z) · · · α1p(z)
α21(z) α22(z) · · · α2p(z)...
... . . . ...
αp1(z) αp2(z) · · · αpp(z)
=[α1(z) , α2(z) , . . . , αp(z)
](3.71)
i
B−1(z) =
β11(z) β12(z) · · · β1q(z)β21(z) β22(z) · · · β2q(z)...
... . . . ...
βq1(z) βq2(z) · · · βqq(z)
=[β1(z) , β2(z) , . . . , βp(z)
]. (3.72)
Tada , na osnovu (3.69) i (3.70) vaºi da je
αkj(z) = RUj(z)
,z(1)k, βkj(z) = R
Vj(z),z
(2)k, (3.73)
a kako standardizacija ne uti£e na vrednosti uzora£kih kanoni£kih korelacija, to su,dakle, elementi matrice A−1(z) uzora£ki koe�cijenti korelacije izme�u elemenata vek-
tora uzora£kih kanoni£kih promenljivih Uj i promenljivih iz prvog skupa promen-ljivih, a elementi matrice B−1(z) su uzora£ki koe�cijenti korelacije izme�u elemenata
vektora uzora£kih kanoni£kih promenljivih Vj i promenljivih iz drugog skupa. S
druge strane, na osnovu (3.63), (3.64) i (3.68) imamo da je
trag(R11) = trag
(p∑
j=1
αj(z)αTj(z)
)= p, (3.74)
²to zna£i da je totalna standarzdizovana uzora£ka varijansa prvog skupa promenljivihjednaka broju promenljivih sadrºanih u tom skupu, i sli£no, totalna standarzdizo-vana uzora£ka varijansa drugog skupa promenljivih jednaka je broju promenljivih iz
Uzora£ka kanoni£ka korelaciona analiza 45
tog skupa, odnosno:
trag(R22) = trag
(q∑
j=1
βj(z)βTj(z)
)= q. (3.75)
Neka je 1 ≤ r ≤ p ≤ q, i posmatrajmo prvih r kolona matrica (3.71) i (3.72). Iz(3.73) vidimo da su elementi ovih kolona
RUj(z)
,z(1)k
i RVj(z)
,z(1)k, 1 ≤ j ≤ r, (3.76)
pa kako se uzora£ke kanoni£ke korelacije u prvih r kolona matrica A−1(z) i B−1(z) odnose
samo na prvih r parova uzora£kih kanoni£kih promenljivih (U1, V1), . . . , (Ur, Vr),de�ni²emo:
• doprinos prvih r kanoni£kih promenljivih U1, . . . , Ur totalnoj standardizovanojuzora£koj varijansi prvog skupa promenljivih sa
trag
(r∑
j=1
αj(z)αTj(z)
)=
p∑k=1
r∑j=1
R2
Uj(z),z
(1)k
(3.77)
• doprinos prvih r kanoni£kih promenljivih V1, . . . , Vr totalnoj standardizovanojuzora£koj varijansi drugog skupa promenljivih sa
trag
(r∑
j=1
βj(z)βTj(z)
)=
q∑k=1
r∑j=1
R2
Vj(z),z
(2)k
(3.78)
Stavljanjem u odnos veli£ina iz izraza (3.77) i (3.74) dobijamo proporciju totalnestandardizovane uzora£ke varijanse prvog skupa promenljivih obja²njene sa prvih ruzora£kih kanoni£kih promenljivih:
R2z(1);U1,...,Ur
=
trag
(r∑
j=1
αj(z)αTj(z)
)
trag
(p∑
j=1
αj(z)αTj(z)
) =
p∑k=1
r∑j=1
R2
Uj(z),z
(1)k
p, (3.79)
dok se proporcija totalne standardizovane uzora£ke varijanse drugog skupa promen-ljivih obja²njene sa prvih r uzora£kih kanoni£kih promenljivih dobija stavljanjem uodnos veli£ina iz izraza (3.78) i (3.75):
R2z(2);V1,...,Vr
=
trag
(r∑
j=1
βj(z)βTj(z)
)
trag
(q∑
j=1
βj(z)βTj(z)
) =
q∑k=1
r∑j=1
R2
Vj(z),z
(2)k
q. (3.80)
Uzora£ka kanoni£ka korelaciona analiza 46
Veli£ine (3.79) i (3.80) nam ukazuju na to u kojoj meri uzora£ke kanoni£ke pro-menljive dobro predstavljaju svoje skupove. Primetimo da ih, na osnovu linearnostitraga matrica, moºemo izraziti i preko odgovaraju¢ih matrica gre²aka na slede¢ina£in:
R2z(1);U1,...,Ur
= 1−trag
(R11 −
(r∑
j=1
αj(z)αTj(z)
))p
, (3.81)
R2z(2);V1,...,Vr
= 1−trag
(R22 −
(r∑
j=1
βj(z)βTj(z)
))q
. (3.82)
3.4 Svojstva i testovi kod velikih uzoraka
U op²tem slu£aju, iz nezavisnosti slu£ajnih vektora (2.21) bi sledilo da je
Σ12 = 0 . (3.83)
Tada bi za sve vektore a i b vaºilo da je aTΣ12b = 0 , ²to zna£i da poslednji uslov(3.83) implicira da sve kanoni£ke korelacije moraju biti jednake nuli, pa ne bi bilosmisla izvoditi kanoni£ku korelacionu analizu. U slu£aju pretpostavke o normalnostiraspodele vektora (2.35), tj. ako pretpostavimo da (2.21) imaju vi²edimenzionalnenormalne raspodele:
X(1) ∼ Np(µ(1),Σ11), X(2) ∼ Nq(µ
(2),Σ22), (3.84)
nezavisnost skupova promenljivih koje predstavljamo slu£ajnim vektorima X(1) iX(2) ekvivalentna je uslovu (3.83). Slede¢i rezultat pruºa teorijsku osnovu za te-stiranje (kod velikih uzoraka) nulte hipoteze H0 : Σ12 = 0 protiv alternativneH1 : Σ12 6= 0 , ²to je , kako smo videli ispred, ekvivalentno sa testiranjem
H0 : λ1 = λ2 = · · · = λp = 0 protiv H1 : λi 6= 0, za (bar) neko i , (3.85)
pri £emu, kao i obi£no, pretpostavljamo da je p ≤ q .
Uzora£ka kanoni£ka korelaciona analiza 47
Teorema 2. Neka je X1,X2, . . . ,Xn slu£ajni uzorak iz populacije sa raspodelomNp+q(µ,Σ) , gde su slu£ajni vektori Xj dati sa
Xj =
[X
(1)j
X(2)j
]=
X(1)j1...
X(1)jp
X(2)j1...
X(2)jq
, j = 1, 2, . . . , n, (3.86)
i pri £emu je
µ = E(Xj) =
[E(X
(1)j )
E(X(2)j )
]=
[µ(1)
µ(2)
], (3.87)
Σ = Cov(Xj) =
[Cov(X
(1)j ) Cov(X
(1)j ,X
(2)j )
Cov(X(2)j ,X
(1)j ) Cov(X
(2)j )
]=
[Σ11 Σ12
Σ21 Σ22
]. (3.88)
Tada, test koli£nika verodostojnosti za H0 : Σ12 = 0 protiv H1 : Σ12 6= 0 odbijanultu hipotezu za velike vrednosti statistike
−2 ln (Λ) = n ln
(|Σ11| |Σ22||Σ|
)= −n
p∑i=1
ln (1− λ2i ), (3.89)
gde je
Σ =
[Σ11 Σ12
Σ21 Σ22
](3.90)
ocena maksimalne verodostojnosti za Σ. Pritom, za veliko n, test statistika (3.89)je pribliºno raspodeljena kao χ2 slu£ajna promenljiva sa pq stepeni slobode.
Dokaz. Ukoliko vaºi nulta hipoteza, tada ΣT21 = Σ12 = 0, pa ocena maksimalne
verodostojnosti za Σ postaje
Σ0 =
[Σ11 0
0T Σ22
]. (3.91)
S druge strane, ukoliko vaºi alternativna hipoteza, ocena maksimalne verodostoj-nosti za Σ je data sa (3.90). Odatle, na osnovu osobina matri£nog ra£una, imamoda je
|Σ| = |Σ22| |Σ11 − Σ12Σ−122 Σ21| = |Σ22| |Σ11| |Ip×p − Σ−111 Σ12Σ
−122 Σ21|, (3.92)
Uzora£ka kanoni£ka korelaciona analiza 48
i dalje dobijamo
−2 ln (Λ) = n ln
(|Σ11| |Σ22||Σ|
)= n ln
(1
|Ip×p − Σ−111 Σ12Σ−122 Σ21|
)= n
[ln (1)− ln
(|Ip×p − Σ−111 Σ12Σ
−122 Σ21|
)]= −n ln
(|Ip×p − Σ−111 Σ12Σ
−122 Σ21|
)= −n ln
(|Σ−1/211 Σ
1/211 − Σ
−1/211 Σ
−1/211 Σ12Σ
−122 Σ21|
)= −n ln
(|Σ1/2
11 | |Σ−1/211 Σ
1/211 − Σ
−1/211 Σ
−1/211 Σ12Σ
−122 Σ21| |Σ−1/211 |
)= −n ln
(|Ip×p − Σ
−1/211 Σ12Σ
−122 Σ21Σ
−1/211 |
). (3.93)
U poslednjem izrazu, vrednost determinante matrice je jednaka proizvodu njenihsopstvenih vrednosti. Sopstvene vrednosti matrice Σ
−1/211 Σ12Σ
−122 Σ21Σ
−1/211 su uzo-
ra£ke kanoni£ke korelacije λ21 ≥ λ22 ≥ · · · ≥ λ2p, pa su otuda sopstvene vrednostimatrice iz izraza (3.93) jednake
1− λ21 , 1− λ22 , · · · , 1− λ2p. (3.94)
Sledi da je
−2 ln (Λ) = −n ln
(p∏
i=1
(1− λ21)
)= −n
p∑i=1
ln (1− λ2i ), (3.95)
²to je i trebalo pokazati. �
Kao ²to moºemo videti, centalno mesto u naj£e²¢e kori²¢enom i najpoznatijemstatisti£kom postupku za odre�ivanje zna£ajnosti kanoni£kih koe�cijenata datomiznad, zauzima statistika
Λ2/n =|Σ||Σ0|
, (3.96)
poznata pod nazivom Wilks-ova lambda.
Bartlett(1939) je predloºio modi�kaciju test statistike (3.89) :
−(n− 1
2(p+ q + 3)
) p∑i=1
ln (1− λ2i ) ∼ χ2pq, (3.97)
£ime se pobolj²ava aproksimacija χ2 raspodele. Za dati nivo zna£ajnosti α imamoda je
P{−(n− 0.5(p+ q + 3))
p∑i=1
ln (1− λ2i ) ≤ χ2pq(α)} ≈ 1− α, (3.98)
gde je χ2pq(α) gornji (1−α)100% percentil χ2 raspodele sa pq stepeni slobode. Drugim
Uzora£ka kanoni£ka korelaciona analiza 49
re£ima, ako je realizovana vrednost test statistike (3.97) ve¢a od χ2pq(α), odbacujemo
hipotezu H0 iz (3.85). Ukoliko se to desi, prirodno se teºi ispitivanju zna£ajnostipojedina£nih kanoni£kih korelacija. Kako vaºi da je
λ1 ≥ λ2 ≥ · · · ≥ λp ≥ 0, (3.99)
to moºemo pretpostaviti da je prva kanoni£ka korelacija razli£ita od nule, dok suostale jednake nuli. U slu£aju odbacivanja i ove hipoteze dalje pretpostavljamo dasu prve dve kanoni£ke korelacije razli£ite od nule, dok su ostale p− 2 jednake nuli,itd., ²to nas dovodi do niza hipoteza
H(k)0 : λ1 6= 0, . . . , λk 6= 0, λk+1 = 0, . . . , λp = 0, (3.100)
H(k)1 : λi 6= 0, za neko i ≥ k + 1. (3.101)
Za testiranje hipoteze da je samo k populacionih kanoni£kih korelacija razli£ito odnule Bartlett (1939) predlaºe test statistiku
−(n− 1
2(p+ q + 3)
) p∑i=k+1
ln (1− λ2i ), (3.102)
koja asimptotski ima χ2 raspodelu sa (p − k)(q − k) stepeni slobode. Potrebnoje napomenuti da, ukoliko se nulte hipoteze H0 , H
(1)0 , H
(2)0 , itd. testiraju jedna za
drugom sve dok ne odbacimo H(k)0 , za neko k , uzastopna testiranja nisu statisti£ki
nezavisna, ukupan nivo zna£ajnosti nije α i jako ga je te²ko odrediti.
Kao ²to je to slu£aj sa svim statisti£kim tehnikama, u istraºivanju se zadrºavajui istpretiraju samo statisti£ki zna£ajne kanoni£ke promenljive. Upotrebe kriterijumaza odlu£ivanje koje kanoni£ke promenljive treba tuma£iti uslovljena je samom pri-rodom istraºiva£kog problema. Pored veli£ine kanoni£kog koe�cijenta i testiranjazna£ajnosti kanoni£kih koe�cijenata, kao pomo¢ u tuma£enju rezultata kanoni£kekorelacione analize, uvodi se i analiza redundantnosti. Kao i u slu£aju kanoni£kihkorelacija, ne postoji op²te prihva¢ena minimalna vrednost indeksa redundantnostikoja bi opravdala interpretaciju kanoni£kih promenljivih, ve¢ istraºiva£ sam trebada proceni da li je li je ovaj koe�cijent dovoljan za opravdanje interpretacije.
Glava 4
Primena
4.1 Primer
(izvor :[11]) Utvr�ivana je povezanost izme�u izvr²nih funkcija i vidno-motori£kihsposobnosti kod dece sa intelektualnim pote²ko¢ama, uzrasta od 7 do 15 godina. Is-traºivanje je sprovedeno na uzorku od 90 u£enika. S jedne strane imamo originalanskup promenljivih vidno-motori£kih sposobnosti, X(1):
X(1) =
X
(1)1
X(1)2
X(1)3
X(1)4
=
Purdue Pegboard - dominantna ruka
Purdue Pegboard - nedominantna ruka
Acadia vidno-motori£ka koordinacija
Acadia vidno-motori£ka integracija
i sa druge originalan skup promenljivih izvr²nih funkcija, X(2):
X(2) =
X(2)1
X2)2
X(2)3
X(2)4
X(2)5
X(2)6
X(2)7
X(2)8
=
Inhibicija pona²anja
Fleksibilnost paºnje
Emotivna kontrola
Iniciranje aktivnosti
Radno pam¢enje
Planiranje
Organizacija materijala
Monitoring izvedbe
Kanoni£kom korelacionom analizom je utvr�eno da postoji statisti£ki zna£ajna
povezanost izme�u posmatranih skupova promenljivih X(1) i X(2). Deo rezultataanalize je dat u tabeli (4.1).
Broj dobijenih kanoni£kih promenljivih jednak je broju promenljivih u manjemskupu. Dobijeno je da one izdvajaju 100% varijanse iz skupa vidno-motori£kih spo-
50
Primena 51
sobnosti i oko 78% varijanse iz skupa izvr²nih funkcija. Dobijene mere ukupne re-dundantnosti, koje su pribliºno jednake, ukazuju na to da rezultati izvr²nih funkcijamogu objasniti oko 26.4% varijanse u rezultatima vidno-motori£kih sposobnosti,dok rezultati na testovima vidno-motori£kih sposobnosti mogu objasniti oko 22%varijanse u rezultatima izvr²nih funkcija.
Testiranja zna£ajnosti kanoni£kih koe�cijenata vr²ena su primenom predloºenogBartlett-ovog postupka, opisanog u 3.4. Rezultati testiranja, kao i vrednosti kano-ni£kih korelacija date su u tabeli (4.2). Utvr�eno je da se u analizi zadrºava samoprvi par kanoni£kih promenljivih. Povezanost izme�u ovog para je relativno visoka.To potvr�uje veli£ina njihovog kanoni£kog koe�cijenta (0.64), kao i obja²njeni deozajedni£ke varijanse (41%).
Daljom analizom kanoni£kih optere¢enja se do²lo do zaklju£ka da na prvi parkanoni£kih promenljivih zna£ajno uti£u skoro sve promenljive izvr²nih funkcija osimemocionalne kontrole i �eksibilnosti paºnje, kao i gotovo sve promenljive vidno-motori£kih sposobnosti, osim purdue nedominantna ruka.
skup promenljivih broj promenljivih izdvojena varijansa ukupna redundantnost
X(1) 4 100% 26.39%
X(2) 8 78.15% 22.06%
Tabela 4.1: Kanoni£ka analiza
i λi λ2i χ2 stepeni slobode p-vrednost Wilks-ova Λ
1 0.64 0.41 74.14 32 0.001 0.407
2 0.45 0.20 30.49 21 0.082 0.691
3 0.35 0.12 11.79 12 0.462 0.866
4 0.097 0.09 0.79 5 0.977 0.990
Tabela 4.2: Kanoni£ke korelacije i testiranje zna£ajnosti
Primena 52
4.2 Kanoni£ka korelaciona analiza u R-u
U programskom jeziku R, za kanoni£ku korelacionu analizu postoji ugra�enafuncijacc ( )
koja je deo paketa CCA, koju je mogu¢e koristiti ukoliko je u skupu podataka brojopaºanja ve¢i od broja promenljivih (n ≥ p + q). Naglasimo da naredni primer nepokriva sve aspekte jednog istraºiva£kog procesa. Posluºi¢e nam da ukaºemo nasamo neke od komandi za analizu podataka u kanoni£koj korelacionoj analizi.
Primer 4. Na uzorku od 600 studenata, prikupljenii su podaci za tri psiholo²kepromenljive:
X(1) =
X
(1)1
X(1)2
X(1)3
=
Lokus kontrole
Self-koncept
Motivacija
(4.1)
i za £etiri akademske promenljive kojoj je dodata indikatorska promenljiva koja opi-suje pol studenta (da bi se ispravile mogu¢e razlike izme�u mu²karaca i ºena) i uzimavrednost 0 ako je osoba mu²kog pola, odnosno 1 ako je ºenskog:
X(2) =
X(2)1
X(2)2
X(2)3
X(2)4
X(2)5
=
�itanje
Pisanje
Matematika
Druge prirodne nauke
Pol
. (4.2)
Ispituje se povezanost izme�u skupova (4.1) i (4.2).
Re²enje:i n s t a l l . p a c k a g e s ( "CCA" )require (CCA)
# pristupamo ugradjenom skupu podataka sa 600 opservacija na 8 obelezja
# na osnovu kojeg formiramo matricu
x ← data .matr ix ( r e ad . c s v ( " https : // s t a t s . i d r e . u c l a . e d u /stat/data/mmreg.csv" ) )colnames ( x ) ← c ( "Lokus_kontrole" , "Sel f−koncept " , "Motivac i ja " , "Citan je " ,"Pisan j e " , "Matematika" , "Nauke" , "Pol" )x
# izdvajamo prve tri kolone gornje matrice; nova matrica predstavlja
# skup podataka koji odgovara prvom skupu psiholoskih promenljivih
x1 ← x [ , 1 : 3 ]x1
# preostalih 5 kolona izdvajamo u matricu podataka koja odgovara
# drugom skupu promenljivih
x2 ← x [ , 4 : 8 ]x2
Primena 53
Moºemo najpre vizualizirati korelacione matrice. Paket CCA predlaºe dva na£inaza to, od kojih je jedan ilustrovan na slici (4.1).
img.matcor (matcor ( x1 , x2 ) , type = 1) #prvi nacin
img.matcor (matcor ( x1 , x2 ) , type = 2) #drugi nacin (slika 4.1)
Slika 4.1: Korelacione matrice: R11 (gore levo), R22 (gore desno), R12 (dole). Vred-nosti se prevode u boje, od plave (negativna korelacija) do crvene (pozitivna kore-lacija).
Ukoliko bismo dobili da se slike ravnomerno boje u svetlo-zelenu boju koja od-govara korelaciji bliskoj nuli, ovde bismo se zaustavili. Kako to u datom primerunije slu£aj, ima smisla primeniti kanoni£ku korelacionu analizu.
# primenjujemo kanonicku korelacionu analizu
KKA← cc ( x1 , x2 )
# izdvajamo kanonicke korelacije
KKA$cor
# izdvajamo vektore kanonickih koeficijenata koji odgovaraju psiholoskim
# promenljivama i sa njima grade odgovarajucu kanonicku promenljivu;
# vektori odgovarajucih kanonickih parova su grupisani po kolonama
KKA$xcoe f
Primena 54
# isto cinimo i za drugi skup promenljivih
KKA$ycoe f
# izdvajamo kanonicka opterecenja
KKA$ s c o r e s$ c o r r .X . x s c o r e s #koeficijenti korelacije strukture
KKA$ s c o r e s$ c o r r .Y . x s c o r e s #koeficijenti korelacije strukture
KKA$ s c o r e s$ c o r r .X . y s c o r e s #kanonicka unakrsna opterecenja
KKA$ s c o r e s$ c o r r .Y . y s c o r e s #kanonicka unakrsna opterecenja
Pored ranije pomenutog testa Wilks-ove lambde, dostupni multivarijatni testovistatisti£ke zna£ajnosti svih kanoni£kih korelacija su i Hotelling-ov trag, Pillai-ovtrag, i Roy-ev najve¢i koren. Svi testovi su deo paketa CCP.
i n s t a l l . p a c k a g e s ( "CCP" )require (CCP)
l ← KKA$corn ← dim( x1 ) [ 1 ]p ← dim( x1 ) [ 2 ]q ← dim( x2 ) [ 2 ]
p.asym ( l , n , p , q , t s t a t = "Wilks" )p.asym ( l , n , p , q , t s t a t = "Hote l l i n g " )p.asym ( l , n , p , q , t s t a t = " P i l l a i " )p.asym ( l , n , p , q , t s t a t = "Roy" )
Glava 5
Dodatak A
Odre�ivanje matrica Σ−111 ,Σ−122 ,Σ
−1/211 i Σ
−1/222 (2.3, primer 1)
s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)sig_11 ← s i g [ 1 : 2 , 1 : 2 ]sig_12 ← s i g [ 1 : 2 , 3 : 4 ]sig_22 ← s i g [ 3 : 4 , 3 : 4 ]sig_21 ← t ( sig_12 )
inv_11 ← solve ( sig_11 )inv_11################
# [,1] [,2]
#[1,] 0.6 -0.4
#[2,] -0.4 0.6
################
inv_22 ← solve ( sig_22 )inv_22##############################
# [,1] [,2]
#[1,] 0.18181818 -0.04545455
#[2,] -0.04545455 0.13636364
##############################
inv_kk_11 ← solve ( eigen ( sig_11 )$vec t o r s %∗% diag ( sqrt ( eigen ( sig_11 )$va lue s ) )%∗% t ( eigen ( sig_11 )$vec t o r s ) )inv_kk_11############################
# [,1] [,2]
#[1,] 0.7236068 -0.2763932
#[2,] -0.2763932 0.7236068
#############################
inv_kk_22 ← solve ( eigen ( sig_22 )$vec t o r s %∗% diag ( sqrt ( eigen ( sig_22 )$va lue s ) )%∗% t ( eigen ( sig_22 )$vec t o r s ) )inv_kk_22#############################
# [,1] [,2]
#[1,] 0.42247377 -0.05774162
#[2,] -0.05774162 0.36473215
##############################
55
Dodatak A 56
Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.54) (2.3, primer 1)
C_2 ← inv_kk_11 %∗% sig_12 %∗% inv_22 %∗% sig_21 %∗% inv_kk_11C_2############################
# [,1] [,2]
#[1,] 0.8434281 -0.3000000
#[2,] -0.3000000 0.1929356
#############################
eigen (C_2)##########################
#eigen () decomposition
#$values#[1] 0.96065795 0.07570569
#############################
#$vectors# [,1] [,2]
#[1,] -0.9314128 -0.3639647
#[2,] 0.3639647 -0.9314128
#################################
l_1 ← sqrt ( eigen (C_2)$va lue s ) [ 1 ]l_1################
#[1] 0.9801316
#################
l_2 ← sqrt ( eigen (C_2)$va lue s ) [ 2 ]l_2################
#[1] 0.2751467
################
g_1 ← matrix (c ( eigen (C_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)g_2 ← matrix (c ( eigen (C_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)
a_1 ← inv_kk_11 %∗% g_1a_1#################
# [,1]
#[1,] -0.7745740
#[2,] 0.5208035
#################
b_1 ← (1/l_1 ) ∗ inv_22 %∗% sig_21 %∗% inv_kk_11 %∗% g_1b_1#################
# [,1]
#[1,] 0.3239096
#[2,] -0.3109106
#################
a_2 ← inv_kk_11 %∗% g_2a_2##################
# [,1]
#[1,] -0.005931159
#[2,] -0.573379237
###################
b_2 ← (1/l_2 ) ∗ inv_22 %∗% sig_21 %∗% inv_kk_11 %∗% g_2b_2##################
# [,1]
#[1,] -0.2773099
#[2,] -0.1992442
##################
Dodatak A 57
Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.55) (2.3, primer 1)
D_2 ← inv_kk_22 %∗% sig_21 %∗% inv_11 %∗% sig_12 %∗% inv_kk_22D_2############################
# [,1] [,2]
#[1,] 0.4665482 -0.4394532
#[2,] -0.4394532 0.5698154
############################
eigen (D_2)#######################
#eigen () decomposition
#$values#[1] 0.96065795 0.07570569
############################
#$vectors# [,1] [,2]
#[1,] -0.6645704 -0.7472257
#[2,] 0.7472257 -0.6645704
##############################
l_1 ← sqrt ( eigen (D_2)$va lue s ) [ 1 ]l_1###############
#[1] 0.9801316
################
l_2 ← sqrt ( eigen (D_2)$va lue s ) [ 2 ]l_2###############
#[1] 0.2751467
################
h_1 ← matrix (c ( eigen (D_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)h_2 ← matrix (c ( eigen (D_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)
b_1 ← inv_kk_22 %∗% h_1b_1##################
# [,1]
#[1,] -0.3239096
#[2,] 0.3109106
#################
a_1 ← (1/l_1 ) ∗ inv_11 %∗% sig_12 %∗% inv_kk_22 %∗% h_1a_1#################
[ , 1 ][ 1 , ] 0 .7745740[ 2 , ] −0.5208035#################
b_2 ← inv_kk_22 %∗% h_2b_2#################
# [,1]
#[1,] -0.2773099
#[2,] -0.1992442
##################
a_2 ← (1/l_2 ) ∗ inv_11 %∗% sig_12 %∗% inv_kk_22 %∗% h_2a_2##################
# [,1]
#[1,] -0.005931159
#[2,] -0.573379237
####################
Dodatak A 58
Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.87) (2.3, , primer 2)
s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)sig_11 ← s i g [ 1 : 2 , 1 : 2 ]sig_12 ← s i g [ 1 : 2 , 3 : 4 ]sig_22 ← s i g [ 3 : 4 , 3 : 4 ]sig_21 ← t ( sig_12 )
M_2 ← solve ( sig_11 ) %∗% sig_12 %∗% solve ( sig_22 ) %∗% sig_21M_2#############################
# [,1] [,2]
#[1,] 0.9545455 -0.009090909
#[2,] -0.5909091 0.081818182
###############################
eigen (M_2)###########################
#eigen () decomposition
#$values#[1] 0.96065795 0.07570569
############################
#$vectors# [,1] [,2]
#[1,] 0.8298578 0.01034366
#[2,] -0.5579749 0.99994650
##############################
l_1 ← sqrt ( eigen (M_2)$va lue s ) [ 1 ]l_1################
#[1] 0.9801316
#################
l_2 ← sqrt ( eigen (M_2)$va lue s ) [ 2 ]l_2#################
#[1] 0.2751467
#################
a1 ← matrix (c ( eigen (M_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)a1###################
# [,1]
#[1,] 0.8298578
#[2,] -0.5579749
###################
a2 ← matrix (c ( eigen (M_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)a2###################
# [,1]
#[1,] 0.01034366
#[2,] 0.99994650
####################
var1 ← t ( a1 ) %∗% sig_11 %∗% a1var1###############
# [,1]
#[1,] 1.147841
################
sqrt ( var1 )################
# [,1]
#[1,] 1.071373
################
Dodatak A 59
a_1 ← a1 %∗% solve ( sqrt ( var1 ) )a_1#################
# [,1]
#[1,] 0.7745740
#[2,] -0.5208035
###################
b_1 ← ( l_1 )∧ (−1) ∗ solve ( sig_22 ) %∗% sig_21 %∗% a_1b_1###################
# [,1]
#[1,] -0.3239096
#[2,] 0.3109106
####################
Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.88) (2.3, primer 2)
s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)sig_11 ← s i g [ 1 : 2 , 1 : 2 ]sig_12 ← s i g [ 1 : 2 , 3 : 4 ]sig_22 ← s i g [ 3 : 4 , 3 : 4 ]sig_21 ← t ( sig_12 )
N_2 ← solve ( sig_22 ) %∗% sig_21 %∗% solve ( sig_11 ) %∗% sig_12N_2#############################
# [,1] [,2]
#[1,] 0.4545455 -0.5272727
#[2,] -0.3636364 0.5818182
#############################
eigen (N_2)#########################
#eigen () decomposition
#$values#[1] 0.96065795 0.07570569
###########################
#$vectors# [,1] [,2]
#[1,] 0.7214347 -0.8121157
#[2,] -0.6924825 -0.5834964
##############################
l_1 ← sqrt ( eigen (N_2)$va lue s ) [ 1 ]l_1#################
#[1] 0.9801316
#################
l_2 ← sqrt ( eigen (N_2)$va lue s ) [ 2 ]l_2###################
#[1] 0.2751467
####################
b1 ← matrix (c ( eigen (N_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)b1#################
# [,1]
#[1,] 0.7214347
#[2,] -0.6924825
##################
Dodatak A 60
b2 ← matrix (c ( eigen (N_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)b2##################
# [,1]
#[1,] -0.8121157
#[2,] -0.5834964
####################
var1 ← t ( a1 ) %∗% sig_11 %∗% a1var1###############
# [,1]
#[1,] 1.147841
###############
sqrt ( var1 )###############
# [,1]
#[1,] 1.071373
################
b_1 ← b1 %∗% solve ( sqrt ( var1 ) )b_1#################
# [,1]
#[1,] 0.6733738
#[2,] -0.6463503
###################
a_1 ← ( l_1 )∧ (−1) ∗ solve ( sig_11 ) %∗% sig_12 %∗% b_1a_1##################
# [,1]
#[1,] -1.610258
#[2,] 1.082695
##################
Nalaºenje vektora kanoni£kih koe�cijenata pomo¢u (2.96) (2.4, primer 3)
s i g ← matrix (c (3 , 2 ,−1, 3 , 2 , 3 , 1 , 1 ,−1, 1 , 6 , 2 , 3 , 1 , 2 , 8 ) ,nrow=4,byrow=T)
kor_mat ← solve (diag ( sqrt (diag ( s i g ) ) ) ) %∗%s i g %∗% solve (diag ( sqrt (diag ( s i g ) ) ) )
kor_mat###############################################
# [,1] [,2] [,3] [,4]
#[1,] 1.0000000 0.6666667 -0.2357023 0.6123724
#[2,] 0.6666667 1.0000000 0.2357023 0.2041241
#[3,] -0.2357023 0.2357023 1.0000000 0.2886751
#[4,] 0.6123724 0.2041241 0.2886751 1.0000000
#################################################
kor_11 ← kor_mat [ c ( 1 , 2 ) ,c ( 1 , 2 ) ]kor_22 ← kor_mat [ c ( 3 , 4 ) ,c ( 3 , 4 ) ]kor_12 ← kor_mat [ c ( 1 , 2 ) ,c ( 3 , 4 ) ]kor_21 ← t ( kor_12 )
inv_11 ← solve ( kor_11 )inv_22 ← solve ( kor_22 )
inv_11
Dodatak A 61
################
# [,1] [,2]
#[1,] 1.8 -1.2
#[2,] -1.2 1.8
#################
inv_22############################
# [,1] [,2]
#[1,] 1.0909091 -0.3149183
#[2,] -0.3149183 1.0909091
#############################
inv_kk_11 ← solve ( eigen ( kor_11 )$vec t o r s %∗% diag ( sqrt ( eigen ( kor_11 )$va lue s ) )%∗% t ( eigen ( kor_11 )$vec t o r s ) )
inv_kk_22 ← solve ( eigen ( kor_22 )$vec t o r s %∗% diag ( sqrt ( eigen ( kor_22 )$va lue s ) )%∗% t ( eigen ( kor_22 )$vec t o r s ) )
inv_kk_11###########################
# [,1] [,2]
#[1,] 1.2533237 -0.4787271
#[2,] -0.4787271 1.2533237
############################
inv_kk_22#############################
# [,1] [,2]
#[1,] 1.0332897 -0.1523863
#[2,] -0.1523863 1.0332897
############################
E_2 ← inv_kk_11 %∗% kor_12 %∗% inv_22 %∗% kor_21 %∗% inv_kk_11E_2###########################
# [,1] [,2]
#[1,] 0.8434281 -0.3000000
#[2,] -0.3000000 0.1929356
############################
eigen (E_2)#######################
#eigen () decomposition
#$values#[1] 0.96065795 0.07570569
############################
#$vectors# [,1] [,2]
#[1,] -0.9314128 -0.3639647
#[2,] 0.3639647 -0.9314128
#############################
l_1 ← sqrt ( eigen (E_2)$va lue s ) [ 1 ]l_1##############
#[1] 0.9801316
###############
l_2 ← sqrt ( eigen (E_2)$va lue s ) [ 2 ]l_2###############
#[1] 0.2751467
################
g_1 ← matrix (c ( eigen (E_2)$vec t o r s [ , 1 ] ) ,nrow=2,byrow=T)g_2 ← matrix (c ( eigen (E_2)$vec t o r s [ , 2 ] ) ,nrow=2,byrow=T)
a_1z ← inv_kk_11 %∗% g_1a_1z
Dodatak A 62
################
# [,1]
#[1,] -1.3416015
#[2,] 0.9020581
#################
b_1z ← (1/l_1 ) ∗ inv_22 %∗% kor_21 %∗% inv_kk_11 %∗% g_1b_1z################
# [,1]
#[1,] 0.7934132
#[2,] -0.8793880
#################
a_2z ← inv_kk_11 %∗% g_2a_2z##################
# [,1]
#[1,] -0.01027307
#[2,] -0.99312197
###################
b_2z ← (1/l_2 ) ∗ inv_22 %∗% kor_21 %∗% inv_kk_11 %∗% g_2b_2z##################
# [,1]
#[1,] -0.6792677
#[2,] -0.5635476
###################
Glava 6
Zaklju£ak
U ovom radu smo se upoznali sa kanoni£kom korelacionom analizom, koja pred-stavlja multivarijacionu statisti£ku metodu koja olak²ava prou£avanje linearnih od-nosa izme�u dva skupa promenljivih. Kako kanoni£ka korelaciona analiza sa sobomdonosi dosta uzajamnih veza, ²to unutar skupova, tako i veze izme�u njih, u radusmo de�nisali osnovne veli£ine kojima se te veze izraºavaju i interpretiraju. Videlismo da se jedinstvena karakteristika korelacione analize sastoji u tome ²to ona iz-dvaja vi²e parova kanoni£kih promenljivih, pri £emu je svaki od njih nezavisan odostalih parova, u smislu da predstavlja neku drugu vezu koja je prona�ena me�uskupovima originalnih promenljivih koje razmatramo.
Kao najteºi zadatak cele analize javlja se interpretacija rezultata. Me�utim, tone umanjuje vaºnost primene ove metode u analizama odnosa u raznim sferamaºivota i oblastima nauke.
63
64
Literatura
[1] Rao C. Radhakrishna, Linear Statistical Inference and Its Applications, 2nd edi-tion, John Wiley & Sons, New York, 2002.
[2] Anderson T.W., An Introduction to Multivariate Statistical Analysis, 3rd edition,John Wiley & Sons, New Jersey, 2003.
[3] Hardle W., Simar L., Applied Multivariate Statistical Analysis, 2nd edition,Springer, Berlin, 2007.
[4] Hardle W., Hlavka Z.,Multivariate Statistics : Exercises and Solutions, Springer,Berlin, 2007.
[5] Johnson R., Wichern D., Applied Multivariate Statistical Analysis, 6th edition,Pearson, New Jersey, 2007.
[6] Kova£i¢ Z., Multivarijaciona analiza, Univerzitet u Beogradu, Ekonomski fakul-tet, Beograd, 1994.
[7] Alan Julian Izenman,Modern Multivariate Statistical Techniques , Springer, Phi-ladelphia, 2008.
[8] K. V. Madria, J. T. Kent , J. M. Bibby, Multivariate Analysis, San Diego, 1995.
[9] Hair J. F., Tatham R. L. , Anderson R. E., Black W. C, Multivariate DataAnalysis, 5th edition, New York, Prentice Hall, 1998.
[10] Gonzalez I., Dejean S., Martin P., Baccini A., CCA: An R Package to ExtendCanonical Correlation Analysis, article in Journal of statistical software, Novem-ber, 2007.
[11] Memi²evi¢ H., Ze£i¢ S., Bi²£evi¢-Ibrali¢ I., Mujkanovi¢ E., Kanoni£ka korela-cija izvr²nih funkcija i vidno-motori£kih sposobnosti kod djece sa intelektualnimte²ko¢ama, Putokazi - £asopis Fakulteta dru²tvenih znanosti, Hercegovina, 2015
[12] https://stats.idre.ucla.edu/r/dae/canonical-correlation-analysis/
Biogra�ja
Martina �iki¢ ro�ena je 16. maja 1989. godine u Ni²u. Osnovnu ²kolu �DobrilaStamboli¢� u Svrljigu zavr²ila je 2004. godine. Te godine upisuje Gimnaziju �BoraStankovi¢� u Ni²u, prirodno-matemati£ki smer, koju zavr²ava 2008. godine.
Osnovne akademske studije matematike upisuje na Prirodno-matemati£kom fa-kultetu u Ni²u 2008. godine, a zavr²ava ih 2015. godine. Iste godine upisuje masterakademske studije na istom fakultetu, smer Verovatno¢a, statistika i �nansijska ma-tematika. Poslednji ispit polaºe oktobra 2018. godine i time sti£e pravo na odbranumaster rada.
65