Muntipla regeresija - Gregor Sočan

Izhodišče je splošni linearni model, v katerem odv. spr. izrazimo kot lin. komb. neodv. spr. in napake:

Y(i) = a + E b(j) * X(ij) + e(i)y = x * b + e

Parametra enačbe, konstante in regresijski nagib:b = c/Ca = M(y) - E b(j) * M(xj)

Koef. korel.:Y(i) = M(y) + (Y'(i)-M(yi)) + (Y(i)-Y'(i)) 2R = 1 - VAR(e)/VAR(y) = VAR(m)/VAR(y)R = r * (Y*Y')

Koef. parcialne korelacije:

r(xy) - r(yc) * r(xc)r(yx.c) = ----------------------- ____________________ I 2 2 V (1-r(yc) * (1-r(xc))

Koef. semiparcialne korelacije:

r(xy) - r(yc) * r(xc)r(yx.c) = ----------------------- __________ I 2 V (1-r(xc)

Kvadrat semiparcialne korelacije je delež povečanja pojasnjene variance po vključitvi prediktorja. Kvadrat parcalne korelacije je delež zmanjšanja nepojasnjene variance po vključitvi prediktorja.Standardiziran parcialni nagib označimo z BETA, uporabljamo ga pri standardnih vrednostih. Je manj stabilen prek vzorcev, ker nanj vpliva variabilnost obeh variabel v vzorcu.Napaka, ki se pojavlja pri uporabi ragresije, je prepričanje, da ima odv. spr. manjšo variabilnost kot neodv., če sta merjeni na isti lestvici.Supresorska spr. je spr, ki z vključevanjem v model dvigne multiplo korelacijo, ne glede na to, da ne korelira s kriterijem, ker zaduši irelevantno var., ki je v prediktorju. Avtorji trdijo, da jih je malo. Koristne so za razjasnjevanje teor. vpr., kaj korelira s kriterijem.Komplementarne spr. so tiste, pri katerih je kvadrat multiple korelacije višji od vsote kvadratov bivariantnih korelacij (pozitivno korelirajo s kriterijem). Do tega pride, kadar so korelacije med bivariantnimi spr. negativne.Težava pri multipli regresiji je kolinearnost prediktorjev, ki lahko povzroči nestabilnost korelacije prek vzorcev. Mera nekolinearnosti je toleranca, ki je enaka:

2Tol = 1 - R(i.1...i-1,i+1,p)

Problem so tudi vplivne točke, ki nesorazmerno vplivajo na nagib regresije (izstopajo iz oblaka).

Vplivnost = oddaljenost * ročica

Ročica: 2h(ii) = 1/N + (X(i)-M(x)) / SS(x)

Oddaljenost: _______________e(zi) = e(i) / V (1-h(i)) * MSE

Problem pri regresiji so tudi napaka merjenja, razlika med vzročno in populacijsko variabilnostjo spr. in interakcija.R je pristranski zaradi zmanjšane stopnje svobode, odstopanja vzorčnih korel. od pop., izbiranja iz vrečje skupine prediktorjev. Problem prvega vira pristranosti lahko odpravimo s popravljenim R:

2 2 2R(p) = R - P*(1-R )/(N-P-1)

Regresijski nagib:SE(b(x) = SQRT (MSE/N*VAR(x)*Tol(x))

K nelinearnosti korelacij obstajajo trije pristopi,vsi trije z ETA kvadrat. Lahko transformiramo spremenljivke (na prilegajoče funkcije), s katero ne povečujemo št. prediktorjev, pojavljajo se druge težave. Lahko uporabimo polinomsko regresijo, pri kateri uporabimo sistem normalnih enačb (potence). Pri njej je problem ta, da povečamo št. prediktorjev, potence so med sabo korelirane (zato odvzamemo odklonske vrednosti). Lahko uporabimo regresijo z zlepkom - gre za sestavljeno regresijsko funkcijo:

D(i) = 0 (če X<X(i)), X-X(i) (če X>=X(i))Y' = a + b(0)*X) + B(1)*D(1) + ... + b(p-1)*D(p-1)

Regresija s kategoriziranimi spremenljivkami so lahko prediktorji ali kriteriji. Kadar obstaja več kategorij v prediktorju, uporabljamo indikatorske spr.Enostavno indikatorsko kodiranje:I(i) = 1 (čeX=X(i)), 0 (čeX<>X(i))

Na osnovi teh indikatorskih spr. postavimo lin. regresijo. Lahko uporabimo kodiranje glede na vplive:I(i) = 1 (če X=X(i)) -1 (če X=X(k)) 0 (sicer)a = M(M(y))b = (M(y)/X=X(i) - M(My)

Pri kategoričnem kriteriju lahko uporabljamo logistično regresijo. Izračunamo pogojno verjetnost, da je vrednost dihotomne spr. enaka 1 (p):logit (p) = ln(p/(p-1))logit (p) = a + E b(i)*X(i)

S temi enačbami dobimo kontinuirano spr. Ni rečeno, da je to

najboljši model za dihotomne spr.

Kvazieksperimentalni načrt v primerjavi z eksperimentalnim in neeksperimentalnim načrtom - Anja Poljanšek

Raziskovalna strategija je širši načrt, raziskovalni načrt je ožja kategorija. Opredeli spremenljivke, populacijo, način izbire vzorca, eksperimentalne pogoje, razvrščanje P.O. k eksperimentalnim pogojem, način merjenja odvisne in neodvisne spremenljivke.Notranja veljavnost pove, koliko dobro načrt ovrednoti hipoteze, za katere je bil opredeljen. Zunanja veljavnost opredeljuje mero, do katere lahko posplošujemo na populacijo.Ločimo več vrst raziskovalnih načrtov. Eksperimentalni načrti so načrti, pri katerih sperminjamo neodv. spr., kontroliramo zunanje spr. in opazujemo spremembe pri odvisni. Neeksperimentalni načrti predstavljajo korelacijske načrte (ne neodv. spr., opazujemo povezanost med več odv.), ankte, analize vsebine, preučevanje primera, arhivsko raziskovanje. Kvazieksperimentalni načrtise nahajajo med njima.Eksperimentalni načrt ima 5 lstnosti: - obvezno prisotna neodvisna spremenljivka, ki jo lahko spreminja raziskovalec, - časovno zaporedje (najprej izražena spremembo neodv. spr.), - vzorec je naključen, - preizkušance naključno razvrščamo k različnim eksperimentalnim pogojem, - ob spreminjanju neodv. spr. kontroliramo vse dejavnike, ki bi vplivali na spremembo odv. spr.Korelacijski načrt je bližje naravni situaciji, ima višjo zunanjo veljavnost, vzročno ne moremo zakljčevati, ker lahko obstaja vmesna spr., ne pojasnimo smeri vzročnosti.Kvazieksperimentalni je med eksperimentalnim in korelacijskim načrtom. Neodvisna spr. ne predstavlja spr., ki bi jo spreminjal eksperimentator - uporabljamo nepravo neodv. spr. Njene vrednosti že obstajajo v naravi, zato jih lahko pogojujejo drugi dejavniki. Gre v bistvu za korelacijsko spr. Kvazieksperiment krši 5 kriterijev eksperimentalnega načrta. Pojavlja se problem sovplivajočih spr., ki so povezane s spremembo v neodv. spr. Kvazieksperiment je v psihoogiji pogosto uporabljan. Vrste kvazieksperimentalnih načrtov so načrti z neenakimi skupinami, načrti s ponovljenimi meritvami, načrti ex post facto.Načrti z neenakimi skupinami so naknadni preizkus (merjenje OV po spremebi kvazi NV), neenaka kontrolna skupina (imamo 1. merjenje OV, sledi tretma ene skupine in 2. merjenje OV), načrt kohort (skupine ljudi enake starosti v različnih letih).Načrte s ponovljenimi meritvami uporabljamo pri zelo majhnem N, pomembni so učinki zaporedja. Mešani načrt je naključno razporejanje posameznikov v več skupin, vsaka skupina ima različno zaporedje ekspreimentalnih pogojev. Pri načrtih časovnih zaporedij (test-retest) merimo OV pred in po tretmaju, obe vrednosti primerjamo - učinki zaporedja se mešajo z učinki NV. Test-retest s kontrolno skupino preberja učinek zaporedja, nekateri ga ne uvrščajo med kvazieksperimentalne načrte. Pri načrtu prekinjenih časovnih zaporedij merimo OV večkrat v času, nato spremenimo eksperimentalni pogoj in spret merimo OV večkrat v času. Načrt prekinjenih časovnih zaporedij s kontrolno skupino v kontrolni skupini ne menja eksp. pogoja, primerjamo vrednosti OV. Ponavljajoče merjenje pogojev je načrt, pri katerm večkrat menjamo eksperimentalni pogoj in OV večkrat merimo v času.

Ex post facto načrti uporabljajo NV kot je že v naravi. Prospektivni ex post facto načrt uporablja spremljanje različnih skupin skozi čas. Retrospektivni ex post facto načrt izhaja iz OV, na njeni osnovi iščemo NV.Pri kvazieksperimentalnem načrtu predstavlja problem notranja veljavnost, a katero vplivajo sovplivajoče spr. Njegova prednost predeksperimentalnim je vtem, da ima boljšo zunanjo veljavnost. Je bližje vzročnemu zaključevanju kot korelacijski načrt.

Avtomatka detekcija interakcije - Klas Brenk

ADI je postoek razvit v 70-ih letih, zhaja iz konfirmatorno usmerjene evropske šole. Legalizira fishing - nemenjena je iskanju problemov.Pri več neodv. spr. in eni odv. spr. realnega tipa uporabljamo običajno multiplo regresijsko analizo. Pri nominalnih neodv. spr. uporabljamo analizo variance, vsaka celica mora biti popolnjena (zadostno št. v celicah), zato je pristop precej neekonomičen.Adi tudi temelji na vsoti kavdratov odklonov. Dihotomne neodv. spr. lahko odv. spr. idealno razlikujejo ali idealno ne razlikujejo. Pomembno je definirati napako. Totaljna napaka je suma kvadratov odklonov vseh vrednosti od M, napako lahko računamo tudi za vsako skupino posebej. Dobimo redukcijo odklonov:

ERR(M) - (ERR(M1) + ERR(M2))

Tista neodv. spr., ki boj reducira napako, bolje razlikuje med obema skupinama. V vsaki skupini nadalje preverjamo, katera neodv. spr. najbolje reducira napako v njej. Ta neodv. spr. je lahko za vsako skupino druga. Te razlike iščemo do določenega nivoja - dobimo verigo variabel, ki vsaka zase pove, kakšno m dobimo po njej.Z vasko fazo delitve se računa odstotek redukcije napake - ko je manjši od 5%, nehamo z izračunavanjem. Ta postopek potrebuje zelo velike numeruse.Na ta način lahko izvajamo fshing. Nastopamo eksploratorno in se usmerimo v konfirmatorni pristop.

MANOVA - Grega Repovš

Upamo, da bomo z eksperimentom ugotovili, da je variabilnost med sakupinami večja od tiste znotraj skupin. To ugotavljamo z ANOVA.Spremenljivke so neodvisna, inventorne (skupaj govorijo o emergentni pr. - primer zdravje), indeksne (rezultat deovanja latentne spr. - ta vpliva na njih).Pri več odv. spr. tudi lahko opazujemo varianco med skupinami in znotraj skupin. Lahko ostanemo pri ANOVA; v tem primeru je fragmentirana metoda, poveča se napaka tipa 1(ALFA), izpuščamo pomembno inf., posamezni efekti se lahko izničijo. MANOVA ima večjo moč analize (boljši izkoristek podatkov), omogoča testiranje bolj splošnih hipotez. Pri njejlahko uporabljamo Wilkinsonovo LAMBDO: delimo variabilnost znotraj skupin z variabilnostjo celote. Če nas zanima, kako posamezna neodv. var. vplva na odv. var., lahko uporabimo posthoc strategijo (Hottelingov t na kvadrat in t-test, Hottelingov t na kvadrat in Tukeyev test ali Roy Bosejeve simultane intervale zaupanja) ali strategijo načrtovanih primerjav (kadar nas zanimajo točno določene povezave).O št. odv.spr., ki jih vključimo v raziskave, se odločamo na

osnovi: - teor. in praktične pomembnosti, - zanimanja, obstoječega znanja, uportabnih mer, - možnosti združitve variabel, - možnosti strukturne analize variabel.MANOVA predpostavlja neodvisnost opazovanj (nanjo zelo občutljiva), multivariatno normalnost razpršenosti za vsako skupino 9robustna glede napak tipa 1), enakost kovariančnih matrik za populacijo (robustna, kadar so skupine enako odv.).Da bi razlike med skupinaami ker najbolj detektirali, lahko uporabimo metodo izenačevanja parov (nadzorujemo variable) li apliciramo več vrednosti variable na isti vsebini (metoda ponavlajjočih meritev - zveča moč in generalizabilnost, slabosti so vpliv zaporedja - učinek vaje, utrujenosti, prenosa, senzitizacije). ponovljene meritve lahko analiziramo z ANOVA, korigirano ANOVA ali MANOVA.

Kovarianca, path analiza, vzročnost, konfirmatorna in eksploratorna faktorska analiza - Gaj Vidmar

Na pobudo Galtona članek o korelaciji objavi Pearson. Analizo poti 1. izvede Wright, uveljavi se v 50-ih letih. FA začne Spearman, nadaljuje Thurstone in nato Hotteling. LISREL postavita 1975 Yrgeskog in Surbone, zdaj obstaja njegova 8. generacija.Kovarianca predvideva linearno povezanost spr. Koeficient parcialne korel. lahko računamo s koreliranjem rezidualov. Od delne korelacije se razlikuje v tem, da pri delni odstranimo variabilnost ene spr. - ima velik pomen v izpeljavah in modelih.Analiza poti je osnovna metoda za analizo struturnih enačb. Ločimo diagram poti, povezavo varianc in kovarianc z vplivom na spremenljivke. Modeli so lahko podidentifikabilni, komaj identifikabilni ali identifikabilni. Analizo poti delimo glde na metode ocenjevanja parametrov, čas opazovanja spr., rekurzivnost (povratnost/nepovratnost vplivov), linearnost... Model ne loči med nepravo korelacijo (latentna spr.) in korelacijo z vmesno spr. (x->z->y). Sisteme senačb rešimo tako, da enačbe najprej standardiziramo, dobimo koeficiente poti.Na vzročno zvezo sklepamo, kadar sta spr. izloirani od drugih pojavov in spremembi ene nujno sledi sprememba druge. Za vzročno modeliranje je potrebno ustrezanje modela realnosti (ne le podatkom), vzročno zvezo lahko potrdi eksperimentalna ali kakšna druga raziskava. Modeli zahtevajo lin. povezanost, v merskem nivoju ni več težav.Pri FA dobimo različne rezultate, ko jih delamo na korelacijskih ali kovariančnih matrikah. Psihometrično je bolj utemeljena FA glavnih komponent kot skupnih faktorjev. Uporabljamo jo lahko za zmanjšanje št. prediktorjev pri multipli rgresiji in št. kriterijev pri MANOVA. Vse bolj se uveljavljajo poševnokotne rotacije. Pri eksploratorni FA gre za iskanje teorije, pri konfirmatorni za potrjevanje teor. Pri FA je nevarnost vpliva vzorčenja, saj lahko pride do tega, da model ustreza podatkom, ne pa tudi realnosti.Pri merskem modelu (LISREL) nastopajo manifestne pri latentnem zgolj latentne spr. Lahko ga uporabljamo za MTMM analizo. Lahko uporabljamo eno- ali večskupinsko LISREL analizo (postavimo več modelov in jih preverjamo med sabo). LISREL se lahko uporablja pri ordinarnih podatkih, tudi že pri nelinearnih podatkih.

Clusterska analiza - Valentin Bucik

Multivariatne tehnike delimo so 1.in 2. generacije, pri čemer v 1. spadajo vse eksploratorne analize, v 2. pa konfirmatorne. CA je 1. generacije. Služi razvrščanju - množico enot razvrščamo po določenem kriteriju v veliko število manjših stabilnih skupin (bile naj bi neodvisne od dodajanja novih objektov, spremenljivk, vsiljenih napak na posameznih vrednostih erskih spremenljivk).Metode razvrščanja v skupine so hierarhične (po korakih) in nehierarhične (vnaprej dano št. clustrov).Smisel razvrščanja je v pregledovanju podatkov, zgoščevanju podatkov, določanje tipologije in segmentacija.Aglomerativna hierarhična analiza clustrov (AHAC) je analiza, pri kateri po korakih razvrščamo in združujemo sv skupine. Variabilnost znotraj skupin se zmanjšuje. Ne zanima nas, kolikšen delež variabilnosti pri posamezni grupirani enosti pripišemo kateri izmed skupin (razlika s FA). Razvrščamo lahko po različnih nivojih: univariatno (enorazsežno) ali multivariatno (večrazsežno) razvrščanje.Koraki pri razvrščanju so: - izbira objektov (enot) in določitev množice spr., ki določajo enote - pravilna organiziranost vhodnih podatkov, - računanje podobnosti oz. nasičenosti, - izbira algoritma združevanja, - določitev rešitve, - interpretacija strukture, - validacija strukture.Izbira enot je določitev sr., ki določajo enote. je določenje množie objektov in njihovih značilnosti (lahko na nominalnem nivoju). Pri spremenljivkah z različnimi enotami merjenja opravimo standardizacijo.Vhodne podatke moramo pravilno organizirati. Pri n subjektov in m spr. imamo lahko matrike organizirane na dva načina - glede na to, ali želimo razvrščati subjekte ali spremenljivke.Pri računanjupodobnosti se moramo odločiti za metodo, s katero bomo razvrščali. Odločamo se na osnovi vrste podatkov, ki jih imamo. Pri številskih podatkih lahko uporabljamo evklidsko distanco, Manhattan razdaljo, obrazec Minkovskega.Orientiramo se tudi glede na namen. Pri binarnih podatkih vsi algoritmi sledijo iz 2*2 tabele: FI koeficient, Yule, Sakal - Midrener... Nekateri algoritmi uporabljajo ujemanje, drugi neujemanje. Pri frekcvencah uporabljamo HI kvadrat, FI kvadrat... Kadar spr niso istega tipa, lahko grupiramo iste tipe spr. in jih posebej klasriramo in preverjamo, lahko spremenimo mere.Pri izbiri algotritma združevanja že imamo podane razdalje na spr. Problem, ki ga rešujemo, je, kdo bo predstavnik te skupine. Načeloma v vsakem koraku združimo 2 enoti oz. 2 skupini. Začnemo z vsemi enotami posebej, končamo z vsemi enotami v skupini. Algoritem določa najbližji skupini, ju združi,določi enoto nove skupine in jo uvrsti med ostale. Algoritem najbližjega soseda izbere enoto iz skupine, ki je najbližje najbližji skupini. Najbolj oddaljenega soseda je ravno obraten. Algoritem povprečja postavi predstavnika v sredino med obema. Wardov algoritem je najbolj opimalen - skuša minimizirati varianco znotraj in zmaksimalizirati tisto med skupinami na vseh nivojih.Določitev rešitve je precej subjektivna - gre za odločitev, na katerem nivoju združevanja se ustavimo.Interpretacija strukture je pojasnjevanje rešitve, ki smo jo dobili. V mislih imamo tudi trdnost strukture. Interpretiramo s pomočjo enot in glede n adinamiko združevanja.

Validacija strukture je navzkrižna validacija.

Multidimenzionalno skaliranje - Andrej Gregorač

Je tehnika, ki omogoči, da na podlagi razdalj med nizom dražljajev ugotovimo, na podlagi katerih dimenzij so bili dražljaji med seboj primerjani in kolikšno vrednost predstavlja na dimenzijah posamezen dražljaj. Podatke skušamo običajno uvrstiti v Evklidov prostor. Ta prostor zaheva metrično izražanje razdalj.Ločimo 3 sklope metod zbiranja podatkov: psihofizične, ki temeljijo na primerjanju podobnosti dražljajev (metoda direktnih numeričnih ocen, ocene stopnje kategorije, rangiranje, prisilna kategorizacija, prostovoljna kategorizcija, metoda triad, metoda bisekcije), psihofizične, ki temeljijo na atributivnih ocenah, indirektne metode (konfuzne matrike, matrike verjetnosti spremljanja, tranzicijske matrike). Z vsemi skušamo dobiti matrike podatkov, v katerih so razdalje med dražlj.Sledi analiza zbranih podatkov - razdalje transformiramo. Program zahteva distance na racionalnem ivoju. Pri intervalnem nivoju uporabimo aditivno konstanto, s katero omogočimo evklidski prostor. Pri ordinalnem nivoju uporabljamo postopke za pridobivanje enote merjenja. Iz korelacijske matrike je možno direktno skaliranje. Algoritem uvrsti dražljaje v prostor,, določi centroid, išče dimenzije in določi razdalje med dražljaji. Začetne razdalje med dražljaji imenujemo distance, izhodne razdalje. Pomembno je, da so disance podobne razdaljam. prileganje razdalj in distanc ugotavljamo:

2STRESS = E(d - OMEGA) / E dd - distancaOMEGA - razdalja

Zavzema lahko vrednosti od 0 do . Če je velik, imamo dimenzij premalo. RSQ je kvadrat korelacije med distancami in razdaljami. Št. med sabo primerjanih dražlj. naj bi bilo:

N = 4 * k + 1k - št. dimenzij, ki jih želimo

Robustno skaliranje imamo pri dražlj., od katerih so nekateri zelo oddaljeni. Uporabljamo algoritem TOFSCAL, ki je odporen na vplivne točke.

Diskriminantna analiza - Gašper Cankar

Tehniko 1936 razvil Fisher. Raziskovalcu omogoča, da dobi linerno enačbo, ki maksimizira razlike med skupinami.Uporabna je v primerih, ko testiranje pomeni uničenje objekta, kjer imamo opravkja z izgubljenimi inf., kjer lahko nata način zvečamo varnost, ekonomičnost.Pri analizi variance ugotavljamo ali na spr. obstaja pomembna razlika med ar. sr. Pri diskriminantni analizi se sprašujemao ali lahko skupini ločujemo na podlagi dol. spr.Diskriminantna funkcija:skor = c(i) + W(i1)*x(1) + w(i2)*(x2) + ...Toleančna vrednost

TV = 1 - R*RR - korelacija spr. z vsemi ostalimiPredpostavke diskriminantne analize so: - da je odnos med prediktorji linearen, - da spr. izhajajo iz multivariavne normalne distribucije, - da so kovariančne matrike za vse skupine enake (homogenost varianc).Omejitve so: - korelacije med ar. sr. in variancami, - redundantne spr.Diskriminantna analiza običajno uporabljamo pri klasifikaciji. Vnaprejšnja verjetnost (spriori) je ugotavljanje verjetnosti pri številčno neenakih populacijah. Naknadna (aposteriori) verjetnost je ugotavljanje verjetnosi pri enako velikih populacijah.Wilksov lambda nam pokaže, koliko posamezna spr. ločuje med skupinami - nižji ko je, bolše je ločevanje. Tolerančne vrednosti so prispevek spr. pri ločevanju oz. pojasnjevanju.