bayesilainen tilastoanalyysi - lähtökohta, motivointi ja peruskäsitteet

Bayesilainen tilastoanalyysi- lähtökohta, motivointi ja peruskäsitteet

• (Bayeslaisen) tilastoanalyysin tavoite on päätellä tuntemattomien suureiden arvoja havaittujen muuttujien perusteella

• Bayesilaisessa tilastotieteelle on ominaista todennäköisyysmallien ekplisiittinen käyttö kaiken epävarmuuden kuvaamisessa ja mittaamisessa

• Analyysin vaiheet:– kokonaistodennäköisyysmallin laatiminen

– ehdollistaminen havaintojen suhteen

– mallin hyvyyden arviointi


• kokonaistodennäköisyysmalli = mallin tai tarkasteltavan tilanteen kaikkien muuttujien (havaittavien, tuntemattomien ja parametrien) yhteisjakauma

• mallin on vastattava tarkasteltavaa ilmiötä koskevaa tieteellistä tietoa ja tiedonkeruuprosessia

• ehdollistaminen havaintojen suhteen = tuntemattomien muuttujien ehdollisen jakauman määrittäminen kun havaittavien muuttujien arvo tunnetaan, posteriorijakauman ja ennustavan jakauman määrittäminen


• mallin arviointi = mallin sopivuuden ja sen seurausten arviointi, herkkyystarkastelut, subjektiivisten oletusten eksplisiittinen arviointi

• ominaista Bayes-malleille on tilastollisten johtopäätösten selkeä tulkinta (esim. luottamusvälit)

• mallien joustavuus ja yleisyys

• epävarmuuden selkeä ilmaiseminen todennäköisyyksillä

• hierarkisuus

Bayesilainen tilastoanalyysi- tausta, motivointi ja peruskäsitteet

• tilastolliset johtopäätökset koskevat koko populaatiota mutta ne perustuvat otokseen

• syy-seuraussuhteen selvittämiseksi tarvitaan tilastollista päättelyä

• kahdenlaisia estimoitavia tai arvioitavia suureita l. estimandeja:

– havaitsemattomat suureet (tulevat muuttujien arvot), joiden arvo joko havaitaan tulevaisuudessa tai se on periaatteessa mahdollista havaita

– parametrit, joita ei voida suoraan havaita, mutta joita käytetään hyväksi mallissa (esim. regressiokertoimet, jakaumien parametrit)


Parametrit, data ja ennusteet

– havaitsemattomat muuttujat, esim. parametrit

– havaittavat muuttujat, y

– tuntemattomat, mutta havaittavissa olevat muuttujat (esim. tulevaisuudessa havaittavat prosessimittausten arvot), y


Vaihdettavuus– muuttujat y1, y2,..., yn ovat vaihdettavia, jos mikä tahansa permutaation yi,

yj,..., yl yhteisjakauma p(yi, yj,..., yl ) on sama

– de Finettin esityslause: y1, y2,..., yn ovat vaihdettavia <=> kunkin yi:n jakauma muotoa

– jos muuttujat ovat vaihdettavia, niin ne voidaan korvata tilastollisessa päättelyssä toisillaan

p y p y p di i( ) ( | ) ( )


Selittävät muuttujat

– selittävät muuttujat liittyvät kuhunkin havaintoyksikköön, ja kuvaavat sen ominaisuuksia (esim. kliinisessä kokeessa potilaan ikä, potilaan lääkitys tai hoito yms.)

– esim. regressiomallin selittävät muuttujat

– i. havaintoyksikkö on muotoa (x, y)i, missä x on yksikön ominaisuuksia kuvaava selittävä muuttuja, ja y on (kokeessa) havaittava muuttuja

– vaihdettavuuden tulkinta: jos muuttujan y ehdollinen jakauma p(y|x) on samanlainen kaikille havaintoyksiköille, siten että jos kahta tai useampaa yksikköä kuvaa sama x niin vastaava muuttujan y jakauma on sama, niin yksiköt ovat vaihdettavia


Hierarkiset mallit

– hierarkisissa malleissa voidaan puhua vaihdettavuudesta usealla mallintamistasolla

– hierarkiset mallit voidaan esittää graafisesti verkkoina

Y

11

1L

m1

mL.....

.....

.....

Y1 Ym

Parameters

Hidden sample

Observablevariables


Bayesilainen tilastollinen päättely

– parametreja ja tuntemattomia muuttujia koskevat tilastolliset väittämät esitetään todennäköisyysväittäminä

– todennäköisyysväittämät ovat muotoa:

p(y) tai p(y|y)

– jotta yo. muotoa olevia väittämiä voidaan esittää, on muodostettava muuttujien ja y yhteisjakauma, p(y) = p(y| p(

– p(y| on ns. otosjakauma (sampling distribution)

– p( on muuttujan on priorijakauma


Bayesilainen tilastollinen päättely

– Bayesin kaavalla voidaan voidaan laskea ehdollinen jakauma p(|y

p yp y

p y

p p y

p y

p y p y p d

( | )( , )

( )

( ) ( | )

( ),

( ) ( | ) ( )

missä


Bayesilainen tilastollinen päättely; ennustavat jakaumat

– ennenkuin y on havaittu, sitä koskeva epävarmuus kuvataan reunajakaumalla (a priori ennustava jakauma)

p y p y d p y p d( ) ( , ) ( | ) ( )


Bayesilainen tilastollinen päättely; ennustavat jakaumat

– kun y on havaittu samanlaisen tai samassa asemassa olevaa, mutta tuntematonta muuttujaa y koskeva epävarmuus kuvataan (a posteriori) ennustavalla jakaumalla

p y y p y y d

p y y p y d

p y p y d

(~| ) (~, | )

(~| , ) ( | )

(~| ) ( | )


Bayesilainen tilastollinen päättely; likelihoodfunktio

– kun Bayesin kaavaa käytetään edellä esitetyllä tavalla, vaikuttaa havaittu data (y) tilastolliseen päättelyyn ainoastaan funktion p(y| kautta

– funktiota p(y| kutsutaan likelihood- l. uskottavuusfunktioksi

– Bayesilainen päättely noudattaa ns. likelihoodperiaatetta, jonka mukaisesti kaikki todennäköisyysmallit, joilla on (vakiokerrointa vaille) sama likelihoodfunktio, johtavat samoihin tilastollisiin johtopäätöksiin


Bayesilainen tilastollinen päättely; likelihood- ja vedonlyöntisuhteet

(likelihood ratio / odds ratio)

– posterioritiheyksien suhdetta p(1|y)/ p(2|y) kutsutaan posteriori odds suhteeksi (posterior odds ratio), ja pätee

p y

p y

p p y p y

p p y p y

p p y

p p y

( | )

( | )

( ) ( | ) / ( )

( ) ( | ) / ( )

( ) ( | )

( ) ( | )

1

2

1 1

2 2

1 1

2 2


Bayesilainen tilastollinen päättely; likelihood- ja vedonlyöntisuhteet

(likelihood ratio / odds ratio)

– posteriori odds suhde on siis priori odds suhde likelihoodsuhde

– likelihoodsuhde määritellään kaavalla

LRp y

p y

( | )

( | )

1

2


Todennäköisyys epävarmuuden mittana

– Bayesilaisessa tulkinnassa todennäköisyys on kaiken epävarmuuden mitta

– todennäköisyys on rationaalisen uskomuksen aste

– todennäköisyys riippuu subjektista ja hänen tietämyksestään

– ainutkertaisten tapahtumien todennäköisyys

– päätösteoreettinen tausta


Käyttökelpoisia todennäköisyyslaskennan tuloksia

– yhteisjakaumien esittäminen ehdollisten jakaumien avulla (huom! myös graafiset esitykset)

p u u u p u p u u u

p u u u H p u H p u u u H

n ii

n

i

n ii

n

i

( , , , ) ( ) ( | , , )

( , , , | ) ( | ) ( | , , , )

1 2 1 12

1

1 2 1 12

1

ja



– ehdolliset odotusarvot ja varianssit

E u E E u v

koska

E u up u v dudv up u v dup v dv E u v p v dv

( ) ( ( | ))

( ) ( , ) ( | ) ( ) ( | ) ( )



– ehdolliset odotusarvot ja varianssit

var var var

koska

var var

= E[E(u

var

2

( ) ( ( | )) ( ( | ))

( ( | )) ( ( | ))

| ) ( ( | )) ] [( ( | )) ] ( [ ( | )])

( ) [( ( | )) ] [( ( | )) ] ( ( ))

( )

u E u v E u v

E u v E u v

v E u v E E u v E E u v

E u E E u v E E u v E u

u

2 2 2

2 2 2 2


Satunnaismuuttujien muunnokset

v f u

p v J p f v

J f v

v u

( );

( ) ( ( ))

( )

1

1missä on muunnoksen u = Jacobin determinantti


Satunnaismuuttujien muunnokset

esim. logit- muunnos

vu

u

muunnos

ln( )

log

1

v = ln(u)

bayesilainen tilastoanalyysi - lähtökohta, motivointi ja peruskäsitteet

Documents