uvod v bayesovsko statistiko
TRANSCRIPT
![Page 1: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/1.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 1/30
Uvod v Bayesovsko statistiko
Gregor [email protected]
http://www.bfro.uni-lj.si/MR/ggorjan/
UL, Biotehniška fakulteta, Oddelek za zootehniko
![Page 2: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/2.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 2/30
Literatura■ uvod
Bolstad W.M. 2004. Introduction to Bayesian statistics.John Wiley & Sons, Hoboken, New Jersey
■ prakticen pristopGelman A., Carlin J.B., Stern H.S., Rubin D.B. 2004.Bayesian data analysis. Texts in statistical science.Chapman & Hall / CRC, 2nd edition
■ nazoren primer uporabe apriorne porazdelitveGelman A. 2002. Prior distribution. V: Encyclopedia ofEnvironmetrics, John Wiley & Sons, Vol. 3, 1634–1637
■ uporaba MCMCGilks W.R., Richardson S., Spiegelhalter D.J. (ur.) 1998.Markov Chain Monte Carlo in practice. Chapman & Hall /CRC
![Page 3: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/3.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 3/30
Pregled■ Prednosti in nekaj slabosti, razvoj
■ Thomas Bayes
■ Uporaba Bayesovega izreka na primeru
■ Bayesovska statistika
■ Apriorna porazdelitev
■ MCMC
■ Programska oprema
![Page 4: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/4.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 4/30
Prednosti in nekaj slabosti■ le eno “orodje” - Bayesov izrek■ verjetnost in intervali zaupanja■ Bayesovski pristop pogosto “prekosi” frekvencisticnega■ moteci parametri■ napovedovanje
■ predhodno znanje in objektivnost
■ uporaba v praksi otežena zaradi težav pri izracunih -veckratni integrali
![Page 5: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/5.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 5/30
Razvoj■ 18. stol. Bayes
■ 19. stol. Laplace in sodobniki
■ zacetek 20. stol. uporaba/ideja zamre
■ sredina 20. stol. De Finetti, Jeffreys, Savage, Lindley, . . .
■ razcvet v zadnjih ∼25 letih
![Page 6: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/6.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 6/30
Thomas Bayes 1702-1761
![Page 7: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/7.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 7/30
Bayesov izrek■ pogojna verjetnost
P (A|B) =P (A ∩ B)
P (B)
■ skupna verjetnost
P (A ∩ B) = P (A|B)P (B)
= P (B|A)P (A)
■ Bayesov izrek
P (A|B) =P (B|A)P (A)
P (B)
■ velja tudi za vec izidov (k) za dogodek
P (Aj |Bi) =P (Bi|Aj)P (Aj)
∑kj=1 P (Bi|Aj)P (Aj)
![Page 8: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/8.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 8/30
Primer■ Pogostost bolezni v populaciji znaša 0.008. Za to bolezen
imamo na voljo test. Kolikšna je verjetnost, da imanakljucno izbran posameznik bolezen, ce je test pozitiven?
■ Dogodki (zapis)◆ T - rezultat testa (-, +)◆ B - prisotnost bolezni (ne, da)
■ Možni scenariji◆ T = −, B = ne OK◆ T = +, B = ne lažno pozitiven rezultat◆ T = −, B = da lažno negativen rezultat◆ T = +, B = da OK
![Page 9: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/9.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 9/30
Primer - popoln test■ test je popoln - brez napak/nezaupanja■ “veljavnost” testa:
◆ P (T = −|B = ne) = 1.00◆ P (T = +|B = ne) = 0.00◆ P (T = −|B = da) = 0.00◆ P (T = +|B = da) = 1.00
■ Bayesov izrek
P (B|T ) =P (T |B)P (B)
P (T )
P (B = da|T = +) =
=P (T = +|B = da)P (B = da)
P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)
![Page 10: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/10.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 10/30
Primer - popoln test, rezultat
P (B = da|T = +) =
=P (T = +|B = da)P (B = da)
P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)
■ rabimo še P (B = da) - verjetnost za bolezen, kar jepravzaprav pogostost bolezni v populaciji 0.008
P (B = da|T = +) =1.00 × 0.008
1.00 × 0.008 + 0.00 × 0.992= 1.00
■ nic novega :( popoln test ⇒ popolni rezultati
![Page 11: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/11.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 11/30
Primer - nepopoln test■ realnost: test ni popoln - z napakami/nezaupanjem
◆ lažno pozitivni rezultat v 10 % in◆ lažno negativni rezultat v 5 %.
■ “veljavnost” testa:◆ P (T = −|B = ne) = 0.9◆ P (T = +|B = ne) = 0.05◆ P (T = −|B = da) = 0.1◆ P (T = +|B = da) = 0.95
■ verjetnost za bolezen predhodno (brez testa) znaša
P (B = da) = 0.008
![Page 12: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/12.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 12/30
Primer - nepopoln test, rezultat■ Bayesov izrek združi predhodno znanje in rezultate testa -
Bayesovsko ucenje:
P (B = da|T = +) =
=P (T = +|B = da)P (B = da)
P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)
=0.95 × 0.008
0.95 × 0.008 + 0.1 × 0.992= 0.0712
■ ali bi zaupali takšnemu testu?
■ ce imamo še en test
P (B = da|T2 = +) = 0.4212 P (B = da|T2 = −) = 0.0084
![Page 13: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/13.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 13/30
Primer - nepopoln test, 1000 testov■ zakaj?
Table 1: Rezultati za 1000 testov
Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj
Zdrav (ne) 99 893 992
Bolan (da) 7 1 8
Skupaj 106 894 1000
■ napaka/nezaupanje v test se preko Bayesovega izrekaprenese v rezultat
![Page 14: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/14.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 14/30
Primer - nepopoln test, P (B = da) = 0.2
■ ampak, ce poznam P (B = da), potem vem, kdo je in kdo nibolan!
■ vpliv P (B = da)◆ P (B = da) = 0.008 ⇒ P (B = da|T = +) = 0.0712◆ P (B = da) = 0.2 ⇒ P (B = da|T = +) = 0.7037
Table 2: Rezultati za 1000 testov pri P (B = da) = 0.2
Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj
Zdrav (ne) 80 720 800
Bolan (da) 180 20 200
Skupaj 260 740 1000
![Page 15: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/15.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 15/30
Primer - nepopoln test, vpliv P (B = da)
0.0 0.2 0.4 0.6 0.8 1.0
0.00.2
0.40.6
0.81.0
P(B=da)
P(B=
da|T
=+)
![Page 16: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/16.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 16/30
Prehod . . .■ Bayesov izrek
P (B|T ) =P (T |B)P (B)
P (T )
■ parametri in podatki?◆ podatki (yi, i = 1, . . . , n): rezultati testa◆ parametri (θj): prisotnost bolezni
f(θj |yi) =f(yi|θj) × f(θj)
∑nj=1 f(yi|θj) × f(θj)
=f(yi|θj) × f(θj)
f(yi)
■ f(θj |yi) - posteriorna verjetnost■ f(yi|θj) - verjetje L(θj |yi)
■ f(θj) - apriorna verjetnost■ f(yi) - robna verjetnost podatkov (konst. za normalizacijo)
![Page 17: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/17.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 17/30
Bayesovska statistika■ podatki (y): rezultati testa■ parametri (θ): prisotnost bolezni
f(θ|y) =f(y|θ) × f(θ)
f(y)
f(y) = konst.
f(θ|y) ∝ f(y|θ) × f(θ)
∝ L(θ|y) × f(θ)
“posterior ∝ likelihood × prior”
![Page 18: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/18.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 18/30
Primer■ Naredimo n testov na nakljucno izbranih posameznikih iz
populacije. Kolikšen je delež obolelih v populaciji?■ število pozitivnih: Y ∼ Bin(n, θ)
■ delež obolelih: θ
■ gostota verjetnosti f(y|θ) in verjetje L(θ|y)
f(y|θ) =
(
n
y
)
θy (1 − θ)n−y, L(θ|y) =
(
n
y
)
θy (1 − θ)n−y
■ apriorna verjetnost/porazdelitev: f(θ) =???
■ Bayesov izrek
f(θ|y) ∝ L(θ|y) × f(θ)
f(θ|y) =L(θ|y) × f(θ)
f(y)=
L(θ|y) × f(θ)∫ 10 f(y|θ) × f(θ)dθ
![Page 19: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/19.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 19/30
Primer - enakomerna apriorna p.■ apriorna porazdelitev: f(θ) = konst.
f(θ|y) =L(θ|y) × konst.
∫ 10 f(y|θ) × konst.dθ
∝ L(θ|y)
f(θ|y) ∝
(
n
y
)
θy (1 − θ)n−y
∝ θy (1 − θ)n−y
■ “after the inspection beta distribution can be recognized”
X ∼ Be(a, b), fx(x) =1
B(a, b)xa−1(1 − x)b−1, 0 ≤ x ≤ 1
θ|y ∼ Be(y + 1, n − y + 1)
![Page 20: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/20.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 20/30
Primer - f (θ|y = 30, n = 50)
θ
Gosto
ta
0.0 0.2 0.4 0.6 0.8 1.0
![Page 21: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/21.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 21/30
Primer - f (θ|y = 30, n = 50) povzetek■ Bayesovski pristopa
◆ E(θ) = 0.596◆ Me(θ) = 0.597◆ Mo(θ) = 0.600◆ SE(θ) = 0.067◆ θ(2.5 %, 97.5 %) = (0.461, 0.724)
■ frekvencisticen pristopa
◆ θ = 0.600◆ SE(θ) = 0.069
aglej v izvorno kodo za enacbe/izracun
![Page 22: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/22.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 22/30
Primer - konjugirana apriorna p.■ konjugirana apriorna porazdelitev ima enako obliko kot
posteriorna porazdelitev
θ ∼ Be(a, b), fθ(θ) =1
B(a, b)θa−1(1 − θ)b−1, 0 ≤ θ ≤ 1
f(θ|y) ∝ θy (1 − θ)n−y × θa−1(1 − θ)b−1
∝ θa+y−1 (1 − θ)b+n−y−1
θ|y ∼ Be(a + y + 1, b + n − y − 1)
a, b =???
■ parametra a in b dolocata obliko apriorne porazdelitve in jupotrebujemo!
■ !?*+-#% . . .
![Page 23: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/23.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 23/30
Primer - Be(a = 1 : 3, b = 1 : 3)
Be(0.5, 0.5)
θ
Gosto
ta
0.0 0.4 0.8
Be(0.5, 1)
θGo
stota
0.0 0.4 0.8
Be(0.5, 2)
θ
Gosto
ta
0.0 0.4 0.8
Be(0.5, 3)
θ
Gosto
ta
0.0 0.4 0.8
Be(1, 0.5)
θ
Gosto
ta
0.0 0.4 0.8
Be(1, 1)
θ
Gosto
ta
0.0 0.4 0.8
Be(1, 2)
θ
Gosto
ta
0.0 0.4 0.8
Be(1, 3)
θ
Gosto
ta
0.0 0.4 0.8
Be(2, 0.5)
θ
Gosto
ta
0.0 0.4 0.8
Be(2, 1)
θ
Gosto
ta
0.0 0.4 0.8
Be(2, 2)
θ
Gosto
ta
0.0 0.4 0.8
Be(2, 3)
θ
Gosto
ta
0.0 0.4 0.8
Be(3, 0.5)
θ
Gosto
ta
0.0 0.4 0.8
Be(3, 1)
θ
Gosto
ta
0.0 0.4 0.8
Be(3, 2)
θ
Gosto
ta
0.0 0.4 0.8
Be(3, 3)
θGo
stota
0.0 0.4 0.8
![Page 24: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/24.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 24/30
Primer - f (θ|y = 30, n = 50, a, b = (1, 3))
Be(1, 1)
θ
Gosto
ta
0.0 0.2 0.4 0.6 0.8 1.0
verjetjeapriorna p.posteriorna p.
Be(1, 3)
θ
Gosto
ta
0.0 0.2 0.4 0.6 0.8 1.0
verjetjeapriorna p.posteriorna p.
Be(3, 1)
θ
Gosto
ta
0.0 0.2 0.4 0.6 0.8 1.0
verjetjeapriorna p.posteriorna p.
Be(3, 3)
θ
Gosto
ta
0.0 0.2 0.4 0.6 0.8 1.0
verjetjeapriorna p.posteriorna p.
![Page 25: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/25.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 25/30
Apriorna porazdelitev
“Tisti, ki uporablja Bayesovsko statistiko, na podlaginejasnega/meglenega pricakovanja konja in bežnegapogleda na osla, trdno sklepa, da je videl mulo.” Senn
(1997).
Neinformativna apriorna p. ne obstaja. Celo enakomernaapriorna porazdelitev pravi, da so vse vrednosti enako
verjetne.
![Page 26: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/26.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 26/30
Apriorna porazdelitev■ ni vse tako “crno”■ obstajajo pristopi za izpeljavo t.i. neinformativnih apriornih
porazdelitev◆ Jefrreys-ove apriorne porazdelitve◆ referencne apriorne porazdelitve (Bernardo)◆ . . .
■ analiza obcutljivosti
![Page 27: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/27.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 27/30
MCMC■ pred ∼25 leti je bil Bayesovski pristop v primeru vecjega
števila parametrov prakticno “neuporaben”
f(θ|y) ∝ L(θ|y) × f(θ)
f(θi|θi−y) =
∫
θi−
L(θ|y) × f(θ)dθi−
■ reinkarnacija z metodami MCMC(Monte Carlo z Markovskimi verigami)
◆ Metropolis in Metropolis-Hastings◆ Gibbs◆ . . .
![Page 28: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/28.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 28/30
Programska oprema■ BUGS
◆ BUGS 1990-1996◆ WinBUGS 1996-2003http://www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml■ DoodleBUGS■ GeoBUGS■ PKBUGS
◆ OpenBUGS 2003-. . .http://mathstat.helsinki.fi/openbugs/
![Page 29: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/29.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 29/30
Programska oprema - BUGS primer■ en primer kode za BUGS – podobno prog. jeziku S# Podatki
list(y = c(rep(1, 30), rep(0, 20)), N = 50)
# Model
model
{
for (i in 1:N) {
y[i] ~ dbern(p)
}
p ~ dunif(0, 1)
}
# Zacetne vrednosti
list(p = 0.2)
![Page 30: Uvod v Bayesovsko Statistiko](https://reader034.vdocuments.site/reader034/viewer/2022052522/552975ba550346482e8b478f/html5/thumbnails/30.jpg)
Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 30/30
Programska oprema - splošno II.■ R paketihttp://www.r-project.org/◆ bayesm, bayesmix , bayesSurv , bim, BMA, boa, BRugs,
bqtl , coda, EbayesThresh, eco, mcgibbsit , mcmc,MCMCpack , MNP, R2WinBUGS, rbugs, rv , UMACS,. . .
■ JAGS
http://www-fis.iarc.fr/~martyn/software/jags/
■ Hydra
http://research.warnes.net/projects/mcmc/hydra/
■ FBM
http://www.cs.utoronto.ca/~radford/fbm.software.html