monte karlo metode - poincare.matf.bg.ac.rspoincare.matf.bg.ac.rs/~ssegan/montekarlo.pdf · metode...
TRANSCRIPT
Uvod
Poxto se mnoge statistiqke metode oslanjaju na sluqajne uzorke, stati-
stiqarima je qesto potreban izvor sluqajnih brojeva. Starije stati-
stiqke knjige su sadrale tablice sluqajnih cifara, koje su predvi-
ene da se koriste pri izboru uzoraka ili dizajnu eksperimenta. Sada
statistiqari vrlo retko koriste odxtampane tablice sluqajnih ci-
fara, ali ponekad se koriste takve tablice saquvane u memoriji raqu-
nara. Meutim, najqexe se koriste raqunarski algoritmi za dire-
ktno generisanje sluqajnih brojeva.
Danas se upotreba sluqajnih brojeva u statistici proxirila van
sluqajnog uzorkovanja ili sluqajne dodele terapija (tretmana) ekspe-
rimentalnim jedinicama. Sluqajni brojevi se sada qexe koriste pri-
likom simulacijskih studija stohastiqkih procesa, analitiqki ne-
izraqunljivih matematiqkih izraza ili populacije na osnovu ponovnog
uzorkovanja 1 iz dobijenog uzorka te populacije. Ove tri opxte oblasti
primene sluqajnih brojeva se ponekad nazivaju, redom, simulacija, Mo-
nte Karlo i ponovno uzorkovanje, ali mi nieemo praviti razlike izmeu
tih termina.
1 Resampling
Metode Monte Karlo
Prouqavanje mnogih prirodnih pojava mogue je ostvariti putem mo-
deliranja (simulacije) tih pojava. Modeliranje pojava u cilju njihovog
prouqavanja se koristi kad god je direktno ispitivanje same pojave
povezano sa potexkoama (realno vreme u kome se pojava odvija moe
biti predugaqko ili prekratko da bi se svi elementi mogli uoqiti,
ispitivanja same pojave mogu biti povezana sa velikim troxkovima,
kao i sa rizicima po zdravlje ljudi, po ljudsku okolinu ili dovesti do
unixtenja nekih objekata,itd.). U ovom radu emo govoriti o prime-
nama metoda Monte-Karlo koje se mogu okarakterisati kao numeriqke
metode za rexavanje matematiqkih problema pomou modeliranja sluqa-
jnih veliqina i statistiqkog ocenjivanja karakteristika tih veliqina.
Naziv metode potiqe od qlanka ”The Monte Carlo method” koji su 1949.
godine objavili matematiqari Stanislav Ulam i Nikolas Metropo-
lis. Smatra se da je metoda Monte Karlo korixena i ranije (npr.
poznato je da je Hol 1873.godine raqunao priblinu vrednost broja
π po tom principu). Razvoj raqunara je omoguio xiroku primenu
metode Monte Karlo jer je znatno ubrzao proces modeliranja vred-
nosti sluqajnih veliqina.
Neke od oblasti primene metode Monte Karlo su: biologija, geneti-
ka, ekologija, hidrologija, atomska fizika, statistiqka fizika, stati-
stika, sistemi masovnog opsluivanja, itd. Metode Monte-Karlo se
primenjuju posebno u sluqajevima kada bi eksperimenti sa sistemom
koji prouqavamo bili dugotrajni ili dovodili do oxteenja sistema.
Problemi koji se sreu u raznim oblastima se mogu ”prevesti” ili
svesti na matematiqke probleme: rexavanje sistema linearnih jed-
naqina ili nejednaqina, raqunanje integrala(jednostrukih ili vixe-
strukih), rexavanje diferencijalnih jednaqina, rexavanje parcijal-
nih diferencijalnih jednaqina, itd. Svaki od navedenih matematiqkih
zadataka se moe rexiti i metodom Monte Karlo, xto se naroqito ko-
risti kad je teorijsko rexenje suvixe komplikovano ili ne moe da se
odredi, iako se zna da postoji. Metodama Monte-Karlo se mogu rexiti
i neki zadaci u kojima se klasiqne metode numeriqke matematike ne
mogu primeniti. Takoe je znaqajno da su algoritmi Monte Karlo
obiqno jednostavni i laki za programiranje.
3
Sluqajni brojevi
Nezavisne vrednosti (realizacije) sluqajne veliqine X sa uniform-
nom raspodelom U(0, 1) se nazivaju sluqajni brojevi.
Realizacija sluqajne veliqine ε sa diskretnom uniformnom raspode-
lom (0 1 2 . . . 9
0.1 0.1 0.1 . . . 0.1
)se naziva sluqajna cifra.
Veza izmeu sluqajnih brojeva i sluqajnih cifara je data u sledeoj
teoremi:
Teorema 1 Dekadne cifre ε1, ε2, . . . , εn sluqajnog broja x = 0.ε1ε2 . . . εn . . .
predstavljaju nezavisne realizacije sluqajne veliqine ε sa diskretnom
uniformnom raspodelom i obratno.
Sluqajni brojevi se mogu dobiti korixenjem nekog ”fiziqkog”
aparata (kockice, simetriqni novqi, rulet, itd.) koji se naziva ge-
nerator sluqajnih brojeva. Eksperimentalno se dobija neki niz cifara
(0 ili 1 pri bacanju novqia; 1,2,...,6 pri bacanju kockice itd.) i
onda se na odgovarajui naqin dobijeni niz cifara prevodi u broj iz
dekadnog brojnog sistema. Procedura dobijanja sluqajnih brojeva na
ovaj naqin je sloena i ne moe se dvaput dobiti isti niz brojeva
(xto je qesto potrebno u primenama).
Prva tablica sluqajnih cifara je objavljena 1927. godine i sadra-
la je 41600 cifara. Rand korporacija je 1955. godine objavila tablicu
od 1 000 000 sluqajnih cifara. Evo jednog dela te tablice:
22989 64262 12716 32910
54147 01638 95954 66666
07529 10668 23743 02743
Cifre su grupisane radi lakxeg qitanja, a mogu se qitati sleva nade-
sno ili odozgo prema dole ili po nekom drugom pravilu, poqevxi od
bilo kojeg mesta u tablici. U tablici, po potrebi se mogu qitati
sluqajni brojevi sa izvesnim brojem decimala (npr. uzimajui redom
iz prve vrste po dve cifre dobijaju se 0.22, 0.98, 0.96,...).
Prednost tablice sluqajnih cifara je xto se moe reprodukovati
isti niz brojeva, a mane su manjak brzine pretraivanja, rizik od
”iscrpljivanja tabele” i to xto zauzima mnogo raqunarske memorije.
Navodimo sada nekoliko primera za dobijanje sluqajnih cifara.
Primer 1 Bacanjem homogenog novqia qije su strane oznaqene sa 0
(grb) i 1 (pismo) moemo dobiti dobru tablicu sluqajnih cifara. Kao
rezultat eksperimenta dobijamo niz nula i jedinica. Odgovarajue
grupe cifara iz binarnog brojnog sistema prevodimo u dekadne cifre
0,1,2,...,9 (znaqi 0000 je 0, 0010 je 2, ..., 1001 je 9, dok se ostale qetvorke
binarnih cifara odbacuju).
Primer 2 Za generisanje sluqajnih brojeva se koristi i rulet - okru-
gla ploqa koja se vrti sa podeocima za brojeve. Sluqajna cifra je
podeok na koji pokae strelica posle zaustavljanja ruleta ili podeok
u koji padne kuglica, ako se ona koristi. Na ruletu se moe napraviti
vixe podeoka, npr. 50 a numerixu se periodiqno 0,1,2,...,9, 0,1,2,...,9,
qime se smanjuje odstupanje od idealne konstrukcije.
Primer 3 Kao generator sluqajnih brojeva moe posluiti i knjiga:
poqevxi od bilo koje strane, brojimo reqi u redu i ako je broj reqi
paran, pixemo 0, a ako je neparan, pixemo 1.
Primer 4 Generator sluqajnih brojeva je i kocka za igru koja gener-
ixe brojeve 1, 2, 3, 4, 5, 6. Verovatnoa dobijanja svakog od brojeva 1− 6
je ista i iznosi 16 i poxto su bacanja kockice meusobno nezavisna, na
ovaj naqin dobijamo niz nezavisnih i jednako raspodeljenih sluqajnih
cifara. Razmotrimo bacanje 4 kockice odjednom:
Kocka Strane su numerisane sa
1 0 1 2 3 4 5
2 0 6 12 18 24 30
3 0 36 72 108 144 180
4 0 216 432 648 864 1080
5
Sabiranjem rezultata na 4 kocke dobijaju se sledei brojevi:
Zbir na kockama Dobijeni brojevi
1 0, 1, 2, 3, 4, 5
1, 2 0, 1, 2, ..., 35
1, 2, 3 0, 1, 2, ..., 215
1, 2, 3, 4 0, 1, 2, ..., 1295
Koristei zbirove na kockama moemo generisati sluqajne cifre
0,1,2,...,9. Sa kockama 1 i 2, sluqajna cifra se dobija kao ostatak pri
deljenju zbira za 10, pri qemu se zbirovi 30-35 propuxtaju.
Zbir na dve kocke 0, 10, 20 1, 11, 21 ... 9, 19, 29 30, 31, 32, 33, 34, 35
Pixe se 0 1 ... 9 −
Svaka cifra 0-9 se tada javlja sa jednakom verovatnoom.
Koristei 4 kocke moemo generisati odjednom tri sluqajne cifre,
pridruivanjem na sledei naqin:
Zbir na qetiri kocke 0 1 ... 99 100 ... 999 1000, 1001, ..., 1295
Pixe se 000 001 ... 099 100 ... 999 −
Prvi metod propuxta oko 17% bacanja i potrebno je manje posla
oko sabiranja, a drugi metod propuxta 23% bacanja za vixe posla oko
sabiranja, ali daje vixe cifara.
6
Pseudosluqajni brojevi
Brojevi iz intervala (0,1) koji se raqunaju po nekim formulama se
nazivaju pseudosluqajni brojevi. Algoritam na osnovu kojega se dobija
niz pseudosluqajnih brojeva se zove generator pseudosluqajnih brojeva.
Dobijeni niz brojeva nije zaista sluqajan jer je u potpunosti odreen
skupom poqetnih vrednosti, ali zadovoljava uslove sluqajnosti.
Prednost pseudosluqajnih brojeva u odnosu na sluqajne brojeve je
xto se mogu dobiti na bri i jednostavniji naqin, a imaju (skoro)
sve osobine koji sluqajni brojevi treba da imaju. Takoe se za njihovu
prednost smatra to xto se moe generisati isti niz brojeva vixe od
jedanput, xto znaqi da se eksperiment moe ponoviti pod identiqnim
uslovima.
Niz γ1, γ2, . . . , γk pseudosluqajnih brojeva se obiqno dobija nekom
rekurentnom formulom. Jedna od prvih primenjivanih formula je tzv.
metod sredine kvadrata koju je predloio on von Nojman 1946. go-
dine. Neka je γm oblika 0.α1α2 . . . α2k. Kvadriramo γm, γ2m = 0.β1β2 . . . β4k
i uzimamo srednjih 2k cifara γk+1 = 0.βk+1βk+2 . . . β3k ili formalno
zapisano 2:
γm+1 = D(10−2k · C(103k · γ2
m)),
gde D oznaqava decimalni, a C ceo deo broja.
Problem nizova pseudosluqajnih brojeva dobijenih metodom sre-
dine kvadrata je xto obiqno imaju mali period (duina niza dok ne
poqne da se ponavlja). Neki izbori za γ1 nisu povoljni jer se prebrzo
ponove iste vrednosti u nizu ili se dobije degenerisani niz (niz qiji
su svi qlanovi jednaki nuli).
Postoje i razne druge matematiqke formule za dobijanje pseudoslu-
qajnih brojeva. Jedna od njih se zasniva na sledeoj teoremi.
Teorema 2 Neka je g proizvoljan prirodan broj i X sluqajna veliqina
sa uniformnom U(0, 1) raspodelom. Tada sluqajna veliqina Y = D(gX)
ima U(0, 1) raspodelu.2 Alternativni zapis: γm+1 = 10−2kC
(102k ·D(10k · γ2
m))
Tako npr. za g = 79 i x = 0.2374, y = D(79·0.2374) = 0.7546 predstavlja
realizovanu vrednost sluqajne veliqine Y : U(0, 1).
Linearni kongruentni generator
Derik Henri Lehmer je 1948. godine osmislio linearni kongru-
entni generator. Ovaj generator proizvodi niz pseudosluqajnih bro-
jeva (Xn) koji je odreen poqetnim qlanom 3 X0, X0 > 0 i rekurentnom
formulom
Xn = (aXn−1 + b) mod m
gde su a,m i b dati prirodni brojevi, pri qemu je m > maxa, b,X0.Koristi se oznaka LKG(m, a, b,X0). Poxto je Xn odreen sa Xn−1 i
poxto postoji samo m moguih vrednosti za Xi - ove, maksimalni pe-
riod linearnog kongruentnog generatora je m.
Da bismo dobili pseudosluqajni broj (tj. broj iz intervala (0, 1))
potrebno je da svaki dobijeni broj Xn podelimo sa m, tj.
Un =Xn
m.
Maksimalan period m niza pseudosluqajnih brojeva dobijenog li-
nearnim kongruentnim generatorom se moe dobiti pri pogodnom izboru
konstanti a, b i m. Vai sledea teorema:
Teorema 3 Niz pseudosluqajnih brojeva koji se dobija linearnim kon-
gruentnim generatorom ima maksimalan period m ako su ispunjeni
sledei uslovi:
1. Brojevi m i b su uzajamno prosti.
2. Svaki prost delilac p broja m je i delilac broja a− 1.
3. Ako je broj m deljiv sa 4, onda je i broj a− 1 deljiv sa 4.
Poxto raqunari koriste binarni ili dekadni brojni sistem, raz-
motriemo sluqajeve kada je m = 2β ili m = 10β, gde β oznaqava
duinu reqi odreenog raqunara.3 initial value, seed
8
1. Ukoliko je m = 2β, na osnovu prethodne teoreme, maksimalan pe-
riod niza pseudosluqajnih brojeva se dobija ako vai:
• b je neparan broj (m i b su uzajamno prosti).
• a− 1 je deljivo sa 4, tj. a = 2r + 1, r ≥ 2.
Smatra se da se dobri statistiqki rezultati mogu postii za
m = 235, a = 27 + 1, b = 1.
2. Ukoliko je m = 10β, na osnovu prethodne teoreme, maksimalan pe-
riod niza pseudosluqajnih brojeva se dobija ako vai:
• b nije deljivo sa 2 ili 5.
• a−1 je deljivo sa 2, 4, 5, tj. a−1 je deljivo sa 20, a = 10r+1, r ≥ 2.
Zadovoljavajui statistiqki rezultati se postiu pri izboru a =
101, b = 1, r ≥ 4.
U sluqaju kada je b = 0, generator odreen rekurentnom formulom
Xn = aXn−1(mod m)
se naziva multiplikativni linearni kongruentni generator.
Poxto Xi ne moe biti jednako nuli (dobio bi se degenerisani niz),
maksimalni period multiplikativnog linearnog kongruentnog gener-
atora je m− 1.
Da bismo dobili pseudosluqajni broj potrebno je da svaki dobijeni
broj Xn podelimo sa m− 1, tj.
Un =Xn
m− 1.
U primenama se dobro pokazao multiplikativni linearni kongru-
entni generator sa m = 231−1 ili m = 261−1 (Mersen prosti brojevi).
Povoljni izbori za a su:
• Za m = 231 − 1: a = 215 − 210 ili a = 221 − 216.
• Za m = 261 − 1: a = 230 − 219 ili a = 242 − 231.
9
Drugi linearni kongruentni generatori
Naredni qlan niza se dobija rekurentnom formulom pomou pretho-
dnih k, k ≥ 2 qlanova. Neki od primera ovakvih generatora su:
1. Multiplikativni rekurzivni generator odreen rekurentnom fo-
rmulom
Xn = (a1Xn−1 + a2Xn−2 + . . . akXn−k) mod m.
Broj prethodnih qlanova niza pomou kojih se dobija naredni qlan,
k, naziva se red generatora. Maksimalan period niza je mk − 1, za
m prost broj.
2. Fibonaqijev kongruentni generator sa korakom 4
Fibonaqijev niz Xn+2 = Xn+1 + Xn nema zadovoljavajua svojstva
sluqajnosti, pa se koristi Fibonaqijev kongruentni generator sa
korakom
Xn = (Xn−j +Xn−k) mod m.
Ako je m prost broj i k > j, tada je maksimalan period niza mk−1.
Nelinearni kongruentni generatori
• Knutov generator 5
Xn = (dX2n−1 + aXn−1 + c) mod m.
• Blum, Blum & Xabov generator6
Xn = X2n−1 mod m.
4 Lagged Fibonacci congruential generator5 Knuth, 19986 Blum, Blum & Shub, 1986
10
Kombinovani generatori pseudosluqajnih brojeva
• Viqman - Hilov generator predstavlja kombinaciju tri multiplika-
tivna linearna generatora
Xn = 171Xn−1 mod 30269
Yn = 172Yn−1 mod 30307
Zn = 170Zn−1 mod 30323
Un =
(Xn
30269+
Yn
30307+
Zn
30323
)mod 1.
Poqetna vrednost ovog generatora je vektor (X0, Y0, Z0). Ovaj ge-
nerator direktno vraa brojeve Un iz intervala (0, 1). Period gen-
eratora je reda 1012.
• Lekijerov generator:
Xn = 4001Xn−1 mod 2147483563
Yn = 40692Yn−1 mod 2147483399
Zn = (Xn − Yn) mod 2147483563
Un = 4.656613Zn · 10−10.
Period ovog generatora je reda 1018.
Pseudosluqajni brojevi dobijeni pomou kombinovanih generatora
imaju bolje osobine sluqajnosti u odnosu na linearne kongruentne ge-
neratore.
11
Preliminarna analiza kvalitetageneratora pseudosluqajnih
brojeva
Oqekuje se pseudosluqajni brojevi imaju zadovoljavajua svojstva slu-
qajnosti. Pre nego xto formalnim testiranjem ispitamo da li je pret-
postavka o njihovoj sluqajnosti ispunjena, izvrxiemo preliminarnu
analizu kvaliteta generatora pseudosluqajnih brojeva. Ova analiza
nam moe u kazati na potencijalne slabe taqke generatora.
Prvo, uporeujemo uzoraqku sredinu Xn = 1n
∑ni=1 Xi i uzoraqku
disperziju S2n = 1
n−1
∑ni=1(Xi − Xn)
2 sa matematiqkim oqekivanjem i
disperzijom sluqajne veliqine X : U(0, 1), EX = 12 , DX = 1
12 .
Drugo, ispitujemo nezavisnost qlanova niza pseudosluqajnih bro-
jeva preko serijskih koeficijenata korelacije. Serijski koeficijent
korelacije sa korakom k se raquna na osnovu formule
rk =1
n−k
∑n−ki=1 (Xi −Ak)(Xi+k −Bk)√
1n−k
∑n−ki=1 (Xi −Ak)2 · 1
n−k
∑n−ki=1 (Xi+k −Bk)2
,
gde je Ak = 1n−k
∑n−ki=1 Xi i Bk = 1
n−k
∑n−ki=1 Xi+k.
Za dobijeni niz brojeva, raqunamo serijske koeficijente korelacije
sa korakom 1-5 (koeficijente korelacije izmeu qlanova udaljenih
k = 1, 2, . . . 5 mesta) i oqekujemo, u skladu sa pretpostavkom nezavis-
nosti, da su njihove vrednosti male.
Tree, predstavljamo uzastopne parove taqaka (Xi, Xi+1), i = 1, 2, . . . , n
na grafiku. Ravan grafika bi trebalo da je ravnomerno pokrivena
taqkama.
Primer 5 Razmotrimo multiplikativni kongruentni generator pseu-
dosluqajnih brojeva
Xn = 12Xn−1 mod 31,
sa poqetnom vrednoxu x0 = 9. Period ovog generatora je 30. Uzo-
raqka sredina je jednaka 0.517, a uzoraqka disperzija 0.086. Serijski
koeficijenti korelacije su r1 = −0.008, r2 = −0.074, r3 = −0.251, r4 =
0.236, r5 = −0.236. Koeficijenti korelacije sa koracima 3 i 4 su malo
vei za uzorak ovog obima, ali i dalje u okviru granica.
Na sledeoj slici je prikazan grafik uzastopnih parova taqaka.
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
drugi[1:29]
drug
i[2:3
0]
Slika 1. Grafik uzastopnih parova taqaka generatora Xn = 12Xn−1 mod 31
Uoqavamo da ravan grafika nije ravnomerno pokrivena taqkama,
ve se taqke nalaze na 7 pravih sa k = 53 i 6 pravih sa k = −2
5 .
Primer 6 Razmotrimo jedan od poznatijih multiplikativnih kongru-
entnih generatora, RANDU odreen formulom
Xn = (216 + 3)Xn−1(mod m),
sa poqetnom vrednoxu x0 = 1.
Generisano je 1000 pseudosluqajnih brojeva. Uzoraqka sredina je
jednaka 0.511, a uzoraqka disperzija 0.082.
13
0 1 2 3 4 5
0.0
0.2
0.4
0.6
0.8
1.0
korak
serij
ski k
oef.
kore
laci
je
Slika 2. Grafik serijskih koeficijenata korelacije sa koracima 1-5
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
niz[1:999]
niz[
2:10
00]
Slika 3. Grafik uzastopnih parova taqaka RANDU generatora
Serijski koeficijenti korelacije su jednaki r1 = −0.028, r2 = −0.001, r3 =
−0.010, r4 = 0.069, r5 = −0.040. Koeficijent korelacije sa korakom 4
je veliki za uzorak ovog obima, van kontrolnih granica za ”dovoljno
male” koeficijente korelacije, xto je i prikazano na Slici 2.
14
Na Slici 3 je prikazan grafik uzastopnih parova taqaka. Uoqavamo
da ravan grafika priliqno ravnomerno pokrivena taqkama.
15
Testiranje kvaliteta generatorapseudosluqajnih brojeva
elimo da testiramo da li niz pseudosluqajnih brojeva predstavlja
prost sluqajan uzorak iz uniformne U(0, 1) raspodele. Kao xto je
ranije reqeno, niz pseudosluqajnih brojeva je potpuno determinis-
tiqki, ali ako proe bateriju statistiqkih testova (testovi sluqa-
jnosti, testovi slaganja sa uniformnom raspodelom, testovi nezavis-
nosti), moemo ga tretirati kao niz zaista sluqajnih brojeva.
Test frekvencija
Neka ε1, ε2, . . . , εn predstavlja uzorak cifara niza pseudosluqajnih
brojeva (npr. uzima se prva decimala svakog generisanog pseudosluqa-
jnog broja). elimo da testiramo nultu hipotezu da se cifre 0− 9 ja-
vljaju sluqajno, tj. da cifre pseudosluqajnih brojeva imaju uniformnu
diskretnu raspodelu (0 1 2 . . . 9
0.1 0.1 0.1 . . . 0.1
)Neka Mj oznaqava broj pojavljivanja (frekvenciju) cifre j, j =
0, 1, 2, . . . , 9 u uzorku. Test statistika je:
S =
9∑j=0
(Mj − n
10
)2n10
,
koja, za veliko n, ima χ29 raspodelu. Kritiqne vrednosti za test-stati-
stiku su i jako velike i jako male vrednosti. Velika vrednost test
statistike znaqi da postoje velike razlike u broju pojavljivanja poje-
dinih cifara. Vrlo mala vrednost test-statistike je takoe neprih-
vatljiva jer svaki ”stvarni” niz koji ima konaqno mnogo cifara skoro
sigurno ima razliqit broj pojedinih cifara. Prema tome, kritiqna
oblast je oblika
W = [0, c1] ∪ [c2,+∞),
gde su c1 i c2 kritiqne vrednosti. Za dati prag znaqajnosti α, kritiqne
vrednosti su tada jednake
c1 = χ29;α2
, c2 = χ29;1−α
2
Ukoliko realizovana vrednost test-statistike upada u kritiqnu oblast,
odbacujemo nultu hipotezu.
Test parova
Uzmimo uzorak 2n cifara niza pseudosluqajnih brojeva (npr. uzi-
mamo prve dve decimale svakog generisanog pseudosluqajnog broja).
Oznaqimo ih redom sa ε1, ε2, . . . , ε2n. Formiramo parove ε1ε2, ε3ε4, . . . ,
ε2n−1ε2n i testiramo hipotezu da je raspodela parova diskretna uni-
formna raspodela (00 01 02 . . . 99
0.01 0.01 0.01 . . . 0.01
)
Neka Mij oznaqava broj pojavljivanja para ij u nizu cifara. Test-
statistika je
S =9∑
i,j=0
(Mij − n
100
)2n
100
,
koja, za veliko n, ima χ299 raspodelu. Kritiqne vrednosti za test-
statistiku su i jako velike i jako male vrednosti, kao u sluqaju testa
frekvencija. Dakle, kritiqna oblast je oblika
W = [0, c1] ∪ [c2,+∞),
gde su c1 i c2 kritiqne vrednosti. Za dati prag znaqajnosti α, kritiqne
vrednosti su tada jednake
c1 = χ299;α2
, c2 = χ299;1−α
2
17
Serijski test
Serijski test se koristi za testiranje nulte hipoteze sluqajnosti
uzastopnih brojeva u generisanom nizu pseudosluqajnih brojeva.
Neka je U1 = (X1, X2), U2 = (X3, X4), . . . , Un = (X2n−1, X2n) niz uza-
stopnih parova. elimo da testiramo hipotezu da su sluqajne veli-
qine Ui nezavisne i da imaju uniformnu raspodelu na jediniqnom
kvadratu.
Podelimo jediniqni kvadrat na r2 kvadrata, svaki povrxine 1r2 i
oznaqimo sa Vkj broj parova koji upadaju u kvadrat (element ”ma-
trice”) (j − 1
r,j
r
)×(k − 1
r,k
r
), j = 1, 2, . . . , r, k = 1, 2, . . . , r.
Test-statistika je
V =r2
n
r∑k,j=1
(Vk,j −
n
r2
)2i, za veliko r ima χ2
r2−1 raspodelu. Kritiqna oblast je oblika
W = [c,+∞)
Za prag znaqajnosti α, nalazimo kritiqnu vrednost c = χ2r2−1;1−α.
Test razmaka 7
Neka ε1, ε2, . . . , εn predstavlja uzorak cifara niza pseudosluqajnih
brojeva. elimo da testiramo hipotezu o sluqajnosti dobijenih ci-
fara.
U dobijenom nizu cifara brojimo duine razmaka izmeu pojavlji-
vanja dve iste cifre.
Neka sluqajna veliqina X predstavlja duinu razmaka dok se ne
pojavi ista cifra. Sluqajna veliqina X ima geometrijsku raspodelu
G(0.1) sa zakonom raspodele
pk = PX = k = 0.9k0.1.
7 Gap test
18
Pomou Pirsonovog χ2 testa testiramo da li raspodela G(0.1) odgo-vara duini razmaka izmeu pojavljivanja istih cifara u generisanom
nizu pseudosluqajnih brojeva.
Duine razmaka podelimo na k intervala (klasa) duine l, l > 1.
Imaemo intervale [0, l), [l, 2l), . . . , [(k − 1)l, kl]. Oznaqimo sa Mj , broj
pojavljivanja uzoraqkih duina razmaka u j - tom intervalu. Test-
statistika jek∑
j=1
(Mj − npj)2
npj, j = 1, 2, . . . , k
gde su verovatnoe pj jednake
pj = PX ∈ [(j − 1)l, jl) =
jl−1∑k=(j−1)l
0.9k0.1 = 0.9(j−1)l(1− 0.9l).
Za veliko n, test-statistika ima χ2k−1 raspodelu. Kritiqna oblast
je oblika
W = [c,+∞) = [χ2k−1;1−α,+∞)
gde je α unapred odabrani prag znaqajnosti.
Poker test
Neka ε1, ε2, . . . , εn predstavlja uzorak cifara niza pseudosluqajnih
brojeva. elimo da testiramo hipotezu o sluqajnosti dobijenih ci-
fara.
Formiraju se grupe po k cifara (k-torke cifara, k = 3, 4) i po-
smatra se broj istih cifara u svakoj grupi. Razmotriemo triling
varijantu testa kada uzimamo m = 3n cifara i formiramo trojke
ε1ε2ε3, ε4ε5ε6, . . . , ε3n−2ε3n−1ε3n. Brojimo iste cifre u formiranim tro-
jkama cifara.
Neka je X sluqajna veliqina koja predstavlja broj istih cifara u
trocifrenim brojevima. Tada je
p0 = PX = 0 = Psve cifre su razliqite = 0.9 · 0.8 = 0.72
p3 = PX = 3 = Psve cifre su iste = 0.1 · 0.1 = 0.01
p2 = PX = 2 = Pjedan par istih cifara = 1− 0.72− 0.01 = 0.27.
19
Funkcija raspodele sluqajne veliqine je tada jednaka
F (x) =
0, x < 0
0.72, 0 ≤ x < 2
0.99, 2 ≤ x < 3
1, x ≥ 3
Pomou Pirsonovog χ2 testa testiramo da li raspodela F odgovara
broju istih cifara u trojkama cifara niza pseudosluqajnih brojeva.
Oznaqimo sa Mj , j = 0, 2, 3 broj pojavljivanja j-istih cifara u do-
bijenom nizu cifara. Test-statistika je tada jednaka
3∑j=1
(Mj − npj)2
npj,
koja ima, za veliko n, χ22 raspodelu.
Kritiqna oblast je oblika
W = [c,+∞) = [χ22;1−α,+∞)
gde je α unapred odabrani prag znaqajnosti.
Test Kolmogorova
Neka je X1, X2, . . . , Xn uzorak pseudosluqajnih brojeva. elimo da
testiramo hipotezu da niz pseudosluqajnih brojeva ima uniformnu
U(0, 1) raspodelu. Formiramo varijacioni niz X(1) ≤ X(2) ≤ . . . ≤ X(n).
Oznaqimo sa F funkciju uniformne U(0, 1) raspodele i sa Fn empiri-
jsku funkciju raspodelu,
Fn(x) =
0, ako je x < X(1)
kn , ako je X(k−1) ≤ x < X(k), k = 1, 2, . . . , n
1, ako je x ≥ X(n)
. Test-statistika je jednaka
Dn = supx∈R
|Fn(x)− F (x)|.
20
Kolmogorov je pokazao da za neprekidne funkcije raspodele vai
limn→∞
P√n ·Dn ≤ λ = lim
n→∞PDn ≤ λ√
n = K(λ) =
+∞∑k=−∞
(−1)ke−2k2λ2
,
za svako λ > 0. Konvergencija je brza i aproksimacija zadovoljavajua
ve za n ≥ 20.
Naravno, K(λ) = 0 za svako λ ≤ 0. Sa K(λ) odreena je tzv. raspodela
Kolmogorova.
Neka je dn realizovana vrednost test statistike. Velike vrednosti
dn govore u prilog nesaglasnosti empirijske (uzoraqke) raspodele sa
raspodelom F . Prema tome, kritiqna oblast je oblika
W = [c,+∞) = [dn;α,+∞).
Kritiqnu vrednost c nalazimo iz tablica Kolmogorovljeve raspodele.
Test koraka 8
Neka je X1, X2, . . . , Xn uzorak pseudosluqajnih brojeva. elimo da
testiramo hipotezu o sluqajnosti.
Formiramo novi niz pluseva i minuseva: ukoliko je Xj > Xi, j > i
upisujemo znak + a ukoliko je Xj < Xi, j > i, znak −. Neka je n1 ukupan
broj pluseva i n2 ukupan broj minuseva. Imamo da je obim uzorka n =
n1 + n2. Ukoliko je uzorak brojeva sluqajan, + i − e se javiti sa
istom verovatnoom.
Korakom smatramo svaki podniz istih elemenata, tj. seriju plu-
seva ili minuseva. Test-statistika R predstavlja ukupan broj koraka
u nizu pseudosluqajnih brojeva.
Matematiqko oqekivanje i disperzija test-statistike R su, redom,
jednaki
E(R) =2n1n2
n1 + n2+ 1
D(R) =2n1n2(2n1n2 − n1 − n2)
(n1 + n2)2(n1 + n2 − 1).
8 Runs test
21
Statistika
R∗ =R− E(R)√
D(R)
ima priblino normalnu N (0, 1) raspodelu, ako je n1 ili n2 vee od
20.
Kritiqna oblast je oblika
W = (−∞,−c] ∪ [c,+∞),
, gde je c = F−1(1− α2 ), za dati prag znaqajnosti α.
Test autokorelacija
Neka je X1, X2, . . . , Xn uzorak pseudosluqajnih brojeva. elimo da
testiramo hipotezu da su sluqajne veliqine Xi, i = 1, 2, . . . , n neza-
visne.
Raqunamo autokorelacije izmeu svakih m qlanova niza Xi, Xi+m,
Xi+2m, . . . , Xi+(M+1)m, gde je M najvei prirodan broj tako da vai
i+ (M + 1)m ≤ n. Testiramo nultu hipotezu
H0 : ρim = 0 protiv H1 : ρim = 0,
gde ρim predstavlja autokorelaciju izmeu svakih m qlanova niza,
poqevxi od i-tog qlana.
Test statistika je
Z0 =ρimσρim
,
gde je
ρim =1
M + 1
M∑k=0
Xi+kmXi+(k+1)m − 0.25
ocena autokorelacije ρim, a
σim =
√13M + 7
12(M + 1)
ocena njene disperzije.
Ukoliko je taqna nulta hipoteza, raspodela test-statistike se moe
aproksimirati normalnom raspodelom N (0, 1).
22
Kritiqna oblast je oblika
W = (−∞,−c] ∪ [c,+∞)
Kritiqna vrednost c se nalazi, za dati prag znaqajnosti α na os-
novu c = F−1(1− α2 ), gde je F funkcija N (0, 1) raspodele.
Treba naglasiti da nijedan test za proveru kvaliteta generatora
pseudosluqajnih brojeva nije ni sveobuhvatan ni svemoan. Ako niz
pseudosluqajnih cifara ”proe” jedan test, ne znaqi da e proi neki
drugi test.
Preporuquje se i konstruisanje prigodnih testova u zavisnosti od
prirode problema za koji koristimo generisane pseudosluqajne bro-
jeve. Na primer, ako je od posebnog znaqaja da se ne pojavi zavisnost
meu generisanim ciframa, treba niz pseudosluqajnih brojeva prove-
riti nekim testom vezanim za proveru nezavisnosti.
23
Modeliranje sluqajnih dogaajai diskretnih sluqajnih veliqina
Modeliranje (ili simulacija ) sluqajne veliqine je odreivanje neza-
visnih realizacija izabrane sluqajne veliqine pomou dobijenog niza
(pseudo)sluqajnih brojeva.
Modeliranje diskretnih sluqajnih veliqina sakonaqno mnogo vrednosti
Neka je X diskretna sluqajna veliqina sa konaqno mnogo vrednosti
i neka je poznat zakon raspodele:PX = xk = pk, k = 1, 2, . . . , n, tj.
sluqajna veliqina X uzima vrednost xk sa verovatnoom pk. Zakon
raspodele se moe zapisati i u obliku:
X :
(x1 x2 . . . xn
p1 p2 . . . pn
),
n∑k=1
pk = 1.
Neka je γ jedan (pseudo)sluqajni broj. Ako je γ ≤ p1 , smatra se
da se realizovala vrednost x1 sluqajne veliqine X. Ako je p1 < γ ≤p1 + p2 , smatra se da se realizovala vrednost x2 sluqajne veliqine
X,.., ako je p1 + p2 + . . .+ pn−1 < γ realizovala se vrednost xn . Znaqi
da se za dobijanje jedne realizacije sluqajne veliqine koristi jedan
(pseudo)sluqajni broj.
Modeliranje sluqajnih dogaaja
Na osnovu postupka za modeliranje diskretnih sluqajnih veliqina
se mogu modelirati i realizacije sluqajnih dogaaja. Ako je verovatno-
a dogaaja A jednaka p, tada je indikator dogaaja A sluqajna veliqina
IA :
(1 0
p 1− p
)
Ukoliko je γ ≤ p, realizovala se vrednost 1 indikatora, a ako je p < γ,
realizovala se vrednost 0. Modeliranjem te sluqajne veliqine dobija
se da se dogaaj A realizovao ako je dobijena modelirana vrednost 1,
a da se dogaaj A nije realizovao ako je dobijena modelirana vrednost
0.
Neka su A1, A2, . . . , An disjunktni dogaaji (AiAj = 0, i = j) i P (Ai) =
pi, i = 1, 2, . . . , n. Oznaqimo sa ξ indeks dogaaja koji se realizovao.
Sluqajna veliqina ξ ima tada zakon raspodele
ξ :
(1 2 . . . n
p1 p2 . . . pn
)
Modeliramo vrednosti diskretne sluqajne veliqine ξ. Ukoliko je do-
bijena vrednost ξ = i, realizovao se dogaaj Ai, i = 1, 2, . . . , n.
Primer 7 Neka su A i B dva nezavisna dogaaja, P (A) = pA, P (B) =
pB. Dogaaje A i B moemo modelirati na dva naqina.
1. Neka su γ1 i γ2 dva nezavisna (pseudo)sluqajna broja. Ako je γ1 ≤ pA
realizovao se dogaaj A i ako je γ2 ≤ pB, realizovao se dogaaj B.
2. Razmotrimo sledee disjunktne dogaaje
A1 = AB, A2 = AB ,A3 = AB, A4 = A B,
sa odgovarajuim verovatnoama, redom,
p1 = pApB , p2 = pA(1− pB), p3 = (1− pA)pB , p4 = (1− pA)(1− pB).
Pomou (pseudo)sluqajnog broja γ modeliramo sluqajnu veliqinu
ξ :
(1 2 3 4
p1 p2 p3 p4
)
Ukoliko je dobijena vrednost ξ = i, realizovao se dogaaj Ai, i =
1, 2, 3, 4.
Primer 8 Neka su A i B zavisni dogaaji, P (A) = pA, P (B) = pB , P (AB) =
pAB. Dogaaje A i B moemo modelirati na dva naqina.
1. Koristimo dva (pseudo)sluqajna broja γ1 i γ2 za modeliranje do-
gaaja A i B. Pomou broja γ1 modeliramo dogaaj A. Ukoliko se
25
realizovao dogaaj A, verovatnoa da se realizovao dogaaj B je
jednaka P (B|A) = pAB
pA. Ako je γ2 ≤ P (B|A), realizovao se dogaaj B.
Ako se nije realizovao dogaaj A, verovatnoa da se realizovao
dogaaj B je P (B|A) = pB−pAB
1−pA. Ako je γ2 ≤ P (B|A), realizovao se
dogaaj B.
2. Neka su dogaaji A1, A2, A3 i A4 definisani kao u prethodnom prime-
ru sa verovatnoama jednakim, redom,
p1 = pAB , p2 = pB − pAB , p3 = pA − pAB , p4 = 1− pA − pB + pAB .
Pomou (pseudo)sluqajnog broja γ modeliramo sluqajnu veliqinu
ξ :
(1 2 3 4
p1 p2 p3 p4
)
Ukoliko je dobijena vrednost ξ = i, realizovao se dogaaj Ai, i =
1, 2, 3, 4.
Modeliranje binomne raspodele
Neka je verovatnoa realizacije nekog dogaaja A u svakom ekspe-
rimentu jednaka p. Sluqajna veliqina Sn koja je jednaka broju rea-
lizacija dogaaja A u n nezavisnih eksperimenata ima binomnu raspode-
lu B(n, p). Njen zakon raspodele je:
pk = PSn = k =
(n
k
)pk(1− p)n−k, k = 0, 1, . . . , n.
Na osnovu definicije, Sn se moe predstaviti kao zbir nezavisnih
sluqajnih veliqina Ik koje sve imaju istu raspodelu i predstavljaju
indikator dogaaja A u k-tom eksperimentu:
Sn =n∑
k=1
Ik.
Modeliraju se vrednosti za Ik, k = 1, 2, . . . , n i saberu se. Dobi-
jeni broj je realizovana vrednost sluqajne veliqine Sn. Prednost
ovog postupka je xto se ne moraju raqunati verovatnoe pk iz zakona
26
raspodele za Sn, a nedostatak je xto je potrebno n (pseudo)sluqajnih
brojeva za dobijanje jedne realizacije sluqajne veliqine.
Modeliranje diskretnih sluqajnih veliqina saprebrojivo mnogo vrednosti
Neka je X diskretna sluqajna veliqina sa prebrojivo mnogo vre-
dnosti i neka je poznat njen zakon raspodele:
X :
(x1 x2 . . . xn . . .
p1 p2 . . . pn . . .
),
∞∑k=1
pk = 1.
Neka je n prirodni broj takav da je pn+1 + pn+2 + . . . < δ , gde je δ
proizvoljno mali (unapred izabrani) pozitivan realni broj. Umesto
sluqajne veliqine X posmatra se zaseqena sluqajna veliqina
X∗ :
(x1 x2 . . . xn
p1 p2 . . . pn∗
),
gde je pn∗ = 1− p1 − . . .− pn−1 . Vrednost ove sluqajne veliqine se mo-
delira na naqin koji je ve opisan za modeliranje vrednosti diskretne
sluqajne veliqine sa konaqno mnogo vrednosti. Na taj naqin se nee
dobiti ni jedna od vrednosti sluqajne veliqine X koja je vea od
xn. Meutim, verovatnoa dobijanja bilo koje vrednosti vee od xn
je manja od δ, a kako je δ unapred izabrani vrlo mali pozitivan broj,
to su i verovatnoe dobijanja vrednosti sluqajne veliqine X koje su
vee od xn zanemarljivo male. U zavisnosti od zadatka koji se rexava
i broja vrednosti koje je potrebno modelirati bira se δ.
Modeliranje geometrijske raspodele
Neka je verovatnoa realizacije nekog dogaaja A u svakom eksperi-
mentu jednaka p i neka se eksperimenti ponavljaju (pri istim uslovima)
27
dok se prvi put ne ostvari dogaaj A. Sluqajna veliqina X koja je jed-
naka broju izvedenih eksperimenata ima geometrijsku raspodelu. Njen
zakon raspodele je:
X :
(1 2 . . . n . . .
p (1− p)p . . . (1− p)n−1p . . .
),
odnosno pk = PX = k = (1− p)k−1p, k = 0, 1, 2, . . ..
Ova sluqajna veliqina se modelira tako xto, za izabrani pozi-
tivni broj δ i poznatu verovatnou p, se odredi najmanji prirodni
broj koji zadovoljava nejednakost
n0 >ln δ
ln (1− p).
Formira se zaseqena sluqajna veliqina:
X∗ :
(1 2 . . . n0
p (1− p)p . . . p∗n0
),
gde je p∗n0= 1 −
(p+ (1− p)p+ . . . (1− p)n0−2p
), a zatim se modelira ko-
rixenjem postupka za modeliranje diskretnih sluqajnih veliqina sa
konaqno mnogo vrednosti.
Primer 9 Modelirajmo vrednost sluqajne veliqine X koja predstavlja
broj gaanja u metu, gde je verovatnoa pogotka pri svakom gaanju
p = 0.6. Uzmimo da je δ = 0.001. Nalazimo da je n0 = 8 i formiramo
zaseqenu sluqajnu veliqinu
X∗ :
(1 2 . . . 8
0.6 0.24 . . . p∗n0
),
gde je p∗n0= 1−
(0.6 + 0.24 + . . . 0.46 · 0.6
)= 0.0016. Korixenjem Mersen-
Tvister generatora u statistiqkom softveru R, dobijamo pseudosluqa-
jni broj γ = 0.4813. Kako je γ ≤ p, realizovala se vrednost x = 1 sluqa-
jne veliqine X.
28
Modeliranje Puasonove raspodele
Sluqajna veliqina X ima Puasonovu raspodelu sa parametrom λ,
λ > 0, ako je njen zakon raspodele oblika:
pk = PX = k = e−λλk
k!, k = 0, 1, 2, . . . .
Ova sluqajna veliqina se modelira tako xto se, za izabrani pozi-
tivni broj n0 i poznati parametar λ, odredi najmanji prirodni broj
koji zadovoljava nejednakost
e−λ λn0+1
(n0 + 1)!
n0 + 2
n0 + 2− λ< δ.
Formira se zaseqena sluqajna veliqina
X∗ :
(0 1 . . . n0
p0 p1 . . . p∗n0
),
gde je pk = e−λ λk
k! , k = 0, 1, . . . , n0 − 1, p∗n0= 1 −
∑n0−1k=0 pk i zatim se
modelira korixenjem postupka za modeliranje diskretnih sluqajnih
veliqina sa konaqno mnogo vrednosti.
29
Modeliranje neprekidnihsluqajnih veliqina
Metoda inverzne funkcije
Neka je X neprekidna sluqajna veliqina sa funkcijom rapodele F ,
za koju se moe odrediti inverzna funkcija. Modeliranje vrednosti
sluqajne veliqine X se moe ostvariti na osnovu sledee teoreme.
Teorema 4 Neka je data sluqajna veliqina X qija je funkcija raspode-
le F strogo monotona i neprekidna i neka je F−1 njena inverzna funkci-
ja. Neka je Y sluqajna veliqina sa uniformnom raspodelom U(0, 1).Tada sluqajna veliqina F−1(Y ) ima funkciju raspodele F .
Dakle, realizovana vrednost x sluqajne veliqine X se dobija pomou
jednog (pseudo)sluqajnog broja γ, po formuli x = F−1(γ).
Modeliranje eksponencijalne raspodele
Sluqajna veliqina X ima eksponencijalnu raspodelu sa parametrom
λ > 0, u oznaci X : E(λ), ako je njena funkcija raspodele oblika:
F (x) = 1− e−λx, x ≥ 0.
Primenjuje se metoda inverzne funkcije. Ako je γ (pseudo)sluqajni
broj, tada je modelirana vrednost sluqajne veliqine X jednaka x =
− 1λ ln (1− γ). Ovaj izraz se moe pojednostaviti korixenjem sledee
osobine uniformne raspodele.
Tvrenje 1 Ako sluqajna veliqina Y ima uniformnu raspodelu U(0, 1),tada i sluqajna veliqina 1− Y ima uniformnu raspodelu U(0, 1).
Na taj naqin se dobija jednostavna formula za modeliranje vre-
dnosti eksponencijalne raspodele x = − 1λ ln γ.
Nojmanova metoda
Za sluqajne veliqine qija je gustina raspodele f razliqita od nule
i ograniqena na konaqnom intervalu, modeliranje se moe ostvariti
na osnovu sledee teoreme.
Teorema 5 Neka je gustina raspodele f sluqajne veliqine X defi-
nisana na konaqnom intervalu (a, b) i neka je f(x) ≤ M, x ∈ (a, b).
Neka su xT i yT modelirane vrednosti nezavisnih sluqajnih veliqina
sa raspodelama, redom, U(a, b) i U(0,M). Ako je yT < f(xT ) , tada je
realizovana vrednost sluqajne veliqine X jednaka xT .
Da bi se Nojmanovom metodom dobila jedna realizacija sluqajne
veliqine koja se modelira, potrebna su bar dva (pseudo)sluqajna broja.
Ako nejednakost yT < f(xT ) nije zadovoljena, treba modelirati sledei
par vrednosti xT i yT , itd. dok se ne dobije par vrednosti xT i yT
koji zadovoljava uslove teoreme.
Nojmanova metoda se moe primeniti i na sluqajne veliqine qija je
gustina raspodele razliqita od nule na beskonaqnom intervalu, ali
prvo je potrebno formirati odgovarajuu zaseqenu sluqajnu veliqinu.
Neka sluqajna veliqina X ima gustinu raspodele f(x), a′ < x < b′,
tj. neka je∫ b′
a′ f(x)dx = 1 . Za sluqajnu veliqinu XZ se kae da ima
zaseqenu gustinu raspodele f ako su vrednosti sluqajne veliqine XZ
iz intervala (a, b) ⊂ (a′, b′), a njena gustina raspodele proporcionalna
gustini raspodele f . Ako se sa fZ oznaqi gustina raspodele sluqajne
veliqine XZ , tada je
fZ(x) =f(x)∫ b
af(x)dx
, x ∈ (a, b).
Primeuje se da vai fZ(x) > f(x), x ∈ (a, b) Interval (a, b) se bira
tako da vai
1−∫ b
a
f(x)dx < δ,
gde je δ unapred odabrani mali pozitivan broj.
Primer 10 Neka je X sluqajna veliqina sa gustinom raspodele fX(x) =1x , x ∈ (1, e). Gustina raspodele f je ograniqena, f(x) ≤ 1, x ∈ (1, e).
31
Za dva pseudosluqajna broja γ1 = 0.292 i γ2 = 0.382, dobijaju se mo-
delirane vrednosti xT = 1 + (e − 1) · γ1 = 1.502 sluqajne veliqine iz
U(1, e) raspodele i yT = 0.382 sluqajne veliqine iz U(0, 1) raspodele.
Kako je yT < f(xT ) = 0.666, realizovala se vrednost x = 1.502 sluqajne
veliqine X.
Modeliranje vixedimenzionih sluqajnih veliqina
Modeliranje n-dimenzione sluqajne taqke sa nezavisnimkoordinatama
Ukoliko su koordinate n-dimenzione sluqajne veliqine Q = (X1, X2,
. . . , Xn) nezavisne, tada je funkcija raspodele sluqajne veliqine Q je-
dnaka
FQ(x1, x2, . . . , xn) = F1(x1)F2(x2) · · ·Fn(xn),
gde je Fi(xi), i = 1, 2, . . . , n funkcija raspodele sluqajne veliqine Xi. U
tom sluqaju, moemo modelirati nezavisno svaku sluqajnu veliqinu
Xi.
Primer 11 Neka je Q sluqajna taqka sa Dekartovim koordinatama
(X1, X2, . . . , Xn) ravnomerno raspodeljenim na n-dimenzionom paralelepi-
pedu Π = ai < xi < bi, i = 1, 2, . . . , n. Gustina raspodele sluqajne taqke
Q je jednaka
fQ(x1, x2, . . . , xn) =
1∏n
i=1(bi−ai), (x1, x2, . . . , xn) ∈ Π
0, (x1, x2, . . . , xn) /∈ Π
Gustina sluqajne veliqine Xi je jednaka
fi(xi) =
1
bi−ai, xi ∈ (ai, bi)
0, xi /∈ (ai, bi)
a funkcija raspodele
Fi(xi) =xi − aibi − ai
, xi ∈ (ai, bi).
32
Na osnovu metode inverzne funkcije Fi(xi) = γi dobijamo
xi = ai + γi(bi − ai), i = 1, 2, . . . , n.
Modeliranje n-dimenzione sluqajne taqke sa zavisnimkoordinatama
U opxtem sluqaju, kada su koordinate (X1, X2, . . . , Xn) sluqajne taqke
Q zavisne, zajedniqku gustinu raspodele moemo predstaviti kao
fQ(x1, x2, . . . , xn) = f1(x1) · f2(x2|x1) · f3(x3|x1, x2) · · · fn(xn|x1, x2, . . . , xn−1).
Tada imamo
f1(x1) =
∫ +∞
−∞. . .
∫ +∞
−∞fQ(x1, x2, . . . , xn)dx2 . . .dxn
f2(x2|x1) =
∫ +∞−∞ . . .
∫ +∞−∞ fQ(x1, x2, . . . , xn)dx3 . . . dxn
f1(x1)
f3(x3|x1, x2) =
∫ +∞−∞ . . .
∫ +∞−∞ fQ(x1, x2, . . . , xn)dx4 . . . dxn
f1(x1) · f2(x2|x1)
...
fn−1(xn−1|x1, . . . , xn−2) =
∫ +∞−∞ fQ(x1, x2, . . . , xn)dxn
f1(x1) · · · fn−2(xn−2|x1, . . . xn−3)
fn(xn|x1, . . . , xn−1) =fQ(x1, x2, . . . , xn)
f1(x1) · · · fn−1(xn−1|x1, . . . xn−2)
Definiximo uslovnu funkciju raspodele
Fi(xi|x1, . . . , xi−1) =
∫ xi
−∞fi(x|x1, . . . , xi−1)dx.
Teorema 6 Neka su U1, U2, . . . , Un nezavisni (pseudo)sluqajni brojevi.
Sluqajne veliqine X1, X2, . . . , Xn koje se dobijaju kao rexenja sistema
F1(X1) = U1
F2(X2|X1) = U2
...
Fn(Xn|X1, . . . Xn−1) = Un.
imaju zajedniqku gustinu raspodele fQ(x1, x2, . . . , xn).
33
Primer 12 Razmotrimo sluqajnu taqku (ξ, η) koja uzima vrednosti u
trouglu ∆ = (x, y) : x + y < 1, x > 0, y > 0 s gustinom raspodele
f(x, y) = 6x.
a) Napiximo zajedniqku funkciju raspodele kao
fQ(x, y) = fX(x)fY (y|x).
Marginalne gustine raspodele su jednake
fX(x) =
∫ 1−x
0
6xdy = 6x(1− x), 0 < x < 1,
fY (y|x) =f(x, y)
fX(x)=
1
1− x, 0 < y < 1− x.
Odgovarajue funkcije raspodele su jednake
FX(x) =
∫ x
0
6u(1− u)du = 3x2 − 2x3, 0 < x < 1,
FY (y|x) =∫ y
0
1
1− xdy =
y
1− x, 0 < y < 1− x.
Dobijamo sistem jednaqina
3x2 − 2x3 = γ1
y = γ2(1− x).
koji je malo nezgodniji za rexavanje.
b) Napiximo gustinu raspodele kao
fQ(x, y) = fY (y) · fX(x|y).
Marginalne gustine raspodele su jednake
fY (y) =
∫ 1−y
0
6xdx = 3(1− y)2, 0 < y < 1
fX(x|y) = 2x
(1− y)2, 0 < x < 1− y,
a odgovarajue funkcije raspodele su jednake
FY (y) =
∫ y
0
3(1− u)2du = 1− (1− y)3, 0 < y < 1,
FX(x|y) =∫ x
0
2u
(1− y)2du =
x2
(1− y)2, 0 < x < 1− y.
34
Dobijamo (koristimo γ1 umesto 1− γ1)
(1− y)3 = γ1
x2 = γ2(1− y)2,
odnosno
y = 1− 3√γ1
x =√γ2 · 3
√γ1,
Modeliranje vixedimenzione sluqajne veliqine korixenjemsmene promenljivih
Primer 13 Sluqajna taqka Q = (X,Y, Z) je ravnomerno raspodeljena
na lopti x2 + y2 + z2 < R2. Gustina raspodele sluqajne veliqine Q je
jednaka
fQ(x, y, z) =3
4
1
πR3.
Prelazimo na sferne koordinate
x = r sin θ cosφ
y = r sin θ sinφ
z = r cos θ
U novim koordinatama sfera se preslikava u paralelepiped 0 ≤ r <
R, 0 ≤ θ < π, 0 ≤ φ < 2π. Jakobijan preslikavanja je jednak J = r2 sin θ
i zajedniqka gustina novih koordinata je
fQ(r, θ, φ) =3
4
r2 sin θ
πR3.
Ova gustina predstavlja proizvod tri gustine sfernih koordinata
RQ, ΘQ, ΦQ,redom,
fQ(r, θ, φ) =3r2
R3
sin θ
2
1
2π
35
i prema tome, sferne koordinate RQ, ΘQ, ΦQ taqke Q su nezavisne.
Imamo ∫ rQ
0
3r2dr
R3=
r3QR3
= γ1∫ θQ
0
sin θ
2dθ =
1
2(1− cos θQ) = 1− γ2∫ φQ
0
1
2πdφ =
φQ
2π= γ3,
odakle se dobija
rQ = R 3√γ1
cos θQ = 2γ2 − 1
φQ = 2πγ3
Dekartove koordinate taqke Q su
x = rQ sin θQ cosφQ
y = rQ sin θQ sinφQ
z = rQ cos θQ
Metoda superpozicije
Neka sluqajna veliqina X ima funkciju raspodele F koja se moe
napisati u obliku
F (x) =
m∑k=1
ckFk(x), (1)
gde su Fk(x) funkcije raspodele, koeficijenti ck > 0,∑m
k=1 ck = 1.
Dalje, neka je Y diskretna sluqajna veliqina sa zakonom raspodele
Y :
(1 2 . . . m
c1 c2 . . . cm
)
36
Teorema 7 Neka su γ1 i γ2 nezavisni (pseudo)sluqajni brojevi. Ako na
osnovu γ1 modeliramo vrednost sluqajne veliqine Y , a zatim na osnovu
Fk(x) = γ2 modeliramo X, tada sluqajna veliqina X ima funkciju
raspodele F .
Primer 14 Sluqajna veliqina X ima gustinu raspodele
f(x) =5
12
(1 + (x− 1)4
), x ∈ (0, 2).
Funkcija raspodele sluqajne veliqine X je
F (x) =5
12x+
(x− 1)5
12+
1
12.
Ukoliko koristimo metod inverzne funkcije, dobijamo
(x− 1)5 + 5x = 12γ − 1,
pa bi bilo potrebno rexiti jednaqinu petog stepena za nalaenje vred-
nosti sluqajne veliqine X.
Razloimo metodom superpozicije funkciju raspodele na
F (x) =5
6F1(x) +
1
6F2(x),
gde je F1(x) =x2 i F2(x) =
12 (x− 1)5 + 1
2 . Sluqajna veliqina Y ima tada
zakon raspodele
Y :
(1 256
16
)Na osnovu prethodne teoreme dobijamo
x =
2γ2, ako je γ1 ≤ 5
6
1 + 5√2γ2 − 1, ako je γ1 > 5
6
37
Modifikovani metod superpozicije
Modifikovani metod superpozicije nam omoguava da za modeli-
ranje vrednosti sluqajne veliqine X koristimo samo jedan (pseudo)slu-
qajni broj.
Teorema 8 Neka su γ1 i γ2 nezavisni (pseudo)sluqajni brojevi. Ako
na osnovu γ1 modeliramo vrednost sluqajne veliqine Y , a zatim mo-
deliramo vrednost sluqajne veliqine X na osnovu Fk(x) = θ, gde je
θ =(γ−
∑k−1j=1 cj)
cktada X ima funkciju raspodele F , gde je F oblika (1).
Primer 15 Neka je X sluqajna veliqina sa gustinom raspodele datom
u Primeru 12. Imamo da je θ = 65γ za y = 1 i θ = 6γ−5 za y = 2. Dobijamo
x =
125 γ, ako je γ ≤ 5
6
1 + 5√12γ − 11, ako je γ > 5
6
Modeliranje normalne raspodele
Metoda inverzne funkcije nije primenljiva za modeliranje normalne
raspodele jer je, kao xto je poznato, gustina raspodele sluqajne veli-
qine X sa normalnom raspodelom N (m,σ2), qiji su parametri m i
σ > 0, oblika
f(x) =1
σ√2π
e−(x−m)2
2σ2 , x ∈ R
pa se njena inverzna funkcija ne moe izraziti preko elementarnih
funkcija.
Modeliranju vrednosti normalne raspodele se posveuje posebna
panja zbog znaqaja i qeste primene normalne raspodele. S obzirom
na tvrenje
Tvrenje 2 Ako sluqajna veliqina X ima normalnu raspodelu N (m,σ2),
tada sluqajna veliqina Y = X−mσ ima normalnu normiranu raspodelu
N (0, 1).
38
dovoljno je navesti postupke modeliranja sluqajne veliqine koja ima
normalnu normiranu raspodelu N (0, 1).
Modeliranje normalne raspodele na osnovu centralnegraniqne teoreme
Neka su date nezavisne sluqajne veliqine Y1, Y2, . . . koje imaju uni-
formnu raspodelu U(0, 1). Tada sluqajna veliqina Sn =∑n
j=1 Yj ima
matematiqko oqekivanje i disperziju, redom, E(Sn) =n2 , D(Sn) =
n12 , pa
prema centralnoj graniqnoj teoremi za sluqajnu veliqinu
ξ(n) =Sn − E(Sn)√
D(Sn)=
√3
n
n∑j=1
(Yj − 1)
vai
Pξ(n) ≤ x →n→∞1√2π
∫ x
−∞e−
t2
2 .
Konvergencija je brza i ve se za n = 12 dobijaju vrlo mala odstu-
panja , pa ako su γ1, . . . , γ12 (pseudo)sluqajni brojevi, moe se smatrati
da je ξ(12) =∑1
j=1 2γj − 6 realizovana vrednost sluqajne veliqine sa
normalnom normiranom paspodelom N (0, 1). Na ovaj naqin za modeli-
ranje jedne vrednosti sluqajne veliqine sa normalnom normiranom
raspodelom N (0, 1) je potrebno 12 (pseudo)sluqajnih brojeva.
Modeliranje normalne raspodele korixenjem polarnihkoordinata
Normalna normirana raspodela se moe modelirati i prelaskom
na polarne koordinate. Vai sledee tvrenje.
Tvrenje 3 Ako su Y1 i Y2 nezavisne sluqajne veliqine sa uniformnom
raspodelom U(0, 1), tada su sluqajne veliqine
Z1 =√−2 lnY1 · cos(2πY2) i Z2 =
√−2 lnY1 · sin(2πY2)
nezavisne sa normalnim normiranim raspodelama.
39
Dakle, ako su γ1 i γ2 dva (pseudo)sluqajna broja, pomou njih se
dobijaju realizacije x1 i x2 dve nezavisne sluqajne veliqine sa nor-
malnom normiranom raspodelom, po formulama
x1 =√
−2 ln γ1 · cos(2πγ2) i x2 =√−2 ln γ1 · sin(2πγ2).
Modeliranje normalne raspodele korixenjem jedneeksponencijalne raspodele
Neka su sluqajne veliqine Y : U(0, 1) i V : E(1) nezavisne. Ako je
Y ≤ e−(V −1)2
2 , tada se za realizaciju sluqajne veliqine X sa normalnom
normiranom raspodelom uzima vrednost sluqajne veliqine V .
Ovaj postupak za modeliranje jedne vrednosti normalne normirane
raspodele zahteva korixenje bar dva (pseudo)sluqajna broja γ1 i γ2.
Pomou γ2 se modelira vrednost v = − ln γ2 sluqajne veliqine V . Ako
je γ1 ≤ e−(v−1)2
2 , tada se smatra da je v realizovana vrednost sluqa-
jne veliqine sa normalnom normiranom raspodelom. Ako nejednakost
ne vai, postupak se ponavlja sa narednim parom (pseudo)sluqajnih
brojeva.
Modeliranje normalne raspodele korixenjem dveeksponencijalne raspodele
Neka su sluqajne veliqine Y1 i Y2 nezavisne sa istom eksponencija-
lnom raspodelom E(1). Ako je Y2 ≥ (Y1−1)2
2 , tada se za realizaciju
sluqajne veliqine X sa normalnom normiranom raspodelom uzima vre-
dnost sluqajne veliqine Y1.
Ovaj postupak za modeliranje jedne vrednosti normalne normirane
raspodele zahteva korixenje bar dva (pseudo)sluqajna broja γ1 i
γ2. Pomou γi, i = 1, 2 se modelira vrednost yi = − ln γi sluqajne
veliqine Yi. Ako je y2 ≥ (y1−1)2
2 , tada se smatra da je y1 realizo-
vana vrednost sluqajne veliqine X sa normalnom normiranom raspode-
40
lom. Ako nejednakost ne vai, postupak se ponavlja sa narednim parom
(pseudo)sluqajnih brojeva.
Modeliranje χ2n raspodele
Prilikom modeliranje χ2n raspodele koristi se sledea defini-
cija.
Definicija 1 Ako su sluqajne veliqine X1, X2, . . . Xn nezavisne i ima-
ju normalnu normiranu raspodelu N (0, 1), tada sluqajna veliqina X21+
X22 + . . .+X2
n ima χ2n raspodelu.
Modelira se n nezavisnih sluqajnih veliqina sa normalnom normi-
ranom raspodelom i saberu kvadrati dobijenih modeliranih vred-
nosti.
41
Monte Karlo integracija
Razmotriemo dve Monte Karlo metode za priblino izraqunavanje
integrala
I =
∫ b
a
g(x)dx
Prva metoda se naziva Monte Karlo metoda pogodaka i promaxaja9 i zasnovana je na geometrijskoj interpretaciji integrala kao po-
vrxine, a druga metoda se naziva Monte karlo metoda uzorqke sredine10 i zasnovana je na interpretaciji integrala kao srednje vrednosti.
Monte Karlo metoda pogodaka i promaxaja
Neka je funkcija g(x) ograniqena
0 ≤ g(x) ≤ c, a ≤ x ≤ b,
i oznaqimo sa Ω pravougaonik
Ω = (x, y) : a ≤ x ≤ b, 0 ≤ y ≤ c.
Neka je (X,Y ) sluqajni vektor sa uniformnom raspodelom na pravougaoniku
Ω sa gustinom raspodele
f(X,Y )(x, y) =
1
c(b−a) , (x, y) ∈ Ω
0, (x, y) /∈ Ω(2)
Oznaqimo sa S povrx ispod krive g(x), S = (x, y) : y ≤ g(x). Verovatnoa
da se sluqajni vektor nae ispod krive g(x) je tada jednaka
p =
∫ b
ag(x)dx
c(b− a)=
I
c(b− a)(3)
9 The Hit and Miss Monte Carlo Method10 The Sample Mean Monte Carlo method
Slika 4. Monte Karlo metoda pogotka i promaxaja
Pretpostavimo da je generisano N nezavisnih sluqajnih vektora
(X1, Y1), (X2, Y2), . . . , (XN , YN ). Na osnovu zakona velikih brojeva, verova-
tnoa p se moe oceniti sa
p =NH
N, (4)
gde je NH broj sluqajeva kada je Yi ≤ g(Xi), i = 1, 2, . . . , N , tj. broj
pogodaka i N −NH je broj promaxaja (ako je Yi > g(Xi), i = 1, 2, . . . , N
promaxujemo).
Na osnovu (3) i (4) dobijamo
NH
N≈ I
c(b− a),
odnosno,
I ≈ θ1 = c(b− a)NH
N. (5)
Drugim reqima, da bismo priblino izraqunali (ocenili) inte-
gral I, uzimamo uzorak obima N iz uniformne raspodele (2), prebro-
jimo broj pogodaka NH ispod krive g(x) i primenimo formulu (5).
Poxto svaki od N pokuxaja ima Bernulijevu raspodelu sa verovatno-
om pogotka p, imamo NH : B(N, p). Matematiqko oqekivanje i disperz-
ija ocene θ1 su, redom, jednaki
E(θ1) =c(b− a)
NE(NH) = c(b− a)p = I
D(θ1) =c2(b− a)2
N2D(NH) = c2(b− a)2
p(1− p)
N.
43
Prema tome, ocena θ1 je nepristrasna. Kako D(θ1) → 0, kada N → ∞,
ocena θ1 je postojana.
Standardna devijacija ocene je tada jednaka
σθ1 = N− 12 c(b− a)
√p(1− p).
Ukoliko ubacimo (3) u izraz za standardnu devijaciju dobijamo
σθ1 = N− 12
√I (c(b− a)− I).
Standardna devijacija prua meru preciznosti ocene. Dakle, pre-
ciznost ocene integrala dobijene na osnovu metode pogodaka i pro-
maxaja je reda N− 12 , tj. O(N− 1
2 ).
Moemo odrediti broj potrebnih eksperimenata N tako da je
P|θ1 − I| ≤ ε = β,
gde je ε grexka aproksimacije a β nivo poverenja (obiqno se uzima β =
95% ili β = 99%). Za dovoljno veliko N , moemo primeniti centralnu
graniqnu teoremu, tj.
θ∗1 =θ1 − I
σθ1
: N (0, 1).
Tada imamo
P|θ∗1 | ≤ zβ = β,
gde je zβ = ε√N
c(b−a)√
p(1−p). Iz tablice normalne raspodele nalazimo zβ
tako da je Φ(zβ) = 1+β2 , gde je Φ funkcija normalne raspodele. Ko-
ristei aproksimaciju p(1− p) ≈ 14 , dobijamo
N ≥c2(b− a)2z2β
4ε2
Algoritam za Monte Karlo metodu pogodaka i promaxaja
1. Generisati niz (Uj)2Nj=1 od 2N pseudosluqajnih brojeva.
2. Poreati brojeve u N parova (U1, U′1), (U2, U
′2), . . . , (UN , U ′
N ) na bilo
koji naqin tako da se svaki broj Ui pojavi taqno jedanput.
44
3. Izraqunati Xi = a+ (b− a)Ui, g(Xi), i Yi = cU ′i , i = 1, 2, . . . N .
4. Prebrojati broj pogodaka NH za koje vai Yi ≤ g(Xi).
5. Oceniti integral I sa
θ1 = c(b− a)NH
N.
Primer 16 Ocenimo integral I =∫ 2
0e−x2
dx. Direktnim izraqunava-
njem se dobija I =√
(π)(Φ(2
√2)− 0.5
)= 0.8820814
Podintegralna funkcija g(x) = e−x2
je ograniqena, g(x) ≤ 1. Odred-
imo prvo obim uzorka N , tako da je grexka aproksimacije ε = 0.001
sa nivoom poverenja β = 0.95. Na osnovu N ≥ c2(b−a)2z2β
4ε2 = 3841459,gde je
z0.99 = Φ−1(0.975) = 1.96, uzeemo N = 4000000.
Korixenjem programa za priblino raqunanje integrala pomou
metode pogodaka i promaxaja u statistiqkom softveru R, dobija se
vrednost ocene θ1 = 0.8830045.
Monte Karlo metoda uzoraqke sredine
Integral I =∫ b
ag(x)dx moemo predstaviti kao oqekivanu vrednost
neke sluqajne veliqine. Prvo napiximo integral na sledei naqin
I =
∫ b
a
g(x)
fX(x)fX(x)dx.
Pretpostavimo da je fX(x) proizvoljna gustina raspodele takva da
je fX(x) > 0 kada g(x) = 0. Tada je
I = E
(g(X)
fX(X)
),
gde je X sluqajna veliqina sa gustinom raspodele fX(x). Uzmimo, jed-
nostavnosti radi, da je
fX(x) =
1
b−a , a < x < b
0, inaqe
45
Tada imamo da je
E (g(X)) =I
b− a,
odnosno
I = (b− a)E (g(X)) .
Nepristrasna ocena za integral I je uzoraqka sredina
θ2 = (b− a) · 1
N
N∑i=1
g(Xi).
Disperzija ocene je jednaka
D(θ2) = E
((b− a)
1
N
N∑i=1
g(Xi)
)2
− I2 =
= (b− a)21
N2
N∑i=1
Eg2(Xi) + 2∑i=j
Eg(Xi)Eg(Xj)
− I2 =
= (b− a)2 · 1
N2
(N ·
∫ b
a
g2(x) · 1
b− adx+ 2
(N
2
)(Eg(X))
2
)− I2 =
=1
N
((b− a)
∫ b
a
g2(x)dx− I2
).
Algoritam za Monte Karlo metodu uzoraqke sredine
1. Generisati niz (Uj)Nj=1 od N pseudosluqajnih brojeva.
2. Izraqunati Xi = a+ (b− a)Ui, i = 1, 2, . . . N .
3. Izraqunati g(Xi) i = 1, 2, . . . N .
5. Oceniti integral I uzoraqkom sredinom
θ2 = (b− a) · 1
N
N∑i=1
g(Xi).
Primer 17 Ocenimo integral I =∫ 2
0e−x2
dx iz prethodnog primera
pomou metode uzoraqke sredine. Dobili smo da je I = 0.8820814 i
θ1 = 0.8830045.
46
Korixenjem programa za priblino raqunanje integrala pomou
metode uzoraqke sredine u statistiqkom softveru R, dobija se vred-
nost ocene (za N = 4000000) θ2 = 0.8819665.
Efikasnost Monte Karlo metoda
Pretpostavimo da postoje dve Monte Karlo metode za ocenjivanje in-
tegrala I. Neka su θ1 i θ2 dve ocene dobijene na osnovu ovih metoda
takve da je
Eθ1 = Eθ2 = I.
Oznaqimo sa t1 i t2 broj jedinica raqunarskog vremena potrebnog
za izraqunavanje vrednosti sluqajnih veliqina θ1 i θ2, redom. Kaemo
da je prva metoda efikasnija od druge metode ako je
ε =t1D(θ1)
t2D(θ2)< 1.
Uporedimo sada efikasnost metode pogodaka i promaxaja sa efika-
snoxu metode uzoraqke sredine.
Stav 1 D(θ2) ≤ D(θ1).
Dokaz: Imamo da je
D(θ1)−D(θ2) =1
N(b− a)
(cI −
∫ b
a
g2(x)dx
).
Kako je g(x) ≤ c, c∫ b
ag(x)dx−
∫ b
ag2(x)dx ≥ 0, pa je D(θ1)−D(θ2) ≥ 0.
Pod pretpostavkom da su vremena izraqunavanja ocena t1 i t2 pri-
blino jednaka, zakljuqujemo da je metoda uzoraqke sredine efikasnija
od metode pogodaka i promaxaja.
47
Monte Karlo metode za smanjenje disperzije
Redukcija disperzije nam prua mogunost da smanjimo disperziju
ocene integrala, dobijajui statistiqki efikasne ocene. Razmotriemo
tri Monte Karlo metode za smanjenje disperzije:metodu analitiqke re-
dukcije, metodu uzorkovanja na osnovu relevantnosti 11i metodu stra-
tifikovanog uzorkovanja.
Ilustrovaemo sledeim primerom znaqaj redukcije disperzije.
Primer 18 Neka sluqajna veliqina X ima Koxijevu raspodelu C(0, 1)sa gustinom raspodele
fX(x) =1
π(1 + x2), x ∈ (0,+∞).
elimo da ocenimo verovatnou
p = PX > 2 =
∫ +∞
2
1
π(1 + x2)dx
Direktnim izraqunavanjem se dobija p = 0.15.
Ako ocenimo p preko uzoraqke sredine
p1 =1
N
N∑i=1
IXi > 2,
gde je (X1, X2, . . . , XN ) uzorak iz Koxijeve raspodele, disperzija ove
ocene je p(1−p)N = 0.127
N . Ova disperzija se moe redukovati ako se uzme
u obzir simetriqnost Koxijeve raspodele C(0, 1). Ocena
p2 =1
2N
N∑i=1
I|Xi| > 2
ima disperziju jednaku p(1−2p)N = 0.052
N .
Relativna neefikasnost ovih metoda je povezana sa time xto se
generixu vrednosti van oblasti od interesa (u ovom sluqaju van in-
tervala (2,+∞)), koje nisu bitne za aproksimaciju. Ako napixemo p
kao
p =1
2−∫ 2
0
dy
π(1 + y2),
11 Importance sampling
48
gornji integral se moe smatrati za matematiqko oqekivanje od h(Y ) =2
π(1+U2) , gde Y : U [0, 2]. Tada imamo da je ocena p
p3 =1
2− 1
N
N∑i=1
h(Yi).
Disperzija ocene p3 je jednaka 0.0285N .
Dalje, p se moe napisati i kao
p =
∫ 12
0
z−2
π(1 + z−2)dz.
Ovaj integral se moe smatrati za matematiqko oqekivanje od 14h(Z) =
12π(1+Z2) , gde je Z : U [0, 1
2 ]. Tada imamo da je ocena p
p4 =1
4N
N∑i=1
h(Zi).
Disperzija ocene p4 je jednaka 0.000095N .
Poredei sa p1, smanjenje disperzije korixenjem ocene p4 je reda
10−3, xto znaqi da p4 zahteva√1000 ≈ 32 puta manje simulacija od p1
da bi postigla istu preciznost.
Metoda analitiqke redukcije
Razmotrimo problem ocenjivanja integrala
I =
∫D
g(x)dx, D ⊂ Rn.
Razbijamo oblast D na dve podoblasti, D = D1 ∪D2 i predstavimo
integral I kao
I =
∫D1
g(x)dx+
∫D2
g(x)dx.
Pretpostavimo da se integral
I1 =
∫D1
g(x)dx
moe izraqunati analitiqki i definiximo zaseqenu gustinu raspodele
h(x) =
fX(x)1−P , ako je x ∈ D2
0, inaqe
49
gde je P =∫D1
fX(x)dx i fX(x) je gustina sluqajne veliqine X.
Integral I tada moemo napisati kao
I = I1 +
∫D2
g(x)dx = I1 +
∫D2
g(x)
h(x)h(x)dx =
= I1 + E
(g(X)
h(X)
)= I1 + (1− P )E
(g(X)
fX(X)
).
Nepristrasna ocena integrala I je tada jednaka
θ3 = I1 + (1− P )1
N
N∑i=1
g(Xi)
fX(Xi).
Stav 2 D(θ3) ≤ (1− P )D(θ2).
Dokaz: Imamo da je
N ·D(θ2) =
∫D
g2(x)
fX(x)dx− I2 =
=
∫D1
g2(x)
fX(x)dx+
∫D2
g2(x)
fX(x)dx− I2
i
N ·D(θ3) = (1− P )2∫D2
g2(x)
fX(x)
f2X(x)
(1− P )dx−
((1− P )
∫D2
g(x)
fX(x)
fX(x)
(1− P )dx
)2
=
= (1− P )
∫D2
g2(x)
fX(x)dx−
(∫D2
g(x)dx
)2
.
Dalje, dobijamo
N ((1− P ) ·D(θ2)−D(θ5)) = (1− P )
∫D1
g2(x)
fX(x)dx− (1− P )2 +
(∫D2
g(x)dx
)2
=
= (1− P )
∫D1
g2(x)
fX(x)dx− (1− P )2 + (I − I1)
2.
Oznaqimo sa
C2 =
∫D1
g2(x)
fX(x)dx− I1
P=
∫D1
(g(x)
fX(x)− I1
P
)2
fX(x)dx.
50
Tada imamo da je
N ((1− P ) ·D(θ2)−D(θ5)) = (1− P )C2 +
(√PI − I1√
P
)2
≥ 0.
Dakle, na osnovu ovog stava zakljuqujemo da je metoda analitiqke
redukcije barem (1−P )−1 puta efikasnija od metode uzoraqke sredine.
Uzorkovanje na osnovu relevantnosti
Osnovna ideja ove metode se sastoji u uzimanju vixe elemenata
uzorka u delovima oblasti D koje su znaqajnije za aproksimaciju.
Kao xto smo videli kod metode uzoraqke sredine, integral I moemo
predstaviti kao
I =
∫D
g(x)
fX(x)fX(x)dx = E
(g(X)
fX(X)
),
gde je X sluqajna veliqina sa gustinom raspodele fX(x) > 0, x ∈ D.
Funkcija fX(x) se naziva funkcija relevantnosti.
Da bismo ocenili integral I, uzimamo uzorak X1, X2, . . . , XN iz gus-
tine raspodele fX(x) i raqunamo ocenu
θ4 =1
N
N∑i=1
g(Xi)
fX(Xi).
Ocena θ4 je nepristrasna i njena disperzija je jednaka
D(θ4) =1
N
(∫D
g2(x)
fX(x)dx− I2
).
Sledea teorema prua naqin kako da se odabere optimalna gustina
raspodela fX da bi se minimizovala disperzija ocene θ4.
Teorema 9 Minimalna disperzija ocene θ4 je jednaka
D(θ∗4) =
(∫D
|g(x)|dx)2
− I2
51
i dobija se kada je gustina raspodele sluqajne veliqine X jednaka
fX(x) =|g(x)|∫
D|g(x)|dx
.
Dokaz: Formula za minimalnu disperziju se dobija ukoliko zamenimo
izraz za optimalnu gustinu u izraz za disperziju ocene θ4. Da bismo
dokazali da je D(θ∗4) ≤ D(θ4), dovoljno je dokazati da je(∫D
|g(x)|dx)2
≤∫D
g2(x)
fX(x)dx,
xto se dobija primenom Koxi-Xvarcove nejednakosti(∫D
|g(x)|dx)2
=
(∫D
|g(x)|√fX(x)
√fX(x)dx
)2
≤
≤∫D
g2(x)
fX(x)dx ·
∫D
fX(x)dx =
=
∫D
g2(x)
fX(x)dx
Meutim, ova teorema nema direktnu praktiqnu primenu poxto
optimalna gustina zavisi od integrala∫D|g(x)|dx. U praksi biramo
gustinu raspodele fX koja je proporcionalna |g|, tj. tako da je |g(x)|fX(x) ≈ c.
Razmotrimo sada drugi naqin za formiranje ocene po metodi uzorko-
vanja na osnovu relevantnosti. Neka je h(x) = g(x)fX(x) , gde je fX(x) > 0.
Generiximo sluqajne veliqine Y1, Y2, . . . , YN iz gustine fY (y) sa nosaqem
D. Izraqunajmo teinske koeficijente
wi =fX(yi)
fY (yi)
i formirajmo ocenu integrala kao
θ′4 =1
N
∑Ni=1 wih(Yi)∑N
i=1 wi
.
Primer 19 Neka sluqajna veliqina X ima normalnu normiranu raspo-
delu. elimo da ocenimo verovatnou p = PX > 4.5 za koju znamo
52
da je vrlo mala (p = 0.000003398). Moemo simulirati N sluqajnih
veliqina Xi : N (0, 1), i = 1, 2, . . . , N i izraqunati
θ =1
N
N∑i=1
IXi > 4.5.
Za N = 10000 se obiqno dobija θ = 0. Sa uzorkovanjem na osnovu
relevantnosti moemo znatno poboljxati taqnost ocene.
Neka sluqajna veliqina Y ima eksponencijalnu raspodelu E(1) za-
seqenu s leve strane u 4.5, tj. Y : T E(4.5, 1) sa gustinom raspodele
fY (y) = e−(y−4.5), y ∈ (4.5,+∞).
Generixemo uzorak obima N iz gustine fY i dobijamo ocenu
p =1
N
N∑i=1
φ(Yi)
fY (Yi)IYi > 4.5 = 0.000003377.
Stratifikovano uzorkovanje
elimo da ocenimo integral
I = E (g(X)) =
∫D
g(x)fX(x)dx,
gde je fX gustina raspodele sluqajne veliqine X.
Razbijamo oblast D u m disjunktnih podoblasti Di, i = 1, 2, . . . ,m,
tj. D = ∪mi=1Di, Di ∩Dj = ∅, i = j. Definiximo integrale
Ii =
∫Di
g(x)fX(x)dx,
koji se mogu posebno oceniti nekom Monte Karlo metodom.
Ideja ove metode je sliqna metodi uzorkovanja na osnovu releva-
ntnosti: takoe uzimamo vixe opservacija (uzoraka) u delovima oblasti
koje su znaqajnije, ali se efekat redukovanja disperzije postie ko-
ncentrisanjem vixe uzoraka u bitnijim podoblastima Di, a ne izborom
optimalne gustine raspodele.
53
Definiximo
Pi =
∫Di
fX(x)dx.
Imamo da je∑m
i=1 Pi = 1 i
I =m∑i=1
∫Di
g(x)fX(x)dx =m∑i=1
Ii.
Uvodimo
gi(x) =
g(x), ako je x ∈ Di
0, inaqe
Moemo napisati integral Ii kao
Ii =
∫Di
Pig(x)fX(x)
Pidx = Pi
∫Di
gi(x)fX(x)
Pidx = PiE (gi(X)) ,
gde je ∫Di
fX(x)
Pidx = 1.
Integral Ii se moe oceniti na osnovu metode uzoraqke sredine sa
τi =Pi
Ni
Ni∑ki=1
g(Xki), i = 1, 2, . . . ,m,
gde sluqajna veliqina Xi ima gustinu raspodele fX(x)Pi
na Di i∑m
i=1 Ni =
N .
Tada je ocena integrala I jednaka
θ5 =m∑i=1
τi =m∑i=1
Pi
Ni
Ni∑ki=1
g(Xki).
Disperzija ocene θ5 je jednaka
D(θ5) =
m∑i=1
P 2i
NiD (g(Xi))
m∑i=1
P 2i σ
2i
Ni,
gde je
σ2i = D (g(Xi)) =
1
Pi
∫Di
g2(x)fX(x)dx− I2iP 2i
.
Kada se odaberu podskupovi D1, D2, . . . , Dm, treba odabrati obim
uzorka Ni koji se uzima u svakoj podoblasti Di, tako da je∑m
i=1 Ni = N .
Sledea teorema nam prua optimalan naqin stratifikacije.
54
Teorema 10 Za datu podelu oblasti D, D = ∪mi=1Di, minimalna dis-
perzija ocene θ5 pod uslovom da∑m
i=1 Ni = N se javlja kad je
Ni = N · Piσi∑mj=1 Pjσj
i jednaka je
1
N
(m∑i=1
Piσi
)2
.
Dakle, u ovoj metodi minimalna disperzija ocene se dobija kada su
obimi uzoraka Ni proporcionalni Piσi.
Ova teorema nema direktnu primenu, poxto su obiqno vrednosti σi
nepoznate. Uzmimo Ni = PiN (pod pretpostavkom da se integrali Pi
mogu analitiqki izraqunati).
Stav 3 D(θ5) ≤ D(θ2), tj. ako je obim uzorka Ni = NPi tada je dispe-
rzija ocene po metodi stratifikovanog uzorkovanja manja ili jednaka
od disperzije ocene po metodi uzoraqke sredine.
Dokaz: Zamenom Ni = NPi u izraz za disperziju ocene θ5 dobijamo
D(θ5) =1
N
m∑i=1
PiD (g(Xi)) .
Na osnovu Koxi-Xvarcove nejednakosti imamo
I2 =
(m∑i=1
Ii
)2
=
(m∑i=1
Ii√Pi
√Pi
)2
≤
≤m∑i=1
I2iPi
·m∑i=1
Pi =m∑i=1
I2iPi
(6)
Dalje,m∑i=1
PiD (g(Xi)) =
∫D
g2(x)fX(x)dx−m∑i=1
I2iPi
,
xto zajedno sa (6) daje
m∑i=1
PiD (g(Xi)) ≤∫D
g2(x)fX(x)dx− I2 = ND(θ2),
55
odakle sledi da je D(θ5) ≤ D(θ2). .
Specijalno, ako je Pi = 1m i Ni = N
m dobijamo tzv. sistematsko
uzorkovanje.
Algoritam za sistematsko uzorkovanje
1. Podeliti interval (0, 1) na m podintervala duine 1m .
2. Generisati Uki , ki = 1, 2, . . . Nm , i = 1, 2, . . . ,m iz U(0, 1).
3. Izraqunati Yki =i−1+Uki
m , ki = 1, 2, . . . Nm , i = 1, 2, . . . ,m.
4. Izraqunati Xki = F−1(Yki).
5. Oceniti integral I sa
θ5 =1
N
m∑i=1
Nm∑
ki=1
g(Xki).
56
Literatura
1. Gentle, James E.(2005), Random Number Generation and Monte Carlo Methods,
Springer - Verlag, New York, 2005.
2. Jevremovi, Vesna i Jovan Malixi, (2002), Statistiqke metodeu meteorologiji i inenjerstvu, Savezni hidrometeoroloxki zavod,Beograd.
3. Mladenovi, Pavle (1998), Elementaran uvod u verovatnou istatistiku, Druxtvo matematiqara Srbije, Beograd.
4. Rubinstein, Reuven Y. (1981), Simulation and the Monte Carlo Method, John Wiley
& Sons, New York.
5. Sobol~, I.M. (1973), Qislenn~ιe metod~ι Monte-Karlo, Nauka,Moskva.
57