Sveuciliste u Zagrebu

PMF-Matematicki odjel

Poslijediplomski specijalisticki sveucilisni studijaktuarske matematike

Miljenko Huzak

Vjerojatnost i matematicka statistika

Predavanja

Travanj 2006.

Sadrzaj

1 Opisna analiza podataka 61.1 Vrste podataka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2 Frekvencijske distribucije . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3 Histogrami i frekvencijske distribucije grupiranih vrijednosti . . . . . . . . . 81.4 Stem and leaf dijagram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.5 Linijski dijagram i dijagram tocaka . . . . . . . . . . . . . . . . . . . . . . . 111.6 Mjere lokacije . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.6.1 Aritmeticka sredina . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.6.2 Medijan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.6.3 Mod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.7 Mjere rasprsenja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.7.1 Standardna devijacija . . . . . . . . . . . . . . . . . . . . . . . . . . 131.7.2 Momenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.7.3 Raspon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.7.4 Interkvartil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.8 Mjere asimetricnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.9 Dijagram pravokutnika . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2 Slucajne varijable 172.1 Vjerojatnosni prostor. Uvjetna vjerojatnost. Nezavisnost dogadaja. . . . . . 172.2 Diskretne slucajne varijable . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.3 Neprekidne slucajne varijable . . . . . . . . . . . . . . . . . . . . . . . . . . 192.4 Matematicko ocekivanje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.5 Varijanca i standardna devijacija . . . . . . . . . . . . . . . . . . . . . . . . 212.6 Matematicko ocekivanje i varijanca linearne transformacije od X . . . . . . 212.7 Momenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.8 Primjeri vaznih distribucija . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.8.1 Diskretne razdiobe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.8.2 Neprekidne razdiobe . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.9 Funkcije slucajnih varijabli . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.9.1 Diskretne razdiobe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.9.2 Neprekidne razdiobe . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3 Funkcije izvodnice 323.1 Funkcije izvodnice vjerojatnosti . . . . . . . . . . . . . . . . . . . . . . . . . 323.2 Racunanje momenata pomocu f.i.v. . . . . . . . . . . . . . . . . . . . . . . . 333.3 Funkcija izvodnica momenata . . . . . . . . . . . . . . . . . . . . . . . . . . 333.4 Funkcije izvodnice kumulanata . . . . . . . . . . . . . . . . . . . . . . . . . 353.5 Funkcije izvodnice linearnih funkcija od X . . . . . . . . . . . . . . . . . . . 36

2

4 Zajednicka razdioba slucajnih varijabli 374.1 Zajednicka gustoca i funkcija distribucije . . . . . . . . . . . . . . . . . . . . 374.2 Marginalne gustoce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394.3 Uvjetna razdioba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394.4 Nezavisnost slucajnih varijabli . . . . . . . . . . . . . . . . . . . . . . . . . . 404.5 Matematicko ocekivanje funkcije dviju slucajnih varijabli . . . . . . . . . . . 414.6 Kovarijanca i koeficijent korelacije . . . . . . . . . . . . . . . . . . . . . . . 424.7 Varijanca zbroja slucajnih varijabli . . . . . . . . . . . . . . . . . . . . . . . 434.8 Konvolucije . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444.9 Razdiobe linearnih kombinacija nezavisnih slucajnih varijabli pomocu funk-

cija izvodnica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444.10 Uvjetno ocekivanje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5 Centralni granicni teorem 495.1 CGT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495.2 Normalna aproksimacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5.2.1 Binomna razdioba . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505.2.2 Poissonova razdioba . . . . . . . . . . . . . . . . . . . . . . . . . . . 505.2.3 Gama razdioba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.3 Korekcija zbog neprekidnosti . . . . . . . . . . . . . . . . . . . . . . . . . . 54

6 Uzorkovanje i statisticko zakljucivanje 556.1 Osnovne definicije . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556.2 Momenti uzoracke sredine i varijance . . . . . . . . . . . . . . . . . . . . . . 56

6.2.1 Uzoracka sredina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566.2.2 Uzoracka varijanca . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

6.3 Uzoracke razdiobe statistika normalnog uzorka . . . . . . . . . . . . . . . . 576.3.1 Uzoracka sredina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576.3.2 Uzoracka varijanca . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576.3.3 Nezavisnost uzoracke sredine i varijance . . . . . . . . . . . . . . . . 58

6.4 Studentova t-distribucija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586.5 Fisherova F -razdioba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

7 Tockovne procjene 617.1 Metoda momenata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

7.1.1 Jednoparametarski slucaj . . . . . . . . . . . . . . . . . . . . . . . . 617.1.2 Dvoparametarski slucaj . . . . . . . . . . . . . . . . . . . . . . . . . 62

7.2 Metoda najvece vjerodostojnosti . . . . . . . . . . . . . . . . . . . . . . . . 627.2.1 Jednoparametarski slucaj . . . . . . . . . . . . . . . . . . . . . . . . 637.2.2 Viseparametarski slucaj . . . . . . . . . . . . . . . . . . . . . . . . . 647.2.3 Nepotpuni uzorci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647.2.4 Nezavisni uzorci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

7.3 Nepristranost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 667.4 Srednjekvadratna pogreska . . . . . . . . . . . . . . . . . . . . . . . . . . . 667.5 Asimptotska razdioba od MLE . . . . . . . . . . . . . . . . . . . . . . . . . 677.6 Zavrsne napomene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3

8 Pouzdani intervali 698.1 Konstrukcija pouzdanih intervala . . . . . . . . . . . . . . . . . . . . . . . . 69

8.1.1 Pivotna metoda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698.1.2 Pouzdane granice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718.1.3 Velicina uzorka . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

8.2 Pouzdani intervali za parametre normalno distribuirane populacije . . . . . 718.2.1 Populacijska sredina . . . . . . . . . . . . . . . . . . . . . . . . . . . 718.2.2 Populacijska varijanca . . . . . . . . . . . . . . . . . . . . . . . . . . 72

8.3 Pouzdani intervali za parametre binomne i Poissonove razdiobe . . . . . . . 728.3.1 Vjerojatnost uspjeha u binomnoj razdiobi . . . . . . . . . . . . . . . 738.3.2 Parametar Poissonove razdiobe . . . . . . . . . . . . . . . . . . . . . 74

8.4 Pouzdani intervali za probleme s dva uzorka . . . . . . . . . . . . . . . . . . 748.4.1 Usporedba ocekivanja normalno distribuiranih populacija . . . . . . 758.4.2 Usporedba varijanci normalno distribuiranih populacija . . . . . . . 758.4.3 Usporedba populacijskih proporcija . . . . . . . . . . . . . . . . . . . 758.4.4 Usporedba dva Poissonova parametra . . . . . . . . . . . . . . . . . 76

8.5 Spareni podaci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

9 Testiranje statistickih hipoteza 789.1 Hipoteze, testne statistike, odluke i pogreske . . . . . . . . . . . . . . . . . . 789.2 Klasicno testiranje, znacajnost i p-vrijednosti . . . . . . . . . . . . . . . . . 78

9.2.1 “Najbolji” testovi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789.2.2 p-vrijednosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

9.3 Osnovni testovi bazirani na jednom uzorku . . . . . . . . . . . . . . . . . . 819.3.1 Testovi o parametru ocekivanja . . . . . . . . . . . . . . . . . . . . . 819.3.2 Testovi o populacijskoj varijanci . . . . . . . . . . . . . . . . . . . . 819.3.3 Testovi o populacijskoj proporciji . . . . . . . . . . . . . . . . . . . . 819.3.4 Testovi o parametru Poissonove populacije . . . . . . . . . . . . . . 82

9.4 Osnovni testovi bazirani na dva uzorka . . . . . . . . . . . . . . . . . . . . . 829.4.1 Test o razlici populacijskih ocekivanja . . . . . . . . . . . . . . . . . 829.4.2 Test o kvocijentu populacijskih varijanci . . . . . . . . . . . . . . . . 829.4.3 Test razlike izmedu populacijskih proporcija . . . . . . . . . . . . . . 839.4.4 Test razlike izmedu parametara Poissonovih razdioba . . . . . . . . . 83

9.5 Osnovni test za sparene podatke . . . . . . . . . . . . . . . . . . . . . . . . 839.6 Testovi i pouzdani intervali . . . . . . . . . . . . . . . . . . . . . . . . . . . 849.7 χ2-testovi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

9.7.1 Test prilagodbe modela podacima . . . . . . . . . . . . . . . . . . . 849.7.2 Kontingencijske tablice . . . . . . . . . . . . . . . . . . . . . . . . . 86

10 Korelacija i regresija 8710.1 Korelacijska analiza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

10.1.1 Uzoracki koeficijent korelacije . . . . . . . . . . . . . . . . . . . . . . 8910.1.2 Normalni model i inferencija . . . . . . . . . . . . . . . . . . . . . . 90

10.2 Regresijska analiza. Jednostavni linearni regresijski model. . . . . . . . . . . 9110.2.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9110.2.2 Prilagodba modela . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9110.2.3 Rastav varijance odziva . . . . . . . . . . . . . . . . . . . . . . . . . 9210.2.4 Potpuni normalni model i inferencija . . . . . . . . . . . . . . . . . . 9410.2.5 Zakljucivanje o koeficijentu smjera . . . . . . . . . . . . . . . . . . . 9410.2.6 Procjena i predvidanje srednjeg i individualnog odziva . . . . . . . . 95

4

10.2.7 Provjera modela . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9710.2.8 Transformirani podaci . . . . . . . . . . . . . . . . . . . . . . . . . . 98

10.3 Visestruki linearni regresijski model . . . . . . . . . . . . . . . . . . . . . . 98

11 Analiza varijance 9911.1 Jednofaktorska analiza varijance . . . . . . . . . . . . . . . . . . . . . . . . 99

11.1.1 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9911.1.2 Procjena parametara . . . . . . . . . . . . . . . . . . . . . . . . . . . 10011.1.3 Rastav varijance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10111.1.4 Provjera modela . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

11.2 Analiza sredina tretmana . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10411.3 Dodatne napomene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

Literatura 106

5

Poglavlje 1

Opisna analiza podataka

U ovom poglavlju bavit cemo se opisnom ili deskriptivnom statistikom: metodama prikazaskupova podataka pomocu tablica, grafikona i numerickih pokazatelja.

1.1 Vrste podataka

U statistici pod skupom podataka razumijevamo vrijednosti dobivene mjerenjem (ili opa-zanjem) nekog statistickog obiljezja (ili varijable) promatrane (izucavane) skupine objekataili osoba. Varijabla moze biti jednodimenzionalna ili visedimenzionalna.

Primjer 1.1 Svi osiguranici od autoodgovornosti nekog osiguravajuceg drustva predstav-ljaju skupinu koju promatramo. Statisticko obiljezje koje nas zanima je

X = broj steta po polici u proteklih godinu dana.

Druga varijabla koja nas zanima je

Y = ukupan iznos steta (u kunama) po polici u proteklih godinu dana.

Vektor Z = (X,Y ) cije komponente su varijable X i Y je dvodimenzionalno statistickoobiljezje.

Grupa objekata ili osoba koju promatramo, odnosno za koju izucavamo odabrano sta-tisticko obiljezje, zove se populacija. Cesto nije moguce popisati (izmjeriti, opaziti) svevrijednosti izucavanoga statistickog obiljezja. U tom slucaju odabiremo (reprezentativni)uzorak iz populacije i iz njega popisujemo vrijednosti statistickog obiljezja.

Primjer 1.2 Pomocu racunala na slucajan nacin odabran je uzorak od 100 osiguranika(nekog osiguravajuceg drustva) s policom mjesovitog osiguranja zivota. Racunalni programje u datoteku pohranio podatke o njihovim osiguranim svotama.

Dakle, razlikujemo skupove podataka dobivene mjerenjem (opazanjem) odabranog sta-tistickog obiljezja na populaciji (populacijski podaci), od onih dobivenih na uzorku iz pop-ulacije (uzoracki podaci).

Cilj statisticke analize skupova populacijskih podataka je izdvojiti vazne znacajke tihpodataka, na primjer, distribuciju izucavanog statistickog obiljezja, njegovu srednju vrijed-nost i sl. Pri tome se koriste metode deskriptivne statistike. U slucaju skupova uzorackihpodataka, cilj statisticke analize je da se na osnovi podataka iz uzorka donesu odredeni za-kljucci o populacijskoj razdiobi promatranog statistickog obiljezja. U tu svrhu, uz metode

6

deskriptivne statistike, koriste se i metode inferencijalne statistike o kojima ce biti rijeci usljedecim poglavljima.

Osim po porijeklu (izvoru, obuhvatu), podatke mozemo podijeliti po tipu vrijednostiopazanog statistickog obiljezja, odn. varijable. Razlikujemo numericke i kategorijalne vari-jable. Varijable iz primjera 1.1 i 1.2 su numericke, dok su, na primjer, spol, mjesto rodenjaili kategorija vozaca kategorijalne varijable. Vrijednosti kategorijalnih varijabli zovemo raz-redima.

Numericke se varijable dijele na:

• diskretne (obicno predstavljaju neko prebrojavanje). Na primjer, broj steta po policiosiguranja (X iz primjera 1.1), broj ovlastenih aktuara u HAD-u.

• neprekidne (obicno predstavljaju rezultat mjerenja neke fizikalne ili novcane velicine).Na primjer, visina, tezina, iznos steta po polici osiguranja (Y iz primjera 1.1).

Kategorijalne se varijable dijele na:

• dihotomne (imaju samo dva razreda). Na primjer, spol, odgovori sa da/ne.

• nominalne (razredi su neuredeni). Na primjer, tip police, priroda (uzrok) stete.

• ordinalne (vrijednosti su im uredene). Na primjer, rangiranje hrane, skolske ocjene.

1.2 Frekvencijske distribucije

Skupovi diskretnih numerickih i kategorijalnih podataka opisuju se svojim frekvencijskimdistribucijama. Frekvencijske distribucije prikazuju se tabelarno pomocu frekvencijskihtablica ili graficki pomocu stupcastih ili strukturnih dijagrama.

Frekvencija ili ucestalost vrijednosti varijable (odnosno njenog razreda) je broj pojavlji-vanja te vrijednosti u skupu podataka, a njena relativna frekvencija je omjer frekvencije iukupnog broja podataka.

Primjer 1.3 Navedena frekvencijska tablica predstavlja frekvencijsku distribuciju skupapodataka dobivenih mjerenjem varijable X, koja predstavlja broj djece u obitelji mlade od16 godina, na uzorku od 80 obitelji.

broj djece frekvencija relativna frekvencija

0 8 0.11 12 0.152 28 0.353 19 0.23754 7 0.08755 4 0.056 1 0.01257 1 0.0125

8 ili vise 0 0

Σ 80 1.

Na primjer, frekvencija vrijednosti“1” varijable X je 12, a njena relativna frekvencija je12/80 = 0.15. Ista frekvencijska distribucija graficki je prikazana na slici 1.1 kao stupcasti

7

dijagram frekvencija (tj. visine stupaca predstavljaju iznose frekvencija), na slici 1.2 pomocustupcastog dijagrama relativnih frekvencija, a na slici 1.3 pomocu strukturnog dijagrama.

Stupcasti dijagrami relativnih frekvencija koristi se za graficku usporedbu frekvencijskihdistribucija vise skupova podataka istoga tipa, na primjer, dobivenih mjerenjem istog statis-tickog obiljezja na raznim uzorcima. Strukturni dijagrami se koriste za prikaz frekvencijskihdistribucija varijabli s (relativno) malo razreda. Za prikaz distribucija nominalnih varijablis (relativno) mnogo razreda najcesce se koriste polozeni stupcasti dijagrami s razredimasortiranima po velicini frekvencije.

1.3 Histogrami i frekvencijske distribucije grupiranih vrijed-nosti

Za razliku od diskretnih numerickih i kategorijalnih varijabli, vrijednosti se neprekid-nih varijabli (u pravilu) ne ponavljaju, pa se skupovi takvih podataka ne mogu prikazi-vati pomocu frekvencijske distribucije na nacin opisan u 1.2. Za njihov prikaz koristimofrekvencijsku distribuciju grupiranih vrijednosti . Preciznije, vrijednosti varijable grupi-ramo u konacno mnogo razreda, a zatim odredimo frekvencije (i/ili relativne frekvencije)tih razreda. Razredi su predstavljeni sa medusobno disjunktnim intervalima kojima suobuhvacane sve vrijednosti varijable (tj. razredi cine konacnu particiju podrucja vrijednostivarijable).

Frekvencijska distribucija grupiranih vrijednosti varijable graficki se prikazuje histogra-mom. Histogram je slican stupcastom dijagramu, ali, za razliku od stupcastog dijagrama,prikazuje se u Kartezijevom koordinatnom sustavu. Sastoji se od onoliko pravokutnikakoliko ima razreda, s osnovicama nad intervalima koji reprezentiraju razrede na osi ap-scisa. Povrsina svakog takvog pravokutnika jednaka je relativnoj frekvenciji razreda kojegpredstavlja. Dakle, ukupan zbroj povrsina pravokutnika histograma je jednak jedan.

Primjer 1.4 Raspolazemo sa 100 podataka o iznosima steta zbog popustanja vodovodnihinstalacija po policama osiguranja kucanstava.

243 306 271 396 287 399 466 269 295 330425 324 228 113 226 176 320 230 404 487127 74 523 164 366 343 330 436 141 388293 464 200 392 265 403 372 259 426 262221 355 324 374 347 261 278 113 135 291176 342 443 239 302 483 231 292 373 346293 236 223 371 287 400 314 464 337 308359 352 273 267 277 184 286 214 351 270330 238 248 419 330 319 440 427 343 414291 299 265 318 415 372 238 323 411 494

Minimalna vrijednost opazane varijable je 74, a maksimalna 523. U nedostatku dodatnihinformacija o podrucju mogucih vrijednosti te varijable, pretpostavit cemo da se one krecuu rasponu od 50 do 550 novcanih jedinica. To podrucje particioniramo u 10 razreda kakoje prikazano u frekvencijskoj tablici grupiranih vrijednosti.

8

9

10

relativna visinarazred frekvencija frekvencija pravokutnika

[50, 100⟩ 1 0.01 0.0002[100, 150⟩ 5 0.05 0.0010[150, 200⟩ 4 0.04 0.0008[200, 250⟩ 14 0.14 0.0028[250, 300⟩ 22 0.22 0.0044[300, 350⟩ 20 0.20 0.0040[350, 400⟩ 14 0.14 0.0028[400, 450⟩ 13 0.13 0.0026[450, 500⟩ 6 0.06 0.0012[500, 550⟩ 1 0.01 0.0002

Σ 100 1. —

Histogram tog skupa podataka nalazi se na slici 1.4. Buduci da je sirina svakog intervala(razreda) jednaka 50, a ujedno je to i duljina osnovica pripadnih pravokutnika, primijetiteda visine pravokutnika nisu jednake relativnim frekvencijama.

1.4 Stem and leaf dijagram

Stem and leaf dijagram je, u stvari, histogram prikazan pomocu nizova brojeva. Formira sena sljedeci nacin. Na pocetku svakog retka, odijeljen vertikalnom crtom zdesna, nalazi sebroj koji reprezentira razred, tzv. stabljika (engl. stem). Desno od vertikalne crte slijede gau nizu druge po znacaju znamenke brojeva koji pripadaju tom razredu, tzv. lisce. Dakle,svaka znamenka desno od crte je list (engl. leaf ). Dijagram se sastoji od onoliko redakakoliko ima stabljika (razreda).

Primjer 1.5 Naveden je stem and leaf dijagram za skup podataka iz primjera 1.4. Sta-bljike predstavljaju znamenke stotice, a lisce znamenke desetice svakog od brojeva iz uzorka.

0 71 1123467782 0122223333334456666667777788899999993 00011122223333344444555567777789994 00011112223446668895 2

1.5 Linijski dijagram i dijagram tocaka

Za prikaz malog skupa numerickih podataka koriste se linijski i dijagram tocaka.Linijski dijagram sastoji se od brojevnog pravca na kojemu su, na primjer krizicem,

naznacene vrijednosti iz skupa podataka. U slucaju da se neki podaci vise puta ponavljaju,koristi se dijagram tocaka. Taj dijagram se takoder sastoji od brojevnog pravca. Podaci sereprezentiraju sa po jednom tockom koja se ucrtava iznad njihove vrijednosti na brojevnompravcu. Svaka ponovljena vrijednost naznacava se novom tockom koja se ucrtava nadprethodnom tockom. Dakle, dijagram tocaka ima oblik histograma.

11

Primjer 1.6 Linijski dijagram skupa podataka koji se sastoji od zadnjih 10 brojeva izprimjera 1.4 (zadnji redak):

100 200 300 400 500 600××× × ××× × × ×

Primjer 1.7 Navedeni dijagram tocaka predstavlja uzorak dobiven nezavisnim mjerenjemvremena izvodenja odredene radne operacije (u sekundama).

21 22 23 24 25 26 27 28 29 30 31 32 33

s ss ss ssss

ssssss

sss

ssss

s ss s

1.6 Mjere lokacije

Postoji vise razlicitih mjera centralnih tendencija skupova podataka. Navest cemo tri naj-vaznije: aritmeticku sredinu, medijan i mod .

Neka sux1, x2, . . . , xn (1.1)

n vrijednosti varijable X koje cine skup podataka. Ako je X numericka varijabla, tada je(1.1) niz brojeva.

1.6.1 Aritmeticka sredina

Neka je X numericka varijabla. Aritmeticka sredina brojeva (1.1) je broj

x =1

n(x1 + x2 + · · ·+ xn) =

1

n

n∑i=1

xi. (1.2)

Ako X poprima samo par razlicitih vrijednosti

a1, a2, . . . , ak, (1.3)

koje se u nizu (1.1) pojavljuju vise puta (vrijednost a1 s frekvencijom f1, vrijednost a2 sfrekvencijom f2 itd.), tada se formula (1.2) za aritmeticku sredinu moze zapisati u sazetomobliku:

x =1

n(f1a1 + f2a2 + · · ·+ fkak) =

1

n

k∑j=1

fjaj . (1.4)

Primijetite da je n = f1 + f2 + · · ·+ fk.

12

Primjer 1.8 Aritmeticka sredina podataka iz primjera 1.3 je:

x =8 · 0 + 12 · 1 + 28 · 2 + 19 · 3 + 7 · 4 + 4 · 5 + 1 · 6 + 1 · 7

8 + 12 + 28 + 19 + 7 + 4 + 1 + 1=

186

80= 2.325.

1.6.2 Medijan

Neka je X numericka ili ordinalna varijabla. Tada je njene vrijednosti (1.1) moguce urediti:

x(1) ≤ x(2) ≤ · · · ≤ x(n). (1.5)

Medijan skupa podataka (1.1) je vrijednost od X za koju vrijedi da je 50% svih podataka uskupu manje od ili jednako toj vrijednosti i 50% svih podataka je vece od nje ili jednako joj.Kada je broj podataka n u (1.1) (odn. (1.5)) neparan broj, n = 2k− 1, medijan m od (1.1)je jednak x(k). U stvari, to je vrijednost koja se nalazi u sredini niza (1.5). Dakle, medijanse moze odrediti za neparne skupove ordinalnih podataka. Uz takvu opcenitost tesko jeodrediti medijan parnog skupa podataka. Zato pretpostavimo da su (1.1) numericki podaci.Tada je medijan skupa s parnim brojem podataka n = 2k jednak m = (x(k)+x(k+1))/2, tj.aritmetickoj sredini dva srednja broja u (1.5).

Primjer 1.9 Medijan uzorka iz primjera 1.3 je

m =x(40) + x(41)

2=

2 + 2

2= 2.

1.6.3 Mod

Mod je vrijednost obiljezja X koja su u skupu podataka (1.1) pojavljuje najvise puta, dakle,ima najvecu frekvenciju. Mod se moze opisati i kao najtipicnija vrijednost promatranevarijable. Na primjer, osiguravajuce drustvo moze zanimati najtipicnija vrsta osiguranikapo zanimanju. Jasno je da mod opcenito ne mora postojati.

Primjer 1.10 Mod uzorka iz primjera 1.3 je 2 jer ta vrijednost ima najvecu frekvenciju(28). Dakle, najtipicnija obitelj (u uzorku) ima dvoje djece mlade od 16 godina.

1.7 Mjere rasprsenja

Uz mjere lokacije, odnosno srednje vrijednosti skupa podataka, vazno svojstvo distribucijetih podataka je i kako su podaci rasprseni, cesto u odnosu na neku srednju vrijednost.

1.7.1 Standardna devijacija

Najcesce koristena mjera rasprsenja skupa numerickih podataka je standardna devijacija.Standardna devijacija je srednje kvadratno odstupanje podataka od njihove aritmetickesredine. Formulom,

s =

√√√√ 1

n− 1

n∑i=1

(xi − x)2, (1.6)

13

odnosno

s =

√√√√√ 1

n− 1

k∑j=1

fj(aj − x)2, (1.7)

u slucaju da se k razlicitih vrijednosti (1.3) od X u (1.1) ponavljaju. Broj

s2 =1

n− 1

n∑i=1

(xi − x)2, odnosno s2 =1

n− 1

k∑j=1

fj(aj − x)2 (1.8)

zovemo varijanca skupa podataka (1.1). Formule (1.8) se mogu pojednostaviti:

s2 =1

n− 1(

n∑i=1

x2i − nx2), odnosno s2 =1

n− 1(

k∑j=1

fja2j − nx2). (1.9)

Primjer 1.11 Za uzorak iz primjera 1.3, uzoracka varijanca je:

s2 =1

79(592− 80 · (186

80)2) = 2.02.

1.7.2 Momenti

Aritmeticka sredina i varijanca su specijalni slucajevi mjera koje zovemo momentima skupa(numerickih) podataka. k-ti moment skupa podataka (1.1) oko vrijednosti α je broj

1

n

n∑i=1

(xi − α)k.

Momente oko ishodista (α = 0) zovemo jednostavno momentima. Centralnim momentimazovemo momente oko aritmeticke sredine (α = x). Prema tome, aritmeticka sredina je prvimoment, a varijanca drugi centralni moment normiran sa n− 1 umjesto sa n.

1.7.3 Raspon

Raspon R skupa podataka (1.1) definira se kao razlika maksimalne i minimalne vrijednostiu uzorku:

R = max1≤i≤n

xi − min1≤i≤n

xi = x(n) − x(1).

Primjer 1.12 Raspon uzorka iz primjera 1.3 je R = 7− 0 = 7.

1.7.4 Interkvartil

Interkvartil je mjera rasprsenja slicna rasponu skupa podataka, ali je, za razliku od raspona,robustna na ekstremne vrijednosti.

Neka su numericki podaci (1.1) uredeni kao u (1.5). Interkvartil definiramo u visekoraka. Prvo, definiramo interpolacijske vrijednosti u (1.5). Za realan pozitivan broj r =k + α, gdje je k prirodan broj takav da je k < n i 0 ≤ α < 1, definiramo interpolacijskuvrijednost na mjestu r, x(r), (koji jos zovemo r-tim kvantilom) formulom:

x(r) = x(k+α) := x(k) + α(x(k+1) − x(k)).

14

U sljedecem koraku definiramo donji kvartil qL i gornji kvartil qU skupa podataka formu-lama

qL := x(n+14

), qU := x(3(n+1)

4).

Opisno, za donji kvartil vrijedi da je 25% podataka u skupu manje od ili jednako njemu,a 75% podataka je vece od ili jednako njemu. Slicno se objasnjava i gornji kvartil (uprethodnoj recenici treba zamijeniti 25% sa 75% i obratno). Konacno, interkvartil IQRskupa podataka (1.1) je razlika gornjeg i donjeg kvartila:

IQR = qU − qL.

Primjer 1.13 Za uzorak iz primjera 1.3 racunamo

qL = x( 814) = x(20+ 1

4) = x(20) +

1

4(x(21) − x(20)) = 1 +

1

4(2− 1) =

5

4= 1.25

qU = x( 2434

) = x(60+ 34) = x(60) +

3

4(x(61) − x(60)) = 3 +

3

4(3− 3) = 3.

Dakle, interkvartil tog uzorka je IQR = 3− 1.25 = 1.75.

1.8 Mjere asimetricnosti

Sljedeca vazna znacajka distribucije skupa podataka je njezin oblik. Jedna komponentaoblika je simetricnost. Pretpostavimo da su podaci (1.1) numericki. Simetricnost skupapodataka opisuje se trecim centralnim momentom. Kazemo da je skup podataka simetricanako je njihov treci centralni moment jednak nuli, drugim rijecima, ako je taj skup brojevasimetrican u odnosu na svoju aritmeticku sredinu. Odstupanje od simetricnosti mjeri sekoeficijentom asimetrije. Koeficijent asimetrije α3 je treci moment skupa standardiziranihpodataka normiran sa n− 1 umjesto n:

α3 :=1

n− 1

n∑i=1

(xi − x

s

)3

.

Kazemo da je skup podataka negativno asimetrican ako je α3 < 0, a pozitivno asimetricanako je α3 > 0. α3 = 0 znaci da je skup podataka simetrican. Graficki, histogram simetricnogskupa podataka je simetrican u odnosu na vertikalni pravac koji prolazi aritmetickom sredi-nom. Na primjer, histogrami B i C prikazani na slici 1.5 prikazuju pozitivno asimetricne, ahistogrami A i D na istoj slici, negativno asimetricne skupove podataka. Buduci da su ko-eficijenti asimetrije za skupove podataka ciji su histogrami C i D, vrlo mali, gotovo jednakinuli, uzimamo da su ti skupovi podataka (gotovo) simetricni.

1.9 Dijagram pravokutnika

Dijagram pravokutnika (engl. box and whisker) koristi se za graficki prikaz distribucijevelikog i malog skupa numerickih podataka. Iz njega se direktno moze ocitati medijan,donji i gornji kvartil, interkvartil, raspon, ekstremne vrijednosti i simetrija. Na slici 1.6nalazi se dijagram pravokutnika za podatke iz primjera 1.4.

15

16

Poglavlje 2

Slucajne varijable

2.1 Vjerojatnosni prostor. Uvjetna vjerojatnost. Nezavis-nost dogadaja.

Vjerojatnosni prostor predstavlja matematicki model za slucajni pokus. Slucajni pokus jepokus koji ima vise mogucih ishoda. Ishode slucajnog pokusa zovemo dogadajima. Intu-itivno, slucajni pokus je svaki pokus (proces, opazanje, mjerenje) kojemu se ishod ne mozesa sigurnoscu predvidjeti.

Primjer 2.1 Bacanje igrace kocke je slucajni pokus jer ima vise mogucih ishoda, na prim-jer, moze se dogoditi da se je okrenuo paran broj ili da se okrenula jedinica itd. Specijalno,6 dogadaja: okrenuo se broj 1, okrenuo se broj 2, itd., okrenuo se broj 6, zovemo elemen-tarnim dogadajima jer se, svaki za sebe, ne mogu razloziti na jos jednostavnije dogadaje zarazliku od, na primjer, dogadaja “okrenuo se paran broj” koji se moze razloziti na dogadaje2, 4 i 6. Za ta tri elementarna dogadaja kazemo da su povoljni za dogadaj “okrenuo separan broj”.

Oznacimo sa Ω skup elementarnih dogadaja ω1, ω2 itd. Ω zovemo prostor elementarnihdogadaja. Buduci da se svaki dogadaj sastoji od elementarnih dogadaja koji su povoljni zanjega, dogadaji su podskupovi od Ω. Specijalno, Ω i prazan skup ∅ su dogadaji. Ω zovemosigurnim, a ∅ nemogucim dogadajem.

Neka su A i B dogadaji. Tada je jasno da su i

A ∩B, A ∪B, A \B, Ac = Ω \A

dogadaji. Jos vise, prebrojive unije i prebrojivi presjeci dogadaja su dogadaji. Ako sa Foznacimo familiju dogadaja, tada F mora biti zatvorena na komplementiranje i prebrojiveunije i presjeke, te mora sadrzavati Ω i ∅. Ocito je da je skup svih podskupova od Ω, uoznaci P(Ω), jedna takva familija. Postoje i manje familije s takvim svojstvima.

Vjerojatnost je normirana mjera na dogadajima. Preciznije, neka je F familija dogadajana prostoru elementarnih dogadaja Ω. Preslikavanje P koje svakom dogadaju A iz Fpridruzuje realan broj P(A) tako da vrijedi

(P1) 0 ≤ P(A) ≤ 1 za sve dogadaje A ∈ F ,

(P2) P(Ω) = 1,

(P3) Za medusobno disjunktne dogadaje A1, A2, . . . iz F vrijedi:

P(A1 ∪A2 ∪ . . .) = P(A1) + P(A2) + · · · ,

17

zovemo vjerojatnost na (Ω,F). Broj P(A) zovemo vjerojatnost dogadaja A. U slucaju kadaje Ω prebrojiv skup, F = P(Ω). Uredenu trojku (Ω,F ,P) zovemo vjerojatnosni prostor .

Neka je Ω = ω1, ω2, . . . diskretan skup. Ako su zadane vjerojatnosti p1, p2,... elemen-tarnih dogadaja ω1, ω2,..., tada je sa

P(A) :=∑ωi∈A

pi (2.1)

zadana vjerojatnost na (Ω,P(Ω)). Vjerojatnosni prostor (Ω,P(Ω),P) zovemo diskretnimvjerojatnosnim prostorom.

Primjer 2.1 (nastavak) Ako je igraca kocka simetricna, tada su vjerojatnosti p1,..., p6elementarnih dogadaja 1,..., 6 sve jednake 1/6. U tom slucaju za vjerojatnost bilo kojegdogadaja A po formuli (2.1) vrijedi

P(A) =∑ωi∈A

1

6=

|A|6

,

gdje je sa |A| oznacen broj elemenata skupa A. Na taj nacin dobiveni vjerojatnosni prostor(Ω,P(Ω),P) je matematicki model za bacanje simetricne (fer) igrace kocke. Ako kocka nijesimetricna, na primjer, ako vrijedi da je p1 = 1/12, p2 = p3 = p4 = p5 = 1/6 i p6 = 1/4,tada se i dalje vjerojatnost svakog dogadaja A definira po formuli (2.1), ali P(A) = |A|/6.Dakle, dobili smo novi model za bacanje igrace kocke razlicit od prethodnog.

Brojevi p1, p2,... kojima zadajemo vjerojatnosti elementarnih dogadaja nisu sasvimproizvoljni. Naime, iz svojstva vjerojatnosti (P1) nuzno slijedi da je za sve i, 0 ≤ pi ≤ 1, aiz (P2) i (P3) da mora vrijediti p1 + p2 + · · · = 1.

Neka je sada (Ω,F ,P) bilo koji vjerojatnosni prostor, te neka su A, B dva dogadaja.Pretpostavimo da znamo da se dogodio B (P(B) > 0), pa nas zanima kolika je vjerojatnostda se dogodio A. Dakle, zanima nas kolika je uvjetna vjerojatnost od A uz uvjet da sedogodio B. Jasno je da ta vjerojatnost ne mora biti jednaka P(A) jer su njome (mozda)obuhvaceni i oni elementarni dogadaji za koje vec znamo da se nisu dogodili, dakle, onikoji nisu povoljni za dogadaj B. Isto tako, ta vjerojatnost ne mora biti jednaka P(A ∩ B)jer je, zbog informacije da se B dogodio, B postao novi prostor elementarnih dogadaja,pa bi nova vjerojatnost na B morala biti normirana (svojstvo (P2)). Stoga se uvjetnavjerojatnost dogadaja A uz uvjet da se dogodio B definira kao broj

P(A|B) :=P(A ∩B)

P(B). (2.2)

Kazemo da su dogadaji A i B nezavisni ako je

P(A ∩B) = P(A) · P(B).

Primijetite da je ta relacija ekvivalentna sa svakom od sljedecih, dolje navedenih relacija(ako je 0 < P(A) < 1 i 0 < P(B) < 1):

P(A|B) = P(A), P(A|Bc) = P(A), P(B|A) = P(B), P(B|Ac) = P(B).

Odavde odmah slijedi da su i dogadaji A i Bc, Ac i B, te Ac i Bc nezavisni. Dakle,dogadaji su nezavisni ako dogadanje ili nedogadanje jednog ne utjece na vjerojatnost drugogdogadaja i obratno.

18

2.2 Diskretne slucajne varijable

Slucajna varijabla je funkcija koja svakom elementarnom dogadaju pridruzuje broj. Ozna-cavamo ih velikim slovima abecede: X, Y , Z,... Nadalje, sa ImX oznacavamo sliku slucajnevarijable X. Dakle, ImX je skup brojeva, vrijednosti koje X poprima.

Slucajna varijabla je diskretna ako je ImX prebrojiv skup. Pri tome mora vrijediti dasu skupovi

X = x = (oznaka) = ω ∈ Ω : X(ω) = x

dogadaji za svaki x ∈ ImX. Primijetimo da je za x /∈ ImX, X = x = ∅ sto je takoderdogadaj. Diskretnoj slucajnoj varijabli X pridruzujemo funkciju fX : R → R, definiranu sa

fX(x) := P(X = x),

koju zovemo funkcijom vjerojatnosti od X ili funkcijom gustoce razdiobe od X ili, jednos-tavno, gustocom razdiobe od X. Primijetimo da je za x /∈ ImX, fX(x) = 0. Nadalje,vrijedi:

(G1) fX(x) ≥ 0 za sve x

(G2)∑

x∈ImX fX(x) = 1.

Ako neka realna funkcija s diskretnom slikom ima svojstva (G1−2), tada kazemo da je onafunkcija gustoce neke diskretne vjerojatnosne razdiobe.

Svakoj slucajnoj varijabli pridruzujemo funkciju distribucije FX koja se definira kaofunkcija FX : R → R,

FX(x) := P(X ≤ x).

Za diskretnu slucajnu varijablu X s gustocom razdiobe fX vrijedi

FX(x) =∑

y∈ImX:y≤xfX(y). (2.3)

Naime,

FX(x) = P(X ≤ x) = P(∪y≤x

X = y) (P3)=

∑y≤x

P(X = y) =∑y≤x

fX(y).

Primijetite da je funkcija (2.3) stepenasta, rastuca, neprekidna zdesna i da vrijedi

limx→−∞

FX(x) = 0, limx→+∞

FX(x) = 1.

2.3 Neprekidne slucajne varijable

Slucajna varijabla X je neprekidna ako vrijedi:

(i) ImX je interval u R,

(ii) Skup a ≤ X ≤ b je dogadaj za sve realne brojeve a < b,

(iii) Postoji funkcija fX : R → R takva da je za sve a < b,

P(a ≤ X ≤ b) =

b∫a

fX(x) dx.

19

Funkciju fX zovemo funkcijom gustoce razdiobe od X ili, jednostavno, gustocom razdiobeod X.

Buduci da za neprekidnu slucajnu varijablu X vrijedi da je za sve x (ukljucujuci ix ∈ ImX), P(X = x) = 0, slijedi da je za sve a < b,

P(a ≤ X ≤ b) = P(a ≤ X < b) = P(a < X ≤ b) = P(a < X < b).

Nadalje, za gustocu vrijedi:

(G1) fX(x) ≥ 0 za sve x

(G2)+∞∫−∞

fX(x) dx = 1.

Slicno kao i u diskretnom slucaju, ako neka realna funkcija kojoj je slika interval realnihbrojeva ima svojstva (G1 − 2), tada kazemo da je to funkcija gustoce neke neprekidnevjerojatnosne razdiobe.

Za funkciju distribucije neprekidne slucajne varijable X s gustocom fX vrijedi:

FX(x) =

x∫−∞

fX(y) dy. (2.4)

Funkcija (2.4) je neprekidna, rastuca, a u − i + beskonacnosti tezi vrijednostima 0 i 1,redom. Iz (2.4) i svojstva (iii) iz definicije, slijedi

P(a ≤ X ≤ b) = FX(b)− FX(a).

Pomocu te relacije moze se pokazati da je

dFX

dx(x) = fX(x)

u vrijednostima x za koje je funkcija distribucije FX derivabilna.

2.4 Matematicko ocekivanje

Matematicko ocekivanje slucajne varijable X interpretira se kao srednja (ocekivana) vrijed-nost od X. Definira se kao broj E[X]:

E[X] :=∑

x∈ImX

xfX(x) (ako je X diskretna)

E[X] :=

+∞∫−∞

xfX(x) dx (ako je X neprekidna),

pod pretpostavkom da desne strane postoje u smislu da (red/integral) apsolutno konvergi-raju.

Ako je g : R → R neka (dobra) realna funkcija (npr. po dijelovima neprekidna) iX : Ω → R slucajna varijabla, tada je g(X) = g X : Ω → R takoder slucajna varijabla, paima smisla racunati E[g(X)]. Vrijedi:

E[g(X)] =∑

x∈ImX

g(x)fX(x) (ako je X diskretna)

E[g(X)] =

+∞∫−∞

g(x)fX(x) dx (ako je X neprekidna),

20

pod pretpostavkom da desne strane postoje u smislu da (red/integral) apsolutno konver-giraju. Pomocu tih formula moze se pokazati da matematicko ocekivanje ima svojstvolinearnosti . Naime, za realne funkcije g1, g2,..., gk i brojeve c1, c2,..., ck vrijedi

E[k∑

i=1

cigi(X)] =k∑

i=1

ciE[gi(X)].

2.5 Varijanca i standardna devijacija

Varijanca slucajne varijable je mjera rasprsenja njenih vrijednosti od matematickog oceki-vanja. Preciznije, varijanca od X je srednje kvadratno odstupanje X od E[X]:

Var[X] := E[(X − E[X])2].

Koristenjem linearnosti matematickog ocekivanja moze se pokazati da je

Var[X] = E[X2]− E[X]2. (2.5)

Standardna devijacija od X je drugi korijen varijance:

σ(X) :=√Var[X].

Standardnom devijacijom se rasprsenje izrazava u istim fizikalnim jedinicama u kojima seizrazavaju vrijednosti od X.

2.6 Matematicko ocekivanje i varijanca linearne transforma-cije od X

Neka je X slucajna varijabla s matematickim ocekivanjem µ i varijancom σ2, te neka sua = 0, b realni brojevi. Tada je Y := aX + b takoder slucajna varijabla. Koristenjemsvojstva linearnosti ocekivanja dobijamo:

E[Y ] = E[aX + b] = aE[X] + b =

= aµ+ b (2.6)

Var[Y ] = E[(Y − aµ− b)2] = E[(aX + b− aµ− b)2] =

= E[a2(X − µ)2] = a2E[(X − µ)2] = a2Var[X] =

= a2σ2 (2.7)

Slucajnoj varijabli X pridruzimo njenu standardiziranu verziju

Z :=X − µ

σ.

Iz (2.6) i (2.7) slijedi da je standardizirana verzija centrirana (E[Z] = 0) i da ima jedinicnuvarijancu (Var[Z] = 1).

21

2.7 Momenti

Neka je X slucajna varijabla, k prirodan, a c neki realan broj. k-ti moment od X oko c jebroj

E[(X − c)k].

Momenti oko ishodista (c = 0) jednostavno se zovu momentima. Centralni momenti sumomenti oko matematickog ocekivanja. Na primjer, matematicko ocekivanje je prvi mo-ment, a varijanca drugi centralni moment. Prvi centralni moment je identicki jednak nuli.Koristenjem linearnosti ocekivanja moze se pokazati da za treci centralni moment µ3 vrijedi

µ3 = E[X3]− 3µE[X2] + 2µ3,

gdje je µ = E[X]. Treci centralni moment standardizirane verzije Z od X, u oznaci α3(X),zove se koeficijent asimetrije od X. Dakle,

α3(X) = E[(X − µ

σ

)3

],

gdje su µ = E[X] i σ = σ(X). Distribucija od X je simetricna ako je α3(X) = 0, negativnoje asimetricna ako je α3(X) < 0, a pozitivno asimetricna ako je α3(X) > 0.

2.8 Primjeri vaznih distribucija

Najvaznije svojstvo slucajnih varijabli za primjene je njihova distribucija opisana gustocomili funkcijom distribucije. U ovoj tocki navedene distribucije prirodno se pojavljuju umnogim podrucjima primjene. Uz precizno opisane razdiobe, navedena je i njihova in-terpretacija.

2.8.1 Diskretne razdiobe

Diskretne slucajne varijable najcesce se interpretiraju kao broj necega, odnosno kao rezultatnekog procesa prebrojavanja (broj uspjeha, broj smrti, broj steta po polici osiguranja i sl.).

Uniformna razdioba

Slucajna varijabla X ima uniformnu razdiobu na skupu S = 1, 2, . . . , k (k je prirodnibroj) ako je

fX(x) = P(X = x) =1

kza x ∈ S = ImX.

Tada je

E[X] = 1 · 1k+ 2 · 1

k+ · · ·+ k · 1

k=

k + 1

2

E[X2] = 12 · 1k+ 22 · 1

k+ · · ·+ k2 · 1

k=

(k + 1)(2k + 1)

6

⇒ Var[X] = E[X2]− E[X]2 =(k + 1)(2k + 1)

6− (

k + 1

2)2 =

k2 − 1

12.

Na primjer, u pokusu bacanja simetricne kocke neka je X jednako broju koji se okrenuo.Tada X ima uniformnu razdiobu na skupu 1, 2, 3, 4, 5, 6.

22

Bernoullijeva razdioba

Bernoullijeva slucajna varijabla X indicira je li rezultat slucajnog pokusa bio “uspjeh” iline. Preciznije, X ce imati vrijednost 1 ako se dogodio elementaran ishod koji je povoljanza dogadaj “uspjeh”, inace ce imati vrijednost 0. Dakle, ImX = 0, 1. Oznacimo saθ = P(X = 1) vjerojatnost uspjeha. Primijetimo da je nuzno θ ∈ [0, 1]. Tada je funkcijavjerojatnosti od X jednaka

fX(x) = θx · (1− θ)1−x za x ∈ ImX = 0, 1

i vrijedi

E[X] = 0 · (1− θ) + 1 · θ = θ

E[X2] = 02 · (1− θ) + 12 · θ = θ

⇒ Var[X] = E[X2]− E[X]2 = θ − θ2 = θ(1− θ).

Na primjer, recimo da se u pokusu bacanja simetricne kocke dogodio uspjeh ako se okrenulasestica. Tada slucajna varijabla X koja ima vrijednost 1 kada se okrene sestica, a inace jejednaka 0, ima Bernullijevu razdiobu s vjerojatnosti uspjeha 1/6.

Binomna razdioba

Zamislimo slucajni pokus koji se sastoji od n nezavisnih jednako distribuiranih Bernoulli-jevih pokusa. Bernoullijevim pokusima zvat cemo one slucajne pokuse kod kojih nas samozanima je li se dogodio ili se nije dogodio uspjeh. Jednaka distribuiranost takvih pokusaznaci da je u svima njima vjerojatnost uspjeha θ jednaka, a da su nezavisni znaci da ishodsvakog od njih ne ovisi o ishodima ostalih pokusa. Matematicki, dogadaji su nezavisni ako jeza svaku njihovu kombinaciju (ili kombinaciju njihovih komplemenata, ili zajednicku kom-binaciju s komplementima) vjerojatnost istovremenog dogadanja te kombinacije dogadajajednako produktu vjerojatnosti svakog dogadaja u toj kombinaciji posebno. Tada slucajnavarijabla X koja je jednaka ukupnom broju uspjeha u tih n pokusa ima binomnu razdiobus parametrima n i θ (0 ≤ θ ≤ 1). Vrijedi:

fX(x) =

(n

x

)θx(1− θ)n−x za x ∈ ImX = 0, 1, . . . , n,

E[X] = nθ, Var[X] = nθ(1− θ).

Iz navedene interpretacije binomne slucajne varijable slijedi da se ta varijabla moze prikazatikao zbroj od n nezavisnih jednako distribuiranih Bernoullijevih slucajnih varijabli. Svakaod tih n Bernoullijevih varijabli interpretira se kao indikator uspjeha u jednom od Bernoul-lijevih pokusa.

Geometrijska razdioba

Izvodi se niz nezavisnih jednako distribuiranih Bernoullijevih pokusa s vjerojatnosti uspje-ha θ sve dok se ne dogodi (prvi put) uspjeh. Tada je broj pokusa do prvog uspjeha Xslucajna varijabla koja ima geometrijsku razdiobu s parametrom θ, 0 < θ < 1. Ako rednibroj pokusa interpretiramo kao vrijeme, tada X pripada klasi vremena cekanja. Vrijedi:

fX(x) = θ(1− θ)x−1 za x ∈ ImX = 1, 2 . . .,

E[X] =1

θ, Var[X] =

1− θ

θ2.

23

Geometrijska slucajna varijabla ima svojstvo neimanja memorije. Naime, za sve prirodnebrojeve n i k vrijedi:

P(X > n+ k | X > n) = P(X > k).

Rijecima, vjerojatnost da treba cekati vise od n + k pokusa do uspjeha ako se zna da uprethodnih n pokusa nije bilo uspjeha, jednaka je vjerojatnosti da do prvog uspjeha trebacekati vise od k pokusa. Dakle, irelevantno je sto u prvih n pokusa nije bilo uspjeha. Sansaza uspjeh nakon n neuspjeha nije ni veca, ni manja.

Geometrijska slucajna varijabla se moze definirati i kao broj neuspjeha do prvog uspjeha.Oznacimo tu varijablu sa Y . Tada je Y = X − 1 i

fY (x) = θ(1− θ)x za x ∈ ImY = 0, 1, 2 . . .,

E[Y ] =1− θ

θ, Var[Y ] =

1− θ

θ2.

Negativna binomna razdioba

Negativna binomna distribucija je poopcenje geometrijske distribucije. Broj X nezavisnihjednako distribuiranih Bernoullijevi pokusa s vjerojatnosti uspjeha θ do ukljucivo k-toguspjeha je slucajna varijabla koja ima negativnu binomnu razdiobu s parametrima k i θ,0 < θ < 1. Vrijedi:

fX(x) =

(x− 1

k − 1

)θk(1− θ)x−k za x ∈ ImX = k, k + 1, . . .,

E[X] =k

θ, Var[X] = k

1− θ

θ2.

Za racunanje funkcije vjerojatnosti fX(x) = P(X = x) koristi se rekurzivna relacija

fX(x) =x− 1

x− k(1− θ)fX(x− 1), za x = k + 1, k + 2, . . . i fX(k) = θk.

Negativna binomna slucajna varijabla X moze se prikazati kao zbroj k nezavisnih jednakodistribuiranih geometrijskih slucajnih varijabli od kojih svaka predstavlja vrijeme cekanjaizmedu dva uspjeha.

Kao u slucaju geometrijske razdiobe, negativna binomna slucajna varijabla moze sedefinirati i kao broj neuspjeha do k-tog uspjeha. Oznacimo tu varijablu sa Y . Tada jeY = X − k i

fY (x) =

(k + x− 1

k − 1

)θk(1− θ)x za x ∈ ImY = 0, 1, 2, . . .,

E[Y ] = k1− θ

θ, Var[Y ] = k

1− θ

θ2.

Hipergeometrijska distribucija

Promotrimo sljedeci primjer. Od N kuglica u kutiji, njih K su bijele, a ostale su crne. Naslucajan nacin izvlacimo jednu za drugom n kuglica bez vracanja. Uspjeh je kada izvucemobijelu kuglicu. Pretpostavimo da je n ≤ K ≤ N i oznacimo sa X ukupan broj bijelihkuglica medu n izvucenih. Drugim rijecima, X je ukupan broj uspjeha tijekom izvodenja n

24

Bernoullijevih pokusa koji nisu niti nezavisni, niti jednako distribuirani. Tada jeX slucajnavarijabla kojoj je funkcija vjerojatnosti:

fX(x) =

(Kx

)(N−Kn−x

)(Nn

) za x ∈ ImX = 0, 1, . . . , n.

Kazemo da slucajna varijabla ima hipergeometrijsku razdiobu ako joj je razdioba opisanagore navedenom funkcijom vjerojatnosti. Ako sa θ = K/N oznacimo vjerojatnost uspjehau prvom izvlacenju, tada je E[X] = nθ.

Ako je N dovoljno velik (u apsolutnom smislu i u odnosu na n), tada je binomnarazdioba s parametrima n i θ dobra aproksimacija za razdiobu od X. Primijetimo da jeta binomna razdioba dobar model za ukupan broj uspjeha u gore navedenom primjeru, alikada kuglice izvlacimo sa vracanjem.

Poissonova razdioba

Poissonova distribucija modelira broj slucajnih dogadaja koji se realiziraju tijekom nekogvremenskog intervala, a koji zadovoljavaju sljedece uvjete:

(i) vjerojatnost pojavljivanja jednog dogadaja tijekom nekog vremenskog intervala pro-porcionalna je duljini tog intervala s konstantom proporcionalnosti neovisnoj o vre-menskom intervalu;

(ii) vjerojatnost istovremenog pojavljivanja dva i vise dogadaja je jednaka nuli;

(iii) brojevi pojavljivanja dogadaja tijekom medusobno disjunktnih vremenskih intervalasu nezavisni.

Kazemo da se dogadaji pojavljuju u skladu sa zakonom Poissonovog procesa.Druga interpretacija Poissonove distribucije je kao granicne distribucije binomne raz-

diobe s parametrima n i θ kada n tezi beskonacnosti (n → +∞), a θ tezi nuli (θ → 0) nanacin da je broj λ = nθ konstantan.

Kazemo da diskretna slucajna varijabla ima Poissonovu distribuciju s parametrom λ,λ > 0, i pisemo X ∼ P (λ), ako je njena funkcija vjerojatnosti oblika:

fX(x) =λx

x!e−λ za x ∈ ImX = 0, 1, . . ..

Vrijedi:E[X] = Var[X] = λ.

Poissonovu razdiobu koristimo za aproksimaciju binomne s parametrima n i θ kada jen veliko, a θ malo (na primjer, n ≥ 100 i θ ≤ 0.05). Za parametar Poissonove razdiobeuzimamo λ = nθ.

Kada se dogadaji pojavljuju u skladu sa zakonom Poissonovog procesa s intenzitetomλ (kaze se jos da su dogadaji slucajni s intenzitetom λ po jedinici vremena), tada brojdogadaja tijekom vremenskog intervala duljine t ima Poissonovu razdiobu P (λt).

2.8.2 Neprekidne razdiobe

Uniformna razdioba

Kazemo da neprekidna slucajna varijabla X ima uniformnu razdiobu na intervalu ⟨α, β⟩ako joj je gustoca razdiobe

fX(x) =

1

β−α za x ∈ ⟨α, β⟩0 inace.

25

Vrijedi:

E[X] =α+ β

2, Var[X] =

(β − α)2

12.

Svojstvo te razdiobe je da su vjerojatnosti podintervala iste duljine jednake.

Gama distribucija

Kazemo da slucajna varijabla X ima gama distribuciju s parametrima α > 0 i λ > 0, ipisemo X ∼ Γ(α, 1/λ), ako je strogo pozitivna (ImX = ⟨0,+∞⟩) i gustoca razdiobe je

fX(x) =

λα

Γ(α)xα−1e−λx za x > 0

0 inace,

gdje je Γ(α) =+∞∫0

tα−1e−t dt Γ-funkcija. Svojstva te funkcije su:

(i) Γ(1) = 1, Γ(α) = (α − 1)Γ(α − 1) za α > 1, odakle slijedi da je Γ(n) = (n − 1)! zaprirodan broj n;

(ii) Γ(1/2) =√π.

Vrijedi:

E[X] =α

λ, Var[X] =

α

λ2.

Eksponencijalna distribucija

Ako je X ∼ Γ(1, 1/λ), tada kazemo da X ima eksponencijalnu distribuciju s parametromλ > 0, i pisemo X ∼ Exp(λ). Dakle, eksponencijalna distribucija je specijalni slucaj gamadistribucije kada je parametar α = 1. Prema tome, gustoca razdiobe i funkcija distribucijeod X, te matematicko ocekivanje i varijanca, su:

fX(x) =

λe−λx za x > 0

0 inace,FX(x) =

1− e−λx za x > 0

0 inace,

E[X] =1

λ, Var[X] =

1

λ2.

Eksponencijalna distribucija se koristi kao jednostavan model za vrijeme trajanja nekihvrsta uredaja.

Vazna interpretacija te distribucije je kao modela za vrijeme cekanja T izmedu pojavlji-vanja dva dogadaja u Poissonovom procesu. Preciznije, ako Poissonov proces ima intenzitetλ, te ako je X broj dogadaja u vremenskom intervalu [0, t], tada je (zbog X ∼ P (λt)):

P(T > t) = P(X = 0) = e−λt ⇒ FT (t) = 1− P(T > t) = 1− e−λt ⇒ T ∼ Exp(λ).

Nadalje, za sve pozitivne s i t vrijedi:

P(T > t+ s |T > t) = P(T > s)

sto znaci da ako vrijeme mjerimo od bilo koje ishodisne tocke (ne nuzno od vremena kadase zadnji dogadaj pojavio), da vrijeme cekanja ima istu eksponencijalnu razdiobu. Prematome, kao i u slucaju geometrijske razdiobe, eksponencijalna razdioba ima svojstvo neimanjamemorije.

Moze se pokazati da se Γ(k, 1/λ)-razdioba, gdje je k prirodan broj, moze interpretiratikao zbroj od k nezavisnih Exp(λ)-distributiranih slucajnih varijabli. Drugim rijecima,slucajna varijabla s tom gama razdiobom se interpetira kao vrijeme cekanja da se dogoditocno k dogadaja u Poissonovom procesu s intenzitetom λ.

26

χ2-razdioba

Ako je X ∼ Γ(n2 , 2) za n prirodan broj, tada kazemo da X ima χ2-razdiobu s n stupnjevaslobode, i pisemo X ∼ χ2(n). Vrijedi:

E[X] = n, Var[X] = 2n.

Primijetimo da je χ2(2) = Exp(12).

Beta distribucija

Neprekidna slucajna varijabla X ima beta distribuciju s parametrima α > 0 i β > 0, ipisemo X ∼ B(α, β), ako prima vrijednosti u intervalu ⟨0, 1⟩ i gustoca joj je:

fX(x) =

Γ(α+β)Γ(α)Γ(β)x

α−1(1− x)β−1 za 0 < x < 1

0 inace,

Primijetite da vrijedi1∫

0

xα−1(1− x)β−1 dx =Γ(α)Γ(β)

Γ(α+ β).

Desna strana te jednakosti se oznacava sa B(α, β). Funkcija koja paru pozitivnih brojeva(α, β) pridruzuje tu vrijednost zove se beta funkcija.

Vrijedi:

E[X] =α

α+ β, Var[X] =

αβ

(α+ β)2(α+ β + 1).

Uniformna razdioba na ⟨0, 1⟩ je poseban slucaj beta razdiobe kada su parametri α =β = 1.

Normalna razdioba

Kazemo da X ima normalnu razdiobu s parametrima µ i σ2 > 0, i pisemo X ∼ N(µ, σ2),ako je ImX = R i gustoca joj je

fX(x) =1

σ√2π

e−(x−µ)2

2σ2 .

Ta razdioba je jedna od najvaznijih jer:

1. dobar je model za veliku vecinu fizikalnih mjerenja

2. dobra je aproksimacija velike klase drugih distribucija (na primjer, binomne)

3. dobar je model za uzoracku razdiobu raznih statistika

4. zakljucivanje na osnovi velikih uzoraka i neki statisticki postupci zasnivaju se napretpostavci normalnosti

5. pomocu nje se izvode mnoge druge distribucije

Graf funkcije gustoce se zove Gaussova krivulja i ona je zvonolikog oblika.

27

-3 -2 -1 0 1 2 3

0.1

0.2

0.3

0.4

Interpretacija parametara normalne razdiobe je da je µ = E[X] i σ2 = Var[X].Linearna transformacija normalno distribuirane varijable je opet normalno distribuirana

varijabla. Preciznije, ako je X ∼ N(µ, σ2), te ako su a = 0 i b realni brojevi, tada jeY := aX + b ∼ N(aµ+ b, a2σ2). Specijalno, standardizirana verzija normalne varijable X,Z = (X − µ)/σ, je normalno distribuirana s ocekivanjem 0 i varijancom 1. Kazemo da Zima jedinicnu normalnu razdiobu. Vrijednosti od Z su bezdimenzionalne (u smislu da nisuizrazene nekim fizikalnim jedinicama) i njima izrazavamo koliko je standardnih devijacijapripadna vrijednost X udaljena (i na koju stranu) od svoje ocekivane vrijednosti µ. Ako jeZ < 0, tada je X za |Z| standardnih devijacija manji od µ, a ako je Z > 0, tada je X za Zstandardnih devijacija veci od µ.

Vrijednosti jedinicne normalne razdiobe su tabelirane. Preciznije, ako je Φ funkcijadistribucije od N(0, 1),

Φ(x) =

x∫−∞

1√2π

e−t2

2 dt,

tada su tabelirane vrijednosti funkcije

Φ0(x) =

x∫0

1√2π

e−t2

2 dt, za x > 0.

Ta se funkcija moze prosiriti (po neparnosti) na sve realne brojeve x relacijom

Φ0(x) := −Φ0(−x), za x < 0. (2.8)

Ocito mora biti Φ0(0) = 0. Φ i Φ0 su vezane relacijom

Φ(x) =1

2+ Φ0(x), za x ∈ R. (2.9)

Na primjer, iz tablica citamo da je

P(0 < Z < 1.96) = Φ0(1.96) = 0.475,

28

pa je

P(Z < 1.96) = Φ(1.96)(2.9)= 0.5 + 0.475 = 0.975

P(−1.96 < Z < 1.96) = Φ(1.96)− Φ(−1.96)(2.9)= Φ0(1.96)− Φ0(−1.96)

(2.8)= 2 · 0.475 =

= 0.950.

Slicno se izracuna

P(−2.576 < Z < 2.576) = 0.99 i P(−3 < Z < 3) = 0.997

Dakle, u 95% slucajeva ce se vrijednosti normalne varijable od svoje ocekivane vrijednostirazlikovati za ne vise od 1.96 standardnih devijacija, a u 99% slucajeva ta razlika nece bitiveca od 2.576 standardnih devijacija. Zadnji izracun kaze da se 99.7% svih realiziranihvrijednosti normalno distribuirane varijable od matematickog ocekivanja nece razlikovatiza vise od tri standardne devijacije. Ta tvrdnja se zove pravilo 3σ.

2.9 Funkcije slucajnih varijabli

Ako je X slucajna varijabla s poznatom distribucijom (zna se fX ili FX) te ako je zadana(dobra) realna funkcija g realne varijable, tada je Y = g(X) slucajna varijabla. Cilj namje odrediti razdiobu od Y , tj. izracunati gustocu fY ili funkciju distribucije FY .

2.9.1 Diskretne razdiobe

Ako je X diskretna, tada je i Y diskretna slucajna varijabla. Nadalje, ImY ⊆ Im g = g(R).Buduci da je za y ∈ ImY ,

P(Y = y) = P(∪

x∈ImX:g(x)=yX = x) (P3)

=∑

x∈ImX:g(x)=yP(X = x),

slijedi formula za gustocu od Y :

fY (y) =∑

x∈ImX:g(x)=yfX(x), y ∈ ImY.

Primjer 2.2 Neka jeX binomna varijabla s parametrima n = 10 i θ ∈ ⟨0, 1⟩, i Y = sin π2X.

Tada je ImY = −1, 0, 1 i g(x) = sin π2x. Prema gornjoj formuli je

fY (−1) =∑

0≤k≤10:sin π2k=−1

fX(k) =

(10

3

)θ3(1− θ)7 +

(10

7

)θ7(1− θ)3

fY (0) =∑

0≤k≤10:sin π2k=0

fX(k) =5∑

i=0

(10

2i

)θ2i(1− θ)2(5−i) =

1 + (1− 2θ)10

2

fY (1) =∑

0≤k≤10:sin π2k=1

fX(k) =

(10

1

)θ(1− θ)9 +

(10

5

)θ5(1− θ)5 +

(10

9

)θ9(1− θ).

29

2.9.2 Neprekidne razdiobe

Neka je X neprekidna slucajna varijabla, a Fx i fX njene funkcije distribucije i gustoce.Pretpostavimo da je funkcija g strogo rastuca na intervalu ImX. Tada je za y ∈ ImY ,

FY (y) = P(Y ≤ y) = P(g(X) ≤ y) = P(X ≤ g−1(y)) = FX(g−1(y)). (2.10)

Ako je g strogo padajuca na ImX, tada je za sve y ∈ ImY ,

FY (y) = P(Y ≤ y) = P(g(X) ≤ y) = P(X ≥ g−1(y)) = 1− FX(g−1(y)). (2.11)

U slucaju da je g−1 diferencijabilna u y ∈ ImY ,

fY (y) =dFY

dy(y).

Buduci da za rastucu funkciju g vrijedi (2.10), slijedi

dFY

dy(y) =

dFX

dx(g−1(y))

dg−1

dy(y) = fX(g−1(y))

dg−1

dy(y).

Slicno, buduci da za padajucu funkciju g rijedi (2.11), slijedi

dFY

dy(y) = −dFX

dx(g−1(y))

dg−1

dy(y) = −fX(g−1(y))

dg−1

dy(y).

Dakle, ako je inverz strogo monotone funkcije g diferencijabilan, vrijedi formula:

fY (y) = fX(g−1(y))

∣∣∣∣∣dg−1

dy(y)

∣∣∣∣∣ za y ∈ ImY. (2.12)

Primjer 2.3 Kazemo da slucajna varijabla Y ima log-normalnu razdiobu s parametrimaµ i σ2, ako je strogo pozitivna i log Y ima normalnu distribuciju N(µ, σ2). OznacimoX = log Y . Tada je Y = eX , X ∼ N(µ, σ2) i g(x) = ex. g je strogo rastuca funkcija naR = ImX, a njen inverz g−1(y) = log y je diferencijabilna funkcija na ⟨0,+∞⟩ = ImY sderivacijom (g−1)′(y) = 1/y. Prema formuli (2.12),

fY (y) = fX(log y) · 1y=

1

yσ√2π

e−(log y−µ)2

2σ2 za y > 0.

Cesto puta u primjenama funkcija g nije strogo monotona na intervalu ImX, ali je takvapo dijelovima. Na sljedecem primjeru ilustrirat cemo kako se u tom slucaju izvodi formulaza gustocu od Y = g(X).

Primjer 2.4 Neka je Y = X2. Tada je g(x) = x2 i g ocito nije strogo monotona nasvakom intervalu realnih brojeva. Na primjer, nije monotona na R. Nadalje, ocito jeImY ⊆ [0,+∞⟩. Za y > 0 racunamo

FY (y) = P(Y ≤ y) = P(X2 ≤ y) = P(|X| ≤ √y) = P(−√

y ≤ X ≤ √y) =

= FX(√y)− FX(−√

y).

Deriviranjem tog izraza dobijamo formulu:

fY (y) = (fX(−√y) + fX(

√y)) · 1

2√y, y > 0. (2.13)

30

Specijalno, ako je X ∼ N(0, 1), tada Y = X2 ima gustocu

fY (y) =2√2π

e−y2

1

2√y=

(2−1)12

Γ(12)y

12−1e−

y2 , y > 0,

Dakle, Y ∼ χ2(1).

U svim primjerima do sada Y je bila neprekidna slucajna varijabla. To opcenito nemora biti tako. Naime, iako je X neprekidna slucajna varijabla, funkcija g moze biti takvada Y = g(X) bude, na primjer, diskretna.

Primjer 2.5 Neka su X ∼ N(0, 1) i Y = signX. Tada je Y = g(X), gdje je

g(x) = signx =

−1, x < 00, x = 01, x > 0.

Buduci da je ImY ⊆ Im g = −1, 0, 1, Y je diskretna slucajna varijabla s funkcijomvjerojatnosti:

fY (−1) = P(Y = −1) = P(X < 0) =1

2, fY (1) = P(Y = 1) = P(X > 0) =

1

2.

31

Poglavlje 3

Funkcije izvodnice

3.1 Funkcije izvodnice vjerojatnosti

Neka je X diskretna slucajna varijabla s vrijednostima u skupu prirodnih brojeva s nulom.Takvu varijablu zvat cemo brojeca slucajna varijabla. Oznacimo sa p0, p1, itd. vjerojatnostidogadaja X = 0, X = 1, itd., dakle,

pk := P(X = k) = fX(k), k = 0, 1, . . .

Tada je funkcija izvodnica vjerojatnosti od X, krace f.i.v., realna funkcija GX definirana sa

GX(t) := E[tX ] = p0 + p1t+ p2t2 + · · · ,

za one realne brojeve t za koje to ocekivanje postoji. Uvijek vrijedi

GX(1) = 1, GX(0) = p0 = P(X = 0).

Primijetite da red potencija iz definicije f.i.v. apsolutno konvergira za sve t ∈ R za koje je|t| ≤ 1. F.i.v. je jedinstvena u smislu da dvije brojece slucajne varijable X i Y imaju istef.i.v ako i samo ako su X i Y po distribuciji jednake, tj. ako je

fX(x) = fY (x) za sve x ∈ 0, 1, . . ..

Primjer 3.1 Ako X ima uniformnu razdiobu na 1, 2, . . . , k, tada joj je f.i.v.

GX(t) =1

k(t+ t2 + · · ·+ tk) =

t(1− tk)

k(1− t)ako t = 1.

Primjer 3.2 Ako X ima binomnu razdiobu s parametrima (n, θ), tada joj je f.i.v.

GX(t) =n∑

k=0

(n

k

)tkθk(1− θ)n−k = (θt+ 1− θ)n.

Primjer 3.3 Za negativnu binomnu varijablu X s parametrima (k, θ), f.i.v. je

GX(t) =∞∑

m=k

(m− 1

k − 1

)tmθk(1− θ)m−k =

(θt

1− t(1− θ)

)k

,

pri cemu red apsolutno konvergira za |t(1− θ)| < 1.

32

Primjer 3.4 Za X ∼ P (λ), f.i.v. je

GX(t) =∞∑k=0

tkλk

k!e−λ = e−λ(1−t),

pri cemu red apsolutno konvergira za sve t ∈ R.

3.2 Racunanje momenata pomocu f.i.v.

Pomocu f.i.v. GX(t) brojece slucajne varijable X mozemo racunati momente od X nizegreda. Rastavimo funkciju t 7→ tX u Taylorov red u okolini t = 1:

tX = 1 +X(t− 1) +X(X − 1)(t− 1)2

2!+X(X − 1)(X − 2)

(t− 1)3

3!+ · · · ,

a zatim izracunajmo matematicko ocekivanje obje strane. Vrijedi da je

GX(t) = E[tX ] = 1 + E[X](t−1) + E[X(X−1)](t−1)2

2!+ E[X(X−1)(X−2)]

(t−1)3

3!+· · ·

za t ≥ 1. Dakle,

E[X] = G′X(1)

E[X(X − 1)] = G′′X(1) ⇒ E[X2] = G′

X(1) +G′′X(1)

⇒ Var[X] = E[X2]− E[X]2 = G′′X(1) +G′

X(1)(1−G′X(1)).

3.3 Funkcija izvodnica momenata

Funkcija izvodnica momenata koristi se za racunanje momenata slucajne varijable oko nule.Neka je X (diskretna ili neprekidna) slucajna varijabla. Tada je funkcija izvodnica mome-nata (krace f.i.m.) od X, funkcija MX definirana sa

MX(t) := E[etX ],

za sve realne brojeve t za koje to ocekivanje postoji. Odmah se vidi da je MX(0) = 1.Razvijmo funkciju t 7→ etX u Taylorov red oko nule i (formalno) izracunajmo matematickoocekivanje dobivenog reda potencija kao red matematickih ocekivanja:

MX(t) = E[etX ] = E[∞∑k=0

Xk tk

k!] =

∞∑k=0

E[Xk]tk

k!.

Na primjer, to mozemo uciniti u slucaju da je X nenegativna varijabla i f.i.m. je definiranaza t u okolini nule. Tada ocitavamo da je k-ti moment od X jednak derivaciji k-tog redaf.i.m. u t = 0:

E[Xk] = M(k)X (0), k = 1, 2, . . .

Opcenito, ta jednakost vrijedi ako postoje obje strane.Ako znamo zakon razdiobe od X, onda mozemo izracunati sve njene momente koje

postoje. Obratno, ako postoje svi momenti od X (i poznati su), te ako su zadovoljenijos neki dodatni uvjeti na njih, tada taj niz momenata jednoznacno odreduje razdiobu odX. Nadalje, dvije razlicite razdiobe ne mogu imati istu f.i.m. Dakle, svaka se f.i.m. mozeprepoznati kao f.i.m neke tocno odredene razdiobe.

F.i.m. brojece slucajne varijable X moze se jednostavno odrediti pomocu njene f.i.v. jervrijedi (ako obje strane postoje za dani t):

MX(t) = GX(et).

33

Primjer 3.5 Pomocu f.i.v., izracunane su f.i.m. sljedecih brojecih varijabli:(a) za X binomnu (n, θ):

MX(t) = GX(et) = (pr.3.2) = (θet + 1− θ)n = (1 + θ(et − 1))n;

specijalno, f.i.m. Bernoullijeve distribucije dobije se za n = 1;(b) za X negativno binomnu (k, θ):

MX(t) = GX(et) = (pr.3.3) =

(θet

1− et(1− θ)

)k

;

(c) za X ∼ P (λ):

MX(t) = GX(et) = (pr.3.4) = eλ(et−1).

Primjer 3.6 Za X ∼ Γ(α, 1λ), f.i.m. je:

MX(t) = E[etX ] =

+∞∫0

etx · λα

Γ(α)xα−1e−λx dx =

λα

(λ− t)α

+∞∫0

(λ− t)α

Γ(α)xα−1e−(λ−t)x dx =

=

(λ

λ− t

)α

za t < λ.

Odavde je

M ′X(t) = αλα(λ− t)−(α+1) ⇒ E[X] = M ′

X(0) =α

λ

M ′′X(t) = α(α+ 1)λα(λ− t)−(α+2) ⇒ E[X2] = M ′′

X(0) =α(α+ 1)

λ2

⇒ Var[X] = E[X2]− E[X]2 =α(α+ 1)

λ2− α2

λ2=

α

λ2.

Specijalno, za X ∼ Exp(λ),

MX(t) =λ

λ− t, za t < λ.

Ako je θ = E[X] = 1/λ,

MX(t) =1

1− θt, za t <

1

θ.

Specijalno, za X ∼ χ2(n),

MX(t) =1

(1− 2t)n2

, za t <1

2.

Primjer 3.7 Neka je X ∼ N(µ, σ2). Bez izvoda navodimo da je f.i.m. od X:

MX(t) = eµt+σ2t2

2 .

34

Odavde je

M ′X(t) = (µ+ σ2t)MX(t) ⇒ E[X] = M ′

X(0) = µ

M ′′X(t)) = (σ2 + (µ+ σ2t)2)MX(t) ⇒ E[X2] = M ′′

X(0) = σ2 + µ2

⇒ Var[X] = E[X2]− E[X]2 = σ2 + µ2 − µ2 = σ2.

Specijalno je za standardiziranu verziju Z = (X −µ)/σ od X, MZ(t) = et2/2. Razvojem te

funkcije u Taylorov red oko t = 0

MX(t) = 1 +t2

2+

t4

8+ · · · ,

zakljucujemo da je

E[Z2k+1] = 0, E[Z2k] =(2k)!

2kk!, za k = 0, 1, 2, . . .

Specijalno jeE[Z] = 0, E[Z2] = 1, E[Z3] = 0, E[Z4] = 3.

Odavde slijedi da su prva tri momenta od X:

E[X] = E[µ+σZ] = µ, E[X2] = E[(µ+σZ)2] = µ2+σ2, E[X3] = E[(µ+σZ)3] = µ3+3σ2µ,

a treci i cetvrti centralni momenti:

E[(X − µ)3] = E[(σZ)3] = 0, E[(X − µ)4] = E[(σZ)4] = 3σ4.

3.4 Funkcije izvodnice kumulanata

Za racunanje matematickog ocekivanja i varijance slucajne varijable, funkcija izvodnicakumulanata je prirodnija od f.i.m. Funkcija izvodnica kumulananata (krace f.i.k.) od X jefunkcija CX definirana sa

CX(t) = logMX(t)

ako MX(t) postoji. Jasno je da vrijedi

MX(t) = eCX(t).

Nadalje,

C ′X(t) =

M ′X(t)

MX(t)

C ′′X(t) =

M ′′X(t)MX(t)−M ′

X(t)2

M2X(t)

Buduci da je MX(0) = 1, M ′X(0) = E[X] i M′′

X(0) = E[X2],

C ′X(0) =

M ′X(0)

MX(0)=

E[X]

1= E[X]

C ′′X(0) =

M ′′X(0)MX(0)−M ′

X(0)2

M2X(0)

=E[X2] · 1− E[X]2

1= Var[X].

Koeficijent uz tr/r! u razvoju funkcije t 7→ CX−E[X](t) u Taylorov red oko t = 0 (tzv.Maclaurinov red) zove se r-ti kumulant od X i oznacava se sa κr.

35

3.5 Funkcije izvodnice linearnih funkcija od X

Pretpostavimo da (brojeca) slucajna varijabla X ima f.i.v. GX(t). Tada je za Y = aX + b(a, b realni brojevi, a = 0),

GY (t) = E[tY ] = E[taX+b] = tbE[(ta)X ] = tbGX(ta).

Ako je MX(t) f.i.m. od X, tada je

MY (t) = E[etY ] = E[etaX+tb] = etbE[e(ta)X ] = etbMX(ta).

36

Poglavlje 4

Zajednicka razdioba slucajnihvarijabli

Ako imamo vise slucajnih varijabli definiranih na istom vjerojatnosnom prostoru, tadamozemo govoriti o njihovoj zajednickoj distribuciji. Na te varijable mozemo gledati kao nakomponente nekog slucajnog vektora. Razdiobe slucajnih vektora zovemo visedimenzional-nim razdiobama (distribucijama), a to su, u stvari, njihove zajednicke razdiobe (distribucije).Zajednicku razdiobu dviju slucajnih varijabli zovemo bivarijatnom razdiobom.

4.1 Zajednicka gustoca i funkcija distribucije

Neka su X i Y dvije slucajne varijable definirane na istom vjerojatnosnom prostoru.Pretpostavimo da su X, Y diskretne slucajne varijable (tj. slucajni vektor (X,Y ) je

diskretan), te da jeImX = a1, a2, . . ., ImY = b1, b2, . . ..

Tada je

Im(X,Y ) = (a1, b1), (a1, b2), . . . , (a2, b1), . . . = (ai, bj) : ai ∈ ImX, bj ∈ ImY .

U tablici zajednicke razdiobe od X, Y :

YX b1 b2 · · · bj · · ·a1 p11 p12 · · · p1j · · ·a2 p21 p22 · · · p2j · · ·...

......

. . ....

ai pi1 pi2 · · · pij · · ·...

......

.... . .

broj pij oznacava vjerojatnost dogadaja da je istovremeno X = ai i Y = bj :

pij = P(X = ai, Y = bj) za sve i, j.

Zajednicka funkcija vjerojatnosti diskretnih slucajnih varijabli X, Y (ili gustoca diskretnogslucajnog vektora (X,Y ) ili, jednostavno, zajednicka gustoca tih varijabli) je funkcija fX,Y :R× R → R definirana sa

fX,Y (x, y) := P(X = x, Y = y) =

pij za x = ai, y = bj0 inace.

37

Svojstva te funkcije:

(G1) fX,Y (x, y) ≥ 0 za sve x, y

(G2)∑

x∈ImX,y∈ImY fX,Y (x, y) = 1.

Zajednicka funkcija distribucije od X i Y (ili funkcija distribucije slucajnog vektora(X,Y )) definira se kao funkcija FX,Y : R× R → R,

FX,Y (x, y) := P(X ≤ x, Y ≤ y).

Ako je (X,Y ) diskretan slucajni vektor s funkcijom vjerojatnosti fX,Y , tada vrijedi:

FX,Y (x, y) =∑

a∈ImX:a≤x

∑b∈ImX:b≤y

fX,Y (a, b) za sve realne x, y.

Primjer 4.1 Bacamo dvije simetricne igrace kocke: crvenu i plavu. Naka je X broj kojise okrenuo na crvenoj kocki, a Y manji od brojeva koji su se okrenuli na obje kocke. Tadaje zajednicka razdioba od X i Y prikazana tablicom:

Y

X 1 2 3 4 5 6 Σ

1 636 0 0 0 0 0 1

6

2 136

536 0 0 0 0 1

6

3 136

136

436 0 0 0 1

6

4 136

136

136

336 0 0 1

6

5 136

136

136

136

236 0 1

6

6 136

136

136

136

136

136

16

Σ 1136

936

736

536

336

136 1

Zajednicka razdioba dviju neprekidnih slucajnih varijabli X i Y opisana je zajednickomgustocom fX,Y : R× R → R za koju vrijedi da je

P(a ≤ X ≤ b, c ≤ Y ≤ d) =

b∫a

dx

d∫c

dy fX,Y (x, y) za sve a < b, c < d.

fX,Y jos zovemo gustocom (ili funkcijom gustoce) neprekidnog slucajnog vektora (X,Y ). Zanjihovu zajednicku funkciju distribucije vrijedi:

FX,Y (x, y) =

x∫−∞

du

y∫−∞

dv fX,Y (u, v) za sve realne x, y,

odnosno

fX,Y (x, y) =∂2FX,Y

∂x∂y(x, y),

za tocke (x, y) za koje navedena parcijalna derivacija postoji.Svojstva zajednicke gustoce neprekidnih varijabli:

(G1) fX,Y (x, y) ≥ 0 za sve x, y

(G2)+∞∫−∞

+∞∫−∞

fX,Y (x, y) dx dy = 1.

38

4.2 Marginalne gustoce

Za diskretan slucajni vektor (X,Y ) s gustocom razdiobe fX,Y , marginalna gustoca od X jefunkcija jedna varijable dana izrazom

fX(x) =∑

y∈ImY

fX,Y (x, y), x ∈ R.

To je ujedno i gustoca vjerojatnosne razdiobe diskretne slucajne varijable X. Analogno,marginalna gustoca od Y je funkcija jedne varijable

fY (y) =∑

x∈ImX

fX,Y (x, y), y ∈ R

i gustoca je razdiobe diskretne slucajne varijable Y .

Primjer 4.2 Iz tablice zajednicke razdiobe slucajnih varijabli X, Y iz primjera 4.1, moze-mo ocitati (marginalne) razdiobe od X i od Y . Naime, u osmom stupcu se nalaze vjerojat-nosti vrijednosti od X iz prvog stupca, a u devetom retku se nalaze vjerojatnosti vrijednostiod Y koje se nalaze u drugom retku.

Marginalna gustoca od X neprekidnog slucajnog vektora (X,Y ) sa gustocom razdiobefX,Y je funkcija jedne varijable dana izrazom

fX(x) =

+∞∫−∞

fX,Y (x, y) dy, x ∈ R.

To je ujedno gustoca vjerojatnosne razdiobe neprekidne slucajne varijable X. Analogno,marginalna gustoca od Y je funkcija

fY (y) =

+∞∫−∞

fX,Y (x, y) dx, y ∈ R

i gustoca je razdiobe neprekidne slucajne varijable Y .

4.3 Uvjetna razdioba

Neka je (X,Y ) slucajni vektor. Distribuciju slucajne varijable Y za danu vrijednost xslucajne varijable X zovemo uvjetnom distribucijom od Y za dano X = x (ili uz uvjetX = x). Analogno odredujemo uvjetnu distribuciju od X za dano (ili uz uvjet) Y = y.Uvjetne distribucije zadaju se uvjetnim gustocama.

Neka je (X,Y ) diskretan slucajni vektor sa zajednickom funkcijom vjerojatnosti fX,Y imarginalnim funkcijama vjerojatnosti fX , fY . Ako je fY (y) = P(Y = y) > 0 za y ∈ ImY ,tada je uvjetna funkcija vjerojatnosti (ili uvjetna gustoca) od X za dano Y = y funkcijax 7→ fX|Y (x|y) dana sa

fX|Y (x|y) := P(X = x|Y = y) =P(X = x, Y = y)

P(Y = y)=

fX,Y (x, y)

fY (y), x ∈ R,

i to je gustoca diskretne vjerojatnosne razdiobe koja odgovara uvjetnoj razdiobi od X uzdano Y = y. Analogno se definira uvjetna funkcija vjerojatnosti (ili uvjetna gustoca) od Yuz dano X = x.

39

Primjer 4.3 Za slucajni vektor (X,Y ) iz primjera 4.1, uvjetna gustoca od X uz danoY = 3 je dana tablicom:

x 1 2 3 4 5 6

fX|Y (x|3) 0 0 47

17

17

17

Formula za istu uvjetnu gustocu:

fX|Y (x|3) =fX,Y (x, 3)

fY (3)=

fX,Y (x, 3)736

=36fX,Y (x, 3)

7, x = 1, 2, 3, 4, 5, 6.

Na primjer,

fX|Y (4|3) =36fX,Y (x, 3)

7=

36 · 136

7=

1

7.

Ako je (X,Y ) neprekidan slucajni vektor sa zajednickom gustocom fX,Y i marginalnimgustocama fX , fY , te ako je fY (y) > 0 za y ∈ ImY , tada je uvjetna gustoca od X za danoY = y funkcija x 7→ fX|Y (x|y) dana sa

fX|Y (x|y) :=fX,Y (x, y)

fY (y), x ∈ R.

To je ujedno funkcija gustoce neprekidne vjerojatnosne razdiobe koja odgovara uvjetnojdistribuciji od X uz dano Y = y. Naime, neka je sa P(a ≤ X ≤ b|Y = y) oznacena uvjetnavjerojatnost da ce X poprimiti vrijednosti u intervalu [a, b] uz dano Y = y. Tada je

P(a ≤ X ≤ b|Y = y) :=

b∫a

fX|Y (x|y) dx.

Primijetite da se lijeva strane gornje jednakosti ne racuna po formuli za uvjetnu vjerojatnostdanu formulom (2.2) (jer je to nemoguce zbog P(Y = y) = 0) iako ima istu interpretaciju.Analogno se definira uvjetna gustoca od Y uz dano X = x.

4.4 Nezavisnost slucajnih varijabli

Neka je (X,Y ) slucajni vektor sa zajednickom gustocom fX,Y i marginalnim gustocamafX , fY . Da uvjetna razdioba od Y za dano X = x ne ovisi o x za sve x, znaci da je uvjetnarazdioba jednaka marginalnoj, dakle, da vrijedi

fY |X(y|x) = fY (y) za sve y ∈ ImY i sve x ∈ ImX za koje je fX(x) > 0. (4.1)

Odavde odmah slijedi, po definiciji uvjetne gustoce, da je

fX,Y (x, y) = fX(x) · fy(y) za sve y ∈ ImY, x ∈ ImX. (4.2)

Opet, po definiciji uvjetne gustoce, ako vrijedi (4.2), tada ni uvjetna razdioba od Y uz danoY = y ne ovisi o y za sve y. Po definiciji kazemo da su slucajne varijable X i Y nezavisneako vrijedi (4.2).

U slucaju diskretnih slucajnih varijabli X i Y , (4.2) je ekvivalentno sa

P(X = x, Y = y) = P(X = x) · P(Y = y) za sve x, y,

odnosno, uz oznake kao u 4.1,

pij = P(X = ai) · P(Y = bj) za sve i, j.

Dakle, pij se dobije kao produkt pripadnih vjerojatnosti na margini.

40

Primjer 4.4 Slucajne varijable X, Y iz primjera 4.1 nisu nezavisne jer je, na primjer,

p11 =6

36= 11

36· 16= P(X = 1) · P(Y = 1).

S druge strane, za isti slucajni pokus, slucajne varijable X i Z, gdje je Z broj koji seokrenuo na plavoj kocki, su nezavisne.

Ako su X i Y neprekidne slucajne varijable, tada je uvjet (4.2) za njihovu nezavisnostekvivalentan sa

P(a ≤ X ≤ b, c ≤ Y ≤ d) = P(a ≤ X ≤ b) · P(c ≤ Y ≤ d) za sve a < b, c < d.

I u diskretnom, i u neprekidnom slucaju, (4.2) je ekvivalentno sa

FX,Y (x, y) = FX(x) · FY (y) za sve x, y,

gdje je FX,Y funkcija distribucije zajednicke razdiobe od X, Y i FX , FY su marginalnefunkcije distribucije.

Ako su slucajne varijable X i Y nezavisne, tada su i g(X), h(Y ) nezavisne slucajnevarijable za sve funkcije g i h.

Opcenito, kazemo da su slucajne varijable X1, X2,... nezavisne ako za svaki izbor brojak (k ≥ 2) i svaki izbor k-clane kombinacije Xi1 , Xi2 ,..., Xik tog niza varijabli vrijedi da je

fXi1,...,Xik

(x1, . . . , xk) = fXi1(x1) · · · fXik

(xk) za sve x1, . . . , xk.

4.5 Matematicko ocekivanje funkcije dviju slucajnih varijabli

Neka je (X,Y ) slucajni vektor sa zajednickom gustocom fX,Y i neka je g funkcija u dvijevarijable takva da je g(X,Y ) = g (X,Y ) slucajna varijabla. Ako je (X,Y ) diskretanslucajni vektor, tada vrijedi

E[g(X,Y )] =∑

x∈ImX

∑y∈ImY

g(x, y)fX,Y (x, y) =∑i,j

g(ai, bj)pij ,

a ako je (X,Y ) neprekidan slucajni vektor, tada je

E[g(X,Y )] =

+∞∫−∞

+∞∫−∞

g(x, y)fX,Y (x, y) dx dy.

Pomocu tih relacija moze se dokazati da matematicko ocekivanje ima svojstvo linearnosti ,opcenitije od navedenog u 2.4. Neka su X i Y dvije slucajne varijable definirane na istomvjerojatnosnom prostoru, neka su g, h dvije funkcije jedne varijable takve da su g(X) ih(Y ) slucajne varijable koje imaju matematicko ocekivanje i neka su α, β dva broja. Tadaslucajna varijabla αg(X) + βh(Y ) ima matematicko ocekivanje i vrijedi

E[αg(X) + βh(Y )] = αE[g(X)] + βE[h(Y )].

Dakle, da bi izracunali matematicko ocekivanje varijable αg(X) + βh(Y ), dovoljno je zna-ti marginalne razdiobe od X i Y . Taj rezultat se moze prosiriti na bilo koju linearnukombinaciju bilo kojeg broja funkcija slucajnih varijabli.

Za nezavisne slucajne varijable X, Y takve da postoje matematicka ocekivanja od g(X)i h(Y ) vrijedi da postoji matematicko ocekivanje slucajne varijable g(X) · h(Y ) i da je

E[g(X) · h(Y )] = E[g(X)] · E[h(Y )]. (4.3)

Takoder se i taj rezultat moze poopciti na produkt bilo kojeg broja funkcija nezavisnihslucajnih varijabli.

41

4.6 Kovarijanca i koeficijent korelacije

Kovarijanca dviju slucajnih varijabli X, Y definira se kao broj

cov[X,Y ] := E[(X − E[X])(Y − E[Y ])] (4.4)

ako desna strana postoji. (4.4) je ekvivalentno sa

cov[X,Y ] = E[XY ]− E[X]E[Y ]. (4.5)

Fizikalna jedinica kovarijance jednaka je produktu fizikalnih jedinica od X i Y . Primijetiteda je cov[X,X] = Var[X].

Primjer 4.5 Za slucajne varijable X, Y iz primjera 4.1 je E[X] = 7/2, E[Y ] = 91/36 i

E[XY ] =6∑

i=1

6∑j=1

ijpij =6∑

i=1

i2(7− i)

36+

6∑i=1

6∑j=i+1

ij

36=

371

36,

pa je

cov[X,Y ] = E[XY ]− E[X]E[Y ] =371

36− 7

2· 9136

=35

24= 1.45833.

Navedimo neka svojstva kovarijance. Prvo, vrijedi

cov[aX + b, cY + d] = accov[X,Y ] (4.6)

za sve brojeve a, b, c, d i sve slucajne varijable X,Y za koje navedene kovarijance postoje.Dokaz. E[aX+b] = aE[X]+b i E[cY+d] = cE[Y ]+d pa je aX+b−E[aX+b] = a(X−E[X])

i cY + d− E[cY + d] = c(Y − E[Y ]), dakle,

cov[aX+b, cY +d] = E[a(X−E[X])·c(Y −E[Y ])] = acE[(X−E[X])(Y −E[Y ])] = accov[X,Y ].

Nadalje, za sve slucajne varijable X, Y , Z za koje navedene kovarijance postoje je

cov[X,Y + Z] = cov[X,Y ] + cov[X,Z]. (4.7)

Dokaz.

E[X(Y + Z)] = E[XY ] + E[XZ] (linearnost)

E[Y + Z] = E[Y ] + E[Z] (linearnost)

⇒ cov[X,Y + Z](4.5)= E[X(Y + Z)]− E[X]E[Y + Z] =

= E[XY ] + E[XZ]− E[X]E[Y ]− E[X]E[Z] =

(4.5)= cov[X,Y ] + cov[X,Z].

Ako su X i Y nezavisne slucajne varijable, tada je nuzno cov[X,Y ] = 0. Ta cinjenicaslijedi iz (4.5) i svojstva matematickog ocekivanja produkta nezavisnih varijabli (4.3).

Kovarijanca dviju slucajnih varijabli mjeri stupanj njihove linearne povezanosti . Istustvar mjeri koeficijent korelacije koji se definira kao kovarijanca njihovih standardiziranihverzija. Prema tome, za razliku od kovarijance, koeficijent korelacije je bezdimenzionalna

42

mjera stupnja njihove linearne povezanosti. Preciznije, koeficijent korelacije varijabli X, Yje broj

ρ = corr[X,Y ] := E[X − E[X]

σ(X)· Y − E[Y ]

σ(Y )](4.6)=

E[(X − E[X])(Y − E[Y ])]

σ(X) · σ(Y )

(4.4)=

cov[X,Y ]

σ(X) · σ(Y ).

Za koeficijent korelacije vrijedi da je

−1 ≤ ρ ≤ 1.

Ako je ρ = ±1, tada s vjerojatnosti jedan slijedi da su X i Y u linearnoj vezi. Ako jeρ = 0, tada kazemo da su X, Y nekorelirane slucajne varijable. Dakle, nezavisne slucajnevarijable su nekorelirane. Obrat ne vrijedi opcenito.

4.7 Varijanca zbroja slucajnih varijabli

Za svake dvije slucajne varijable X i Y koje imaju konacnu varijancu, je

Var[X + Y ] = Var[X] + Var[Y ] + 2cov[X,Y ]. (4.8)

Ako su X i Y nezavisne slucajne varijable, tada je

Var[X + Y ] = Var[X] + Var[Y ]. (4.9)

Matematickom indukcijom se moze pokazati da za niz slucajnih varijabli X1, X2,..., Xn

koje imaju konacnu varijancu, vrijedi

Var[n∑

i=1

Xi] =n∑

i=1

Var[Xi] + 2∑

1≤i<j≤n

cov[Xi, Xj ]. (4.10)

Ako su te varijable nezavisne, tada je

Var[n∑

i=1

Xi] =n∑

i=1

Var[Xi]. (4.11)

Primjer 4.6 Binomna slucajna varijabla X s parametrima (n, θ) se interpretira kao uku-pan broj uspjeha u nizu od n nezavisnih jednako distribuiranih Bernoullijevih pokusa svjerojatnosti uspjeha θ. Dakle, X se moze prikazati kao zbroj od n nezavisnih jednakodistribuiranih Bernoullijevih slucajnih varijabli X1, X2,..., Xn takvih da Xi indicira uspjehu i-tom pokusu (i = 1, 2, . . . , n). Buduci da je E[Xi] = θ i Var[Xi] = θ(1− θ) za sve i, zboglinearnosti matematickog ocekivanja je

E[X] =n∑

i=1

E[Xi] = (jednaka distribuiranost) = nθ,

a zbog nezavisnosti je

Var[X](4.11)=

n∑i=1

Var[Xi] = (jednaka distribuiranost) = nθ(1− θ).

43

4.8 Konvolucije

Neka su X i Y slucajne varijable sa zajednickom gustocom fX,Y i Z = X + Y njihovzbroj sto je takoder slucajna varijabla. Ako je vektor (X,Y ) diskretan, tada je Z diskretnaslucajna varijabla s funkcijom gustoce

fZ(z) = P(Z = z) = P(∪

x∈ImX

X = x, Y = z − x) (P3)=

∑x∈ImX

P(X = x, Y = z − x) =

=∑

x∈ImX

fX,Y (x, z − x).

Ako su X, Y nezavisne slucajne varijable, tada je

fZ(z) =∑

x∈ImX

fX(x)fY (z − x), z ∈ R. (4.12)

Funkciju fZ izrazenu u formi (4.12) zovemo konvolucijom funkcija fX i fY , i pisemo

fZ = fX ∗ fY .

Dakle, gustoca zbroja nezavisnih slucajnih varijabli jednaka je konvoluciji njihovih gustoca.U slucaju da su X, Y neprekidne slucajne varijable, gustoca njihovog zbroja Z = X +Y je

fZ(z) =

+∞∫−∞

fX,Y (x, z − x) dx, z ∈ R.

Ako su X i Y nezavisne, tada je

fZ(z) =

+∞∫−∞

fX(x)fY (z − x) dx, z ∈ R. (4.13)

Ta funkcija je takoder konvolucija funkcija fX i fY .Konvolucija vise funkcija f1, f2,..., fn definira se rekurzivno:

f1 ∗ f2 ∗ · · · ∗ fn := (f1 ∗ f2 ∗ · · · ∗ fn−1) ∗ fn.

Moze se pokazati da je gustoca zbroja n nezavisnih slucajnih varijabli jednaka konvolucijinjihovih gustoca. Ako su pri tome svih n varijabli jednako distribuirane s gustocom f , tadase n-terostruka konvolucija tih funkcija oznacava sa fn∗. Dakle, fn∗ je gustoca zbroja od nnezavisnih jednako distribuiranih (krace n.j.d.) slucajnih varijabli sa gustocom f . Funkcijudistribucije zbroja od n n.j.d. slucajnih varijabli X1, X2,..., Xn sa funkcijom distribucije Foznacavamo sa Fn∗:

Fn∗(x) := P(X1 +X2 + · · ·+Xn ≤ x), x ∈ R.

4.9 Razdiobe linearnih kombinacija nezavisnih slucajnih va-rijabli pomocu funkcija izvodnica

Neka su X1, X2,..., Xn nezavisne slucajne varijable i α1, α2,..., αn realni brojevi. Za njihovulinearnu kombinaciju

Y = α1X1 + α2X2 + · · ·+ αnXn,

44

zbog linearnosti matematickog ocekivanja, nezavisnosti i svojstava varijance (2.7) i (4.11),vrijedi da je

E[Y ] =n∑

i=1

αiE[Xi] (4.14)

Var[Y ] =n∑

i=1

α2iVar[Xi]. (4.15)

Distribucija slucajne varijable Y moze se dobiti pomocu konvolucija, ali jednostavnije jekoristiti f.i.v. ili f.i.m. buduci da postoji jednoznacna veza izmedu njih i razdioba.

Neka su X, Y nezavisne brojece slucajne varijable sa f.i.v. GX(t) i GY (t), i neka jeS = αX + βY jedna njihova linearna kombinacija sa koeficijentima α, β. Tada je

GS(t) = E[tS ] = E[tαX+βY ] = E[tαX · tβY ] (4.3)= E[tαX ] · E[tβY ] = GX(tα) ·GY (tβ).

U slucaju α = β = 1,GX+Y (t) = GX(t) ·GY (t). (4.16)

Taj rezultat se moze poopciti na zbroj Y = X1 + X2 + · · · + Xn n nezavisnih slucajnihvarijabli X1, X2,..., Xn:

GY (t) = GX1(t) ·GX2(t) · · ·GXn(t). (4.17)

U slucaju da su te varijable i jednako distribuirane, vrijedi:

GY (t) = (GX1(t))n. (4.18)

Primjer 4.7 Neka su X1, X2,..., Xn n.j.d. Bernoullijeve slucajne varijable s parametromθ. Tada je GXi(t) = θt+ 1− θ. Za Y := X1 +X2 + · · ·+Xn je

GY (t) = (GX1(t))n = (θt+ 1− θ)n

sto je f.i.v. binomne razdiobe (n, θ). Dakle, svaka se binomna (n, θ) slucajna varijabla mozereprezentirati kao zbroj od n n.j.d. Bernoullijevih varijabli s parametrom θ. Nadalje, nekasu X ∼ binomna (m, θ) i Y ∼ binomna (n, θ) nezavisne slucajne varijable. Tada je

GX+Y (t) = GX(t) ·GY (t) = (θt+ 1− θ)m · (θt+ 1− θ)n = (θt+ 1− θ)m+n,

dakle, zbroj dviju nezavisnih binomnih slucajnih varijabli s istim parametrom θ je opetbinomna slucajna varijabla.

Primjer 4.8 Neka jeX1,X2,...,Xk niz n.j.d. geometrijskih slucajnih varijabli s parametromuspjeha θ. Tada je

GXi(t) =θt

1− (1− θ)t, i = 1, 2, . . . , k.

Odavde slijedi da je f.i.v. za Y := X1 +X2 + · · ·+Xk jednaka

GY (t) =

(θt

1− (1− θ)t

)k

sto je f.i.v. negativne binomne razdiobe s parametrima (k, θ). Nadalje, buduci da geomet-rijska razdioba ima ocekivanje 1/θ i varijancu (1−θ)/θ2, negativna (k, θ)-binomna razdiobaima ocekivanje k/θ i varijancu k(1− θ)/θ2. Jos vise, na isti nacin mozemo zakljuciti da jezbroj dviju nezavisnih negativnih binomnih slucajnih varijabli s parametrima (k, θ) i (m, θ)opet negativna binomna razdioba s parametrima (k +m, θ).

45

Primjer 4.9 Neka su X ∼ P (λ) i Y ∼ P (µ) nezavisne Poissonove slucajne varijable. Tadaza njihov zbroj Z = X + Y vrijedi:

GZ(t) = GX(t) ·GY (t) = e−λ(t−1) · e−µ(t−1) = e−(λ+µ)(t−1)

sto je f.i.v. Poissonove razdiobe P (λ+ µ). Dakle, Z ∼ P (λ+ µ).

Neka su sada X, Y dvije nezavisne slucajne varijable sa f.i.m. MX(t) i MY (t), i neka jeza zadane brojeve α, β, S := αX + βY . Tada je

MS(t) = E[etS ] = E[et(αX+βY )] = E[etαX · etβY ] (4.3)= E[etαX ] · E[etβY ] = MX(αt) ·MY (βt).

U slucaju α = β = 1, za nezavisne slucajne varijable X i Y vrijedi:

MX+Y (t) = MX(t) ·MY (t). (4.19)

Slicno, za Y = X1 +X2 + · · ·+Xn, gdje su X1, X2,..., Xn n nezavisnih slucajnih varijabli:

MY (t) = MX1(t) ·MX2(t) · · ·MXn(t). (4.20)

U slucaju da su te varijable i jednako distribuirane, vrijedi:

MY (t) = (MX1(t))n. (4.21)

Primjer 4.10 Neka jeX1, X2,..., Xk niz n.j.d. eksponencijalnih Exp(λ)-slucajnih varijabli.Tada je

MXi(t) =λ

λ− t, za t < λ, i = 1, 2, . . . , k.

Odavde slijedi da je f.i.m. za Y = X1 +X2 + · · ·+Xk jednaka

MY (t) =

(λ

λ− t

)k

sto je f.i.m. Γ(k, 1/λ)-razdiobe. Dakle, svaka se Γ(k, 1/λ)-razdioba moze reprezentiratipomocu zbroja k n.j.d. Exp(λ)-slucajnih varijabli. Buduci da je E[Xi] = 1/λ i Var[Xi] =1/λ2, E[Y ] = k/λ i Var[Y ] = k/λ2. U interpretaciji, vrijeme do pojave k-tog dogadaja uPoissonovom procesu s intenzitetom λ je zbroj od k meduvremena pojavljivanja individu-alnih dogadaja.Opcenito, neka su X ∼ Γ(α, 1/λ) i Y ∼ Γ(β, 1/λ) nezavisne slucajne varijable i Z = X+Y .Tada je

MZ(t) = MX(t) ·MY (t) =

(λ

λ− t

)α

·(

λ

λ− t

)β

=

(λ

λ− t

)α+β

,

dakle, Z ∼ Γ(α + β, 1/λ). Odavde slijedi da ako su X ∼ χ2(n) i Y ∼ χ2(m) nezavisneslucajne varijable, da je tada X + Y ∼ χ2(n+m).

Primjer 4.11 Neka su X ∼ N(µX , σ2X) i Y ∼ N(µY , σ

2Y ) nezavisne normalne slucajne

varijable i Z = X + Y njihov zbroj. Tada je:

MZ(t) = MX(t) ·MY (t) = eµX t+σ2X2

t2 · eµY t+σ2Y2

t2 = e(µX+µY )t+(σ2

X+σ2

Y)

2t2

sto je f.i.v. normalne razdiobeN(µX+µY , σ2X+σ2

Y ). Dakle, zbroj dviju nezavisnih normalnodistribuiranih slucajnih varijabli je opet normalna slucajna varijabla Z ∼ N(µX+µY , σ

2X+

σ2Y ).

46

4.10 Uvjetno ocekivanje

Neka je (X,Y ) slucajni vektor. Uvjetno ocekivanje od Y uz dano X = x je matematickoocekivanje uvjetne distribucije od Y uz dano X = x, u oznaci E[Y |X = x]. Analognose definira uvjetno ocekivanje od X uz dano Y = y, E[X|Y = y]. Dakle, ako je (X,Y )diskretan slucajni vektor, tada je

E[Y |X = x] :=∑

y∈ImY

yfY |X(y|x),

a ako je neprekidan vektor, tada je

E[Y |X = x] :=

+∞∫−∞

yfY |X(y|x) dy,

uz uvjet da je u oba slucaja fX(x) > 0. Analogne definicijske formule vrijede za E[X|Y = y].Ukoliko su X i Y nezavisne slucajne varijable, primijetimo da je, zbog (4.1),

E[Y |X = x] = E[Y ] i E[X|Y = y] = E[X] (4.22)

za sve x i y takve da su pripadajuca uvjetna ocekivanja definirana.Funkcija x 7→ E[Y |X = x], koja je definirana za brojeve x za koje je fX(x) > 0, zove se

regresijska funkcija od Y na X = x. Ta se funkcija moze prosiriti na sve realne brojeve xna sljedeci nacin. Definiramo funkciju g : R → R sa

g(x) :=

E[Y |X = x] ako je fX(x) > 0

0 inace.

Ako je x opazena vrijednost slucajne varijable X, tada je g(x) regresijska funkcija od Y natoj vrijednosti od X. Oznacimo slucajnu varijablu g(X) = g X sa E[Y |X]. Tu slucajnuvarijablu zovemo uvjetno ocekivanje od Y za dano X. Analogno se definiraju regresijskafunkcija od X na Y = y i slucajna varijabla E[X|Y ], uvjetno ocekivanje od X za dano Y .

Buduci da je E[Y |X] slucajna varijabla, E[Y |X] ima svoju (vjerojatnosnu) razdiobu.Posebno nas zanima matematicko ocekivanje i varijanca te varijable. Vrijedi:

E[E[Y |X]] = E[Y ]. (4.23)

Dokaz. Prvo, pretpostavimo da je (X,Y ) diskretan slucajni vektor. Tada je

E[E[Y |X]] = E[g(X)] =∑

x∈ImX

g(x)fX(x) =∑

x∈ImX

E[Y |X = x]fX(x) =

=∑

x∈ImX

(∑

y∈ImY

yfY |X(y|x))fX(x) =∑

x∈ImX

∑y∈ImY

yfX,Y (x, y)

fX(x)fX(x) =

=∑

x∈ImX

∑y∈ImY

yfX,Y (x, y) =∑

y∈ImY

y(∑

x∈ImX

fX,Y (x, y)) =∑

y∈ImY

yfY (y) =

= E[Y ].

Ako je (X,Y ) neprekidan slucajni vektor, tada je dokaz isti kao za diskretan slucaj samosto se svuda sume zamijene integralima.

Oznacimo sa Var[Y |X = x] varijancu uvjetne razdiobe od Y uz dano X = x. Tada jeta varijanca takoder funkcija vrijednosti x od X takvih da je fX(x) > 0. Nadalje, vrijedida je

Var[Y |X = x] = E[Y 2|X = x]− E[Y |X = x]2. (4.24)

47

Kompozicaja te funkcije i slucajne varijable X je takoder slucajna varijabla koju oznaca-vamo Var[Y |X] i zovemo uvjetnom varijancom od Y uz dano X. Vrijedi:

Var[E[Y |X]] = Var[Y ]− E[Var[Y |X]]. (4.25)

Dokaz. Iz (4.24) je Var[Y |X] = E[Y 2|X]− E[Y |X]2 pa je

E[Var[Y |X]]lin.= E[E[Y 2|X]]− E[E[Y |X]2]

(4.23)= E[Y 2]− E[E[Y |X]2].

S druge strane je

Var[E[Y |X]] = E[E[Y |X]2]− E[E[Y |X]]2(4.23)= E[E[Y |X]2]− E[Y ]2.

Zbrajanjem lijevih, te desnih strana dobivenih jednakosti imamo

Var[E[Y |X]] + E[Var[Y |X]] = E[Y 2]− E[Y ]2 = Var[Y ]

odakle slijedi jednakost (4.25).

Primjer 4.12 Neka su N,X1, X2, . . . nezavisne slucajne varijable takve da su X1, X2, . . .jednako distribuirane s f.i.m. jednakom MX(t), a N je brojeca slucajna varijabla s f.i.v.GN (t). Nadalje, neka je

S = X1 +X2 + · · ·+XN ,

pri cemu uzimamo da je S = 0 na dogadaju N = 0. Tada je f.i.m. slucajne varijable Sjednaka

MS(t) = E[etS ] = (4.23) = E[E[etS |N ]] =

=∞∑n=0

E[etS |N = n]P(N = n) =

=∞∑n=0

E[et(X1+X2+···+Xn)|N = n]P(N = n) = (nez. i (4.22))

=∞∑n=0

E[et(X1+X2+···+Xn)]P(N = n) = (nez. i (4.21))

=∞∑n=0

MX(t)nP(N = n) = (def. f.i.v.)

= GN (MX(t)). (4.26)

48

Poglavlje 5

Centralni granicni teorem

Centralni granicni teorem (krace, CGT) jedan je od najvaznijih rezultata teorije vjero-jatnosti koji je nasao primjene u statistici. Na njemu se zasniva statisticko zakljucivanje(inferencijalna statistika) o populacijskim srednjim vrijednostima i proporcijama na osnovivelikih uzoraka i kada nije poznata populacijska distribucija. Jedan je od uzroka vaznostinormalne razdiobe u statsitici.

5.1 CGT

Teorem. (CGT) Neka je X1, X2,... niz n.j.d. slucajnih varijabli s konacnimmatematickim ocekivanjem µ i konacnom varijancom σ2 > 0. Nadalje, neka jeXn := (X1 + X2 + · · · + Xn)/n za sve prirodne brojeve n. Tada za sve a < bvrijedi

limn→+∞

P

(a ≤ Xn − µ

σ

√n ≤ b

)= Φ(b)− Φ(a),

gdje je Φ(x) funkcija distribucije jedinicne normalne razdiobe.

Drugim rijecima, kazemo da niz slucajnih varijabli (Xn − µ)√n/σ konvergira po dis-

tribuciji jednicnoj normalnoj razdiobi kada n tezi u beskonacnost, i pisemo

Xn − µ

σ

√n

D→ N(0, 1), n → ∞.

U sljedecem poglavlju pokazat cemo da je slucajna varijabla

Z =Xn − µ

σ

√n

standardizirana verzija od aritmeticke sredine Xn = (krace) = X. Nadalje, Z je i stan-dardizirana verzija od

∑ni=1Xi jer je

X − µ

σ

√n =

∑ni=1Xi − nµ

σ√n

.

Dakle, CGT kaze da standardizirana verzija aritmeticke sredine (odnosno, zbroja) od nn.j.d. slucajnih varijabli s konacnom ne-nul varijancom ima aproksimativno jedinicnu nor-malnu razdiobu za velike n. Ako sa “∼: ” oznacimo izraz “aproksimativno distribuirano”,tada pisemo

X − µ

σ

√n∼: N(0, 1) za veliko n, odnosno

∑ni=1Xi − nµ

σ√n

∼: N(0, 1) za veliko n.

49

Alternativno se koristi nestandardizirana verzija CGT-a:

X ∼: N(µ,σ2

n) za veliko n, odnosno

n∑i=1

Xi∼: N(nµ, nσ2) za veliko n.

Prirodno se postavlja pitanje koliko n mora biti velik da bi aproksimacija normalnomrazdiobom bila zadovoljavajuca. Obicno se uzima n ≥ 30, ali potpuni odgovor bi glasio davelicina od n ovisi o obliku razdiobe slucajnih varijabli Xi, preciznije, je li simetricna, aako nije, koliko je asimetricna. Ako je razdioba od Xi priblizno simetricna, tada i n = 10moze biti dovoljno velik, a ako je distrbucija znatno asimetricna, tada se mora uzeti baremn = 50. Na slikama 5.1, 5.2 i 5.3 ilustrirano je koliko dobro normalna razdioba aproksimiradistribuciju zbroja n.j.d. slucajnih varijabli (ili njihovih standardiziranih verzija) u ovisnostio n.

5.2 Normalna aproksimacija

Navedimo primjene CGT-a na neke od vaznih distribucija.

5.2.1 Binomna razdioba

Neka je X binomna (n, θ) slucajna varijabla. Tada znamo da se X moze reprezenti-rati pomocu zbroja X =

∑ni=1Xi od n n.j.d. Bernoullijevih slucajnih varijabli Xi (i =

1, 2, . . . , n) s parametrom θ. Buduci da je

µ = E[Xi] = θ, σ2 = Var[Xi] = θ(1− θ),

varijable Xi (i = 1, 2, . . . , n) zadovoljavaju uvjete CGT-a. Dakle,

X ∼: N(nθ, nθ(1− θ)) za velike n.

n je dovoljno velik ako je istovremeno nθ ≥ 5 i n(1 − θ) ≥ 5. Na primjer, ako je θ = 0.5,tada je dovoljno uzeti n = 10, a ako je θ = 0.2 ili θ = 0.8 treba uzeti barem n = 25.Za manje (ili vece) θ treba uzeti veci n. Na slici 5.1 graficki je prikazana aproksimacijabinomne pomocu normalne razdiobe za razne vrijednosti parametra n.

5.2.2 Poissonova razdioba

Neka je X1, X2,..., Xn niz n.j.d. P (λ)-distribuiranih slucajnih varijabli. Dakle,

µ = E[Xi] = λ, σ2 = Var[Xi] = λ,

pa je prema CGT-u za X =∑n

i=1Xi,

X ∼: N(nλ, nλ) za velike n.

S druge strane, X ∼ P (nλ), pa gornja relacija za granicno ponasanje od X povlaci da je

P (λ)∼: N(λ, λ) za veliko λ.

Ta aproksimacija je dobra za λ > 5.

50

10 20 30 40 50 60

0.050.1

0.150.2

0.25

10 20 30 40 50 60

0.050.1

0.150.2

0.25

10 20 30 40 50 60

0.050.1

0.150.2

0.25

10 20 30 40 50 60

0.050.1

0.150.2

0.25

10 20 30 40 50 60

0.050.1

0.150.2

0.25

10 20 30 40 50 60

0.050.1

0.150.2

0.25

Slika 5.1: Usporedba histograma binomne (n, 25) razdiobe i gustoce pripadne normalneN(25n,

65n) razdiobe za n = 10, 20, 40, 60, 80, 100.

51

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

-4 -3 -2 -1 1 2 3 4

0.10.20.30.40.5

Slika 5.2: Usporedba histograma standardizirane verzije binomne (n, 25) razdiobe i gustocejedinicne normalne razdiobe za n = 10, 20, 40, 60, 80, 100.

52

4 6 8 10 12 14 16

2 3 4 5 6 7 8

1 1.5 2 2.5 3 3.5 4

0.5 0.75 1 1.25 1.5 1.75 2

0 0.2 0.4 0.6 0.8 1

Slika 5.3: Usporedba histograma konvolucija fn∗ gustoce f diskretne vjerojatnosne raz-diobe s gustocama pripadnih normalnih razdioba (s istim matematickim ocekivanjem ivarijancom) za n = 1, 2, 4, 8, 16.

53

5.2.3 Gama razdioba

Neka je X1, X2,..., Xn niz n.j.d. Exp(λ)-distribuiranih slucajnih varijabli. Dakle,

µ = E[Xi] =1

λ, σ2 = Var[Xi] =

1

λ2,

pa je prema CGT-u za X =∑n

i=1Xi ∼ Γ(k, 1/λ),

X ∼: N(n

λ,n

λ2) za velike n.

Slicno,

χ2(n) ≡ Γ(n

2, 2)∼: N(n, 2n) za veliki broj stupnjeva slobode n.

5.3 Korekcija zbog neprekidnosti

Na primjer, u slucaju aproksimacije binomne ili Poissonove razdiobe normalnom, diskretnurazdiobu aproksimiramo neprekidnom razdiobom. Iako je za diskretnu slucajnu varijabluX sasvim legitimno racunati vjerojatnosti diskretnih dogadaja oblika X = x, u slucajuneprekidnih varijabli, te vjerojatnosti su uvijek jednake nula. Dakle, problem je kakoracunati aproksimativne vrijednosti vjerojatnosti takvih dogadaja pomocu neprekidnih raz-dioba. Rjesenje je da se svaka cjelobrojna vrijednost tretira kao da je dobivena zaokruzi-vanjem varijable na najblizi cijeli broj, odnosno da se zapis dogadaja pomocu diskretnihvrijednosti izrazi u ekvivalentnom obliku izrazenom pomocu poprimanja vrijednosti vari-jable u intervalu. Na primjer, sljedeci dogadaji su ekvivalentni:

X = 4 = 3.5 < X < 4.5X > 15 = X > 15.5X ≥ 15 = X > 14.5.

Kazemo da radimo korekciju zbog neprekidnosti .

Primjer 5.1 Neka je X ∼ P (20). Izracunajmo P(X ≤ 15) egzaktno i pomocu normalneaproksimacije X ∼: N(20, 20) i usporedimo rezultate. Egzaktnu vrijednost vjerojatnostinavedenog dogadaja mozemo ocitati iz tablica za Poissonovu razdiobu ili izracunati poformuli

P(X ≤ 15) =15∑k=0

fX(k)

gdje su vjerojatnosti fX(k) (k = 0, 1, . . . , 15) izracunate pomocu rekurzivne relacije:

fX(k) =λ

kfX(k − 1), za k ≥ 1 i uz pocetnu vrijednost fX(0) = e−λ,

za λ = 20. Izlazi da je egzatno P(X ≤ 15) = 0.15651. Pomocu normalne aproksimacijeracun je jednostavniji:

P(X ≤ 15) = P(X < 15.5) (korekcija zbog neprekidnosti)

= P(X − 20√

20<

15.5− 20√20

) = P(Z < −1.006) (standardizacija)

≈ Φ(−1.006) (normalna aproksimacija)

=1

2− Φ0(1.006) = (tablice) = 0.15721.

Pogreska je |0.15721 − 0.15651| = 0.0007, odnosno relatina pogreska je 0.0007/0.15651 =0.45%.

54

Poglavlje 6

Uzorkovanje i statistickozakljucivanje

O populacijskoj razdiobi varijable koju izucavamo informacije dobivamo iz uzorka uzetog izte populacije. Na primjer, procjenu populacijske srednje vrijednosti ili proporcije, odnosnoutvrdivanje istinitosti hipoteza o populacijskoj razdiobi donosimo na osnovi vrijednosti izuzorka.

6.1 Osnovne definicije

Sve definicije u ovom poglavlju temelje se na pretpostavci da su populacije beskonacne. Iakoje vecina populacija koje su u fokusu interesa aktuara u stvarnosti konacna, na primjer,osiguranici, police, zaposlenici, zgrade itd., njihova brojnost je dovoljno velika da se na njihmogu primijeniti metode statistickog zakljucivanja (inferencijalne statistike) o beskonacnimpopulacijama.

Slucajni uzorak je niz n.j.d. slucajnih varijabli. Oznacavamo ga sa X. Na primjer, akose sastoji od n n.j.d. varijabli X1, X2,..., Xn, X je slucajni vektor

X = (X1, X2, . . . , Xn).

Intuitivno, slucajni uzorak predstavlja niz mjerenja (opazanja) slucajnih vrijednosti izuca-vane varijableX na clanovima (jedinicama) odabranih u uzorak na slucajan nacin iz popula-cije. Kazemo da se clanovi biraju u uzorak na slucajan nacin ako svaki element iz populacijeima jednaku sansu da bude izabran u uzorak i neovisno od drugih clanova u uzorku. Uztu interpretaciju, dakle, varijable X1, X2,..., Xn su nezavisne i imaju distribuciju jednakupopulacijskoj distribuciji varijable X. Oznacimo sa f(x|θ) gustocu populacijske razdiobeod X, dakle, razdiobu svake od varijabli u slucajnom uzorku. θ oznacava parametre terazdiobe.

Uredenu n-torku brojeva x = (x1, x2, . . . , xn) koja predstavlja realizaciju slucajnoguzorka X zovemo opazeni uzorak .

Statistika je funkcija slucajnog uzorka koja ne sadrzi nepoznate parametre. Na primjer,uzoracka sredina

X =1

n

n∑i=1

Xi

i uzoracka varijanca

S2 =1

n− 1

n∑i=1

(Xi −X)2

55

su statistike, dok uzoracki drugi moment oko parametra ocekivanja µ = E[X],

1

n

n∑i=1

(Xi − µ)2

nije statistika, ukoliko nam vrijednost od µ nije poznata. Opcenito statistike oznacavamosa g(X).

Buduci da je statistika funkcija slucajnih varijabli, slucajna je varijabla pa ima svojurazdiobu koju zovemo uzorackom razdiobom. Primijetite da je zbog CGT-a uzoracka raz-dioba uzoracke sredine X za velike uzorke aproksimativno normalna bez obzira koja jepopulacijska razdioba izucavane varijable X (uz jedini uvjet da je populacijska varijancakonacna i nije jednaka nuli).

6.2 Momenti uzoracke sredine i varijance

Neka je X = (X1, X2, . . . , Xn) slucajni uzorak duljine n iz populacije opisane varijablomX cija populacijska razdioba ima matematicko ocekivanja µ i varijancu σ2. Krace kazemoda je X slucajni uzorak iz populacije s parametrima ocekivanja µ i varijance σ2.

6.2.1 Uzoracka sredina

Uzoracka sredina je statistika

X =1

n

n∑i=1

Xi.

Racunamo matematicko ocekivanje i varijancu uzoracke razdiobe te statistike:

E[X] =1

n

n∑i=1

E[Xi] (linearnost ocekivanja)

=1

n· nµ = µ (jednaka distribuiranost)

Var[X](2.7)=

1

n2Var[

n∑i=1

Xi] =1

n2

n∑i=1

Var[Xi] (nezavisnost)

=1

n2· nσ2 =

σ2

n(jednaka distribuiranost).

Dakle,

E[X] = µ (6.1)

Var[X] =σ2

n. (6.2)

Standardna devijacija od X zove se standardna greska uzoracke sredine, i oznacava se sas.e.(X). Dakle,

s.e.(X) := σ(X) =σ√n.

6.2.2 Uzoracka varijanca

Uzoracka varijanca je statistika

S2 =1

n− 1

n∑i=1

(Xi −X)2.

56

Koristeci identitete

S2 =1

n− 1

n∑i=1

X2i − n

n− 1X

2, E[Y 2] = Var[Y ] + E[Y ]2,

racunamo matematicko ocekivanje od S2:

E[S2] =1

n− 1

n∑i=1

E[X2i ]−

n

n− 1E[X2

] (linearnost ocekivanja)

=1

n− 1

n∑i=1

(Var[Xi] + E[Xi]2)− n

n− 1(Var[X] + E[X]2) =

=1

n− 1· n(σ2 + µ2)− n

n− 1(σ2

n+ µ2) (jednaka distribuiranost, (6.1), (6.2))

=1

n− 1· (n− 1)σ2 = σ2.

Dakle,E[S2] = σ2. (6.3)

Varijancu te statistike izracunat cemo u sljedecem potpoglavlju samo u jednom specijalnom,ali vaznom, slucaju: za uzorke iz normalno distribuiranih populacija.

6.3 Uzoracke razdiobe statistika normalnog uzorka

Neka je X = (X1, X2, . . . , Xn) slucajni uzorak duljine n iz populacije s normalnom dis-tribucijom (krace, normalne populacije) N(µ, σ2).

6.3.1 Uzoracka sredina

Zbog svojstva invarijantnosti normalne razdiobe na linearne kombinacije nezavisnih nor-malno distribuiranih slucajnih varijabli, X ima normalnu (uzoracku) razdiobu, preciznije:

X ∼ N(µ,σ2

n).

Prema tome, sandardizirana verzija Z od X ima jedinicnu normalnu razdiobu:

Z =X − µ

σ

√n ∼ N(0, 1).

Usporedimo li taj zakljucak sa CGT-om, vidimo da u slucaju normalno distribuiranoguzorka, konvergencija standardiziranih verzija aritmetickih sredina iz CGT-a prelazi u i-dentitet.

6.3.2 Uzoracka varijanca

Za uzoracku varijancu S2 normalnog uzorka vrijedi da je

(n− 1)S2

σ2∼ χ2(n− 1).

57

Dakle, S2 ima χ2-distribuciju koja je pozitivno asimetricna i ciji se koeficijent asimetrijesmanjuje povecanjem duljine uzorka (primijetite da je χ2(k)∼: N(k, 2k) za velike k). Vrijedi:

E[(n− 1)S2

σ2] = E[χ2(n− 1)] = n− 1 ⇒ E[S2] = σ2

Var[(n− 1)S2

σ2] = Var[χ2(n− 1)] = 2(n− 1) ⇒ Var[S2] =

2σ4

n− 1

Za obje statistike X i S2 vrijedi da im varijance teze u nulu porastom uzorka. Buduci daje E[X] = µ i E[S2] = σ2, to znaci da X tezi vrijednosti parametra µ i isto tako S2 tezivrijednosti parametra σ2 kako velicina uzorka raste. To su pozeljna svojstva tih statistika.

6.3.3 Nezavisnost uzoracke sredine i varijance

Sljedece vazno svojstvo uzorka iz normalne razdiobe je nezavisnost statistika X i S2. Dokazte cinjenice nije jednostavan, ali je njezina vjerodostojnost vidljiva iz sljedeceg promisljanja.Ako uzorak dolazi iz normalne razdiobe, tada vrijednost x statistike X na opazenom uzorkune daje nikakve informacije o parametru σ2. Isto tako ni vrijednost s2 statistike S2 ne dajenikakvu informaciju o parametru µ. Naprotiv, ako uzorak dolazi iz, na primjer, eksponen-cijalno distribuirane populacije, tada x nosi informaciju i o populacijskoj varijanci jer suparametri µ i σ2 za takvu populaciju povezani relacijom σ2 = µ2.

6.4 Studentova t-distribucija

Za statisticko zakljucivanje o parametru ocekivanja µ koristi se standardizirana verzija Zstatistike X:

Z =X − µ

σ

√n,

ako je poznata vrijednost parametra standardne devijacije σ. U tom slucaju je uzorackarazdioba od Z:

Z ∼ N(0, 1) ako je X uzet iz normalne populacije,

Z ∼: N(0, 1) ako je n dovoljno velik i 0 < σ2 < +∞.

Ako je vrijednost od σ nepoznata, za zakljucivanje o µ koristi se studentizirana verzija Tod X, dakle, slucajna varijabla

T :=X − µ

S

√n

gdje je S =√S2 uzoracka standardna devijacija.

Pokazuje se da za uzorak X iz normalne populacije uzoracka razdioba od T ne ovisi oparametrima µ i σ2 te populacije, vec samo o duljini uzorka. Kazemo da T ima Studentovuili t-razdiobu s n− 1 stupnjem slobode. Tu cinjenicu zapisujemo na sljedeci nacin:

T ∼ t(n− 1).

Ako populacijska razdioba nije normalna, taj rezutat ne mora vrijediti.Opcenito, ako su Z i V dvije nezavisne slucajne varijable, Z ∼ N(0, 1) i V ∼ χ2(k),

tada slucajna varijabla Z/√V/k ima Studentovu ili t-distribuciju s k stupnjeva slobode, i

pisemoZ√V/k

∼ t(k).

58

-4 -2 2 4

0.1

0.2

0.3

0.4

k=7

-4 -2 2 4

0.1

0.2

0.3

0.4

k=30

-4 -2 2 4

0.1

0.2

0.3

0.4

k=1

-4 -2 2 4

0.1

0.2

0.3

0.4

k=3

Slika 6.1: Usporedba gustoca t(k)-razdioba s gustocom N(0, 1)-razdiobe za k = 1, 3, 7, 30.

Vrijednosti t-razdiobe su tabelirane1.Za k > 1, t(k)-razdioba ima matematicko ocekivanje, a za k > 2 ima i varijancu, i

vrijedi

E[t(k)] = 0, Var[t(k)] =k

k − 2.

Studentova t(1)-razdioba zove se jos Cauchyjeva distribucija. Za tu razdiobu vrijedi danema niti jedan moment. Dakle, za Cauchyjevu razdiobu ne vrijedi CGT. Cauchyjevarazdioba se hipotetski moze pojaviti kao uzoracka razdioba statistike T koja se racunana normalnom uzorku duljine n = 2, ali tako mali uzorci se u pravilu ne pojavljuju uprimjenama.

Nadalje, vrijedi

t(k)D→ N(0, 1), k → ∞.

Brzina te konvergencije ilustrirana je na slici 6.1 usporedbom grafova gustoca t(k)-razdiobaza k = 1, 3, 7, 30 sa Gaussovom krivuljom jedinicne normalne radiobe.

Za populaciju koja nije normalno distribuirana studentizirana verzija T od X ne moraimati t-razdiobu, ali prema CGT-u i zbog cinjenice da S tezi ka σ kada n raste,

T =X − µ

S

√n∼: N(0, 1) za velike n,

sto se koristi za statisticko zakljucivanje o parametru µ na osnovi velikih uzoraka.

1Najcesce su tabelirane vrijednosti tα(k) (1−α)-kvantila t(k)-razdiobe. Brojevi tα(k) jos se zovu kriticnevrijednosti i opisuju se relacijom P(T ≥ tα(k)) = α ako je T ∼ t(k).

59

6.5 Fisherova F -razdioba

Ako su U i V dvije nezavisne slucajne varijable, U ∼ χ2(ν1), V ∼ χ2(ν2), tada slucajnavarijabla

F :=U/ν1V/ν2

ima Fisherovu ili F -razdiobu s (ν1, ν2) stupnjeva slobode. Pisemo

F ∼ F (ν1, ν2).

Neka su S21 i S2

2 uzoracke varijance dvaju nezavisnih uzoraka duljine n1, odnosno n2 iznormalno distribuiranih populacija s varijancama σ2

1, odnosno σ22. Tada vrijedi:

S21/σ

21

S22/σ

22

∼ F (n1 − 1, n2 − 1). (6.4)

Pri tome je svejedno kako smo uzorke numerirali. Odavde odmah slijedi ekvivalencija:

F ∼ F (ν1, ν2) ⇔ 1

F∼ F (ν2, ν1).

Ta se cinjenica koristi kod izracunavanja kriticnih vrijednosti iz tablica za F -distribuciju,buduci da su tabelirani samo neki kvantili2.

Na kraju, spomenimo da (6.4) ne mora vrijediti ako obje populacije nisu normalnodistribuirane ili ako uzorci nisu nezavisni jedan od drugoga.

2U tablicama se najcesce nalaze samo 0.95 i 0.99-kvantili F -razdioba, dakle kriticne vrijednosti fα(ν1, ν2)za α = 0.05 ili 0.01 opisane relacijom P(F ≥ fα(ν1, ν2)) = α za F ∼ F (ν1, ν2). 0.05 i 0.01-kvantili, odnosnokriticne vrijednosti f1−α(ν1, ν2) racunaju se pomocu formule f1−α(ν1, ν2) = 1/fα(ν2, ν1).

60

Poglavlje 7

Tockovne procjene

U ovom poglavlju navest cemo metode za odredivanje procjenitelja parametara populacijskerazdiobe, odnosno statistika koje sluze za procjenjivanje njihovih vrijednosti, i navest cemoneka njihova svojstva.

7.1 Metoda momenata

Osnovni princip metode momenata je da se izjednace populacijske vrijednosti momenata(koje su funkcije nepoznatih parametara) s odgovarajucim uzorackim momentima. Procje-nitelji parametara su rjesenja tog sustava jednadzbi po parametrima kao nepoznanicama,dakle funkcije su uzorackih momenata, a time i slucajnog uzorka. Procjena populacijskogparametra je vrijednost procjenitelja na opazenom uzorku. Dakle, procjenitelj je statistika,a procjena je broj, njena opazena vrijednost.

7.1.1 Jednoparametarski slucaj

Neka je x opazeni uzorak za varijablu X cija je populacijska razdioba opisana gustocomf(x|θ). Ako imamo samo jedan nepoznati parametar θ, izracunajmo populacijsko ocekiva-nje

µ(θ) = E[X] =

∑

x∈ImX xf(x|θ) ako je X diskretna slucajna varijabla+∞∫−∞

xf(x|θ) dx ako je X neprekidna slucajna varijabla

kao funkciju od θ, te uzoracku sredinu x. Procjena od θ metodom momenata je rjesenjejednadzbe

µ(θ) = x.

Oznacimo dobivenu procjenu sa θ = θ(x). Tada je procjenitelj za θ metodom momenatastatistika θ(X). Kada je iz konteksta jasno da se radi o procjenitelju (a ne o njegovojrealizaciji, procjeni), krace cemo ga oznacavati sa θ. Primijetite da je θ, u stvari, funkcijaprvog uzorackog momenta X.

Primjer 7.1 Neka jeX = (X1, X2, . . . , Xn) slucajni uzorak za varijabluX s populacijskomExp(λ)-razdiobom, pri cemu je λ > 0 nepoznati parametar. Znamo da je µ(λ) = E[X] =1/λ. Izjednacavanje prvih momenata, populacijskog i opazenog uzorackog, dobijemo:

1

λ= x ⇒ λ =

1

x.

61

Dakle, procjenitelj metodom momenata za parametar λ eksponencijalne populacijske raz-diobe je λ = λ(X) = 1/X.

Moze se dogoditi da populacijsko ocekivanje nije funkcija nepoznatog parametra. U tomslucaju izjednacavaju se momenti prvog viseg reda za koji je populacijski moment funkcijaparametra.

Primjer 7.2 Neka je X = (X1, X2, . . . , Xn) slucajni uzorak za uniformnu razdiobu naintervalu [−θ, θ] s nepoznatim parametrom θ > 0. Buduci da je µ = 0, a σ2 = Var[X] =θ2/3, izjednacimo populacijsku i uzoracku varijancu i dobivenu jednadzbu rijesimo po θ:

θ2

3= s2 ⇒ θ = s

√3.

Dakle, procjenitelj metodom momenata za parametar θ uniformne populacijske razdiobena [−θ, θ] je θ = θ(X) = S

√3, gdje je S uzoracka standardna devijacija.

7.1.2 Dvoparametarski slucaj

Ako su dva populacijska parametra nepoznata, odnosno ako je θ = (θ1, θ2) dvodimenziona-lan populacijski parametar, tada izjednacimo prve i druge populacijske momente µ(θ1, θ2) =E[X] i µ2(θ1, θ2) := E[X2] sa pripadnim uzorackim momentima:

µ(θ1, θ2) = xµ2(θ1, θ2) = 1

n

∑ni=1 x

2i

(7.1)

Rjesenje (θ1, θ2) = (θ1(x), θ2(x)) tog sustava jednadzbi cine procjene metodom momenataparametara θ1, θ2. Prema tome, procjenitelji metodom momenata za te parametre su sta-tistike θ1(X) i θ2(X).

Cesto se procjenitelji metodom momenata za dva nepoznata parametra, umjesto rjesa-vanjem sustava (7.1), traze rjesavanjem sustava:

µ(θ1, θ2) = xσ2(θ1, θ2) = s2,

gdje je σ2(θ1, θ2) = Var[X] populacijska, a s2 opazena uzoracka varijanca.

Primjer 7.3 Neka je X slucajni uzorak iz normalno N(µ, σ2)-distribuirane populacije snepoznatim parametrima θ = (µ, σ2). Buduci da su E[X] = µ i Var[X] = σ2, procjeniteljimetodom momenata za µ i σ2 su trivijalno

µ = X, σ2 = S2.

U slucaju veceg broja nepoznatih parametara, sustave jednadzbi treba tvoriti izjed-nacavanjem populacijskih i uzorackih momenata oko nule. Primijetite da su procjeniteljimetodom momenata uvijek funkcije uzorackih momenata.

7.2 Metoda najvece vjerodostojnosti

Metoda maksimalne vjerodostojnosti (krace ML) smatra se najboljom opcom metodomza nalazenje dobrih procjenitelja populacijskih parametara. Procjenitelji dobiveni ovommetodom imaju dobra i lako odredljiva asimptotska svojstva, dakle, posebno su dobri zaprocjenjivanje na osnovi velikih uzoraka.

62

7.2.1 Jednoparametarski slucaj

Neka je x = (x1, x2, . . . , xn) opazeni uzorak za varijablu X s populacijskom gustocomf(x|θ), te neka je θ jednodimenzionalan parametar. Tada je vjerodostojnost parametra θfunkcija

L(θ) :=n∏

i=1

f(xi|θ).

Vjerodostojnost nepoznatog populacijskog parametra je, dakle, vjerojatnost da se dogodirealizacija uzorka koja je opazena ako je populacijska distribucija diskretna, odnosno pro-porcionalna je vjerojatnosti okoline opazene realizacije u neprekidnom slucaju, izrazena kaofunkcija nepoznatog parametra.

Procjena metodom maksimalne vjerodostojnosti parametra θ je ona vrijednost θ za kojufunkcija θ 7→ L(θ) poprima maksimalnu vrijednost:

L(θ) = maxθ

L(θ).

Ocito je θ = θ(x). Dakle, procjenitelj metodom maksimalne vjerodostojnosti , krace MLE,parametra θ je statistika θ(X).

Cesto se ne trazi maksimum vjerodostojnosti nego njenog logaritma, tzv. log-vjerodos-tojnosti :

ℓ(θ) := logL(θ),

buduci da se maksimumi tih dviju funkcija postizu u istoj vrijednosti za θ, a log-vjerodostoj-nost je u pravilu jednostavnija funkcija za maksimiziranje. Ako je θ 7→ ℓ(θ) diferencijabilnafunkcija, tada je MLE θ jedno od rjesenja stacionarne jednadzbe:

ℓ′(θ) = 0.

Dakle, MLE efektivno trazimo tako da rijesimo stacionarnu jednadzbu, te kao MLE izdvo-jimo ono rjesenje koje maksimizira log-vjerodostojnost. Na taj nacin mozemo MLE trazitijedino ako ImX ne ovisi o parametru θ.

Cesto nas osim parametra θ zanima neka funkcija g(θ) tog parametra. Za bilo kojufunkciju g vrijedi da je MLE g(θ) od g(θ) jednak g(θ) gdje je θ MLE za θ. Kazemo da proc-jenitelj metodom maksimalne vjerodostojnosti ima svojstvo invarijantnosti na funkcijsketransformacije parametara.

Primjer 7.4 Neka je X = (X1, X2, . . . , Xn) slucajni uzorak iz populacije s Exp(λ)-raz-diobom, pri cemu je λ > 0 nepoznati parametar. Tada je na osnovi opazenog uzorkax = (x1, x2, . . . , xn), vjerodostojnost od λ:

L(λ) =n∏

i=1

λe−λxi = λne−λ∑n

i=1xi = λne−nλx.

Nadalje, buduci da ImX = ⟨0,+∞⟩ ne ovisi o λ, MLE za λ trazimo rjesavajuci stacionarnujednadzbu od log-vjerodostojnosti:

ℓ(λ) = logL(λ) = n log λ− nλx

ℓ′(λ) = 0 ⇔ n

λ− nx = 0 ⇔ λ =

1

x.

Dakle, MLE od λ je λ = λ(X) = 1/X. Nadalje, buduci da je µ(λ) = 1/λ populacijskoocekivanje, zbog invarijantnosti od MLE vrijedi da je MLE populacijskog ocekivanja jednakµ(λ) = µ(λ) = X.

63

Primjer 7.5 Neka je x = (x1, x2, . . . , xn) opazeni uzorak s populacijskom gustocom

f(x|θ) =

2θ2x ako je 0 ≤ x ≤ θ,0 inace

i nepoznatim parametrom θ > 1. Vjerodostojnost od θ je:

L(θ) =n∏

i=1

f(xi|θ) =

2n

θ2n∏n

i=1 xi ako je θ ≥ x(n)0 inace,

gdje je x(n) maksimalna vrijednost u nizu x. Buduci da ImX = [0, θ] ovisi o parametru,MLE ne mozemo traziti rjesavajuci stacionarnu jednadzbu log-vjerodostojnosti. Iz oblikafunkcije θ 7→ L(θ) ocito je da je L(θ) > 0 samo za θ ≥ x(n), a na tom intervalu funkcija

strogo pada. Dakle, maksimum vjerodostojnosti se postize u tocki θ = x(n), pa je MLE za

θ statistika θ(X) = X(n).

7.2.2 Viseparametarski slucaj

Metoda je ista kao za jednoparametarski slucaj, samo sto se kod trazenja maksimumalog-vjerodostojnosti stacionarna jednadzba svodi na sustav vise jednadzbi s vise nepoz-nanica. Naime, taj sustav cine parcijalne derivacije log-vjerodostojnosti po nepoznatimparametrima izjednacene sa nulom. Na taj nacin trazimo MLE samo ako slika varijable X,ImX, ne ovisi o parametrima.

Primjer 7.6 Neka je x = (x1, x2, . . . , xn) opazeni uzorak iz normalne populacije N(µ, σ2)s nepoznatim parametrima µ, σ2. Vjerodostojnost i pripadna log-vjerodostojnost tih para-metara su

L(µ, σ2) =n∏

i=1

1√σ22π

e−1

2σ2 (xi−µ)2 =1

(2πσ2)n/2e−

12σ2

∑n

i=1(xi−µ)2

ℓ(µ, σ2) = logL(µ, σ2) = − 1

2σ2

n∑i=1

(xi − µ)2 − n

2log σ2 − n

2log(2π).

Buduci da ImX = R ne ovisi o parametrima, MLE se nalazi rjesavanjem sustava:

∂ℓ

∂µ(µ, σ2) = 0,

∂ℓ

∂σ2(µ, σ2) = 0 ⇔ µ = x, σ2 =

n− 1

ns2.

Dakle, MLE za (µ, σ2) je (X, n−1n S2).

7.2.3 Nepotpuni uzorci

Metoda ML se moze primijeniti u situacijama kada je uzorak nepotpun. Na primjer, kadaimamo rezane podatke ili kada imamo cenzurirane podatke za koje znamo jedino da jeopazena vrijednost veca od neke fiksne vrijednosti. Preciznije, neka su opazene vrijednostix1, x2, . . . , xn, a za ostalih m vrijednosti u uzorku zna se samo da su vece od broja y.Ako oznacimo sa Pθ(X > y) vjerojatnost da ce vrijednost varijable X (dakle, opazenavrijednost) biti veca od y (buduci da je to funkcija parametra θ, da bi to naglasili, θ pisemokao indeks), vjerodostojnost od θ je

L(θ) :=n∏

i=1

f(xi|θ) · (Pθ(X > y))m.

MLE se kao i prije dobije maksimiziranjem te funkcije ili njenog logaritma. Pri tome jecesto nemoguce dobiti eksplicitno rjesenje, pa se do procjena dolazi numerickim metodama.

64

Primjer 7.7 Pretpostavimo da se u opazenom uzorku iz Exp(λ)-distribuirane populacijenalaze vrijednosti x1, x2,..., xn, a da se za ostalih m zna da su vece od broja y. Tada jevjerodostojnost

L(λ) =n∏

i=1

f(xi|θ) · (Pθ(X > y))m =n∏

i=1

λe−λxi · (e−λy)m = λne−λ(nx+my)

⇒ ℓ(λ) = n log λ− λ(nx+my)

⇒ ℓ′(λ) =n

λ− (nx+my).

Dakle, procjena za λ je rjesenje:

ℓ′(λ) = 0 ⇔ n

λ− (nx+my) = 0 ⇔ λ =

1

x+ mn y

.

Zapis procjenitelja λ(X) je nesto slozeniji. Naime, primijetite da su n i m slucajne vrijed-nosti (jedino je njihov zbroj, n+m, fiksan i jednak duljini slucajnog uzorka).

Primjer 7.8 Iz 100000 polica autoodgovornosti izvuceni su podaci o stetama u jednojgodini. Frekvencijska tablica pokazuje nam brojeve polica po kojima je bilo 1, 2, 3, 4, te 5i vise steta.

broj steta broj polica

0 810561 161742 24353 2954 36

≥ 5 4

Σ 100000

Uz pretpostavku da se brojevi steta po polici autoodgovornosti u godini dana ravnaju poPoissonovom zakonu razdiobe P (λ), treba procijeniti nepoznati parametar λ. Primijetiteda se radi o nepotpunom uzorku jer za 4 vrijednosti iz razreda “≥ 5” ne znate kolike su,ali znate da su vece od ili jednake y = 5. Buduci da je

f(k|λ) = Pλ(X = k) =λk

k!e−λ za k = 0, 1, . . .

Pλ(X ≥ 5) = 1− Pλ(X ≤ 4) = 1− e−λ(1 + λ+λ2

2+

λ3

6+

λ4

24),

vjerodostojnost, odnosno log-vjerodostojnost je

L(λ) = f81056(0|λ) · f16174(1|λ) · f2435(2|λ) · f295(3|λ) · f36(4|λ) · (Pλ(X ≥ 5))4 =

=1

22435 · 6295 · 2436e−99996λλ22073(1− e−λ(1 + λ+

λ2

2+

λ3

6+

λ4

24))4

ℓ(λ) = logL(λ) = −100000λ+ 22073 log λ+ 4 log(eλ − (1 + λ+λ2

2+

λ3

6+

λ4

24))− C,

gdje je C = log(22435·6295·2436). Procjena λmetodomML je rjesenje stacionarne jednadzbe:

ℓ′(λ) = −100000 +22073

λ+

eλ − (1 + λ+ λ2

2 + λ3

6 )

eλ − (1 + λ+ λ2

2 + λ3

6 + λ4

24 )= 0.

65

Ocito se ta jednadzba mora rjesavati numerickim metodama. Da bi je rijesili, na primjer,Newtonovom metodom, treba nam pocetna vrijednost za iteracije λ0 koja se nalazi u okolinitrazene tocke maksimuma. Do nje mozemo doci grubom procjenom za λ, a nju mozemodobiti ako 4 vrijednosti iz razreda “≥ 5” tretiramo kao da su tocno jednake 5, pa primijenimometodu momenata. Buduci da je λ populacijsko ocekivanje, (gruba) procjena λ metodommomenata iznosi

λ = x ≈ 81056 · 0 + 16174 · 1 + 2435 · 2 + 295 · 3 + 36 · 4 + 4 · 5100000

= 0.22093.

Dakle, uzmimo λ0 = 0.22093. Newtonovom metodom dobijemo da je rjesenje stacionarnejednadzbe log-vjerodostojnosti

λ = 0.22078.

Primijetite da se gruba procjena dobivena metodom momenata i MLE razlikuju tek nacetvrtoj decimali. Dakle, ako zelimo tocnost do na prve tri decimale, gruba procjenametodom momenata, za ovako veliki uzorak, je zadovoljavajuca.

7.2.4 Nezavisni uzorci

Pretpostavimo da imamo dva nezavisna uzorka iz populacija cije razdiobe ovise o istomparametru. Tada je vjerodostojnost tog parametra na osnovi oba uzorka jednaka produktuvjerodostojnosti istog parametra, ali na osnovi svakog uzorka posebno.

7.3 Nepristranost

Dobra svojstva procjenitelja parametra su da je lociran blizu prave vrijednosti parametra,te da ima malu rasprsenost. Ta svojstva proizlaze iz njegove uzoracke razdiobe.

Neka jeX = (X1, X2, . . . , Xn) slucajni uzorak iz populacije sa gustocom f(x|θ). Kazemoda je procjenitelj θ(X) nepristran za parametar θ ako je

E[θ(X)] = θ.

Svojstvo nepristranosti procjenitelja nije invarijantno na nelinearne transformacije parame-tara.

Cini se da je to dobro svojstvo procjenitelja. S druge strane, to nije bitno svojstvo zaprocjenitelja. Naime, u nekim situacijama pristran procjenitelj je bolji od nepristranog, pai od najboljeg nepristranog procjenitelja. Od nepristranosti, bitnije je da procjenitelj imamalu srednjekvadratnu gresku.

7.4 Srednjekvadratna pogreska

Da bi procjenitelje mogli usporedivati, trebamo mjeriti njihovu efikasnost. Mjera za efikas-nost procjenitelja je srednjekvadratna pogreska.

Srednjekvadratna pogreska, krace MSE, procjenitelja θ = θ(X) za parametar θ je broj

MSE(θ) := E[(θ(X)− θ)2].

Primijetite da je MSE(θ) funkcija parametra θ. Nadalje, MSE je drugi moment od θ(X)oko θ. U slucaju da je θ(X) nepristrani procjenitelj za θ, MSE(θ) = Var[θ(X)].

Ako pristranost od θ(X) definiramo kao broj

b(θ) := E[θ(X)]− θ,

66

tada vrijedi da jeMSE(θ) = Var[θ(X)] + b2(θ).

Dokaz.

MSE(θ) = E[(θ(X)− θ)2] = E[((θ(X)− E[θ(X)]) + (E[θ(X)]− θ))2] =

= E[(θ(X)− E[θ(X)])2 + 2(θ(X)− E[θ(X)])(E[θ(X)]− θ) + (E[θ(X)]− θ)2] =

= Var[θ(X)] + 0 + b2(θ) =

= Var[θ(X)] + b2(θ).

Na slici se vidi odnos uzorackih distribucija jednog pristranog procjenitelja male sred-njekvadratne pogreske i jednog nepristranog procjenitelja velike varijance (odnosno, sred-njekvadratne pogreske). Vertikalna crta oznacava vrijednost parametra. To je primjer kadaje pristrani procjenitelj bolji od nepristranog.

Kazemo da je procjenitelj konzistentan, odnosno asimptotski nepristran, ako njegova sred-njekvadratna greska tezi ka nuli kada velicina uzorka raste u beskonacnost:

MSE(θ) → 0, n → ∞.

Na primjer, X je konzistetan procjenitelj za populacijsko ocekivanje.

7.5 Asimptotska razdioba od MLE

Za MLE θ parametra θ na osnovi uzorkaX duljine n iz populacije s populacijskom gustocomf(x|θ) varijable X, vrijedi

θ∼: N(θ,CRlb) za veliko n, (7.2)

gdje je

CRlb =1

nE[( ∂∂θ log f(X|θ))2]

67

Cramer-Raova donja granica. Primijetite da je slucajna variabla ∂∂θ log f(X|θ) dobijena

kao kompozicija funkcije x 7→ ∂∂θ log f(x|θ) i varijable X. Taj rezultat vrijedi pod vrlo

opcenitim uvjetima na populacijsku razdiobu. Jedina bitna restrikcija je da ImX ne smijeovisiti o θ. Nadalje, pokazuje se da je pod skoro istim uvjetima Cramer-Raova donja granicanajmanja asimptotska varijanca koju konzistentan procjenitelj moze imati. Kazemo da jeuz te uvjete MLE asimptotski efikasan procjenitelj parametara.

Cramer-Raovu donju granicu mozemo izraziti i pomocu slucajne log-vjerodostojnostiℓ(θ|X) =

∑ni=1 log f(Xi|θ):

CRlb =1

E[( ∂ℓ∂θ (θ|X))2]=

1

−E[ ∂2ℓ∂θ2

(θ|X)].

Asimptotski rezultat (7.2) koristi se za konstrukciju aproksimativnih pouzdanih inter-vala.

7.6 Zavrsne napomene

Opcenito se smatra da je metoda maksimalne vjerodostojnosti bolja od metode momenata.Naime, procjenitelji dobiveni metodom momenata su uvijek funkcije uzorackih momenatasto je veliko ogranicenje na klasu procjenitelja. Nadalje, ta metoda moze dovesti do neprih-vatljivih procjenitelja u smislu da procjene mogu biti izvan podrucja razumnih vrijednostiparametara. S druge strane, u primjenama na najcesce modele razdioba (binomni, Pois-sonov, eksponencijalni, normalni model), obje metode daju iste procjenitelje.

U nekim situacijama, na primjer u slucaju gama razdiobe Γ(α, β) kada su oba parametranepoznata, metoda momenta je u prednosti jer daje procjenitelje na jednostavan nacin i ueksplicitnoj formi, dok se MLE mora racunati numerickim metodama.

68

Poglavlje 8

Pouzdani intervali

Pouzdanim intervalim mjeri se tocnost (preciznost) procjenitelja. Neka je X slucajni uzorakiz populacije s jednodimenzionalnim parametrom θ. (1 − α) · 100%-pouzdan interval za θje slucajni interval [θ1(X), θ2(X)] takav da je

P(θ1(X) ≤ θ ≤ θ2(X)) = 1− α.

Kazemo da je vjerojatnost pokrivanja intervala [θ1(X), θ2(X)] jednaka 1−α. U primjenamase najcesce koriste 95%-pouzdani intervali (α = 0.05). Dakle, 95%-pouzdani intervali za θ[θ1(X), θ2(X)] odredeni su vjerojatnoscu pokrivanja od 0.95:

P(θ1(X) ≤ θ ≤ θ2(X)) = 0.95.

Primijetite da ovdje θ predstavlja pravu (dakle, ne slucajnu) vrijednost parametra, doksu granice pouzdanog intervala statistike. 95%-pouzdan interval interpretiramo na sljedecinacin. U 95% svih realizacija tog intervala, prava vrijednost od θ ce se nalaziti unutarnjihovih granica, a u 5% realizacija to nece biti slucaj. Ovdje se rijec “svih” odnosi na vrlovelik broj realizacija (opazaja).

Pouzdan interval nije jedinstven. Opcenito, konstruira se pomocu uzoracke distribucijedobrog procjenitelja parametra, na primjer, pomocu MLE. I u tom slucaju treba izabra-ti izmedu jednostranog ili dvostranog pouzdanog intervala, jednakorepnog i/ili najkraceduljine. U slucaju simetricne uzoracke distribucije oko prave vrijednosti parametra, jed-nakorepni i pouzdani intervali najkrace duljine se podudaraju.

8.1 Konstrukcija pouzdanih intervala

8.1.1 Pivotna metoda

Opca metoda konstrukcije pouzdanih intervala zove se pivotna metoda. Osnovna pret-postavka za primjenu te metode je da postoji pivotna velicina g(X, θ) sa sljedecim svojs-tvima:

1. funkcija je uzorka i parametra;

2. njen zakon razdiobe je poznat;

3. strogo je monotona kao funkcija po parametru.

Buduci da je razdioba od g(X, θ) poznata, odredimo brojeve g1, g2 tako da vrijedi:

P(g1 ≤ g(X, θ) ≤ g2) = 0.95. (8.1)

69

Na primjer, ako je θ 7→ g(X, θ) strogo rastuca funkcija, tada je

g1 ≤ g(X, θ) ⇔ θ1(X) ≤ θ

g2 ≥ g(X, θ) ⇔ θ2(X) ≥ θ,

pa je (8.1) ekvivalentno sa

P(θ1(X) ≤ θ ≤ θ2(X)) = 0.95.

Dakle, [θ1(X), θ2(X)] je 95%-pouzdani interval za θ.U gotovo svim vaznim slucajevima koji se koriste u primjenama, pivotna velicina pos-

toji. U nekim slucajevima, na primjer, za populacije s binomnom i Poissonovom razdiobom,do pivotne velicine dolazimo jedino kada egzaktnu uzoracku razdiobu aproksimiramo nor-malnom (npr. kada su uzorci veliki).

Primjer 8.1 Neka je X slucajni uzorak duljine n = 20 iz normalno N(µ, 102)-distribuiranepopulacije. Opazena vrijednost uzoracke sredine je x = 62.75. Za pivotnu velicinu uzmemostandardiziranu verziju od X:

g(X,µ) =X − µ

10

√20.

Znamo da ta slucajna varijabla ima jedinicnu normalnu razdiobu i ocito je strogo padajucapo µ. Iz tablica slijedi

P(−1.96 ≤ X − µ

10

√20 ≤ 1.96) = 0.95

⇔ P(X − 1.96 · 10√20

≤ µ ≤ X + 1.96 · 10√20

) = P(X − 4.38 ≤ µ ≤ X + 4.38) = 0.95

Dakle, 95%-pouzdan interval za µ je [X − 4.38, X + 4.38]. Taj interval je jednakorepni jerje

P(µ < X − 4.38) = P(µ > X + 4.38) = 0.0025.

Buduci da je uzoracka razdioba od g(X,µ) simetricna, dobiveni interval je najkrace duljine.Krace taj interval mozemo zapisati pomocu njegovih granica:

X ± 4.38.

Opazena vrijednost tog intervala je [58.37, 67.13] ili, pomocu granica, 62.75 ± 4.38. Drugi95%-pouzdan interval za µ mozemo dobiti ako uzmemo

P(−1.881 ≤ X − µ

10

√20 ≤ 2.054) = 0.95

⇒ P(X − 4.21 ≤ µ ≤ X + 4.59) = 0.95.

Novodobiveni pouzdani interval nije najkrace duljine, pa u obzir uzimamo samo prvoizve-deni jednakorepni 95%-pouzdani interval. Spomenimo jos da su jednostrani 95%-pouzdaniintervali za µ:

⟨−∞, X + 1.64 · 10√20

], [X − 1.64 · 10√20

, +∞⟩.

70

8.1.2 Pouzdane granice

95%-pouzdani interval za parametar µ normalno N(µ, σ2)-distribuirane populacija s poz-natom varijancom σ2, ili aproksimativni 95%-pouzdani interval za parametar ocekivanja µs konzistentno procjenjenom vrijednosti za populacijsku standardnu devijaciju σ je

[X − 1.96 · σ√n,X + 1.96 · σ√

n].

Taj interval se moze alternativno zapisati pomocu svojih pouzdanih granica:

X ± 1.96 · σ√n.

Prednost takvog zapisa je njegova informativnost. Naime, iz njega citamo tockovnu pro-cjenu za µ i preciznost te procjene (uz pouzdanost od 95%). Nadalje, jednostrani pouzdaniintervali odgovaraju gornjoj, odnosno donjoj pouzdanoj granici.

8.1.3 Velicina uzorka

Statisticarima se cesto postavlja pitanje o potrebnoj velicini uzorka. Za odgovor na topitanje, potrebne su sljedece informacije:

1. kolika je preciznost procjene potrebna;

2. koliko iznosi (barem priblizno) standardna devijacija σ.

Informacija o standardnoj devijaciji nije uvijek na raspolaganju. Cesto se do nje dolaziprocjenom na osnovi izv. pilot-uzoraka.

Primjer 8.2 Osiguravajuce drustvo zeli procijeniti srednju vrijednost iznosa steta po poli-cama odredene klase, a koje su nastale tijekom prosle godine. Iscrpni podaci o istovrsnimstetama iz prethodnih godina sugeriraju da bi standardna devijacija proslogodisnjih iznosasteta mogla biti oko 450 kn. Srednju vrijednost proslogodisnjih iznosa steta treba procijeni-ti do na ±50 kn tocnosti uz 95% pouzdanosti. Koliko veliki uzorak treba uzeti? Oznacimosa µ srednju vrijednost koju zelimo procijeniti. 95%-pouzdani interval za µ ce imati graniceX ± 1.96 · σ√

n, gdje je σ standardna devijacija iznosa proslogodisnjih steta. Prema infor-

macijama kojima raspolazemo, σ ≈ 450. Tada iz zahtjeva na preciznost imamo:

1.96 · 450√n

≤ 50 ⇒√n ≥ 1.96 · 450

50⇒ n ≥ 312.

Dakle, odabiremo slucajni uzorak velicine n = 320 (malo veci od dobivene vrijednosti jerje procjena od σ gruba).

8.2 Pouzdani intervali za parametre normalno distribuiranepopulacije

8.2.1 Populacijska sredina

U proslom smo potpoglavlju konstruirali pouzdani interval za parametar ocekivanja nor-malne populacije kada je populacijska standardna devijacija poznata. To je nerealnasituacija. Dakle, trebamo pivotnu velicinu za situaciju kada su oba parametra nepoznata.

71

Ta velicina je studentizirana verzija uzoracke sredine za koju znamo da za normalnu popu-laciju ima Studentovu t-distribuciju sa n−1 stupnjem slobode (n je velicina uzorka) i ocitoje strogo padajuca po µ:

X − µ

S

√n ∼ t(n− 1).

Rezultirajuci 95%-pouzdani interval za µ najkrace duljine je

X ± t0.025(n− 1) · S√n, (8.2)

gdje je t0.025(n − 1) tablicna kriticna vrijednost opisana u 6.3. Buduci da je za velike kt(k)∼: N(0, 1), za velike uzorke mozemo uzeti t0.025(n−1) ≈ 1.96. Normalna distribuiranostpopulacije je bitna pretpostavka da bi sa (8.2) bio dan 95%-pouzdan interval za parametarocekivanja, pogotovo za male uzorke. S druge strane, pokazuje se da je taj interval robus-tan za populacijske distribucije koje odstupaju od normalnosti, pogotovo za velike uzorke.Normalnost uzorka se moze provjeriti uvidom u, na primjer, dijagram tocaka. Na taj senacin moze detektirati velika asimetrija i prisustvo tzv. “outliera” (strsecih vrijednosti) kojemogu bitno utjecati na analizu.

8.2.2 Populacijska varijanca

Za konstrukciju pouzdanih intervala za parametar varijance σ2 (i standardne devijacije σ)koristimo statistiku

(n− 1)S2

σ2∼ χ2(n− 1)

za pivotnu velicinu. Rezultirajuci jednakorepni 95%-pouzdani intervali su:

za σ2 :

[(n− 1)S2

χ20.025(n− 1)

,(n− 1)S2

χ20.975(n− 1)

], za σ :

[√(n− 1)S2

χ20.025(n− 1)

,

√(n− 1)S2

χ20.975(n− 1)

],

gdje su tablicne kriticne vrijednosti χ20.025(k) i χ2

0.975(k) definirane na slican nacina kaokriticne vrijednosti za t i F -razdiobu u poglavlju 6 1. Primijetite da zbog pozitvne asimetrijeod χ2-razdiobe ti intervali nisu simetricni oko procjena, pa ne moraju biti najmanje duljine.

Za konstrukciju ovih pouzdanih intervala, normalna distribuiranost populacije je bitnapretpostavka za relativno male uzorke. Slicno kao i u slucaju pouzdanih intervala za pa-rametar ocekivanja, i ovi intervali su robustni na odstupanja populacije od normalnosti zadovoljno velike uzorke.

8.3 Pouzdani intervali za parametre binomne i Poissonoverazdiobe

Buduci da su binomna i Poissonova diskretne razdiobe, nije uvijek moguce postici da vje-rojatnost pokrivanja (1 − α) · 100%-pouzdanog intervala [θ1(X), θ2(X)] za neki njihov pa-rametar θ bude tocno jednaka 1− α. Zato je dovoljno zahtjevati da iznosi barem 1− α:

P(θ1(X) ≤ θ ≤ θ2(X)) ≥ 1− α.

1Opcenito, χ2α(k) je (1− α)-kvantil χ2-razdiobe s k stupnjeva slobode, odnosno P(χ2

α(k) ≥ H) = α akoje H ∼ χ2(k).

72

8.3.1 Vjerojatnost uspjeha u binomnoj razdiobi

Ako X ima binomnu razdiobu s parametrima (n, θ), gdje je θ vjerojatnost uspjeha, MLEza θ je relativna frekvencija uspjeha:

θ =X

n.

X je, u stvari, zbroj n.j.d. Bernoullijevih varijabli koje cine slucajni uzorak iz populacije sBernoullijevom distribucijom.

Konstrukcija pouzdanog intervala za parametar θ zasniva se na statistici X koju nemozemo uzeti za pivotnu velicinu jer ne ovisi o θ. Ali zato njezina funkcija vjerojatnostiovisi o θ. Neka je x opazena vrijednost od X. Tada 95%-pouzdani interval za θ odredimoiz uvjeta da je

Pθ(X ≤ x) ≥ 0.025, Pθ(X ≥ x) ≥ 0.025. (8.3)

Preciznije, realizacija [θ1(x), θ2(x)] 95%-pouzdanog intervala je rjesenje tog sustava nejed-nadzbi. Dakle, [θ1(X), θ2(X)] je 95%-pouzdani interval za θ. Neka je

F (x|θ) =x∑

k=0

(n

k

)θk(1− θ)k, x = 0, 1, . . . , n,

funkcija distribucije od X. Tada se sustav nejednadzbi (8.3) moze zapisati u obliku:

F (x|θ) ≥ 0.025, 1− F (x− 1|θ) ≥ 0.025.

Nije tesko pokazati da je za 0 < x < n funkcija θ 7→ F (x|θ) strogo padajuca, a θ 7→1 − F (x − 1|θ) strogo rastuca funkcija za θ ∈ ⟨0, 1⟩. Tada su granice pouzdanog intervala[θ1, θ2] rjesenja jednadzbi:

F (x|θ2) = 0.025, 1− F (x− 1|θ1) = 0.025.

Ocito je da se te jednadzbe moraju numericki rjesavati.Ako je n velik, pouzdani se intervali mogu dobiti pomocu normalne aproksimacije bi-

nomne razdiobe. Tada je pivotna velicina standardizirana verzija od X:

X − nθ√nθ(1− θ)

∼: N(0, 1).

U primjenama se konstrukcija sprovodi pomocu nesto jednostavnije verzije navedene pivotnevelicine:

X − nθ√nθ(1− θ)

∼: N(0, 1),

dakle, one koja je dobivena iz pocetne zamjenom nepoznate vrijednosti od θ u izrazu zastandardnu devijaciju (nazivnik standardizirane verzije) sa procjenom θ. Na taj nacindolazimo do aproksimativnog 95%-pouzdanog intervala za θ:

θ ± 1.96 ·

√θ(1− θ)

n.

73

8.3.2 Parametar Poissonove razdiobe

Konstrukcije pouzdanih intervala za slucajeve malog i velikog uzorka su slicne kao za vjero-jatnost uspjeha u binomnoj razdiobi.

Neka je X = (X1, X2, . . . , Xn) slucajni uzorak iz P (λ)-distribuirane populacije. Tadaje Y := X1 +X2 + · · ·+Xn ∼ P (nλ). MLE za λ je

λ =Y

n= X.

Ako je uzorak mali (n je mali broj), 95%-pouzdani interval za λ dobije se rjesavanjemsustava nejednadzbi

FY (y|λ) ≥ 0.025, 1− FY (y − 1|λ) ≥ 0.025,

gdje je y opazena vrijednost od Y , a FY funkcija distribucije od Y :

FY (y|λ) =y∑

k=0

(nλ)k

k!e−nλ, y = 0, 1, 2, . . .

Pokazuje se da je funkcije λ 7→ FY (y|λ) strogo padajuca na ⟨0,+∞⟩, pa za granice λ1 =λ1(y), λ2 = λ2(y) 95%-pouzdanog intervala [λ1(Y ), λ2(Y )] vrijedi da su rjesenja jednadzbi:

FY (y|λ2) = 0.025, 1− FY (y − 1|λ1) = 0.025.

Ako je n velik broj, tada za konstrukciju aproksimativnog 95%-pouzdanog intervala zaλ koristimo standardiziranu verziju statistike X,

X − λ√λ

√n∼: N(0, 1),

kao pivotne velicine, odnosno njenu modificiranu verziju

X − λ√λ

√n∼: N(0, 1).

Dakle, aproksimativni 95%-pouzdani interval za λ je

λ± 1.96 ·

√λ

n.

8.4 Pouzdani intervali za probleme s dva uzorka

Usporedba parametara dviju populacija obicno se bazira na nezavisnim uzorcima iz tih po-pulacija. Na primjer, ako se radi o parametrima ocekivanja, jasno je da cemo ih usporedivatipomocu njihovih procjena, odnosno statistikaX1 i X2. Vaznost pretpostavke o nezavisnostiuzoraka sada se vidi iz sljedecih relacija. Ako su uzorci nezavisni, tada je

Var[X1 −X2] =σ21

n1+

σ22

n2,

a ako su zavisni moramo uzeti u obzir njihovu korelaciju:

Var[X1 −X2] =σ21

n1+

σ22

n2− 2 cov[X1, X2].

Brojevi n1 i n2 oznacavaju duljine prvog, odnosno drugog uzorka, a σ21 i σ2

2 su populacijskevarijance.

Najcesca forma zavisnosti je kada imamo sparene podatke.

74

8.4.1 Usporedba ocekivanja normalno distribuiranih populacija

Ako su X1 i X2 uzoracke sredine dvaju nezavisnih uzoraka duljina n1, n2 iz normalnodistribuiranih populacija s poznatim varijancama σ2

1 i σ22, tada je jednakorepni (a time i

najkrace duljine) 95%-pouzdani interval za razliku µ1−µ2 populacijskih ocekivanja, jednak

X1 −X2 ± 1.96 ·

√σ21

n1+

σ22

n2.

Navedeni interval ce biti aproksimativni 95%-pouzdani interval za razliku parametara o-cekivanja opcenito bilo kojih populacija, pri cemu umjesto populacijskih varijanci mogustajati njihove konzistentne procjene, uz uvjet da je uzorak dovoljno velik.

Ako su populacijske varijance nepoznate, ali pretpostavljamo da su jednake, dakle daje σ2

1 = σ22 = σ2, tada je jednakorepni 95%-pouzdani interval najkrace duljine za razliku

µ1 − µ2 normalnih populacija:

X1 −X2 ± t0.025(n1 + n2 − 2) · Sp

√1

n1+

1

n2,

gdje je

S2p :=

(n1 − 1)S21 + (n2 − 1)S2

2

n1 + n2 − 2

procjenitelj zajednicke varijance σ2. S2p je dobiven metodom ML, ali je normiran tako da

bude nepristrani procjenitelj za σ2. Statistiku S2p zovemo zajednicka uzoracka varijanca.

8.4.2 Usporedba varijanci normalno distribuiranih populacija

Za usporedbu populacijskih varijanci, gledamo njihov omjer σ21/σ

22, a ne razliku. To se

moze opravdati koncepcijom varijance, ali i tehnickim razlozima. Naime, postoji pivotnavelicina pomocu koje se mogu konstruirati pouzdani intervali za omjer σ2

1/σ22, a na osnovi

dva nezavisna uzorka duljina n1, n2 iz normalno distribuiranih populacija:

S21/S

22

σ21/σ

22

∼ F (n1 − 1, n2 − 1).

Jednakorepni (ne nuzno i najkraci) 95%-pouzdani interval za σ21/σ

22 je[

S21

S22

· 1

f0.025(n1 − 1, n2 − 1),S21

S22

· f0.025(n2 − 1, n1 − 1)

].

Kriticne su vrijednosti f0.025(ν1, ν2) objasnjene u potpoglavlju 6.5.

8.4.3 Usporedba populacijskih proporcija

Usporedba populacijskih proporcija odgovara usporedbi vjerojatnosti uspjeha dviju Berno-ullijevih populacija ciji su nezavisni uzorci opisani dvama nezavisnim binomnom slucajnimvarijablama, X1 s parametrima (n1, θ1) i X2 s parametrima (n2, θ2). Razmotrit cemo samoslucaj velikih uzoraka (n1 i n2 su veliki brojevi) i konstrukcije aproksimativnih pouzdanihintervala. Konstrukcija se bazira na pivotnoj velicini

(θ1 − θ2)− (θ1 − θ2)√θ1(1−θ1)

n1+ θ2(1−θ2)

n2

∼: N(0, 1),

75

gdje su θ1 = X1/n1 i θ2 = X2/n2 MLE parametara θ1 i θ2. Dakle, aproksimativni 95%-pouzdani interval za θ1 − θ2 je

θ1 − θ2 ± 1.96 ·

√θ1(1− θ1)

n1+

θ2(1− θ2)

n2.

8.4.4 Usporedba dva Poissonova parametra

Slicno kao i za proporcije, razmotrit cemo samo slucaj velikih uzoraka i konstrukcije aproksi-mativnih pouzdanih intervala. Neka su λ1 = X1 i λ2 = X2 MLE parametara λ1 i λ2 dvijupopulacija s Poissonovim razdiobama, a na osnovi nezavisnih uzoraka uzetih iz tih popu-lacija. Konstrukcija se bazira na pivotnoj velicini

(λ1 − λ2)− (λ1 − λ2)√λ1n1

+ λ2n2

∼: N(0, 1).

Dakle, aproksimativni 95%-pouzdani interval za λ1 − λ2 je

λ1 − λ2 ± 1.96 ·

√λ1

n1+

λ2

n2.

8.5 Spareni podaci

Spareni su podaci uobicajen primjer zavisnih uzoraka. Pretpostavimo da imamo slucajanuzorak iz dvodimenzionalne razdiobe vektora (X,Y ):

(X1, Y1), (X2, Y2), . . . , (Xn, Yn).

Interpretacija varijabli Xi i Yi u paru (Xi, Yi) je da su to po tipu iste varijable, Xi se mjeriprije necega, recimo nekog tretmana, a Yi nakon tretmana, na istoj statistickoj jedinici i(i = 1, 2, . . . , n). Zbog toga je prirodno na sparene podatke gledati kao na jedan dvodi-menzionalan uzorak, a ne kao na dva odvojena uzorka (X1, X2, . . . , X2) i (Y1, Y2, . . . , Yn).Buduci da nas zanima srednji doprinos tretmana, analiziraju se razlike Di := Xi − Yi,i = 1, 2, . . . , n. Dakle, ako sa D := X − Y oznacimo varijablu ciju populacijsku srednjuvrijednost µD := µ1 − µ2 zelimo procijeniti, tada je baza za procjenu izvedeni slucajniuzorak D = (D1, D2, . . . , Dn).

Ako je D uzorak iz normalno distribuirane populacije, tada je pivotna velicina za kon-strukciju pouzdanih intervala za µD:

D − µd

SD

√n ∼ t(n− 1).

Dakle, 95%-pouzdani interval za µD je

D ± t0.025(n− 1)SD√n.

Za velike n je t0.025(n − 1) ≈ 1.96. U tom slucaju navedeni interval dobro aproksimira95%-pouzdani interval za µD i ako populacija nije normalno distribuirana.

76

Prakticne napomene:

1. Uvijek je dobro ispitati da li su podaci koje cine dva uzorka u stvari spareni podaci.To se moze uciniti graficki pomocu dijagrama rasprsenja ili racunajuci koeficijentkorelacije. Ukoliko je zavisnost znatna, treba provjeriti izvor podataka da se vidi jesuli podaci spareni u skladu sa dizajnom uzorkovanja.

2. Analiza sparenih podataka kao nezavisnih vodi pogresnim zakljuccima jer se bazirana krivim pretpostavkama. S druge strane, ako nezavisne podatke analiziramo kaosparene, gresaka nece biti, ali ce metode biti neefikasne.

77

Poglavlje 9

Testiranje statistickih hipoteza

9.1 Hipoteze, testne statistike, odluke i pogreske

Statisticka hipoteza je pretpostavka o populacijskoj razdiobi promatrane varijable. Uslucaju parametarskih modela za populacijske razdiobe, to ce biti bilo koja izjava o vri-jednostima parametara. U ovom poglavlju uglavnom cemo razmatrati takve statistickehipoteze. Osnovna hipoteza koja se testira zove se nulhipoteza i oznacava se sa H0. Nul-hipoteza cesto predstavlja aktualno znanje o vrijednostima parametara ili neutralnu izjavu.Na primjer, zelimo li testirati postojanje razlike izmedu dva populacijska parametra, nul-hipoteza bi bila da nema nikakve razlike. Uz nulhipotezu, postavlja se i njoj alternativnahipoteza koju oznacavamo sa H1. Ako se hipotezom u potpunosti (jednoznacno) odredujepopulacijska razdioba, tada se takva hipoteza zove jednostavnom, u suprotnom se zoveslozena hipoteza.

Statisticki test je pravilo podjele prostora vrijednosti uzoraka na dva podskupa: napodrucje vrijednosti uzoraka koji su konzistentni sa H0, i na njegov komplement u kojemuse nalaze vrijednosti nekonzistentne sa H0.

Testovi kojima cemo se baviti dizajnirani su za odgovaranje na pitanje: “Da li podacidaju dovoljno dokaza za odbacivanje H0?” Odluka o odbacivanju ili ne odbacivanju nul-hipoteze donosi se na osnovi vrijednosti testne statistike. Podrucje vrijednosti koje testnastatistika poprima (dakle, njezina slika) dijeli se na podrucje vrijednosti koje su konzistentnesa H0 i na podrucje nekonzistentno sa H0. Podrucje testne statistike koje je nekozistentnosa H0 zove se kriticno podrucje. Dakle, ako se opazena vrijednost testne statistike nalazi ukriticnom podrucju, H0 se odbacuje (u korist H1).

Razina znacajnosti testa α je vjerojatnost odbacivanja H0 ako je H0 istinita hipoteza.Za slucaj kada odbacimo H0 ako je H0 istinito, kazemo da smo pocinili pogresku prve vrste.Pogresku druge vrste cinimo kada ne odbacujemoH0, aH1 je istinito. Vjerojatnost pogreskedruge vrste oznacavamo sa β. Idealni test bi bio onaj za koji bi bilo moguce vjerojatnostiobiju gresaka uciniti po volji malima. Takav test ne postoji.

9.2 Klasicno testiranje, znacajnost i p-vrijednosti

9.2.1 “Najbolji” testovi

Klasicni pristup nalazenja “dobrog” testa, tzv. Neyman-Pearsonova teorija, polazi od fiksnerazine znacajnosti α i konstruira test za koji vrijedi da je pogreska druge vrste β najmanjamoguca za sve parametre specificirane alternativnom hipotezom H1. Kljucni rezultat utoj teoriji je Neyman-Pearsonova lema koja daje najbolji test (najmanji β uz fiksno α) u

78

slucaju kada su obje hipoteze, nulhipoteza i alternativna, jednostavne hipoteze. Za zadanurazinu znacajnosti, kriticno se podrucje (a time i testna statistika) za najbolji test, odredikao skup onih vrijednosti uzoraka za koje vrijedi da je omjer L0/L1 vjerodostojnosti L0

uz H0 i L1 uz H1, izrazenih kao funkcije uzoraka, ogranicen odozgo nekom konstantom.Preciznije, ako je C kriticno podrucje velicine α, te ako postoji konstanta k takva da za svetocke iz C vrijedi L0

L1≤ k, a da za tocke izvan C vrijedi L0

L1> k, tada je C najjace kriticno

podrucje velicine α za testiranje jednostavne osnovne hipoteze H0 : θ = θ0 u odnosu najednostavnu alternativnu hipotezu H1 : θ = θ1 (L0 ≡ L(θ0), L1 ≡ L(θ1)).

Ako je barem jedna od hipoteza H0 i/ili H1 slozena, tada samo u specijalnim slucaje-vima, na primjer kod jednostranih testova, postoji test koji je najbolji za sve parametre.U slucajevima kada najbolji test u smislu Neymman-Pearsonove teorije ne postoji, koristise drugi pristup za nalazenje dobrih testova: metoda omjera vjerodostojnosti . Testovi do-biveni metodom omjera vjerodostojnosti su, na neki nacin, poopcenja testova dobivenihNeyman-Pearsonovim pristupom. Kriticno podrucje testa omjera vjerodostojnosti zado-voljava nejednadzbu:

maxθ∈H0 L(θ|x)maxθ L(θ|x)

≤ k

za neki k. Maksimum u brojniku se uzima samo po vrijednostima parametra koja zadovolja-vaju hipotezu H0, dok se maksimum u nazivniku uzima u odnosu na sve moguce vrijednostiparametara. Na primjer, primjenom tog pristupa na slucaj uzorkovanja iz normalne popu-lacije N(µ, σ2) i testiranje hipoteze H0 : µ = µ0, gdje je µ0 zadani broj, dolazimo do testaopisanoga testnom statistikom

T =X − µ0

S

√n

za koju vrijedi da, ako je H0 ispunjeno, ima Studentovu t(n − 1)-razdiobu. Tu cinjenicupisemo:

TH0∼ t(n− 1).

Istom metodom dolazimo do testne statistike za testiranje H0 : σ2 = σ20 (σ2

0 je zadanipozitivni realni broj):

(n− 1)s2

σ20

H0∼ χ2(n− 1).

Primjer 9.1 X je slucajni uzorak iz N(µ, σ2)-distribuirane populacije i oba parametra sunepoznata. zelimo sprovesti jednostrani test (µ0 je zadani broj):

H0 : µ = µ0, H1 : µ < µ0

uz razinu znacajnosti od 5%. Testna statistika je

T =X − µ0

S

√n

H0∼ t(n− 1),

a kriticno podrucje je ⟨−∞,−t0.05(n−1)]. Dakle, ako je vrijednost t = T (x) testne statistikeT na opazenom uzorku x takva da je t ≤ −t0.05(n−1), tada odbacujemoH0 uz znacajnost od5% (tj. uz rizik od 5% da smo pogrijesili)1. Da smo imali suprotnu jednostranu alternativuH ′

1 : µ > µ0, tada bi kriticno podrucje bio interval [t0.05(n− 1),+∞⟩.1Korektna interpretacija ovog jednostranog testa (i gotovo svakog drugog jednostranog testa) je da, u

stvari, testiramo H ′0 : µ ≥ µ0 u odnosu na H1 : µ < µ0. U tom slucaju, razina znacajnosti se interpretira kao

najveca vjerojatnost pogreske prve vrste. Buduci da nije tesko pokazati da se ta najveca vjerojatnost postizeupravo za granicnu vrijednost µ = µ0, jednostrani test iz primjera 9.1 je ekvivalentan testu sa korektnimzapisom hipoteza.

79

Ako bi htjeli sprovesti dvostrani test iste osnovne hipoteze (ali drugacije, tzv. dvostranealternative):

H0 : µ = µ0, H1 : µ = µ0,

tada bi koristili istu testnu statistiku, ali bi kriticno podrucje bila unija dva simetricnaintervala:

⟨−∞,−t0.025(n− 1)] ∪ [t0.025(n− 1),+∞⟩.Dakle, H0 bi odbacili u korist dvostrane alternative (uz rizik od 5%) ako bi za opazenuvrijednost t testne statistike T vrijedilo da je |t| ≥ t0.025(n− 1).

9.2.2 p-vrijednosti

Klasican pristup u kojemu se za zadanu razinu znacajnosti donosi odluka odbaciti ili neodbaciti H0 u odnosu na zadanu alternativu, ne daje informacije o tome koliko su jaki argu-menti za odbacivanje ili ne odbacivanje H0. Puno je informativniji pristup u kojemu se uzvrijednost testne statistike racuna i izrazava njena p-vrijednost. p-vrijednost je vjerojatnostpogreske prve vrste u odnosu na kriticno podrucje kojemu je opazena vrijednost testne sta-tistike granicna vrijednost. Drugim rijecima, p-vrijednost je najmanja razina znacajnostiuz koju bi H0 bila odbacena u korist zadane alternative H1, uz vrijednost testne statistikekoja je opazena. Dakle, sto je p-vrijednost manja to su dokazi protiv H0 jaci.

Primjer 9.2 Za jednostrani test iz primjera 9.1 i opazenu vrijednost t testne statistike T ,p-vrijednost je

P(T ≤ t|H0) =

t∫−∞

ft(n−1)(u) du,

gdje je ft(n−1) gustoca Studentove t(n− 1)-razdiobe. p-vrijednost za dvostrani test s istomnulhipotezom je

P(|T | ≥ |t| |H0) =

−|t|∫−∞

ft(n−1)(u) du+

+∞∫|t|

ft(n−1)(u) du = 2 ·P(T ≤ −|t| |H0) = 2 ·P(T ≥ |t| |H0),

jer je t-razdioba simetricna oko nule.

Primjer 9.3 Opazena vrijednost binomne varijable X s parametrima (n = 200, θ) je x =82. Zelimo testirati

H0 : θ = 0.5, H1 : θ = 0.4.

Za testnu statistiku uzet cemo upravo X. Buduci da bi kriticno podrucje trebali trazitimedu manjim vrijednostima od ImX (dakle, u smjeru lijevog repa razdiobe od X pod H0),p-vrijednost je

P(X ≤ 82|H0) = P(X < 82.5|H0) = P(Z <82.5− 100√

50) ≈ Φ(−2.475) = 0.0067.

Dakle, H0 je vrlo nevjerodostojna pretpostavka. Drugim rijecima, imamo jak dokaz protivH0, a u korist H1.

Statistickim testom ne dokazujemo istinitost hipoteza. Neodbacivanje H0 ne znaci daje ta hipoteza stvarno istinita vec samo da nemamo jake dokaze protiv nje. Jedino se u tomsmislu moze reci da prihvacamo H0. Naime, takav stav prema “prihvacanju” H0 proizlaziiz cinjenice da je H0 vrlo precizna tvrdnja (uglavnom jednostavna hipoteza), pa kao takvagotovo sigurno nije istinita.

80

9.3 Osnovni testovi bazirani na jednom uzorku

9.3.1 Testovi o parametru ocekivanja

Zadan je slucajni uzorak duljine n iz N(µ, σ2)-distribuirane populacije. Testiramo

H0 : µ = µ0.

Imamo dvije situacije:

1. σ je poznata. Tada je testna statistika

X − µ0

σ

√n

H0∼ N(0, 1).

2. σ je nepoznata. U tom slucaju je testna statistika

X − µ0

S

√n

H0∼ t(n− 1).

Za velike uzorke jeX − µ0

S

√n

H0∼: N(0, 1).

Buduci da po CGT-u, X ima asimptotsku normalu razdiobu, za velike uzorke nije bitnanormalnost populacije.

9.3.2 Testovi o populacijskoj varijanci

Zadan je slucajni uzorak duljine n iz N(µ, σ2)-distribuirane populacije. Testiramo

H0 : σ2 = σ2

0.

Testna statistika je(n− 1)S2

σ20

H0∼ χ2(n− 1).

9.3.3 Testovi o populacijskoj proporciji

Zadan je slucajni uzorak duljine n iz Bernoullijeve populacije s parametrom θ. Testiramo

H0 : θ = θ0.

Neka je X frekvencija uspjeha u tom uzorku. Tada je X testna statistika i

XH0∼ binomna (n, θ0).

Za veliko n koristi se normalna aproksimacija razdiobe od X.

81

9.3.4 Testovi o parametru Poissonove populacije

Zadan je slucajni uzorak X = (X1, X2, . . . , Xn) duljine n iz populacije s Poissonovom P (λ)-razdiobom. Testiramo

H0 : λ = λ0.

Testna statistika je Y := X1 +X2 + · · ·+Xn i za nju vrijedi

YH0∼ P (nλ0).

Za veliko n koristi se normalna aproksimacija razdiobe od Y ili od X = Y/n:

Y − nλ0√nλ0

H0∼: N(0, 1) iliX − λ0√

λ0

√n

H0∼: N(0, 1).

Prva statistika je primjerenija za primjenu korekcije zbog neprekidnosti.

9.4 Osnovni testovi bazirani na dva uzorka

9.4.1 Test o razlici populacijskih ocekivanja

Zadana su dva nezavisna uzorka duljina n1 i n2 iz normalno distribuiranih populacija:N(µ1, σ

21) i N(µ2, σ

22). Testiramo (δ0 je zadani broj)

H0 : µ1 − µ2 = δ0.

Imamo sljedece situacije:

1. σ21 i σ2

2 su poznati. Tada je testna statistika

Z =X1 −X2 − δ0√

σ21

n1+

σ22

n2

H0∼ N(0, 1).

2. σ21 i σ

22 su nepoznati. Ako imamo velike uzorke, σ2

1 i σ22 procijenimo iz uzoraka pomocu

S21 i S2

2 . U tom slucaju je ZH0∼: N(0, 1). Ako imamo male uzorke, tada moramo

jos pretpostaviti da su σ21 = σ2

2 = σ2, te zajednicku varijancu procijeniti pomocuzajednicke uzoracke varijance S2

p (vidjeti 8.4.1). U tom slucaju, testna statistika je

T =X1 −X2 − δ0

Sp

√1n1

+ 1n2

H0∼ t(n1 + n2 − 2).

9.4.2 Test o kvocijentu populacijskih varijanci

Kao i u prethodnom potpoglavlju, zadana su dva nezavisna uzorka duljina n1 i n2 iz nor-malno distribuiranih populacija: N(µ1, σ

21) i N(µ2, σ

22). Testiramo

H0 : σ21 = σ2

2.

Testna statistika jeS21

S22

H0∼ F (n1 − 1, n2 − 1).

82

Dvostrani se test hipoteze H0 (dakle, uz alternativu H1 : σ21 = σ2

2) koristi da bi se ispi-tala pretpostavka o jednakosti populacijskih varijanci za primjenu t-testa usporedbe po-pulacijskih ocekivanja (mali uzorak, potpoglavlje 9.4.1, situacija 2.) Kojiput je dovoljnosprovest graficki test za provjeru te pretpostavke. Postupak za provedbu tog testa jesljedeci. Izracunajte uzoracke varijance i po potrebi renumerirajte uzorke tako da prvi uzo-rak ima vecu opazenu vrijednost uzoracke varijance. Izracunajte vrijednost testne statistikei uvidom u tablice izracunajte vjerojatnost da testna statistika, uz H0, poprimi vrijednostivece ili jednake opazenoj. Tada je p-vrijednost jednaka dvostrukom iznosu te vjerojatnosti.

9.4.3 Test razlike izmedu populacijskih proporcija

Imamo velike i nezavisne uzorke duljina n1 i n2 iz Bernoullijevih populacija. Testiramo

H0 : θ1 = θ2.

Testna statistika jeθ1 − θ2√

θ(1− θ)( 1n1

+ 1n2)

H0∼: N(0, 1),

pri cemu su θ1 i θ2 MLE za parametre θ1 i θ2 na bazi svakog uzorka posebno, te θ = n1θ1+n2θ2n1+n2

je procjena zajednicke proporcije (uz H0) na bazi zdruzenih uzoraka.

9.4.4 Test razlike izmedu parametara Poissonovih razdioba

Zadana su dva velika i nezavisna uzorka duljina n1 i n2 iz populacija s Poissonovim raz-diobama P (λ1) i P (λ2). Testiramo

H0 : λ1 = λ2.

Testna statistika jeλ1 − λ2√λ( 1

n1+ 1

n2)

H0∼: N(0, 1),

pri cemu su λ1 i λ2 MLE za parametre λ1 i λ2 na bazi svakog uzorka posebno, te λ =n1λ1+n2λ2

n1+n2je procjena zajednickog parametra λ = λ1 = λ2 (uz H0) na bazi zdruzenih

uzoraka.

9.5 Osnovni test za sparene podatke

Pretpostavimo da slucajni uzorak D = (D1, D2, . . . , Dn) razlika komponenti parova spare-nih podataka (X1, Y1), (X2, Y2), . . . , (Xn, Yn) cine uzorak iz normalne populacije s nepoz-natim parametrima ocekivanja µD = µ1 − µ2 i varijance. Za zadani broj δ0 testiramo

H0 : µD = δ0.

Testna statistika je

TD =D − δ0SD

√n

H0∼ t(n− 1).

U slucaju velikog uzorka

TDH0∼: N(0, 1).

Ista asimptotska razdioba vrijedi za populacije koje nisu normalno distribuirane.

83

9.6 Testovi i pouzdani intervali

Obzirom na nacin kako su konstruirani, postoji direktna veza izmedu pouzdanih intervalai testova. Ako je testna statistika (uz H0) ista kao pivotna velicina i ako razina znacajnostitesta α odgovara pouzdanosti intervala od 1−α, onda je veza sljedeca. Za sve one opazenevrijednosti testne statistike koje se nalaze unutar granica pouzdanog intervala, H0 se neodbacuje. U suprotnome se H0 odbacuje. Pri tome dvostranim testovima odgovarajudvostrani pouzdani intervali, a jednostranim testovima odgovarajuci jednostrani intervali.

U nekim slucajevima testna statistika i pivotna velicina nisu sasvim istoga oblika. Naprimjer, pri konstrukciju pouzdanog intervala za razliku proporcija, u nazivniku pivotnevelicine nalaze se procjene proporcija svake od populacija posebno, dok se u testnoj statisticikojom se testira jednakost proporcija, u nazivniku nalazi procjena zajednicke proporcije.Ipak, aproksimativno su ti nazivnici bliski pa i u tom slucaju mozemo donositi zakljucke onulhipotezama na bazi pouzdanih intervala kao i u ostalim slucajevima.

9.7 χ2-testovi

χ2-testovi se odnose na populacijske razdiobe kategorijalnih ili diskretnih numerickih va-rijabli. Testiranje se zasniva na usporedbi opazenih frekvencija fi i ocekivanih (u skladus nulhipotezom) frekvencija ei i-tog razreda. Testna statistika je, u stvari, tezinska mjeraudaljenosti tih frekvencija:

H =∑i

(fi − ei)2

ei.

Ako vrijedi nulhipoteza, tada H ima aproksimativno χ2-razdiobu kada je uzorak velik.Nulhipotezu odbacujemo ako je opazena vrijednost od H prevelika.

9.7.1 Test prilagodbe modela podacima

χ2-testom testiramo da li predlozeni diskretni model za populacijsku razdiobu dobro objas-njava opazene podatke. Drugim rijecima, testiramo je li model dobro prilagoden podacima.U tom slucaju, nulhipoteza H0 je da se populacijska razdioba opazane varijable ravna pozakonu razdiobe pretpostavljenog modela. Jos kazemo da se podaci ravnaju po zakonurazdiobe pretpostavljenom nulhipotezom H0.

Odredimo broj stupnjeva slobode razdiobe testne statistike. Pretpostavimo da opazanavarijabla ima k razreda. Buduci da su frekvencije zavisne u smislu da je njihov zbroj fiksani jednak n (duljini uzorka), imamo jedan stupanj slobode manje. Ako pri tome jos i po H0

pretpostavljena populacijska razdioba ima r nepoznatih parametara koje treba procijenitiiz uzorka (da bi se mogle izracunati ocekivane frekvencije), tada gubimo jos r stupnjevaslobode. Dakle testna statistika H uz H0 ima χ2-razdiobu s k − r − 1 stupnjem slobode.Nepoznati parametri procjenjuju se metodom maksimalne vjerodostojnosti.

Buduci da je razdioba testne statistike aproksimativno jednaka χ2-razdiobi, treba pazitida ta aproksimacija bude zadovoljavajuce tocna. To ce biti ispunjeno ako nazivnici u izrazuza H, dakle ocekivane frekvencije, ne budu premale. Obicno se zahtjeva da budu barem 5.U nekim situacijama se prihvaca da je dovoljno da su vece od 1, ali uz uvjet da je barem80% razreda frekvencije barem 5.

Primjer 9.4 Zelim li testirati je li neka igraca kocka fer, prikladni model je uniformnarazdioba na skupu prvih sest prirodnih brojeva. Dakle, ako je X broj koji se okrene na

84

kocki nakon bacanja, za nulhipotezu uzimamo

H0 : P(X = i) =1

6za i = 1, 2, 3, 4, 5, 6.

Rezltati n = 300 bacanja te kocke dani su u frekvencijskoj tablici:

i 1 2 3 4 5 6

fi 43 56 54 47 41 59

Uz H0, ocekivane frekvencije svih sest razreda su jednake n · 16 = 300/6 = 50. Izracun

vrijednosti h testne statistike H prikazan je u tablici:

i fi ei(fi−ei)

2

ei

1 43 50 49/50

2 56 50 36/50

3 54 50 16/50

4 47 50 9/50

5 41 50 81/50

6 59 50 81/50

Σ 300 300 272/50

Dakle, h = 272/50 = 5.44. Buduci da je HH0∼: χ2(6− 0− 1) = χ2(5), p-vrijednost je

P(H ≥ 5.44|H0) = 0.365.

Dakle, nemamo jakih dokaza da kocka nije fer.

Primjer 9.5 U primjeru 7.8 podacima o brojevima steta po 100000 polica od autoodgovor-nosti prilagodena je Poissonova razdioba. Sprovedimo test je li prilagodba Poissonovog mo-dela tim podacima dobra. Dakle, nulhipoteza je da se brojevi stetaX po polici autoodgovor-nosti u protekloj godini ravnaju po Poissonovom zakonu razdiobe. Metodom maksimalnevjerodostojnosti procijenjen je nepoznati parametar razdiobe i ta procjena je λ = 0.22078.Izracunajmo ocekivane frekvencije i vrijednost h testne statistike H. Ocekivane frekvencijeza prvih pet razreda

ei = n · P(X = i|H0) = n · λi

i!e−λ, i = 0, 1, 2, 3, 4

zadovoljavaju rekurzivnu relaciju

ei =λ

i· ei−1 za i = 1, 2, 3, 4 i e0 = ne−λ,

gdje je n = 100000 i λ = 0.22078. Ocekivanu frekvenciju zadnjeg razreda racunamo poformuli e≥5 = n−

∑4i=0 ei. Rezultat:

i fi ei(fi−ei)

2

ei

0 81056 80177.3 9.6

1 16174 17713.6 133.8

2 2435 1956.7 116.9

3 295 144.0 158.3

4

≥ 5

36

4

40

8.0

0.4

8.4 118.9

Σ 100000 100000.0 537.5

85

Zadnja smo dva razreda u tablici morali zdruziti u jedan buduci da ocekivana frekvencijau zadnjem razredu (0.4) nije bila veca od 5. Dakle, imamo ukupno k = 5 razreda. Buducida smo jedan parametar morali procijeniti iz podataka, ukupan broj stupnjeva slobode je5− 1− 1 = 3, pa je

HH0∼: χ2(3).

Opazena vrijednost te statistike je h = 537.5, pa je p-vrijednost P(H ≥ 537.5|H0) vrlomala, gotovo jednaka nuli. Dakle, Poissonova razdioba ne opisuje zakon razdiobe brojasteta prezentiranih danim uzorkom.

9.7.2 Kontingencijske tablice

Kontingencijskim tablicama prikazujemo frekvencije uzorka dobivenog mjerenjem dvodi-menzionalnog kategorijalnog ili diskretnog numerickog obiljezja (X,Y ). Cilj nam je testiratinulhipotezu da suX i Y nezavisne varijable ili nulhipotezu da su populacijske razdiobe jednevarijable, recimo X, homogene obzirom na populacije klasificirane po drugoj komponenti(Y ). Uz te pretpostavke, ocekivane frekvencije svakog polja u tablici racunaju se po formuli:

ukupan zbroj toga retka × ukupan zbroj toga stupca

velicina uzorka.

Ako u tablici imamo r redaka i c stupaca, tada je broj stupnjeva slobode testne statistike

rc− (r − 1 + c− 1)− 1 = (r − 1)(c− 1).

Primjer 9.6 Za svako od osiguravajucih drustava A, B i C uzet je po slucajni uzorakpolica nezivotnih osiguranja odredenog tipa. Rezultat dobiven opazanjima tih uzoraka jeda je steta u prosloj godini bilo po 23% polica od A, po 28% polica od B i po 20% policaod C. Testirajte ima li znacajnih razlika izmedu tih proporcija ako su velicine uzoraka

(a) 100, 100, 200

(b) 300, 300, 600

redom za A, B, C.Rjesenje. Nulhipoteza je da je obiljezje “ima ili nema stete po polici” homogeno po dis-tribuciji obzirom na pripadnost police osiguravajucem drustvu A, B ili C.Za slucaj (a) kontingencijske tablice opazenih i ocekivanih frekvencija su:

fij A B C Σ

ima stete 23 28 40 91nema stete 77 72 160 309

Σ 100 100 200 400

eij A B C Σ

ima stete 22.75 22.75 45.50 91nema stete 77.25 77.25 154.50 309

Σ 100 100 200 400

Vrijednost testne statistike

H =∑i,j

(fij − eij)2

eij

H0∼: χ2((2− 1) · (3− 1)) = χ2(2)

je h = 2.43, pa je p-vrijednost P(H ≥ 2.43|H0) = 0.30. Dakle, nemamo jakih dokazaza odbacivanje hipoteze o homogenosti proporcija polica sa stetama u tri navedena osigu-ravajuca drustva.Buduci da su opazene proporcije iste, u slucaju (b) su sve frekvencije uvecane tri puta uodnosu na slucaj (a). To znaci da je i vrijednost testne statistike uvecana tri puta i iznosih = 3 · 2.43 = 7.29. Primijetite da je aproksimativna razdioba testne statistika ista. p-vrijednost je P(H ≥ 7.29|H0) = 0.026, pa ovoga puta imamo jake dokaze za odbacivanjenulhipoteze o homogenosti proporcija broja steta.

86

Poglavlje 10

Korelacija i regresija

U ovom poglavlju bavimo se statistickom analizom povezanosti medu varijablama. Iakose moze izucavati povezanost vise varijabli, mi cemo se ograniciti na bivarijatni slucaj(X,Y ). Nadalje, ogranicit cemo se samo na linearnu povezanost, dakle, na modele kojipretpostavljaju da je uvjetno ocekivanje od Y za svaku danu vrijednost x od X, linearnafunkcija od x (tj. regresijska funkcija od Y na X = x je linearna funkcija):

E[Y |X = x] = α+ βx.

U korelacijskoj analizi dviju varijabli naglasak je na problemu odredivanja mjere jakostilinearne povezanosti medu njima.

U regresijskoj analizi varijabli X i Y naglasak je na prirodi veze izmedu varijable Y kaozavisne varijable (odziv) i X kao nezavisne varijable (poticaj). Analiza se sastoji u odabirui prilagodbi primjerenog modela u svrhu predvidanja odziva (individualne vrijednosti od Yili ocekivane vrijednosti od Y ) za zadani poticaj (za zadanu vrijednost x od X). Kao stosmo vec spomenuli, ogranicit cemo se samo na linearnu vezu izmedu X i Y .

Pretpostavimo da je mjerenje bivarijatnog vektora (X,Y ) dalo sljedece podatke:

(x1, y1), (x2, y2), . . . , (xn, yn) (10.1)

Prije nego odaberemo i primijenimo metode inferencijalne statistike, analizirajmo podatkegraficki, pomocu dijagrama rasprsenja, da bi vidjeli postoji li uopce ikakva veza izmeduvarijabli X i Y , te, ako postoji, koja je priroda povezanosti.

Ako je linearna povezanost od X i Y plauzibilna, analizira se varijabilnost od Y zafiksnu vrijednost x od X da bi se ocijenila jakost linearne veze izmedu X i Y .

Ako se pokazalo da X i Y nisu povezane ili da veza nije linearna, tada se metodekoje cemo diskutirati u ovom poglavlju ne mogu primijeniti. S druge strane, moze se do-goditi da dobro odabrana transformacija originalnih podataka pokaze linearnu povezanostizmedu transformiranih podataka. U tom slucaju se opisane metode mogu primijeniti natransformirane varijable.

Dijagram rasprsenja je prikaz podataka (10.1) kao tocaka u Kartezijevom koordinatnomsustavu.

Primjer 10.1 Uzorak se sastoji od 10 podataka o iznosima zahtjeva za naknadu steta ikorespodentnih iznosa koje je osiguravajuce drustvo stvarno platilo (u jedinicama od po100 kn):

zahtjev (x) 2.10 2.40 2.50 3.20 3.60 3.80 4.10 4.20 4.50 5.00isplata (y) 2.18 2.06 2.54 2.61 3.67 3.25 4.02 3.71 4.38 4.45

87

Dijagram raspresenja:

2 2.5 3 3.5 4 4.5 5 5.5zahtjev

2

2.5

3

3.5

4

4.5

5

isplata

Ocito se radi o linearnoj povezanosti izmedu opazenih vrijednosti varijabli X = “zahtjev”(za isplatom steta) i Y = “isplata” (od strane drustva).

U analizi linearne zavisnosti dviju varijabli, sljedece se statistike koriste:

SXX :=n∑

i=1

(Xi −X)2 =n∑

i=1

X2i − n ·X2

SXY :=n∑

i=1

(Xi −X)(Yi − Y ) =n∑

i=1

XiYi − nXY

SYY :=n∑

i=1

(Yi − Y )2 =n∑

i=1

Y 2i − n · Y 2

.

Opazene vrijednosti tih statistika oznacavat cemo Sxx, Sxy, Syy.

Primjer 10.1 (nastavak) Izracunajmo vrijednosti Sxx, Sxy, Syy navedenih statistika.

i xi yi x2i xiyi y2i1 2.10 2.18 4.41 4.578 4.75242 2.40 2.06 5.76 4.944 4.24363 2.50 2.54 6.25 6.350 6.45164 3.20 2.61 10.24 8.352 6.81215 3.60 3.67 12.96 13.212 13.46896 3.80 3.25 14.44 12.350 10.56257 4.10 4.02 16.81 16.482 16.16048 4.20 3.71 17.64 15.582 13.76419 4.50 4.38 20.25 19.710 19.184410 5.00 4.45 25.00 22.250 19.8025

Σ 35.40 32.87 133.76 123.810 115.2025

88

Buduci da je n = 10, iz tablice citamo

x =35.40

10= 3.540, y =

32.87

10= 3.287,

10∑i=1

x2i = 133.76,10∑i=1

xiyi = 123.810,10∑i=1

y2i = 115.2025,

odakle slijedi

Sxx =n∑

i=1

x2i − n · x2 = 133.76− 10 · 3.5402 = 8.4440

Sxy =n∑

i=1

xiyi − nxy = 123.810− 10 · 3.540 · 3.287 = 7.4502

Syy =n∑

i=1

y2i − n · y2 = 115.2025− 10 · 3.2872 = 7.1588.

10.1 Korelacijska analiza

10.1.1 Uzoracki koeficijent korelacije

Povezanost medu komponentama podataka (10.1) u uzorku za (X,Y ) mjeri se uzorackimili Pearsonovim koeficijentom korelacije:

r :=Sxy√

Sxx · Syy. (10.2)

Primijetite da se r moze pomocu aritmetickih sredina x, y i standardnih devijacija sx, sypodataka za X, odnosno Y , zapisati na sljedeci nacin:

r =1

n− 1

n∑i=1

xi − x

sx· yi − y

sy,

dakle, kao srednja vrijednost produkata standardiziranih verzija podataka za X, odnosnoY iz (10.1). Nadalje, uvijek vrijedi da je

−1 ≤ r ≤ 1.

Koeficijent korelacije r je mjera stupnja linearne povezanosti i nije indikator uzrocnosti usmislu da mjeri koliko X uzrokuje Y . Naime, varijable X i Y mogu biti jako povezane, ada jedna ne uzrokuje drugu, vec su, mozda, i jedna i druga uzrokovane djelovanjem nekogtreceg faktora.

Primjer 10.2 Za podatke iz primjera 10.1 Pearsonov koeficijent korelacije iznosi

r =7.4502√

8.444 · 7.1588= 0.958

sto indicira jaku pozitivnu linearnu povezanost medu komponentama u uzorku.

89

10.1.2 Normalni model i inferencija

Odgovarajuci model za populacijsku razdiobu od (X,Y ) je bivarijatna normalna razdiobas parametrima µX , µY (populacijske sredine komponenata), σ2

X , σ2Y (populacijske varijance

komponenata) i ρ (koeficijent korelacije komponenata). Podatke (10.1) mozemo interpreti-rati kao realizaciju slucajnog uzorka

(X,Y ) = ((X1, Y1), (X2, Y2), . . . , (Xn, Yn))

za vektor (X,Y ), a Pearsonov koeficijent korelacije (10.2) kao opazenu vrijednost statistike

R =SXY√

SXX · SYY(uzoracki koeficijent korelacije).

R je i MLE za parametar ρ, populacijski koeficijent korelacije.Za konstrukciju pouzdanih intervala za ρ, odnosno za testiranje hipoteza o ρ, treba nam

uzoracka razdioba od R. Pokazuje se da je ta razdioba asimetricna s velikom varijancom.Zelimo li testirati jesu li X i Y korelirane varijable, dakle, nulhipotezu H0 : ρ = 0, tada

je tesna statistikaR√

1−R2

√n− 2

H0∼ t(n− 2).

Postoji opcenitiji, ali asimptotski rezultat koji nam omogucava testiranje nulhipoteza oblikaH0 : ρ = ρ0, gdje je ρ0 zadani broj takav da je |ρ0| < 1. Naime, vrijedi

W :=1

2log

1−R

1 +R∼: N(

1

2log

1− ρ

1 + ρ,

1

n− 3) za veliko n.

Statistika W je Fisherova transformacija od R. Iz nje izvodimo testnu statistiku

Z =

√n− 3

2(log

1−R

1 +R− log

1− ρ01 + ρ0

)H0∼: N(0, 1) za veliko n.

Standardizirana verzija od W se koristi kao pivotna velicina u konstrukciji aproksimativnihpouzdanih intervala za ρ na osnovi velikih uzoraka.

Primjer 10.3 Na osnovi podataka iz primjera 10.1, sprovedimo jednostrani test

H0 : ρ = 0.9, H1 : ρ > 0.9.

Buduci da je r = 0.958, n = 10, opazena wrijednost od W je w = 1.921. Dakle, opazenavrijednost testne statistike Z je z = (1.921 − 1.472)/0.378 = 1.19, pa je p-vrijednostP(Z ≥ 1.19|H0) ≈ 0.12. Prema tome, dokazi za odbacivanje H0 su nedostatni, odnosnoprocijenjena vrijednost za ρ nije znacajno veca od 0.9.

Napomene:

1. Postojanje “outliera” indicira da je adekvatnost pretpostavke o normalnoj distribuira-nosti bivarijatne populacije upitna.

2. Kako samo jedna opazena vrijednost moze imati znacajan utjecaj na procjene popu-lacijskih sredina i varijance, isto tako moze imati i znatan utjecaj na procjenu koefi-cijenta korelacije.

90

10.2 Regresijska analiza. Jednostavni linearni regresijski mo-del.

10.2.1 Uvod

U ovom je potpoglavlju Y slucajna varijabla koja ovisi o vrijednostima x nezavisne vari-jable X. S druge strane, pretpostavljamo da imamo kontrolu nad vrijednostima x nezavisnevarijable, odnosno, da ih mi na neki nacin zadajemo. Dakle, ovdje X nije slucajna vari-jabla. Regresijska analiza se sastoji od odabira i prilagodbe odgovarajuceg modela (u nasemslucaju, linearnog) opazenim podacima, u svrhu predvidanja individualnih ili ocekivanih vri-jednosti od Y za zadanu vrijednost x od X. Prije postavljanja potpunog modela, podatketreba ispitati deskriptivnim metodama (npr. graficki) da se vidi koje su sve pretpostavkena model razumne.

Podatke (10.1) interpretiramo kao realizaciju slucajnog uzorka

(x1, Y1), (x2, Y2), . . . , (xn, Yn)

pri cemu pretpostavljamo da vrijedi

Yi = α+ βxi + εi, i = 1, 2, . . . , n, (10.3)

gdje su α, β parametri modela (α je slobodni clan, a β je koeficijent smjera pravca), aεi (i = 1, 2, . . . , n) su slucajne varijable koje zovemo slucajnim pogreskama ili sumovima.Model (10.3) za vezu izmedu komponenti od (X,Y ) zovemo jednostavni linearni regresijskimodel . Dodatne su pretpostavke na jednostavni linearni regresijski model, preciznije, naslucajne pogreske, da su:

(A1) centrirane: E[εi] = 0 za sve i;

(A2) jednake varijance: Var[εi] = σ2 za sve i;

(A3) nekorelirane: cov[εi, εj ] = 0 za sve i = j.

Uvjete (A1− 3) zovemo Gauss-Markovljevim uvjetima.

10.2.2 Prilagodba modela

Prilagodba linearnog regresijskog modela za koji vrijede Gauss-Markovljevi uvjeti sastojise od:

(a) procjene parametara α i β;

(b) procjene zajednicke varijance gresaka σ2.

Regresijski parametri α i β procjenjuju se metodom najmanjih kvadrata. Neka je

q(α, β) :=n∑

i=1

(yi − (α+ βxi))2 (10.4)

funkcija kojom se mjeri ukupan zbroj kvadrata odstupanja opazenih vrijednosti yi od vri-jednosti predvidenih pravcem y = α + βx u tockama x = xi za i = 1, 2, . . . , n. Procjene αi β parametara regresijskog pravca su one vrijednosti α i β za koje funkcija q(α, β) postizesvoj minimum:

q(α, β) = minα,β

q(α, β).

91

Nije tesko pokazati da se te procjene mogu izracunati po formulama

β =Sxy

Sxx, α = y − βx.

Naime, α i β su rjesenja sustava od dvije jednadzbe koje se dobiju kada se parcijalnederivacije od q(α, β) izjednace s nulom. Dakle, procjenitelji metodom najmanjih kvadrataod α i β su statistike

β =SxY

Sxx, α = Y − βx.

Za uzoracke razdiobe tih statistika vrijedi:

E[β] = β, Var[β] = σ2 · 1

Sxx,

E[α] = α, Var[α] = σ2 · ( 1n+

x2

Sxx).

Oznacimo sa Yi := α+ βxi procjenitelj za varijablu Yi, a sa yi opazenu vrijednost tog pro-cjenitelja (i = 1, 2, . . . , n). Tada je nepristrani procjenitelj zajednicke varijance slucajnihgresaka statistika

σ2 :=1

n− 2

n∑i=1

(Yi − Yi)2.

Primijetite da je opazena vrijednost∑n

i=1(yi − yi)2 od

∑ni=1(Yi − Yi)

2 upravo jednakaminimumu funkcije (10.4)

10.2.3 Rastav varijance odziva

Ukupna varijabilnost u slucajnom uzorku Y varijable odziva Y je

SSTOT :=n∑

i=1

(Yi − Y )2 = SYY .

Dio te varijabilnosti se objasnjava postojanjem linearne ovisnosti varijabli Yi o vrijednos-tima xi od X, a dio postojanjem slucajnih pogresaka. Udio varijabilnosti zbog linearneovisnosti Y o X u ukupnoj varijabilnosti SSTOT predstavlja mjeru prilagodbe linearnogregresijskog modela podacima.

Kvadriranjem izrazaYi − Y = (Yi − Yi) + (Yi − Y )

i zbrajanjem po svim i = 1, 2, . . . , n dobijamo

n∑i=1

(Yi − Y )2 =n∑

i=1

(Yi − Yi)2 +

n∑i=1

(Yi − Y )2,

buduci da je zbroj srednjih clanova kvadrata binoma jednak nuli. Clan s lijeve stranedobivene jednakosti je SSTOT, ukupna varijabilnost u podacima od Y ili ukupna sumakvadrata. Drugi clan s desne strane jednakosti predstavlja zbroj kvadrata odstupanja vri-jednosti prilagodene regresijske funkcije od uzoracke srednje vrijednosti od Y , dakle, onajdio ukupne varijabilnosti koji je objasnjen linearnom zavisnoscu Y o X. Taj zbroj zovemosumom kvadrata zbog regresije i oznacavamo sa SSR. Na kraju, prvi clan zdesna je zbrojkvadrata procijenjenih pogresaka ili reziduala εi := Yi− Yi (i = 1, 2, . . . , n), koji jos zovemo

92

suma kvadrata pogresaka ili reziduala i oznacavamo sa SSE. SSE je onaj dio ukupne vari-jabilnosti koji se objasnjava slucajnim pogreskama.

Dakle,SSTOT = SSR + SSE.

Opazene vrijednosti racunaju se na sljedeci nacin:

SSTOT = Syy

SSR =n∑

i=1

((α+ βxi)− (α+ βx)

)2= β2Sxx =

S2xy

Sxx

⇒ SSE = Syy −S2xy

Sxx.

Nadalje, moze se pokazati da vrijedi:

E[SSTOT] = (n− 1)σ2 + β2Sxx, E[SSR] = σ2 + β2Sxx,

odakle slijedi da jeE[SSE] = (n− 2)σ2.

Primijetite da zadnja relacija pokazuje da je procjenitelj σ2 nepristran za σ2, buduci da jeocito σ2 = SSE/(n− 2).

U slucaju kada su podaci “blizu” pravca (dakle, kada je |r| blisko jedinici sto je indikacijajake linearne povezanosti), prilagodba linearnog regresijskog modela je dobra, dakle, procje-ne yi su bliske opazenim vrijednostima yi, pa je SSE relativno malo, a SSR relativo veliko.Obratno, kada podaci nisu “bliski” pravcu (|r| je blize nuli indicirajuci slabu linearnuvezu), prilagodba linearnog regresijskog modela nije tako dobra, dakle, procjene yi nisubliske opazenim vrijednostima yi, pa je SSE relativno veliko, a SSR relativo malo.

Omjer varijabilnosti objasnjene linearnom vezom i ukupne varijabilnosti:

R2 :=SSR

SSTOT· 100% =

S2xy

Sxx · Syy· 100%

zove se koeficijent determinacije. Primijetite da je (za jednostavni linearni model) koefici-jent determinacije, u stvari, kvadrat Pearsonovog koeficijenta korelacije r izrazen u formipostotka.

Primjer 10.4 Podacima iz primjera 10.1 prilagodimo jednostavni linearni regresijski mo-del (10.3) pretpostavljajuci da su zadovoljeni Gauss-Markovljevi uvjeti. Na osnovi opazenihvrijednosti statistika iz primjera 10.2, procjene koeficijenta smjera β i slobodnog clana αregresijskog pravca su

β =Sxy

Sxx=

7.4502

8.4440= 0.8823, α = y − βx = 3.287− 0.8823 · 3.54 = 0.1636.

Dakle, procijenjeni pravac je y = 0.1636 + 0.8823x i njegov je graf, zajedno s podacima,prikazan na slici (sljedeca stranica). Nadalje,

SSTOT = Syy = 7.1588, SSR =S2xy

Sxx=

7.45022

8.440= 6.5734,

odakle slijedi da je SSE = SSTOT − SSR = 0.5854 i σ2 = SSE/8 = 0.0732. Koeficijentdeterminacije iznosi R2 = SSR/SSTOT = 91.8% sto pokazuje da je prilagodba modeladobra.

93

2 2.5 3 3.5 4 4.5 5 5.5zahtjev

2

2.5

3

3.5

4

4.5

5

isplata

10.2.4 Potpuni normalni model i inferencija

Zelimo li predvidati individualni ili srednji odziv na osnovi prilagodenog modela ili kon-struirati pouzdane intervale za parametre i sprovoditi testove o njihovim vrijednostima,model treba u potpunosti specificirati. To znaci da nam treba pretpostavka o populacijskojrazdiobi slucajnih varijabli Yi, i = 1, 2, . . . , n, odnosno slucajnih gresaka. Dodatno pret-postavljamo da su slucajne greske

(A4) nezavisne i normalno distribuirane: εi ∼ N(0, σ2) za sve i.

Uz takav potpuni model, slucajne greske ε1, ε2, . . . , εn su n.j.d. sa N(0, σ2)-razdiobom. Sli-jedi da su varijable Y1, Y2, . . . , Yn nezavisne i normalno distribuirane, Yi ∼ N(α + βxi, σ

2)za i = 1, 2, . . . , n.

Buduci da se procjenitelj β za koeficijent smjera β moze prikazati kao linearna kombi-nacija nezavisnih normalnih varijabli Yi, i = 1, 2, . . . , n, normalno je distribuiran s ocekiva-njem i varijancom kao sto je ranije navedeno. Nadalje, moze se pokazati da su statistike βi σ2 nezavisne. Isti rezultati vrijede i za statistiku α. Jos vrijedi:

(n− 2)σ2

σ2∼ χ2(n− 2).

Za takav, potpuno specificirani model mogu se traziti MLE nepoznatih parametara. Uzdane pretpostavke proizlazi da su procjenitelji α i β dobiveni metodom najmanjih kvadrataujedno i MLE za te parametre, a da je MLE za σ2 jednak (n− 2)σ2/n.

10.2.5 Zakljucivanje o koeficijentu smjera

Buduci da su standardizirana verzija Z od β,

Z =β − β

σ√

1Sxx

∼ N(0, 1),

i varijabla

U =(n− 2)σ2

σ2∼ χ2(n− 2)

94

nezavisne, studentizirana verzija Tβ od β ima Studentovu razdiobu (vidjeti 6.4):

Tβ =β − β

σ√

1Sxx

=Z√

U/(n− 2)∼ t(n− 2). (10.5)

Slucajna se varijabla Tβ koristi kao pivotna velicina za konstrukciju pouzdanih intervala zaparametar β, te za testiranje hipoteza o vrijednostima od β. Na primjer, zelimo li testiratinulhipotezu da nema ovisnosti Y o X, tj. H0 : β = 0, testna statistika ce biti

β

σ√

1Sxx

H0∼ t(n− 2).

Primjer 10.5 Ponovo se vratimo primjeru 10.1. Na osnovi podataka iz tog primjera,

(a) procijenite 95%-pouzdan interval za koeficijent smjera regresijskog pravca β;

(b) testirajteH0 : β = 1, H1 : β = 1.

95%-pouzdan interval za β je

β ± t0.025(n− 2) · σ√

1

Sxx.

Buduci da je t0.025(8) = 2.306, opazena vrijednost tog intervala je

0.8823± 2.306 ·√

0.0732

8.4440= 0.8823± 0.2147.

Nadalje, buduci da taj interval sadrzi vrijednost “1”, nulhipotezu H0 iz (b) ne odbacujemouz znacajnost od 5%.

10.2.6 Procjena i predvidanje srednjeg i individualnog odziva

Prvo, diskutirajmo problem predvidanja srednjeg odziva. Dakle, zelimo procijeniti oceki-vanu vrijednost od Y za zadanu vrijednost x0 od X,

E[Y |X = x0] = (krace) = E[Y |x0] = α+ βx0,

na osnovi podataka iz uzorka (10.1). Nepristrani procjenitelj za tu vrijednost je

E[Y |x0] := α+ βx0.

Varijanca tog procjenitelja je:

Var[E[Y |x0]] = σ2(1

n+

(x0 − x)2

Sxx).

Nije tesko pokazati da studentizirana verzija od E[Y |x0] ima Studentovu razdiobu:

E[Y |x0]− E[Y |x0]

σ√

1n + (x0−x)2

Sxx

=(α+ βx0)− (α+ βx0)

σ√

1n + (x0−x)2

Sxx

∼ t(n− 2).

95

Ta se slucajna varijabla kristi kao pivotna velicina za konstrukciju pouzdanih intervala odE[Y |x0].

Pretpostavimo sada da zelimo procijeniti koliko bi iznosila jedna opservacija od Y zadano X = x0, dakle, koliki bi bio iznos individualnog odziva Y , u oznaci Y0, na poticajX = x0. Procjenitelj za tu slucajnu vrijednost (na osnovi podataka iz uzorka) je

Y0 := α+ βx0.

Varijanca (slucajne) pogreske koja nastaje tom procjenom je:

Var[Y0 − Y0] = Var[(α+ βx0)− (α+ βx0 + ε0)] = σ2(1 +1

n+

(x0 − x)2

Sxx).

Nadalje, za studentiziranu verziju te pogreske procjene vrijedi:

Y0 − Y0

σ√1 + 1

n + (x0−x)2

Sxx

∼ t(n− 2).

Ta se varijabla koristi kao pivotna velicina za konstrukciju pouzdanih intervala od Y0.Primijetite da je dobiveni pouzdani interval za individualni odziv siri od odgovarajucegpouzdanog intervala za srednji odziv.

Primjer 10.6 Ponovo se vratimo primjeru 10.1. Na osnovi podataka iz tog primjera,

(a) procijenite 95%-pouzdan interval za ocekivanu vrijednost isplata za zahtjeve s iznosomjednakim 460 kn;

(b) procijenite 95%-pouzdan interval za vrijednost isplate ako je iznos zahtjeva jednak460 kn.

Procjena ocekivane (i individualne) vrijednosti isplate za dani iznos stete (x0 = 4.6) jejednaka

α+ βx0 = 0.1636 + 0.88231 · 4.6 = 4.222,

dakle, 422.20 kn. Opazena vrijednost 95%-pouzdanog intervala za srednji iznos isplate (a)je

E[Y |4.6]]± t0.025(8) · σ

√1

10+

(4.6− x)2

Sxx= 4.222± 2.306 · 0.1306 = 4.222± 0.301,

a za individualni iznos isplate (b),

Y0 ± t0.025(8) · σ

√1 +

1

10+

(4.6− x)2

Sxx= 4.222± 2.306 · 0.3004 = 4.222± 0.693.

Dakle,

(a) uz 95% pouzdanosti ocekivana (srednja) vrijednost isplata za stete od 460 kn bit ceu intervalu od 392 do 452 kune, a

(b) uz 95% pouzdanosti vrijednost isplate za stetu od 460 kn bit ce u intervalu od 353 do492 kune.

Na slici (sljedeca stranica) navedene su granice 95%-pouzdanih intervala za srednju (toc-kasto) i individualnu (crtkano) vrijednost isplata.

96

2 2.5 3 3.5 4 4.5 5 5.5zahtjev

2

2.5

3

3.5

4

4.5

5

isplata

10.2.7 Provjera modela

Kako je vec prije spomenuto, slucajne se pogreske u modelu (10.3) procjenjuju pomocureziduala

εi = Yi − Yi, i = 1, 2, . . . , n.

Uvidom u opazene vrijednosti reziduala (dakle, na osnovi podataka (10.1), moze se ispitatiopravdanost pojedinih pretpostavki na model, posebno

(a) pretpostavke na slucajne pogreske (A1− 4);

(b) pretpostavka na prirodu veze izmedu varijabli X i Y .

Na primjer, prikazom reziduala pomocu linijskog grafa moze se ispitati pretpostavka (A4) onormalnosti pogresaka. Nadalje, adekvatnost modela (pretpostavka linearnost i/ili Gauss-Markovljevi uvjeti) moze se ispitati prikazom reziduala u Kartezijevom koordinatnom sus-tavu u odnosu na pripadne procjene yi, odnosno uvidom u dijagram rasprsenja tocaka(yi, εi), i = 1, 2, . . . , n. Na slici su prikazana dva dijagrama rasprsenja reziduala. Li-jevi dijagram prikazuje reziduale jednostavnog linearnog modela prilagodenog podacima izprimjera 10.1. Odsustvo bilo kakvog uzorka pokazuje da je pretpostavljeni model dobar.S druge strane, desni dijagram prikazuje reziduale neke prilagodbe koji indiciraju da jepretpostavka (A2) o homogenosti varijance pogresaka neadekvatna.

2 2.5 3 3.5 4 4.5 5-0.4

-0.2

0

0.2

0.4

2 2.5 3 3.5 4 4.5 5

-0.75-0.5

-0.250

0.250.5

0.751

97

10.2.8 Transformirani podaci

U nekim modelima rasta pretpostavlja se da ocekivani odziv Y eksponencijalno ovisi ovrijednosti x varijable poticaja X:

E[Y |x] = αeβx.

U tom slucaju se varijabla odziva Y transformira primjenom logaritamske funkcije W =log Y . Na taj nacin dolazimo do linearnog modela za transformirane podatke (xi, wi),i = 1, 2, . . . , n, koji zelimo prilagoditi:

Wi = η + βxi + εi, i = 1, 2, . . . , n.

Ovdje su η = logα i β parametri regresijske funkcije. Primijetite da pretpostavka o adi-tivnosti slucajne pogreske u modelu za transformirane podatke povlaci multiplikativnostpogreske u modelu za originalne, netransformirane podatke. Ako netransformirani podacine podrzavaju pretpostavku o multiplikativnosti slucajnih pogresaka, tada se druge od uovom poglavlju opisanih metoda moraju primijeniti na njih.

10.3 Visestruki linearni regresijski model

U mnogim se problemima varijabla odziva Y moze predvidati na osnovi vise nezavisnihvarijabli, recimo X1, X2,..., Xk. Najjednostavnija veza izmedu Y i varijabli poticaja X1,X2,..., Xk je linearna:

E[Y |X1 = x1, X2 = x2, . . . , Xn = xn] = α+ β1x1 + β2x2 + · · ·+ βkxk.

Parametri β1, β2, . . . , βk zovu se koeficijenti visestruke regresije, a α je slobodni clan. Nji-hove vrijednosti se procjenjuju iz uzoraka koji se sastoje od k+1-dimenzionalnih podataka.

Visestruki linearni regresijski model je:

Yi = α+ β1x1 + β2x2 + · · ·+ βkxk + εi, i = 1, 2, . . . , n.

Kao i u slucaju jednostavnog linearnog regresijskog modela, parametri se procjenjuju me-todom najmanjih kvadrata. Vec za k = 3 ta metoda postaje dovoljno slozena da se uefektivnim izracunima moraju koristiti racunala.

98

Poglavlje 11

Analiza varijance

Analiza varijance se koristi u situacijama kada zelimno usporedivati parametre ocekivanjavise normalno distribuiranih populacija. Dakle, radi se o poopcenju problema opisanogu potpoglavlju 9.4.1.: da li su opazene razlike izmedu sredina dvaju uzoraka slucajne iliodrazavaju stvarnu razliku izmedu populacijskih ocekivanja.

Pretpostavka je da nas zanima kako k razlicitih tretmana djeluje na populacijsko oceki-vanje neke varijable Y . Buduci da se u mnogim situacijama moze dogoditi da stvarni efekttretmana bude potisnut djelovanjem nekih vanjskih faktora koji nam nisu od interesa, vaznoje kako dizajniramo uzorak. Dobar dizajn se sastoji od slucajnog (vidjeti 6.1) dodjeljivanjatretmana ekperimentalnim jedinicama pri cemu se tezi da broj jedinica podvrgnutih istomtretmanu bude sto veci. Tako dizajnirani slucajni uzorak omogucit ce analizu efekatai procjenu doprinosa raznih tretmana na parametar ocekivanja promatrane varijable, autjecaj raznih vanjskih faktora imat ce efekt slucajnog suma.

Tehnicki, analiza varijance se sastoji od rastava ukupne varijabilnosti uzorka od Y navarijabilnost koja se moze opisati utjecajem tretmana i na varijabilnost do koje dolazi zbogslucajnog suma. Usporedba tih komponenti varijabilnosti omogucava testiranje nulhipotezeda promatrani tretmani ne utjecu na populacijsko ocekivanje od Y .

11.1 Jednofaktorska analiza varijance

11.1.1 Model

Usporedujemo djelovanje k tretmana na razdiobu varijable Y . Slucajni uzorak se sastoji odvarijabli Yij pri cemu indeks j oznacava da se radi o j-toj varijabli u poduzorku duljine ni

(j = 1, 2, . . . , ni) koji se odnosi na potpopulaciju opisanu djelovanjem i-tog tretmana (i =1, 2, . . . , k). Dakle, slucajni uzorak ukupne duljine n =

∑ki=1 ni se sastoji od k nezavisnih

poduzoraka duljina n1,..., nk, svaki iz populacije opisane djelovanjem jednog od k tretmana.Opazenu vrijednost varijable Yij oznacavamo sa yij .

Matematicki model je

Yij = µ+ τi + εij , j = 1, 2, . . . , ni, i = 1, 2, . . . , k. (11.1)

Pretpostavka je da su slucajne greske εij , j = 1, 2, . . . , ni, i = 1, 2, . . . , k, nezavisne,N(0, σ2)-distribuirane. Dakle, prema tom modelu, slucajne greske ne ovise o tretmanu,varijable Yij su nezavisne i Yij ∼ N(µ + τi, σ

2). Parametri modela su sveukupna popu-lacijska sredina µ za koju vrijedi da je

µ =1

n

k∑i=1

ni∑j=1

E[Yij ], (11.2)

99

te τi, odstupanje i-tog tretmana od µ ili doprinos (efekt) i-tog tretmana, za i = 1, 2, . . . , k.Veza medu efektima je

k∑i=1

niτi = 0 (11.3)

i ona je posljedica (11.1), pretpostavki na model i (11.2).

11.1.2 Procjena parametara

Parametri µ, τi, i = 1, 2, . . . , k, modela (11.1) procjenjuju se na osnovi opazenog uzorkametodom najmanjih kvadrata, dakle, minimizacijom funkcije

q(µ, τ1, . . . , τk) =k∑

i=1

ni∑j=1

(yij − µ− τi)2

uz uvjet (11.3). Primijetite da zbog veze (11.3) slijedi da, u stvari, imamo k nepoznatihparametara, a ne k + 1. Dobiveni procjenitelji su:

µ = Y .., τi = Y i. − Y .., i = 1, 2, . . . , k,

gdje su statistike Y i. i Y .. definirane izrazima:

Y i. :=1

ni

ni∑j=1

Yij (uzoracka sredina za i-ti tretman), i = 1, 2, . . . , k

Y .. :=1

n

k∑i=1

ni∑j=1

Yij =1

n

k∑i=1

niY i. (sveukupna uzoracka sredina).

Primijetite da relacija (11.3) vrijedi i za procjenitelje efekata, dakle,

k∑i=1

niτi = 0.

Uzoracka varijanca poduzorka koji odgovara i-tom tretmanu je

S2i =

1

ni − 1

ni∑j=1

(Yij − Y i.)2.

Za svaki i, S2i je nepristrani procjenitelj za σ2 i (ni − 1)S2

i /σ2 ∼ χ2(ni − 1). Nadalje,

slucajne varijable S21 , S

22 ,..., S

2k su nezavisne, pa

1

σ2

k∑i=1

(ni − 1)S2i ∼ χ2(n− k).

Buduci da je

E[k∑

i=1

(ni − 1)S2i ] =

k∑i=1

(ni − 1)E[S2i ] = (n− k)σ2,

zajednicka uzoracka varijanca

σ2 :=1

n− k

k∑i=1

(ni − 1)S2i =

1

n− k

k∑i=1

ni∑j=1

(Yij − Y i.)2

100

je nepristrani procjenitelj za varijancu pogresaka σ2.Zelimo testirati nulhipotezu da su populacijska ocekivanja tretmana jednaka, tj. da

tretmani nemaju utjecaja na populacijsko ocekivanje od Y , u odnosu na alternativu da tonije tako. Dakle,

H0 : τi = 0 za svaki i = 1, 2, . . . , k, H1 : τi = 0 za barem jedan i od 1, 2, . . . , k.

11.1.3 Rastav varijance

Ukupna se uzoracka varijabilnost moze rastaviti na dvije komponente. Jednu komponentucini varijabilnost unutar svakog od poduzoraka odredenih pojedinim tretmanom, a druguvarijabilnost do koje dolazi zbog razlika medu tretmanima, preciznije, izmedu njihovihuzorackih sredina. Naime, vrijedi

k∑i=1

ni∑j=1

(Yij − Y ..)2 =

k∑i=1

ni∑j=1

(Yij − Y i.)2 +

k∑i=1

ni(Y i. − Y ..)2.

Ako oznacimo sa

SSTOT :=k∑

i=1

ni∑j=1

(Yij − Y ..)2 (ukupnu sumu kvadrata)

SST :=k∑

i=1

ni(Y i. − Y ..)2 (sumu kvadrata zbog razlike medu tretmanima)

SSE :=k∑

i=1

ni∑j=1

(Yij − Y i.)2 (sumu kvadrata pogresaka ili reziduala),

tada se gornja relacija moze zapisati i na nacin:

SSTOT = SSE + SST.

Primijetite da je σ2 = SSE/(n − k). Statistiku σ2 jos oznacavamo sa MSE i zovemosrednjekvadratna greska. Slicno, statistiku MST := SST/(k − 1) zovemo srednjekvadratnoodstupanje zbog tretmana.

Ako vrijedi nulhipotezaH0, tada je SSTOT/(n−1) uzoracka varijanca zdruzenog uzorkakoji reprezentira jednu normalno distribuiranu populaciju, pa je SSTOT/σ2 ∼ χ2(n−1). Utom slucaju moze se pokazati da su statistike MSE i MST nezavisne i SST/σ2 ∼ χ2(k− 1).Primijetite da je tada MST takoder nepristrani procjenitelj za σ2. Dakle, testna statistikaje

F =MST

MSE

H0∼ F (k − 1, n− k).

H0 odbacujemo ako je opazena vrijednost f testne statistike F prevelika.Razultati izracuna opazenih vrijednosti navedenih statistika prikazuju se u ANOVA-

tablici :

izvor varijabilnosti stupnjevi slobode sume kvadrata srednji kvadrati test-stat.

zbog tretmana k − 1 SST MST fslucajne greske n− k SSE MSE —

ukupno n− 1 SSTOT — —

101

Primjer 11.1 Iz svakog od tri osiguravajuceg drusva A, B i C na slucajan nacin uzet jepo uzorak polica osiguranja privatnih kuca. Zabiljezene su osigurane svote po svakoj polici(u iznosima od po 100 kn):

drustvo A: 36, 28, 32, 43, 30, 21, 33, 37, 26, 34drustvo B: 26, 21, 31, 29, 27, 35, 23, 33drustvo C: 39, 28, 45, 37, 21, 49, 34, 38, 44.

Zelimo testirati nulhipotezu da su populacijske srednje vrijednosti osiguranih svota po poli-cama osiguranja privatnih kuca jednake, odnosno, da izbor osiguravajuceg drustva ne utjecena ocekivani iznos osigurane svote po tim policama.

Duljine poduzoraka su nA = 10, nB = 8, nc = 9, a ukupna duljina je n = nA+nB+nC =10 + 8 + 9 = 27. Uzoracke sredine i varijance svakog od poduzoraka su:

yA. = 32.0000, yB. = 28.1250, yC. = 37.2222,s2A = 38.2222, s2B = 23.2679, s2C = 75.9444.

Odavde slijedi da je sveukupna uzoracka sredina

y.. =nAyA. + nB yB. + nC yC.

n=

10 · 32.0000 + 8 · 28.1250 + 9 · 37.222227

= 32.5926.

Nadalje, racunamo:

SST = nA(yA. − y..)2 + nB(yB. − y..)

2 + nC(yC. − y..)2 =

= 10 · (32.− 32.5926)2 + 8 · (28.125− 32.5926)2 + 9 · (37.2222− 32.5926)2 =

= 356.088

MST =SST

k − 1=

356.088

3− 1= 178.044

SSE = (nA − 1)s2A + (nB − 1)s2B + (nC − 1)s2C =

= 9 · 38.2222 + 7 · 23.2679 + 8 · 75.9444 =

= 1114.43

MSE =SSE

n− k=

1114.43

27− 3= 46.4346

f =MST

MSE= 3.8343.

ANOVA-tablica:

izvor varijabilnosti stupnjevi slobode sume kvadrata srednji kvadrati test-stat.

zbog osig. drustva 2 356.09 178.044 3.83slucajne greske 24 1114.43 46.435 —

ukupno 26 1470.52 — —

Uz pretpostavku da su ispunjeni uvjeti na model (11.1), zelimo testirati nulhipotezu

H0 : τA = τB = τC = 0

u odnosu na alternativu da to nije tako. Buduci da je FH0∼ F (2, 24) i f = 3.83, p-vrijednost

je P(F ≥ 3.83|H0) = 0.036 pa mozemo odbaciti H0 uz razinu znacajnosti od 5%.

102

11.1.4 Provjera modela

Analizom procijenjenih velicina pogresaka na osnovi prilagodenog ANOVA-modela, dakle,reziduala

εij := yij − yij = yij − µ− τi = yij − yi., j = 1, 2, . . . , ni,

za svaki i posebno (i = 1, 32, . . . , k), mogu se uociti neadekvatnosti u pretpostavkama namodel: pristranost u pogreskama (tj. sistematski utjecaj nekog vanjskog faktora), odstu-panje od normalnosti slucajnih pogresaka, te nehomogenost populacijskih varijanci pogre-saka. Na primjer, ako linijski dijagram reziduala ukazuje na postojanje pravilnosti (uzorka)u raspodjeli reziduala, vjerojatno se radi o pristranom uzorku. Nadalje, ako rezidua-li pokazuju odstupanje od normalnosti, adekvatnom transformacijom podataka se mozepostici normalnost pogreske. Na primjer, u slucaju pozitivno asimetricnog uzorka rezidu-ala, obicno je dobar izbor logaritamska transformacija. Primjenom adekvatne transforma-cije obicno se rjesava i problem nehomogenih varijanci pogresaka kada velicina varijance zapojedini tretman ovisi o njegovoj srednjoj vrijednosti. Spomenimo da je F -test koji pri-mjenjujemo za testiranje nulhipoteze o jednakosti srednjih vrijednosti tretmana, robustanna odstupanja od populacijske normalnosti i homogenosti varijance pogresaka.

Primjer 11.1 (nastavak) Uvidom u usporedne linijske dijagrame reziduala, mozemo za-kljuciti da je pretpostavka o homogenosti varijanci osiguranih svota promatranih policaizmedu osiguravajucih drustava A, B i C, neadekvatna. Neadekvatna je i pretpostavka onormalnosti osiguranih svota za drustvo B.

A B C

-15

-10

-5

0

5

10

15

Nadalje, uocimo da jeyB. < yA. < yC. i s2B < s2A < s2C ,

dakle, da velicina procijenjih varijanci ovisi o procijenjenim srednjim vrijednostima u smisluda vecim srednjim vrijednostima odgovaraju vece varijance.

103

11.2 Analiza sredina tretmana

Pretpostavimo da nas zanima samo populacijsko ocekivanje µ+ τi varijable Y za tretmani (i = 1, 2, . . . , k). Pouzdani se interval za taj parametar konstruira pomocu studentiziraneverzije statistike Y i., a na osnovi sveukupnih podataka u uzorku. Dakle, 95%-pouzdaninterval za µ+ τi je

Y i. ± t0.025(n− k)σ

√ni

.

Zelimo li usporedivati parametre ocekivanja dviju (od k razlicitih) potpopulacija, recimoza tretmane i i l (i, l ∈ 1, 2, . . . , k i i = l), tada to cinimo pomocu razlike Y i.−Y l. njihovihprocjenitelja. Vrijedi:

Var[Y i. − Y l.] = σ2(1

ni+

1

nl).

95%-pouzdani interval za parametar τi − τl je

Y i. − Y l. ± t0.025(n− k)σ

√1

ni+

1

nl.

Konstrukcija 95%-pouzdanih intervala za sve moguce razlike parametara ocekivanjatretmana nije preporucljiva jer je vjerojatnost istovremenog pokrivanja svih takvih intervala(a time i pouzdanost takve kombinacije intervala) manja od 0.95. S druge strane, buducida F -test kojim se testira nulhipoteza

H0 : τi = 0 za sve i = 1, 2, . . . , k,

u slucaju odbacivanja te hipoteze, ne kaze koje se dvije (ili vise) srednjih vrijednosti tret-mana znacajno razlikuje, sasvim je prirodno zapitati se za koje grupe tretmana se njihovesrednje vrijednosti znacajno ne razlikuju. Nacin na koji se takve grupe odreduju ilustriratcemo na primjeru.

Primjer 11.2 Na osnovi podataka iz primjera 11.1 odbacili smo nulhipoteza o homogenos-ti srednjih vrijednosti osiguranih svota polica osiguranja privatnih kuca u tri osiguravajucadrustva. Zelimo utvrditi koje se grupe osiguravajucih drustava znacajno razlikuju po sred-njim vrijednostima izucavane varijable osigurane svote. Prvo, uredimo procjene tih srednjihvrijednosti po velicini:

yB. < yA. < yC..

Zatim promotrimo prvi par po velicini u gornjem uredenom nizu. To su yB. < yA.. Zazadanu razinu znacajnosti, recimo 5%, izracunajmo najmanju razliku izmedu yA. i yB. zakoju ce razlika τA − τB biti znacajno razlicita od nule. Ta razlika je

t0.025(n− k)σ

√1

nA+

1

nB= 2.064 ·

√46.44 ·

√1

10+

1

8= 6.67.

Buduci da je yA. − yB. = 3.9 < 6.67, µ+ τB i µ+ τA se znacajno ne razlikuju. Tu cinjenicumozemo graficki predociti podcrtavanjem njihovih procjena:

yB. < yA. < yC..

Sada isti postupak ponovimo na sljedecem paru u uredenom nizu: yA. < yC.. Uz istu razinuznacajnosti, najmanja razlika uz koju ce razlika τC − τA biti znacajno razlicita od nule je:

t0.025(n− k)σ

√1

nC+

1

nA= 2.064 ·

√46.44 ·

√1

9+

1

10= 6.46.

104

Buduci da je yC. − yA. = 5.2 < 6.46, µ+ τA i µ+ τC se znacajno ne razlikuju. Dakle,

yB. < yA. < yC..

Primijetite da dobiveni rezultat nije u kontradikciji sa zakljuckom testa buduci da se µ+τBi µ+ τC znacajno razlikuju. Naime,

t0.025(n− k)σ

√1

nC+

1

nB= 2.064 ·

√46.44 ·

√1

8+

1

9= 6.8 < 9.1 = yC. − yB..

11.3 Dodatne napomene

F -test u analizi varijance za usporedbu k = 2 tretmana je ekvivalentan t-testu iz pot-poglavlja 9.4.1 (situacija 2.) za usporedbu dviju normalno distribuiranih populacija. Naime,veza izmedu testnih statistika F iz ANOVA-e i T iz t-testa je T 2 = F .

Nadalje, analiza rastava varijance odziva u regresijskoj analizi linearnog modela (10.3)moze se takoder prikazati u ANOVA-tablici:

izvor varijabilnosti stupnjevi slobode sume kvadrata srednji kvadrati test-stat.

zbog regresije 1 SSR SSR1

SSRSSE/(n−2)

slucajne greske n− 2 SSE SSEn−2 —

ukupno n− 1 SSTOT — —

Primijetite da se nulhipoteza da odziv ne ovisi o nezavisnoj varijabli zapisuje u terminima izpoglavlja 9 kao H0 : β = 0. t-test koji se koristi za testiranje te nulhipoteze je ekvivalentanF -testu iz ANOVA-e buduci da za testnu statistiku

T =β

σ√

1Sxx

vrijedi relacija

T 2 =SSR

SSE/(n− 2)

H0∼ F (1, n− 2).

S druge strane, analiza varijance k tretmana ekvivalentna je regresijskoj analizi modelau kojoj je varijabla Y zavisna u odnosu na k − 1 nezavisnu varijablu koje sve poprimajusamo vrijednosti “0” ili “1”.

105

Literatura

[1] Subject 101: Statistical Modelling, Core Reading 2000., Faculty and Institute of Actu-aries

[2] Subjects C1/2: Statistics, Core Reading 1996., Faculty and Institute of Actuaries

[3] F. Daly, D.L. Hand, M.C. Jones, A.D. Lunn, K.J. McConway, Elements ofStatistics, Addison-Wesley, 1995.

[4] E.L. Lehmann, Testing Statistical Hypotheses, 2nd edition, Springer, 1997.

[5] E.L. Lehmann, G. Casella, Theory of Point Estimation, 2nd edition, Springer,1998.

[6] Z. Pause, Uvod u matematicku statistiku, Skolska knjiga, Zagreb, 1993.

[7] I. Sosic, V. Serdar, Uvod u statistiku, Skolska knjiga, Zagreb, 1992.

[8] J.E. Freund, Mathematical Statistics, Prentice Hall International, 1992.

106