matematikai statisztika. (hallgatói jegyzet) készítette ... · fejezet 1 bevezetés a...

Matematikai statisztika.(hallgatói jegyzet)

Készítette: Nagy ÁdámArató Miklós előadásai alapján

Előszó

Jelen jegyzet a 2008/2009–s tanév tavaszi félévében az ELTE–IK ProgramtervezőInformatikus (A) szakos hallgatóinak Arató Miklós által tartott Matematikai sta-tisztika című tanegység alapján készül(t).

A jegyzet elkészítéséhez a LYX nevű programot hasznátam (http://www.lyx.org/),valamint a képleteket és formulákat az AMS-LATEX csomagok felhasználásával(http://www.ams.org/tex/amslatex.html) szerkesztettem.

A grafikonok és ábrák elkészítése a Maple illetve GIMP programok segítségéveltörtént.

Hibák, észrevételek: [email protected]

Készült: Budapest, 2009. tavaszi félév (2009. május 26-án)

FEJEZET 1

Bevezetés

A matematikai statisztika tárgya következtetések levonása adatok alapján a kövez-kező területeken:

• Ipari termelés• Mezőgazdaság• Szociológia (közvéleménykutatások)• Természettudományok• Pénzügyi adatok• Az élet szinte minden területén

A matematikai statisztika történetét tekintve fiatal tudományág (kb. 100 év), amelya számítógépenek köszönhetően az utobbi évtizedekben felgyorsult.

A matematikai statisztika egy matematikai tudomány, ugyanakkor a mindennapihasználatban nem kellően precíz (teljesülnek-e a feltételek). Ezért lényeges, hogy afeltételezéseinket és következtetéseinket pontosan fogalmazzuk meg.

1.1. Példák

(1) Rendkívüli volt-e a januári Zala megyei időjárás? Vis maior-e az áram-szolgáltató szempontjából?

(2) Egy közvéleménykutatás során azt kaptuk, hogy 1000 emberből 400 válasz-taná az adott pártot. Mások szerint a párt 50%-ot fog kapni. Előfordulhat-e ez? Mekkora a valószínűsége?

(3) Van-e a rassznak, nemzetiségnek hatása a halandóságra?

(4) Mi lehet egy vezető áltatal okozott károk eloszlása?

Kárszám 0 1 2 3 4 5 6 7 >7 ÖsszesenVetetők száma 129524 16267 1966 211 35 5 1 1 0 148006

3

1. STATISZTIKAI ADATOK 4

(5) Milyen valószínűséggel születik fiúgyermek?Például Svájcban 1871 és 1900 között 2.644.757 megszületett gyermekből1.359.671 fiú és 1.285.086 lány volt.Fiúk relatív gyakorisága így 0,5141. Igaz-e, hogy a valószínűség 0,5? És0,1?

Xi =

1 , i. gyermek fiú0 , i. gyermek lány ⇒

P (Xi = 1) = p; n = 2644757; ξ =1n

n∑i=1

Xi ⇒

P

(− u <

√n

p(1− p)(ξ − p) < u

)∼ 2Φ(u)− 1

p = 0, 5 ⇒√

n

p(1− p)(ξ − p) = 37

u = 4 ⇒ 2Φ(u)− 1 = 0, 999936

p(1− p) ≤ 14⇒

2Φ(u)− 1 ∼ P

(− u <

√n

p(1− p)(ξ − p) < u

)≤

≤ P(− u < 2

√n(ξ − p) < u

)=

= P

(−u2√n< (ξ − p) <

u

2√n

)=

= P

(ξ − u

2√n< p < ξ +

u

2√n

)Esetünkben 0, 9973 valószínűséggel 0, 5132 ≤ p ≤ 0, 5150.

1.2. Különbség statisztika és valószínűségszámítás között

Tekintsük a következő kísérletet: Négyszer feldobunk egy érmét és megszámoljuka fejek számát. Valószínűségszámításban ismert a fejdobás valószínűsége, így meg-határozhatjuk milyen valószínűséggel dobunk két fejet. Statisztikában a fejdobásvalószínűsége nem ismert, a kapott eredmény alapján becsüljük meg a fejdobásvalószínűségét.

1.3. Statisztikai adatok

Alapadat : közvetlenül a sokaságból méréssel vagy leszámlálással kapott eredmény.Származtatott adat : az alapadatokból műveletek eredményeként kapjuk.

1.3.1. Adatok pontossága. Általában korlátozott az alapadatok pontos-sága, ezért bevezethetjük a következő fogalmakat:Abszolút hiba: ε = |V −M |, ahol V a valóságos adat és M a mért adat. (Gyakor-latban nem tudjuk a pontosan, csak becslést tudunk adni rá.)Relatív hiba: az abszolút és mért értékek hányadosa ( ε

M ).

1. LEÍRÓ STATISZTIKA 5

1.3.2. Adatok.A mintavétel eredménye a (statisztikai) minta, azaz a x1, x2, . . . , xn (számsorozat).A mintavétel módja is lényeges (legegyszerűbb eset, ha bármelyik elem ugyanakkoravalószínűséggel kerül a mintába).Ugyanakkor egy másik, hasonló mintavételnél más mintát kapnánk, azaz az adottminta véletlen kísérlet eredménye. Ha a minta véletlen jellegét vizsgáljuk, akkorX1, X2, . . . , Xn valószínűségi változósorozat, amelynek eloszlása nem (vagy csakrészben) ismert.

1.4. Statisztikai ismérvek

Sokaság: vizsgálatba vont csoportok.Egyedek: sokaság elemei.Ismérvek: egyedek jellemzői.Ismérvváltozat: lehetséges kimenet.Az ismérvek által adott információk alapján az ismérvek lehetnek időbeliek, terüle-tiek, mennyiségiek és minőségiek.A nem számmal kifejezhető, vagy számmal jelölt, de mégsem szám jellegű ismérve-ket minősítéses ismérvnek nevezzük. (pl.: főváros kerülete)A méréssel meghatározható, számmal jellemezhető ismérveket méréses ismérvneknevezzük. (pl.: testmagasság)Az olyan minősítéses ismérvet, amelynek adatai rendezhetők rendezhető mérésesismérvnek nevezzük.

1.5. Statisztikai elemzés lépései

(1) Tervezés: mit vizsgálunk és hogyan gyűjtjük az adatokat.(2) Adatgyűjtés.(3) Kódolás, ha szükésges.(4) Ellenőrzés leíró statisztikákkal.(5) Elemzés matematikai statisztika módszerével.

1.6. Leíró statisztika

Nem a véletlen hatását vizsgálja, hanem a konkrét mintamegjelenítése, jellemzőinekkiszámítása a feladata.

Az adatok elrendezetők táblázatba (fontos a forrás feltüntetése), vagy ábrázolhatókgrafikusan.

1.6.1. Táblázatok.Cél az adatok tömör, számszerű jellemzése. Ehhez szükség van csoportosításra,amely különböző ismérvek szerint lehetséges (sok ismérvváltozat esetén osztályo-zás kell). Az eredmény egy ismérv szerinti csoportosító táblázat, ami tartalmazhatgyakoriságot, illetve relatív gyakoriságot is.

1.6.2. Statisztikai táblák.Megfelelő fromával ellátott statisztikai sorok. Típusai:

• egyszerű tábla: leíró sorokból áll.• csoportosító tábla: tartalmaznak összesítő rovatot, vagy összehasonlítást.• kombinációs- vagy kontingenciatábla: két ismérv szerinti kombinációs cso-

portosítás, azaz mindkét irányban tartalmaz csoportosítást.


1.6.3. Tapasztalati eloszlás.Valószínűségeloszlás, minden megfigyeléshez (x1, x2, . . . , xn) 1

n súlyt rendel. A mintaátlag éppen ennek az eloszlásnak a várható értéke.A tapasztalati eloszlás eloszlásfüggvénye röviden a tapasztalati eloszlásfüggvény:

Fn(z) =1n

n∑k=1

χxk < z

Fn(z) =k

n, ha x(n)

k < z ≤ x(n)k+1,

ahol x(n)1 ≤ x

(n)2 ≤ · · · ≤ x

(n)n az x1, x2, . . . xn rendezése, x(n)

0 = −∞ és x(n)n+1 = +∞.

Ha a minta X1, X2, . . . Xn valószínűségi változósorozat, akkor Fn(z) is valószínűségiváltozó.

Példa. Normális eloszlás közelítése n = 10 és n = 100 esetben:

1.6.4. Grafikus ábrázolás.

• Oszlopdiagramm: a gyakoriságokkal arányos az oszlopok magassága.• Gyakorisági poligon, hisztogramm: mennyiségi ismérvek esetén.• Kördiagramm: megoszlás szemléltetése.

HisztogrammAz adatainkat osztályokba soroljuk (mindegyiket pontosan egybe, pl. az i-edik osz-tály ai ≤ x < ai+1), a csoportok relatív gyakoriságai megegyeznek az osztály fölérajzolt téglalap területével. Az összterület 1 (hasonlóan a sűrűségfüggvényhez).

Pontszámok ábrázolása grafikusan túl sok, túl kevés és megfelelő számú osztályesetén:


1.6.5. Középértékek.

• Mintaátlag : x := x1+x2+···+xn

n .• Medián: sorba rendezett minta középső eleme (ha páros számú a minta,

akkor a két középső elem átlaga).

1.6.6. Tapasztalati kvantilisek.Az elméleti kvantilis abszolút folytonos, szigorúan monoton F esetén qz := F−1(z).Általában inf

x∣∣F (x) > 0

. A tapasztalati eloszlás kvantilisei a tapasztalati kvan-

tilisek. Nevezetes kvantilisek: z = 12 a medián, z = 1

4 és z = 34 a kvartilisek.

Az egyes dobozok az alsó kvartilitstól a felső kvartilisig tartanak. Középvonal amedián. A vonalak a teljes terjedelemet felölelik, ha ez nem nagyobb a kvartilisekközötti különbségek 1,5-szeresénél. Ha ezen kívül is vannak pontok, azokat külön-külön jeleníti meg.

1.6.7. Egyéb ábrázolások.

FEJEZET 2

Alapfogalmak

Definíció. (Statisztikai mező)A

(Ω,A, Pϑ), ϑ ∈ Θstatisztikai mező, ha Θ paraméterhalmaz és (Ω,A, Pϑ) valószínűségi mező mindenϑ ∈ Θ esetén.

Példa. Egy érmedobás modellje:

Ω = F, I; A =∅, F, I, F, I

;

Pp

(F

)= p; Pp

(I)

= 1− p; p ∈ [0, 1] = Θ.

Definíció. (Minta)A

ξ =

ξ1...ξn

: Ω → X ⊆ Rn

valószínűségi vektorváltozót mintának nevezzük, ahol n ∈ N a mintanagyság és ξiaz i. mintaelem.

Definíció. (Minta realizációja)Egy minta realizációja az

x =

x1

...xn

∈ Rn

konkrét megfigyelt számsorozat.

Példa.Megfigyeltük egy benzinkútnál tankolók számát öt napon keresztül. A megfigyelé-sek: 78, 89, 167, 90, 85 – azaz a minta realizációja (78, 89, 167, 90, 85)T és a minta-nagyság 5.

Definíció. (Mintatér)Az X halmaz mintatér, a minta lehetséges értékeinek halmaza. Elemei a mintaér-tékek.

Példák.

• n elemű valós minta esetén X = Rn

• n elemű pozitív egész értékű minta esetén X = Nn

• Egy biztosítónál 10 napon keresztül figyelték a bejelentett károk számát,ekkor X = Z+n

0

A minta – aszerint hogy a mintaelemek milyen típusúak – lehet független, függetlenazonos eloszlású, diszkrét és abszolút folytonos.

Eloszláscsaládok.

Fϑ(s) := Pϑ(ξ1 < s1, ξ2 < s2, . . . , ξn < sn) ⇒

8

2. ALAPFOGALMAK 9

Fϑ(s) =n∏

i=1

Pϑ(ξi < si), ha a mintaelemek függetlenek.

Fϑ(s) =n∏

i=1

Fϑ(si), ha a mintaelemek független azonos eloszlásúak.

Jelölések.Jelöljük ϑ ∈ Θ paraméter esetén a várható értéket Eϑ-val, a szórástDϑ-val, abszolútfolytonos eloszlású minta sűrűségfüggvényét fϑ-val és diszkrét mintánál pϑ(s) := Pϑ(ξ = s).

Definíció. (Statisztika)A T : X → Rk függvényt statisztikának nevezzük.

Definíció. (Statisztika)A T (ξ)-t (is) statisztikának nevezzük, ha T : X → Rk függvény.

Példák. (X = Rn)

(1) Mintaközép (tapasztalati 1. momentum):

T (x) = x =1n

n∑i=o

xi, T (ξ) = ξ =1n

n∑i=o

ξi

(2) Tapasztalati k. momentum:

T (x) =1n

n∑i=o

xki , T (ξ) =

1n

n∑i=o

ξki

(3) Tapasztalati szórásnégyzet:

T (x) =1n

n∑i=o

(xi − x)2, T (ξ) = s2 =1n

n∑i=o

(ξi − ξ)2

Definíció. (Rendezett minta)A ξ1, ξ2, . . . , ξn minta elemeit nagyság szerint sorbarendezve, kapjuk a

ξ(n)1 ≤ ξ

(n)2 ≤ · · · ≤ ξ(n)

n

rendezett mintát. A sorbarendezés egy n dimenziós statisztika.

Megjegyzés.Ha feltesszük, hogy a minta elemei független, azonos eloszlásúak és ez az eloszlásabszolút folytonos, akkor felírható a rendezett minta k-adik elemének, ξ(n)

k -nek asűrűségfüggvénye. (Speciálisan a minimuma vagy a maximuma.)

Definíció. (Minta terjedelme)A ξ

(n)n − ξ

(n)1 értéket a minta terjedelmének nevezzük.

Definíció. (Tapasztalati eloszlásfüggvény.)A tapasztalati eloszlás eloszlásfüggvénye a

Fn(z) =1n

n∑i=1

χξi < z

amelyre

Fn(z) =k

n, ha ξ(n)

k < z ≤ ξ(n)k+1, ξ

(n)0 = −∞ és ξ(n)

n+1 = +∞.

Megjegyzés.A mintaátlag az előző definícióban szereplő eloszlásnak a várható értéke.

2. ALAPFOGALMAK 10

Tétel. (Glivenko-Cantelli tétel – statisztika alaptétele)Tegyük fel, hogy ξ1, ξ2, . . . , ξn független, azonos F eloszlásfüggvényű mintalemek.Ekkor

supz

∣∣Fn(z)− F (z)∣∣ n→+∞−−−−−→ 0 1 valószínűséggel.

Bizonyítás. (Csak folytonos F eloszlásfüggvények esetében látjuk be.)Mivel F folytonos

∀N ∈ N-hez ∃z1, z2, . . . , zN−1 ∈ R, melyekre, ha z0 = −∞ és zN = +∞, akkor

F (z0) = 0, F (z1) =1N, . . . , F (zi) =

i

N, . . . , F (zN−1) =

N − 1N

,F (zN ) = 1.

Ekkor, ha z ∈[zk, zk+1

), akkor

Fn(z)− F (z) ≤ Fn(zk+1)− F (zk) = Fn(zk+1)− F (zk+1) +1N

és

Fn(z)− F (z) ≥ Fn(zk)− F (zk+1) = Fn(zk)− F (zk)− 1N

.

Ebből kovetkezik, hogy

supz

∣∣Fn(z)− F (z)∣∣ ≤ max

0≤k≤N

∣∣Fn(zk)− F (zk)∣∣+ 1

N.

Tudjuk, hogy rögzített x-re

Fn(x) =1n

n∑i=1

χξi < x,

ahol χξi < x független, azonos eloszlású indikátor valószínűségi változók, melyekvárható értéke

E(χξi < x

)= P (ξi < x) = F (x).

Így a nagy számok erős törvénye szerint

Fn(x) =1n

n∑i=1

χξi < x n→+∞−−−−−→ E(χξi < x

)= F (x) 1 valószínűséggel.

Legyen

Ak,N =ω∣∣∣ 1n

n∑i=1

χξi(ω) < zkn→+∞−−−−−→ F (zk)

,

ekkor P (Ak,N ) = 1 és

BN :=ω∣∣∣ max0≤k≤N

∣∣F (zk)− F (z)∣∣ n→+∞−−−−−→ 0

=

N−1⋂k=1

Ak,N .

BN -nlim supn→+∞

∣∣Fn(z)− F (z)∣∣ ≤ 1

N.

Ebből következik, hogy+∞⋂N=1

Bn-n lim supn→+∞

∣∣Fn(z)− F (z)∣∣ = 0.

Ugyanakkor 1 valószínűségű események metszete is 1 valószínűségű, így+∞⋂N=1

BN =+∞⋂N=1

N−1⋂k=1

Ak,N is 1 valószínűségű.

FEJEZET 3

Becsléselmélet

A minta ismeretlen paraméterét közelítjük a minta függvényével.

Definíció. (Becslőfüggvény, becslés)A ϑ : X → Θ függvényt becslőfüggvénynek és a ϑ(ξ) értéket becslésnek nevezzük.

Megjegyzés.A becslőfüggvények maguk is statisztikák, szubjektíven olyan statisztikák, amik jólközelítik az ismeretlen paramétert.

3.1. Becslések összehasonlítása

Definíció. (Torzítatlan becslés)A ϑ paraméter ϑ becslése torzítatlan, ha

Eϑ

(ϑ(ξ)

)= ϑ ∀ϑ ∈ Θ esetén.

A ϑ paraméter h függvény által létesített képének T becslése torzítatlan, ha

Eϑ

(T (ξ)

)= h(ϑ) ∀ϑ ∈ Θ esetén.

Definíció. (Konzisztens becslés)A ϑ paraméter ϑ becslése konzisztens, ha

ϑ(ξ) n→+∞−−−−−→ ϑ sztochasztikusan ∀ϑ ∈ Θ esetén.

A ϑ paraméter h függvény által létesített képének T becslése konzisztens, ha

T (ξ) n→+∞−−−−−→ h(ϑ) sztochasztikusan ∀ϑ ∈ Θ esetén.

Ha sztochasztikus konvergencia helyett 1 valószínűségű van, akkor erősen konzisz-tens becslésről beszélhetünk.

Példák.

(1) Valószínűség becslése relatív gyakorisággal egy torzítatlan és konzisztensbecslés.

(2) A várható érték becslése mintaátlaggal torzítatlan és konzisztens becslés.(3) Glivenko-Cantelli tétel következménye, hogy az elméleti eloszlásfüggvény

torzítatlan, konzisztens becslése a tapasztalati eloszlásfüggvény.(4) A tapasztalati szórásnégyzet konzisztens, de nem torzítatlan becslése az

elméleti szórásnégyzetnek, ui.:Legyen D2

σ2ξi = σ2, ekkor

Eσ2(s2) = Eσ2

(1n

n∑i=1

(ξi − ξ)2)

=(n− 1)σ2

n.

11

3. BECSLÉSEK ÖSSZEHASONLÍTÁSA 12

Viszont már torzítatlan becslés a

1n− 1

n∑i=1

(ξi − ξ)2 =ns2

n− 1.

Tétel. (Elégséges feltétel konzisztenciára)Tegyük fel, hogy ϑ : X → Θ és ξ mintára igaz, hogy

(1) Eϑ

(ϑ(ξ)

)→ ϑ (aszimptotikus torzítatlanság) és

(2) D2ϑ

(ϑ(ξ)

)→ 0.

Ekkor ϑ konzisztens becslés.

Bizonyítás.

P(∣∣ϑn − ϑ

∣∣ ≥ ε)

= P(∣∣ϑn − Eϑn + Eϑn − ϑ

∣∣ ≥ ε)≤

≤ P

(∣∣ϑn − Eϑn

∣∣ ≥ ε

2

)+ P

(∣∣Eϑn − ϑ∣∣ ≥ ε

2

)︸︷︷︸

=0 elég nagy n-re

Csebisev egy.≤ D2

ϑϑn

ε2

2

→ 0.

Példák.

• Poisson paraméterére a mintaátlag torzítatlan és konzisztens becslés.• Exponenciális eloszlás paraméterére a

I mintaátlag reciproka aszimptotikusan torzítatlan és konzisztens,I az n ·minx1, x2, . . . , xn torzítatlan, de nem konzisztens.

Definíció. (Becslések hatásossága)A T1 torzítatlan becslése h(ϑ)-nak hatásosabb a T2 torzítatlan becslésnél, ha

D2ϑ

(T1(ξ)

)≤ D2

ϑ

(T2(ξ)

)∀ϑ ∈ Θ esetén.

Példa.A mintaátlag hatásosabb becslés a várható értékre minden

∑cixi alakú becslésnél.

Ui.:A∑cixi becslés, akkor és csak akkor torzítatlan, ha

n∑i=1

ci = 1

Ugyanakkor felhasználva a számtani és négyzetes közép alapján kapott√∑c2in

≥∑cin

=1n

egyenlőtlenséget

D2(∑

cixi

)= D2(xi)

∑c2i ≥ D2(xi)

1n

= D2(x)

Definíció. (Hatásos becslés)A T torzítatlan becslés hatásos, ha minden más becslésnél hatásosabb.

Megjegyzés.A hatásos becslést azért keressük a torzítatlan becslések között, mert pl. az isme-retlen paraméter becslése azonosan nullával hatásosabb lenne.

3. ELÉGSÉGES STATISZTIKA 13

Definíció. (Átlagos négyzetes eltérés)Ha T hatásos becslése ϑ-nak, akkor az átlagos négyzetes eltérés

Eϑ

(T (ξ)− ϑ

)2.

Állítás. (Hatásos becslés egyértelműsége)Legyen T1, T2 torzítatlan hatásos becslések h(ϑ)-ra. Ekkor

Pϑ(T1 = T2) = 1 ∀ϑ ∈ Θ esetén.

Bizonyítás.Mivel T1 és T2 hatásosak, így EϑT1 = EϑT2 = h(ϑ), továbbá DϑT1 = DϑT2.Amiből

D2ϑT1 ≤ D2

ϑ

(T1 + T2

2

)=D2

ϑT1 + 2cov(T1, T2) +D2ϑT2

4=D2

ϑT1 + cov(T1, T2)2

⇒

D2ϑT1 ≤ cov(T1, T2) = DϑT1 ·DϑT2 · corr(T1, T2)︸︷︷︸

≤1

≤ D2ϑT1 ⇒

D2ϑT1 = D2

ϑT2 = cov(T1, T2) ⇒

4D2ϑ

(T1 − T2

)= D2

ϑT1 − 2cov(T1, T2) +D2ϑT2 = 0

TehátPϑ

(T1 − T2 = c) = 1 c ∈ R.

Ugyanakkorc = Eϑ

(T1 − T2

)= h(ϑ)− h(ϑ) = 0 ⇒

Pϑ

(T1 = T2

)= 1 ∀ϑ ∈ Θ esetén.

3.2. Elégséges statisztika

Mennyi információt hordoz a statisztika?Például ξ1, ξ2, . . . , ξn ∼ N(m, 1) egymástól független mintaelemek esetén

ξ =1n

n∑i=1

ξi ∼ N(m,

1√n

)függ m-től,

miközben

s2 =1n

n∑i=1

(ξi − ξ) nem függ m-től.

Definíció. (Elégséges statisztika diszkrét minta esetén)A diszkrét ξ mintából képzett T (ξ) statisztika elégséges a Θ paratméterhalmazranézve, ha

Pϑ

(ξ = x

∣∣T (ξ) = t)független ϑ-tól ∀x ∈ X és ∀t ∈ RT esetén.

Példa.Indikátor minta

Xi =

1 p valószínűséggel0 1− p valószínűséggel ⇒ Pp(Xi = x) = px(1− p)1−x

(x ∈ 0, 1

)


Pp

(X = x

∣∣∣∣ n∑i=1

Xi = t

)=

Pp

(X1 = x1, . . . , Xn = xn,

n∑i=1

Xi = t

)

Pp

(n∑

i=0

Xi = t

) =

=Pp (X1 = x1, . . . , Xn = xn)

Pp

(n∑

i=0

Xi = t

) · χ

n∑

i=1

xi = t

=

pP

xi(1− p)n−P

xi(nt

)pt(1− p)n−t

· χ

n∑

i=1

xi = t

=

1(nt

) · χ

n∑

i=1

xi = t

Azaz a∑Xi elégséges statisztika.

Tétel. (Neyman-féle faktorizációs tétel)A diszkrét ξ mintából képzett T (ξ) statisztika pontosan akkor elégséges a Θ paramé-terhalmazra nézve, ha

∃h(x) és gϑ(t) : Pϑ(ξ = x) = h(x)gϑ

(T (x)

)∀ϑ ∈ Θ és ∀x ∈ X esetén.

Bizonyítás.⇒

Ha T (ξ) elégséges, akkor

Pϑ(ξ = x) = Pϑ

(T (ξ) = t(x)

) Pϑ

(ξ = x, T (ξ) = t(x)

)Pϑ

(T (ξ) = t(x)

) =

= Pϑ

(T (ξ) = t(x)

)Pϑ

(ξ = x

∣∣T (ξ) = t(x))

= gϑ

(T (x)

)h(x)

⇐Ha teljesül, hogy T (ξ) 6= t⇒ Pϑ

(ξ = x

∣∣T (ξ) = t)

= 0, akkor

Pϑ

(ξ = x

∣∣T (ξ) = t)

=Pϑ

(ξ = x, T (ξ) = t

)Pϑ

(T (ξ) = t

) =Pϑ

(ξ = x

)∑y:T (y)=t

Pϑ

(ξ = y

) =

=h(x)gϑ

(T (x)

)∑y:T (y)=t

h(y)gϑ

(T (y)

) =h(x)gϑ(t)∑

y:T (y)=t

h(y)gϑ(t)=

h(x)∑y:T (y)=t

h(y)nem függ ϑ-tól.

Példa. Poisson mintaLegyen η1, . . . , ηn ∼ Poisson(λ). Ekkor

Pλ(η1 = k1, . . . , ηn = kn) =n∏

i=1

λkie−λ

ki!=

(n∏

i=1

1ki!

)︸︷︷︸

=:h(k)

λP

kie−nλ︸︷︷︸=:gλ(

Pki)

Definíció. (Elégséges statisztika)A ξ mintából képzett T (ξ) statisztika elégséges a Θ paratméterhalmazra nézve, ha

Pϑ

(ξ1 < x1, . . . , ξn < xn

∣∣T (ξ) = t)független ϑ-tól ∀x ∈ X és ∀t ∈ RT esetén.


Definíció. (Likelihood függvény)A ξ1, . . . , ξn független, azonos eloszlású minta Likelihood függvénye

L(x, ϑ) =

Pϑ(ξ = x) =

n∏i=1

Pϑ(ξi = xi) diszkrét minta esetén.

fϑ(x) =n∏

i=1

fϑ(xi)fϑ sűrűségfüggvényű abszolútfolytonos minta esetén.

Az `(x, ϑ) = ln L(x, ϑ) függvényt loglikelihood függvénynek nevezzük.

Az L(ξ, ϑ) likelihood függvény különböző ξ mintatípusokra

MINTA – Független Független, azonos eloszlású

Diszkrét Pϑ(ξ = x)n∏

i=0

Pϑ(ξi = xi)n∏

i=0

Pϑ(ξ1 = xi)

Abszolút folytonos fϑ(x)n∏

i=0

fϑ,i(xi)n∏

i=0

fϑ(xi)

Definíció. (Elégséges statisztika abszolút folytonos esetben)A ξ abszolút folytonos mintából képzett T (ξ) statisztika elégséges a Θ paratméter-halmazra nézve, ha

∃h(x) és gϑ(t) : L(x, ϑ) = h(x)gϑ

(T (x)

)∀ϑ ∈ Θ és ∀x ∈ X esetén.

Példa. Normális eloszlásTegyük fel, hogy ξ1, . . . , ξn ∼ N(m,σ2) független, azonos eloszlású minta. Ekkorϑ = (m,σ2) és

L(x, (m,σ2)

)=

n∏i=1

1√2πσ2

exp(− (xi −m)2

2σ2

)=

=(2πσ2

)−n2 exp

(− 1

2σ2

n∑i=1

(x2i − 2xim+m2)

)=

=(2πσ2

)−n2 exp

(− 1

2σ2

(n∑

i=1

x2i − 2nmx+ nm2

))=

=(2πσ2

)−n2 exp

(− 1

2σ2

(n∑

i=1

(xi − x)2 + nx2 − 2nmx+ nm2

))Ebből következik, hogy a(

1n

n∑i=1

x2i , x

)és a

(1n

n∑i=1

(xi − x)2, x)

)elégséges statisztika.

Példa. Egyenletes eloszlásTegyük fel, hogy ξ1, ξ2, . . . , ξn ∼ E(0, a) független, azonos eloszlású minta. Ekkor asűrűségfüggvény

fa(x) =

1a ha 0 ≤ x ≤ a0 különben

amiből

L(x, a) =n∏

i=0

1aχxi ≤ a =

1anχ

max0≤i≤n

xi ≤ a

azaz a maxixi elégséges statisztika.

3. BECSLÉSI MÓDSZEREK 16

3.3. Becslési módszerek

Példa.Egy tóban N hal van, számukat nem insmerjük. Első héten kihalásznak 1000 halatés megjelölik őket. A következő héten kihalásznak 5000-et és megszámolják a meg-jelölteket. 50-et találnak. Becsüljük meg N -et!Természetes eljárás:Jelölje ξ a másodjára kihúzott halak számát. Tudjuk, hogy ez hipergeometriai el-oszlású, így

L(50, N) = PN (ξ = 50) =

(100050

)(N − 1000

4950

)(N

5000

)A becslés: N : L(50, N) = maxN L(50, N) ⇒ N = 100000.

Definíció. (Maximum likelihood becslés)A ϑ paraméter maximum likelihood becslése a ϑ = T (ξ) ∈ Θ, ha

L(ξ, ϑ) = maxϑ∈Θ

L(ξ, ϑ).

Heurisztikusan: azt a paraméterértéket keressük, amelyre az adott minta bekövetke-zési valószínűsége maximális.

Megjegyzés. (likelihood egyenlet)Gyakran a likelihood függvény maximumhelyének keresését a

∂`(x, ϑ)∂ϑ

= 0

egyenlet (egyenletrendszer) megoldásával végezzük.Diszkrét minta esetén:

n∑i=0

∂ lnPϑ(ξi = xi)∂ϑ

= 0.

Abszolút folytonos minta esetén:n∑

i=0

∂ ln fϑ(xi)∂ϑ

= 0

Példa. (Indikátor minta)

L(x, p) = pP

xi(1− p)n−P

xi

`(x, p) = lnL(x, p) =

(n∑

i=0

xi

)ln p+

(n−

n∑i=0

xi

)ln(1− p)

A likelihood egyenlet

∂`(x, p)∂p

=

(n∑

i=0

xi

)1p−

(n−

n∑i=0

xi

)1

1− p= 0

Ennek megoldása, ami valóban maximumhely, így maximum likelihood becslés

p =

n∑i=0

ξi

n.


Példa. (Poisson)Tegyük fel, hogy η1, η2, . . . , ηn ∼ Poisson(λ). Ekkor

L(k, λ) = Pλ(η1 = k1, . . . , ηn = kn) =n∏

i=1

λkie−λ

ki!=

(n∏

i=1

1ki!

)λ

Pkie−nλ

`(k, λ) = ln L(k, λ) =

(n∑

i=1

ln(

1ki!

))+

(n∑

i=1

ki

)lnλ− nλ

∂`

∂λ=∑ki

λ− n = 0 ⇐⇒ λ =

∑ki

nígy az ML becslés

λ =∑ηi

n

Példa.Adottak sorszámozott gömbök (lottóhúzás) 1-től N -ig. Visszatevéses húzás eseténbecsüljük meg N -t! (A ξ1, ξ2, . . . , ξn a minta.)

PN (ξi = k) =1Nχk ≤ N

L(k, λ) = PN (ξ1 = k1, . . . , ξn = kn) =1Nn

χmaxiki ≤ N

így az ML becslésN = max

iξi

ami nem torzítatlan becslés(EN (N) < N

).

Példa. (Normális eloszlás)Tegyük fel, hogy ξ1, ξ2, . . . , ξn ∼ N(m,σ2). Ekkor

L(x,m, σ2) =n∏

i=1

1√2πσ2

exp(− (xi −m)2

2σ2

)=

=(2πσ2

)−n2 exp

(− 1

2σ2·

n∑i=1

(xi −m)2)

`(x,m, σ2) = −n2

ln(2πσ2)− 12σ2

n∑i=1

(xi −m)2

∂`

∂m=

1σ2

(n∑

i=1

xi − nm

)= 0

∂`

∂σ2= − n

2σ2+

12σ4

n∑i=1

(xi −m)2 = 0

így az ML becslés

m = ξ és σ2 =∑

(ξi − ξ)2

n

Definíció. (Momentum módszer) Legyen n, k ∈ N, ξ1, ξ2, . . . , ξn minta és

ϑ =

ϑ1

...ϑk

∈ Θ ⊂ Rk

Becsüljük a ϑ paramétert a momentumok segítségével felírt egyenletrendszer megol-dásával:

Mi(ϑ) =ξi1 + · · ·+ ξi

n

n= Eϑ(ξi

1) (i = 1, 2, . . . , k)


Példa. (Normális eloszlás)Az 1. momentum

ξ = M1(m,σ2) = Em,σ2(ξ1) = m

a 2. momentum

M2(m,σ2) = Em,σ2(ξ21) = D2m,σ2(ξ1) +

(Em,σ2(ξ1)

)2 = σ2 +m2

σ2 =ξ21 + · · ·+ ξ2n

n−(ξ1 + · · ·+ ξn

n

)2

=∑ξ2in

− ξ2

=

=∑ξ2in

− 2nξ2

n+nξ

2

n=

∑(ξ2i − 2ξξi + ξ

2)

n=∑(

ξi − ξ)2

n= s2

Példa.Adottak sorszámozott gömbök (lottóhúzás) 1-től N -ig. Visszatevéses húzás eseténbecsüljük meg N -t! (A ξ1, ξ2, . . . , ξn a minta.)

M1(N) = EN (ξ1) =N + 1

2⇒ N + 1

2= ξ ⇒ N = 2ξ − 1

Azonban könnyen lehet, hogy a becslés eredményeként nem (pozitív) egész számotkapunk. (Ekkor ez nem megoldás.)

Definíció. (Teljes statisztika)A T (ξ) statisztika teljes, ha

Eϑ

(f(T (ξ)

))= c (∀ϑ ∈ Θ) ⇒ Pϑ

(f(T (ξ)

)= 0)

= 1 (∀ϑ ∈ Θ)

Példa.Legyen ξ1, ξ2, . . . , ξn ∈ 1, 2, . . . , N egyforma valószínűséggel.Ekkor ha ξ(n)

n = max ξi, akkor

PN (ξ(n)n = k) = PN (ξ(n)

n ≤ k)− PN (ξ(n)n ≤ k − 1) =

=kn

Nnχk ≤ N − (k − 1)n

Nnχk − 1 ≤ N

Amiből ha a EN

(f(ξ(n)n

))= 0 következik, hogy

N∑k=1

kn − (k − 1)n

Nnf(k) = 0 és

N−1∑k=1

kn − (k − 1)n

(N − 1)nf(k) = 0

így(Nn − (N − 1)n)︸︷︷︸

6=0

f(N) = 0 (N ≥ 1) ⇒ f ≡ 0

azaz a max ξi teljes statisztika.

Becslés javítása elégséges (jobb ha teljes is) statisztikávalTétel. (Rao–Blackwell–Kolmogorov tétel)Tegyük fel, hogy ξ minta, T (ξ) elégséges statisztika és S(ξ) torzítatlan becslés ψ(ϑ)-ra. Ekkor van olyan U(ξ) becslése ψ(ϑ)-nak, ami T (ξ) függvénye és hatásosabbS(ξ)-nél, azaz

∃U(ξ) = f(T (ξ)

): Eϑ

(U(ξ)

)= ψ(ϑ) és D2

ϑ

(S(ξ)

)≥ D2

ϑ

(U(ξ)

)Valamint ha T (ξ) teljes, akkor U(ξ) hatásos is.


Bizonyítás.Legyen

U = Eϑ

(S|T

)Az U várható értéke a teljes várható érték tételt felhasználva

Eϑ (Eϑ(S|T )) = Eϑ(S) = ψ(ϑ)

így az U torzítatlan becslés.

D2ϑ(S) = Eϑ

(S − ψ(ϑ)

)2 = Eϑ

(S − Eϑ(S|T ) + Eϑ(S|T )− ψ(ϑ)

)2

=

= Eϑ

(S − Eϑ(S|T )

)2

︸︷︷︸≥0

+ Eϑ

(Eϑ(S|T )− ψ(ϑ)

)2

︸︷︷︸=D2

ϑ(U)

+

+ 2Eϑ

((S − Eϑ(S|T )

)(Eϑ(S|T )− ψ(ϑ)

))ugyanakkor

2Eϑ

((S − Eϑ(S|T )

)(Eϑ(S|T )− ψ(ϑ)

))=

= 2Eϑ

(Eϑ

((S − Eϑ(S|T )

)(Eϑ(S|T )− ψ(ϑ)

)∣∣∣T)) =

= 2Eϑ

((Eϑ(S|T )− ψ(ϑ)

)Eϑ

((S − Eϑ(S|T )

)∣∣∣T)) =

és a szorzat második tagjára

Eϑ

((S − Eϑ(S|T )

)∣∣∣T) = Eϑ(S|T )− Eϑ

(Eϑ(S|T )

∣∣T) = 0

így U hatásosabb S-nél.Legyen ψ = ψ(ϑ), azaz ψ egy torzítatlan becslés. Ekkor a tétel eddig bizonyított

részei alapján, ha ψ = Eϑ(ψ|T ), akkor erre igaz, hogy

D2ϑ(ψ) ≤ D2

ϑ(ψ) és Eϑ(ψ) = ψ(ϑ)

Ha feltesszük, hogy Eϑ(ψ−U) = 0 minden ϑ ∈ Θ paraméterre, akkor a T teljességemiatt

Pϑ(ψ − U = 0) = 1 ∀ϑ ∈ Θ estén

ami azt jelenti, hogy U és ψ megegyeznek, tehát

D2ϑ(U) = D2

ϑ(ψ) ≤ D2ϑ(ψ)

ami azt jelenti, hogy U szórásnégyzete kisebb bármely más torzítatlan becslés szó-rásnégyzeténel, így U hatásos becslés.

Példa.Legyen (Poisson)

Eλ(η1) = λ és λ =∑ηi

nEkkor hatásos becslések például a következők

Eλ

(η1∣∣∑ ηi

)Eλ

(∑ηi

n

∣∣∣∑ ηi

)=∑ηi

n

3. FISCHER-FÉLE INFORMÁCIÓMENNYISÉG 20

Példa.Egy telefonközpontban a bejövő hívások száma Poisson eloszlású. Határozzuk megmennyi a valószínűsége 100 bejővő hívásnak!A feladat tehát, hogy a

λ100e−λ

100!-ra

adjunk hatásos becslést.Torzítatlan becslés

Eλ (χη1 = 100) =λ100e−λ

100!amiből a hatásos becslés

Eλ

(χη1 = 100

∣∣∣ n∑i=1

ηi

)= Pλ

(η1 = 100

∣∣∣ n∑i=1

ηi

)

Pλ

(η1 = 100

∣∣∣ n∑i=1

ηi = t

)=

Pλ (η1 = 100,∑ηi = t)

Pλ (∑ηi = t)

=

=Pλ (eta1 = 100)Pλ (

∑ηi = t− 100)

Pλ (∑ηi = t)

=λ100e−λ

100! ·((n−1)λ

)t−100e−(n−1)λ

(t−100)!

(nλ)te−nλ

t!

=

=(n− 1)t−100

nt· t!100!(t− 100)

=(

t100

)(1n

)(1− 1

n

)t−100

Azaz, ha 50 napig néztük és 48 alatt összeadva nem érte el a százat, akkor 0 abecslésünk, különben(∑

ηi

100

)(1n

)(1− 1

n

)Pηi−100

χ∑

ηi ≥ 100

3.4. Fischer-féle információmennyiség

Definíció. (Fischer-féle információmennyiség)A ξ minta Fischer-féle információmennyisége

I(ϑ) = E

((∂ ln L(ξ, ϑ)

∂ϑ

)2)

ϑ ∈ Θ ⊂ R,

ha létezik a bal oldalon lévő várható érték.

Megjegyzés.A következő jelölések használatosak még:

• Iξ(ϑ), ha nem egyértelmű, hogy melyik mintáról van szó.• In(ϑ), ha lényeges a mintanagyság.

Abszolút folytonos, független, azonos eloszlású minta esetén

I(ϑ) = E

((∂ ln L(ξ, ϑ)

∂ϑ

)2)

=∫

Rn

(∂ ln fϑ(x)

∂ϑ

)2

fϑ(x)dx =

=∫

Rn

(1

fϑ(x)· ∂fϑ(x)

∂ϑ

)2

fϑ(x)dx =∫

fϑ(x)>0

(∂fϑ(x)∂ϑ

)2 1fϑ(x)

dx

Diszkrét, független, azonos eloszlású minta esetén

I(ϑ) =∑

x

(∂Pϑ(ξ = x)

∂ϑ

)21

Pϑ(ξ = x)


Tétel.Legyen ξ1, ξ2, . . . , ξn független eloszlású, gϑ sűrűségfüggvényű minta, valamint te-gyük fel, hogy

∃I1(ϑ) és∫ +∞

−∞

∂gϑ(x)∂ϑ

dx = 0

EkkorIn(ϑ) = nI1(ϑ)

Bizonyítás.

Eϑ

(∂ ln gϑ(ξ1)

∂ϑ

)=∫ +∞

−∞

∂ ln gϑ(x)∂ϑ

gϑ(x)dx =∫ +∞

−∞

∂gϑ(x)∂ϑ

dx = 0 ⇒

Eϑ

(∂ ln L(ξ, ϑ)

∂ϑ

)= Eϑ

(n∑

i=0

∂ ln gϑ(ξ1)∂ϑ

)= 0

In(ϑ) = Eϑ

((∂ ln L(ξ, ϑ)

∂ϑ

)2)

= D2ϑ

(∂ ln L(ξ, ϑ)

∂ϑ

)= D2

ϑ

(n∑

i=0

∂ ln gϑ(ξi)∂ϑ

)=

=n∑

i=0

D2ϑ

(∂ ln gϑ(ξi)

∂ϑ

)= nEϑ

((∂ ln gϑ(ξ1)

∂ϑ

)2)

= nI1(ϑ)

Példa. (Normális eloszlás)Legyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol σ ismert. Ekkor

gm(x) =1√

2πσ2exp

(−1

2

(x−m

σ

)2)⇒ ln gm(x) = ln

(1√

2πσ2

)− (x−m)2

2σ2,

amiből ∫ +∞

−∞

∂gm(x)∂m

dx = Em

(∂ ln gm(ξ1)

∂m

)=

= Em

(− 1

2σ2(−2)(ξ1 −m)

)=

1σ2

Em(ξ1 −m) = 0.

Valamint

I1(m) = D2m

(∂ ln gm(ξ1)

∂m

)= D2

m

(ξ1 −m

σ2

)=

1σ4

D2m(ξ1) =

1σ2

Tehát alkalmazható a tétel

In(m) = nI1(m) =n

σ2

Példa. (Egyneletes eloszlás)Legyen ξ1, ξ2, . . . , ξn ∼ E(0, ϑ). Ekkor

fϑ(x) =

1ϑ ha 0 ≤ x ≤ ϑ0 különben

amiből ∫ +∞

−∞

∂gm(x)∂m

dx =∫ ϑ

0

− 1ϑ2

dx = − 1ϑ6= 0.

Tehát nem alkalmazható a tétel, így

I1(ϑ) =∫ ϑ

0

(∂ ln 1

ϑ

∂ϑ

)21ϑ

dx =∫ ϑ

0

1ϑ3

dx =1ϑ2

In(ϑ) =∫· · ·∫ ϑ

0

(∂ ln 1

ϑn

∂ϑ

)21ϑn

dx1 . . . dxn =∫· · ·∫ ϑ

0

n2

ϑn+2dx1 . . . dxn =

n2

ϑ2


Tétel.Legyen ξ1, ξ2, . . . , ξn független eloszlású, diszkrét minta, valamint tegyük fel, hogy

∃I1(ϑ) és∑

x

∂Pϑ(ξ1 = x)∂ϑ

= 0

EkkorIn(ϑ) = nI1(ϑ)

Példa. Indikátor mintaLegyen ξ1, ξ2 . . . ξn p paraméterű független indikátor minta, azaz

Pp(ξi = 1) = p és Pp(ξi = 0) = 1− p (i = 1, 2, . . . , n)

Ekkor ∑x

∂Pp(ξ1 = x)∂p

=∂p

∂p+∂(1− p)∂p

= 1− 1 = 0,

valamint, mivel

L(ξ1, p) =p ha ξ1 = 11− p ha ξ1 = 0

ezért

I1(p) = Ep

((∂ ln L(ξ1, p)

∂p

)2)

= p

(∂ ln p∂p

)2

+ (1− p)(∂ ln(1− p)

∂p

)2

=

= p1p2

+ (1− p)1

(1− p)2=

1p

+1

1− p=

1p(1− p)

Tehát alkalmazható az előző tétel, azaz

In(p) = nI1(p) =n

p(1− p)

Tétel. (Cramér-Rao egyenlőtlenség)Tegyük fel, hogy ξ1, ξ2, . . . , ξn gϑ sűrűségfüggvényű eloszlásból származó függetlenminta, amelyre igazak a következők

(1) ∃I1(ϑ),

(2)∫ +∞

−∞

∂gϑ(x)∂ϑ

dx = 0,

(3) T (ξ) olyan torzítatlan becslése ψ(ϑ)-nak, amelyre(a) D2

ϑ

(T (ξ)

)< +∞ ∀ϑ ∈ Θ esetén

(b)∫

Rn

T (x)∂fϑ(x)∂ϑ

dx =∂

∂ϑ

∫Rn

T (x)fϑ(x)dx =∂

∂ϑψ(ϑ)

Ekkor

D2ϑ

(T (ξ)

)≥(ψ′(ϑ)

)2In(ϑ)

∀ϑ ∈ Θ esetén.

Bizonyítás.

S :=ψ′(ϑ)In(ϑ)

·∂ ln fϑ(ξ)

∂ϑ

Ekkor

Eϑ

(∂ ln fϑ(ξ)

∂ϑ

)= 0 ⇒ Eϑ(S) = 0 ⇒

Eϑ(S2) = D2ϑ(S) =

(ψ′(ϑ)

)2(In(ϑ)

)2 · In(ϑ) =

(ψ′(ϑ)

)2In(ϑ)

.


UgyanakkorD2

ϑ(T − S) = D2ϑ(T )− 2cov(T, S) + D2

ϑ(S),ahol

cov(T, S) = Eϑ

((T − Eϑ(T )

)(S − Eϑ(S)

))=

= Eϑ(TS)− Eϑ

(SEϑ(T )

)= Eϑ(TS) =

=ψ′(ϑ)In(ϑ)

· Eϑ

(T (ξ)

∂ ln fϑ(ξ)∂ϑ

)=ψ′(ϑ)In(ϑ)

·∫

Rn

(T (x)∂ ln fϑ(x)

∂ϑdx =

(ψ′(ϑ)

)2In(ϑ)

,

így

0 ≤ D2ϑ(T − S) = D2

ϑ(T )−(ψ′(ϑ)

)2In(ϑ)

.

Példa (Normális eloszlás)Legyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol σ ismert. Ekkor tudjuk, hogy

In(m) =n

σ2és Em(ξ) = m,

amiből az előző tétel alapján

σ2

n= D2

m(ξ) ≥ (m′)2

In(m)=σ2

n.

Példa. (Indikátor minta)Legyen ξ1, ξ2 . . . ξn p paraméterű független indikátor minta. Ekkor tudjuk, hogy

In(p) =n

p(1− p)és Ep(ξ) = p,

ígyp(1− p)

n= D2

p(ξ) ≥1

In(p)=p(1− p)

n.

Állítás.Legyen ξ1, ξ2, . . . , ξn és η1, η2, . . . , ηk független minták, amelyeknek értelmezhető aFischer-féle információmennyiségük. Ekkor

Iξ,η(ϑ) = Iξ(ϑ) + Iη(ϑ) ∀ϑ ∈ Θ esetén.

Állítás.Legyen ξ1, ξ2, . . . , ξn minta, amelyre ∃Iξ(ϑ) és a T (ξ) becslés elégséges. Ekkor

Iξ(ϑ) = IT (ξ)(ϑ) ϑ ∈ Θ esetén.

Bizonyítás. Diszkrét esetben

L(x, ϑ) = Pϑ(ξ = x) = Pϑ

(ξ = x

∣∣T (ξ) = T (x))

︸︷︷︸:=U(x)

·Pϑ

(T (ξ) = T (x)

)︸︷︷︸

=L(T (x),ϑ

)∂ ln L(ξ, ϑ)

∂ϑ=

∂

∂ϑ

(lnU(ξ) + ln L

(T (ξ), ϑ

))=∂ ln L

(T (ξ), ϑ

)∂ϑ

Iξ(ϑ) = Eϑ

((∂ ln L(ξ, ϑ)

∂ϑ

)2)

= Eϑ

(∂ ln L(T (ξ), ϑ

)∂ϑ

)2 = IT (ξ)(ϑ)

3. KONFIDENCIAINTERVALLUM 24

3.5. Konfidenciaintervallum

Definíció. (Konfidenciaintevallum)Az 1 − α (α ∈ [0, 1]) konfidenciaintervallum egy olyan intervallum, amely legalább1−α valószínűséggel tartalmazza a keresett paramétert, azaz ξ minta esetén, olyan(T1(ξ), T2(ξ)

), amelyre

Pϑ

(T1(ξ) < ϑ < T2(ξ)

)≥ 1− α ∀ϑ ∈ Θ esetén.

.

Példa. Konfidenciaintervallum készítése normális eloszlás esetén (ismert szórás)Legyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol σ ismert. Ekkor

ξ =1n

n∑i=1

ξi ∼ N(m,

σ2

n

)⇒

P(ξ < x) = P

ξ −m√σ2

n

<x−m√

σ2

n

= Φ

x−m√σ2

n

, azaz P

ξ −m√σ2

n

< y

= Φ(y)

P(ξ −m < y · σ√

n

)= Φ(y) ⇐⇒ P

(ξ − σ√

n< m

)= Φ(y)

Legyen Φ(u1−α) = 1− α, ekkor

P(m > ξ − u1−α ·

σ√n

)= 1− α,

P(m < ξ + u1−α ·

σ√n

)= 1− α,

P(ξ − u1−α

2· σ√

n< m < ξ + u1−α

2· σ√

n

)≥ 1− α

azaz az ezek alapján készített jobb oldali, bal oldali és kétoldali konfidenciainter-vallumok 1− α megbízhatóságúak.

Példa Konfidenciaintervallum várható értékre (ismert szórás)Legyen ξ n elemű minta, amelyre E(ξi) = m és D2(ξi) = σ2, ahol a σ ismert. Ekkora

P

(ξ −

√1α· σ√

n< m < ξ +

√1α· σ√

n

)≥ 1− α

teljesül, ezért ez alapján is 1−α megbízhatóságú konfidenciaintervallum készíthető.

Néhány érték az előző konfidenciaintervallumok kiszámításához:

α u1−α2

√1α

10% 1,64 3,165% 1.96 4,47

2,5% 2,24 6,321% 2,58 10,00

Feladat.A Gyorskenyér Kft. automata kenyérsütő készülékei egyszerre 100 kenyeret sütnekki. Ezek tömegei grammban mérve N(n, 102) eloszlással közelíthetőek, ahol m a ke-zelő beállításától függ. Egy ellenőrzésnél megmérték mind a 100 kenyér tömegét. Azátlag 990 gramm volt. Készítsünk 95%-os megbízhatóságú konfidenciaintervallumotm-re!

3. KONFIDENCIAINTERVALLUM 25

Megoldás.Itt ξ = 990, σ = 10, n = 100, Φ(1, 64) = 0, 95 és Φ(1, 96) = 0, 975. Ekkor 95%valószínűséggel teljesül, hogy

m < 990 + 1, 64 · 10√100

= 991, 64

m > 990− 1, 64 · 10√100

= 988, 36

990− 1, 96 = 988, 04 < m < 990 + 1, 96 = 991, 96így az (−∞, 991.64); (988.36,+∞); (988.04, 991.96) konfidenciaintervallumok 95%mebízhatóságúak.

Konfidenciaintervallum sok megfigyelés eseténLegyen ξ n elemű minta, amelyre E(ξi) = m ismeretlen és D2(ξi) = σ2 ismert,valamint tegyük fel, hogy sok megfigyelésünk van. Ekkor alkalmazhatjuk a centrálishatáreloszlás tételt, azaz

P(∑n

i=1 ξi − nm

σ√n

< x

)→ Φ(x)

amibőlP(ξ −m < x · σ√

n

)= P

(ξ − x · σ√

n< m

)∼ Φ(x)

tehátP(ξ − u1−α

2· σ√

n< m < ξ + u1−α

2· σ√

n

)∼ 1− α.

Példa.Svájcban 1871 és 1900 között 2.644.757 megszületett gyermekből 1.359.671 fiú és1.285.086 lány volt. A fiúk gyekorisága így 0, 5141.

p(1− p) ≤ 14⇒ P

(ξ − u

2√n< p < ξ +

u

2√n

)∼ 2Φ(u)− 1

Esetünkben 0, 9973 valüszínűséggel 0, 5132 < p < 0, 5150.

Tétel.Normális eloszlású minta esetén a mintaátlag és tapasztalati szórás független.

Definíció. (t-eloszlás)Legyen X0, X1, X2, . . . , Xn ∼ N(0, 1) függetlenek. Ekkor az n − 1 szabadságfokú t(Student) eloszlás

X0√X2

1+X22+···+X2

n

n−1

∼ tn−1

A Student-féle t-eloszlás különböző szabadságfokokkal:

3. A MAXIMUM LIKELIHOOD BECSLÉS TULAJDONSÁGAI 26

Konfidenciaintervallum normális eloszlás várható értékére ismeretlen szórás eseténLegyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol σ ismeretlen, ezért becsülnünk kell

σ2 :=∑

(ξi − ξ)2

n− 1⇒

√n(ξ −m)√

σ2∼ tn−1

ígyP(tn−1 < tn−1,y) = y,

amibőlP(ξ − tn−1,1−α

2

σ√n< m < ξ + tn−1,1−α

2

σ√n

)= 1− α,

P(m > ξ − tn−1,1−α

σ√n

)= 1− α,

P(m < ξ + tn−1,1−α

σ√n

)= 1− α.

Az u és t együtthatók összehasonlítása α = 5% esetén: u1−5% = 1, 64

n tn−1,1−5% n tn−1,1−5%

2 6, 31 20 1, 733 2, 92 50 1, 684 2, 35 100 1, 665 2, 13 1000 1, 6510 1, 83

Példa. Előző feladat folytatása.Tegyük most fel, hogy nem ismerjük a Gyorskenyér Kft. kenyerinek szórását. Azátlag 990 gramm. Előzőleg 10 szórásnál 991, 64 gramm volt a 95%-os megbízha-tóságú konfidencia határ. Amennyiben a korrigált tapasztalati szórás is 10, akkorez a határ csak kis mértékben változik (991, 8 gramm). Azonban 50-es korrigálttapasztalati szórásnál ez az érték 999 grammra változik.

3.6. A maximum likelihood becslés tulajdonságai

Ha egydimenziós a ϑ, az ML becslés aszimptotikája

ϑ− ϑ√I−1n (ϑ)

∼ N(0, 1)

In közelítése

In =n∑

i=1

(∂

∂ϑln fbϑ(Xi)

)2

Konfidenciaintervallum az ML becslés alapján(ϑ− u1−α

2

√I−1n ; ϑ+ u1−α

2

√I−1n

)amely aszimptotikus (kis n-re kérdéses a lefedési valószínűség) és szimmetrikus.

FEJEZET 4

Hipotézisvizsgálat

4.1. Alapfogalmak

Definíció. (Nullhipotézis, ellenhipotézis)A H0-t nullhipotézisnek (jelezni akarjuk, ha nem igaz), a H1-t pedig ellenhipotézis-nek nevezzük. Paraméterekkel

H0 : ϑ ∈ Θ0 és H1 : ϑ ∈ Θ1, ahol Θ0 ∪Θ1 = Θ és Θ0 ∩Θ1 = ∅.

Példák.

(1) Igaz-e, hogy 0,5 valószínűséggel születik fiúgyermek? Ekkor a H0 nullhipo-tézis az, hogy 0, 5 valószínűséggel születik fiúgyermek, a H1 ellenhipotézispedig az, hogy nem 0, 5 valószínűséggel. Azaz H0 : p = 0, 5 és H1 : p 6= 0, 5.

(2) Mi lehet egy autóvezető által okozott károk számának eloszlása? Itt H0

az, hogy a kárszám Poisson eloszlású, a H1 pedig az, hogy nem Poissoneloszlású.

Definíció. (Lehetséges hibák)Elsőfajú hiba: H0 igaz, de elutasítjuk.Másodfajú hiba: H0 hamis, de elfogadjuk.

Aktuális helyzetNullhipotézis igaz Nullhipotézis hamis

DöntésElfogadjuk a nullhipotézistElutasítjuk a nullhippotézist

Helyes döntés Másodfajú hibaElsőfajú hiba Helyes döntés

Definíció. (Statisztikai próba, véletlenített próba)A T : X → R korlátos függvényt statisztikai próbának nevezzük.A T : X → [0, 1] függvényt véletlenített próbának nevezzük, ahol T(x) a H0 bekövet-kezésének valószínűsége

Definíció. (Elfogadási illetve elutasítási tartomány)A mintateret két diszjunkt tartományra osztjuk, az Xe elfogadási és az Xk elutasításivagy kritikus tartományra.

X = Xe ∪ Xk és Xe ∩ Xk = ∅

A Pϑ(ξ ∈ Xk) ϑ ∈ Θ0 az elsőfajú hiba valószínűsége.A Pϑ(ξ ∈ Xe) ϑ ∈ Θ1 az másodfajú hiba valószínűsége.Gyakran statisztika (próbafüggvény) segítségével határozzuk meg:

T (x) =

1 , x ∈ Xk

0 , x /∈ Xk

27

4. ALAPFOGALMAK 28

Definció. (Próba szignifikaszintje)Az α ∈ (0, 1) a statisztikai próba terjedelme, ha ∀ϑ ∈ Θ0-ra

Pϑ(ξ ∈ Xk) ≤ α

Az α ∈ (0, 1) a statisztikai próba szignifikaszintje (pontos terjedelme), ha

supϑ∈Θ0

Pϑ(ξ ∈ Xk) = α

Definíció. (Erőfüggvény)A

β(ϑ) = Pϑ(ξ ∈ Xk) = 1− Pϑ(ξ ∈ Xe) ϑ ∈ Θ1

függvényt a próba erőfüggvényének nevezzük.

Példa.Egy érmét négyszer dobunk fel, ahol ξ legyen a fejdobások száma. Ekkor X = 0, 1, 2, 3, 4.LegyenH0 : az érme szabályos, p = 1

2 ;H1 : az érme nem szabályos, p 6= 1

2 .Itt

Xk = 0, 4 ⇒ P 12(ξ = 0 vagy ξ = 4) =

216

= 0, 125 és

Xk = 0 ⇒ P 12(ξ = 0) =

116

= 0, 0625

Az erőfüggvény

β(p) = 1− P(1 ≤ ξ ≤ 3) = 1−(1− (1− p)4 − p4

)= (1− p)4 + p4.

Példa. Egyetlen megfigyelésH0: a megfigyelés N(4, 1) eloszlású, ekkor az elsőfajú hiba

H0: a megfigyelés N(7, 1) eloszlású, ekkor a másodfajú hiba

4. ALAPFOGALMAK 29

Példa.24 emberen kísérleteznek, hogy meg tudják-e különböztetni a különböző sörmárká-kat. A kísérlet során mindenkinek három korsó sör közül kell kiválsztania, azt amia másik kettőtől különbözik.H0 : p = 1

3 , azaz nem tudják megkülönböztetni.H1 : p 6= 1

3 , azaz meg tudják különböztetni a két sörmárkát.Az eloszlás H0 esetén:

Kritikus tartomány megválasztása

P 13(x ∈ Xk) = P

(x ≥ xk

∣∣∣p =13

)=

24∑x=xk

(24x

)(13

)x(23

)24−x

Ha xk = 12, akkor P 13(x ∈ Xk) = 0.0677 > 0.05

Ha xk = 13, akkor P 13(x ∈ Xk) = 0.0284 < 0.05

p = 0.5 esetén a másodfajú hiba valószínűsége:

p = 0.7 esetén a másodfajú hiba valószínűsége:

Az erőfüggvény:

4. PRÓBÁK ÖSSZEHASONLÍTÁSA 30

4.2. Próbák összehasonlítása

Definíció. (Torzítatlan próba)A próba torzítatlan, ha a

∀ϑ ∈ Θ0 : Pϑ(ξ ∈ Xk) ≤ α

formulából következik, hogy

∀ϑ ∈ Θ1 : Pϑ(ξ ∈ Xk) ≥ α,

vagyis, ha H0 nem igaz, akkor nagyobb valószínűséggel utasítjuk el, mint amikorigaz.

Definíció. (Konzisztencia)Egy próba konzisztens ha erőfüggvényére igaz, hogy

βn(ϑ) n→+∞−−−−−→ 1 ∀ϑ ∈ Θ1 esetén.

Definíció.Az α terjedelmű T1 próba erősebb, mint az α terjedelmű T2 próba, ha

Pϑ

(T1(ξ) = 1

)= β(ϑ,T1) ≥ β(ϑ,T2) = Pϑ

(T2(ξ) = 1

)∀ϑ ∈ Θ1 esetén,

ahol β(ϑ,Ti) a Ti próba erőfüggvénye.

Definíció. (Véletlenített próba)A T véletlenített próba, ha lehetséges értékei: 0, γ, 1; ahol 0 < γ < 1.

Példa.

T(ξ) :=

1 , ha h(ξ) ≥ c0 , ha h(ξ) < c

Ekkor előfordulhat, hogy

Pϑ

(h(ξ) > c

)< α és Pϑ

(h(ξ) ≥ c

)> α valamely ϑ ∈ Θ0-ra.

Ha |Θ0| = 1, akkor

∃γ ∈ (0, 1) : Pϑ

(h(ξ) > c

)+ γPϑ

(h(ξ) = c

)= α ϑ ∈ Θ0.

Tehát legyen

T(ξ) =

1 , ha h(ξ) > cγ , ha h(ξ) = c0 , ha h(ξ) < c

Definíció. (Legerősebb próba)A T próba a legerősebb (α terjedelmű) a H0 : ϑ = ϑ0 hipotézis ellenőrzésére aH1 : ϑ = ϑ1 ellenhipotézissel szemben, ha minden más (α terjedelmű) próbánálerősebb.

Tétel. (Neyman–Pearson alaplemma)Legyen Θ = ϑ0, ϑ1. Tegyük fel, hogy H0 : ϑ = ϑ0, H1 : ϑ = ϑ1, H0 esetén a mintalikelihood függvénye L0 és H1 esetén a minta likelihood függvénye L1. Legyen T avalószínűséghányados próba, azaz

T(x) =

1 , ha L1(x) > cL0(x)γ , ha L1(x) = cL0(x)0 , ha L1(x) < cL0(x)

, ahol 0 ≤ c <+∞0 ≤ γ ≤ 1 .

Ekkor

(1) a T(ξ) valószínűséghányados próba a legerősebb próba az ő terjedelmében.(2) Ha 0 < α ≤ 1, akkor ∃cα és ∃γα, hogy T α terjedelmű.(3) Ha T′ egy α terjedelmű legerősebb próba, akkor az ilyen alakú.

4. PARAMÉTERES PRÓBÁK 31

BizonyításPϑ0

(T(ξ) = 1

)+ γPϑ0

(T(ξ) = γ

)= Eϑ0

(T(ξ)

)= α

(1) Diszkrét esetbenLegyen

Pϑ0(ξ = x) = p0(x),

Pϑ1(ξ = x) = p1(x)

és T olyan próba, amelyreEϑ0

(T(ξ)

)≤ α.

Ekkor

Eϑ1

(T(ξ)

)− Eϑ1

(T(ξ)

)= Eϑ1

(T(ξ)− T(ξ)

)=∑

x

(T(x)− T(x)

)p1(x) =

=∑

x:p1(x)p0(x) >c

(T(ξ)− T(ξ)

)︸︷︷︸≥0

p1(x)︸︷︷︸>cp0(x)

+∑

x:p1(x)p0(x)=c

(T(ξ)− T(ξ)

)p1(x)︸︷︷︸

=cp0(x)

+

+∑

x:p1(x)p0(x) <c

(T(ξ)− T(ξ)

)︸︷︷︸≤0

p1(x)︸︷︷︸<cp0(x)

≥

≥ c ·∑

x:p1(x)p0(x) >c

(T(ξ)− T(ξ)

)p1(x) + c ·

∑x:

p1(x)p0(x)=c

(T(ξ)− T(ξ)

)p0(x)+

+c ·∑

x:p1(x)p0(x) <c

(T(ξ)− T(ξ)

)p0(x) =

= Eϑ0

(T(ξ)− T(ξ)

)= Eϑ0

(T(ξ)

)− Eϑ0

(T(ξ)

)≥ 0

(2)Be kell látni, hogy

α = Pϑ0

(L1(ξ)L0(ξ)

> c

)+ γPϑ0

(L1(ξ)L0(ξ)

= c

)Legyen U(ξ) =

L1(ξ)

L0(ξ).

Pϑ0

(U(ξ) > c

)= 1− Pϑ0

(U(ξ) < c

)− Pϑ0

(U(ξ) = c

)= α

Pϑ0

(U(ξ) < c

)+ Pϑ0

(U(ξ) = c

)= 1− α

Ha van ilyen c szám, akkor készen vagyunk (γ = 0), különben legyen c olyan, hogy

Pϑ0

(U(ξ) < c

)< 1− α és

Pϑ0

(U(ξ) ≤ c

)> 1− α,

de γ megválasztható tetszőlegesen, így megfelelő γ-ra teljesül a

Pϑ0

(U(ξ) < c

)+ γPϑ0

(U(ξ) = c

)= α

(3) Bizonyítás nélkül.

4.3. Paraméteres próbák

Definíció. (Egyoldali és kétoldali ellenhipotézis)Ha H0 : m = m0, akkor a H1 : m 6= m0 kétoldali ellenhipotézis, a H′1 : m < m0 ésa H′′1 : m > m0 pedig egyoldali ellenhipotézisek.

4. PARAMÉTERES PRÓBÁK 32

4.3.1. U-próba (ismert szórás, ismeretlen várható érték).

Legyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol m ismeretlen és σ ismert.Ha U = ξ−m0

σ

√n, akkor

H0 ⇒ U ∼ N(0, 1)és

H1 ⇒ U ∼ N(m−m0

σ

√n, 1)

Bizonyítás. Kétoldali ellenhipotézis esetén.Legyen Φ(uy) = y

Xk :=x :∣∣∣∣x−m0

σ

√n

∣∣∣∣ ≥ u1−α2

⇒

Pm0(ξ ∈ Xk) = Pm0

(|U | ≥ u1−α

2

)=

= 1− Φ(u1−α

2

)+ Φ

(−u1−α

2

)= 1−

(1− α

2

)+ 1−

(1− α

2

)= α.

Ugyanakkor

β(m) = Pm(ξ ∈ Xk) = Pm

(|U | ≥ u1−α

2

)= 1− Pm

(−u1−α

2< U < u1−α

2

)=

= 1− Pm

(−u1−α

2<ξ −m

σ

√n+

m−m0

σ

√n < u1−α

2

)=

= 1− Pm

(−u1−α

2− m−m0

σ

√n <

ξ −m

σ

√n < u1−α

2− m−m0

σ

√n

)=

= 1− Φ(u1−α

2− m−m0

σ

√n

)+ Φ

(u1−α

2− m−m0

σ

√n

)n→+∞−−−−−→ 1 (m 6= m0)

4.3.2. t-próba (ismeretlen szórás és várható érték).

Legyen ξ1, ξ2, . . . , ξn ∼ N(m,σ2), ahol m és σ ismeretlen.H0 : m = m0

Ha

t =ξ −m0

σ

√n, ahol σ =

√√√√ 1n− 1

n∑i=1

(ξ − ξi)2

akkorH0 ⇒ t ∼ tn−1

Kritukus tartomány kétoldali ellenhipotézis esetén H1 : m 6= m0

Xk =x :∣∣∣∣x−m0

σ

√n

∣∣∣∣ > t1−α2 ,n−1

Kritikus tartományok egyoldali ellenhipotézisek esetén

H1 : m > m0 ⇒ Xk =x :

x−m0

σ

√n > t1−α,n−1

H1 : m < m0 ⇒ Xk =

x :

x−m0

σ

√n < −t1−α,n−1

Megjegyzések.

• Az egyoldali t-próbák legerősebb próbák, viszont a kétoldali nem (nincs isilyen).

• Ha a minta elemszáma nagy, akkor a t-próba helyett u-próba is hasz-nálható és ekkor még normális eloszlásúsgára sincs szükség a centrálishatáreloszlás tétel miatt.

4. NEM PARAMÉTERES PRÓBÁK 33

• Normális eloszlásnál a várható értékre vonatkozó α terjedelmű próbánála H0 : m = m0 hipotézist a H1 : m 6= m0 hipotézissel szemben pontosanakkor fogadjuk el, ha m0 benne van az 1−α megbízhatóságú konfidencia-intervallumban.

4.3.3. Kétmintás eset.

Példa. Párosított megfigyelések.Van-e különbség Budapest és Cegléd napi átlaghőmérséklete között? H0 : m1 = m2

a nullhipotézis.Ha ugyanazokról a napokról van megfigyelésünk mindkét helyen (nem függetleneka minták), akkor a párok tagjai közötti különbséget vizsgálva az előző egymintásesetre vezethető vissza a feladat, ahol H∗0 : m = 0 és H∗1 : m 6= 0 az új hipotézisek.

Ha ismert a szórás (X n elemű σ1 szórású és Y m elemű σ2 szórású), akkor alkal-mazható a kétmintás u-próba, ahol

U =X − Y√σ21

n + σ22

m

Kritukus tartomány, megegyezik az egymintás esetben látottal.

Ha ismeretlenek, de azonosak a szórások (X n elemű σ szórású és Y m elemű σszórású), akkor alkalmazható a kétmintás t-próba, ahol

t =

√nm(n+m− 2)

n+m

X − Y√∑(Xi −X)2 +

∑(Yi − Y )2

és n−1 szabdságfok helyett n+m−2 szabadságfokot alkalmazva a kritikus tartománymegegyezik az egymintásnál látottal.

4.3.4. F- és Welch-próba (szórás vizsgálata kétmintás esetben).

Két független n és m elemű, σ1 és σ2 szórású normális eloszlású minta alapján apróbastatisztika H0 : σ1 = σ2 hipotézisre

F = maxs21s22,s22s21

,

azaz a korrigált tapasztalati szórásnégyzetek hányadosa, ahol a kritikus érték azn− 1,m− 1 szabadságfokú F eloszlás 1 − α

2 kvantilise. (n a számlálóbeli, m pediga nevezőbeli minta elemszáma)

Ha nem alkalmazható az F-próba, akkor Welch-próba

t′ =X − Y√

s21

n + s22

m

,

ahol H0 esetén t′ közelítőleg t eloszlású f szabadságfokkal és

f =c2

n− 1+

(1− c)2

m− 1c =

s21

ns21

n + s22

m

4.4. Nem paraméteres próbák

Illeszkedésvizsgálat: Adott eloszlású-e a minta?


4.4.1. Kolmogorov-Szmirnov-próba (homogenitásvizsgálat).

A két tapasztalati eloszlásfüggvény eltérésének maximumán alapul.

Dm,n = maxx|Fn(x)−Gm(x)|

limm,n→+∞

P(√

mn

m+ nDm,n < y

)=

+∞∑i=−∞

(−1)ie−2i2y2

4.4.2. Wilcoxon-próba (rangstatisztika, előjelpróba).

Használata során a P(X > Y ) = 12 teszteljük. Azt számoljuk meg hány olyan pár

van, amelyre Xi > Yi. A kapott statisztika aszimptotikusan normális eloszlású, nemérzékeny a kiugró értékekre.

W =n∑

i=1

χXi > Yi W ∼ Bin(n, 0.5)

W − n2√

n2

∼ N(0, 1)

4.4.3. χ2-próba.

Ha Xi ∼ (0, 1) (i = 1, 2, . . . , r), akkor

X21 +X2

2 + · · ·+X2r ∼ χ2

r

r szabadságfokú χ-négyzet eloszlás.

Legyen a H0 hipotézis az, hogy az A1, A2, . . . , Ar teljes eseményrendszerre teljesülP(A1) = p1,P(A2) = p2, . . . ,P(Ar) = pr. Ekkor ha a H0 igaz, akkor

χ2r−1 ∼

r∑i=1

(νi − npi)2

npi

azaz ha a tesztstatisztika éréke nagyobb, mint az r − 1 szabadságfokú χ-négyzeteloszlás 1− α kvantilise, elutasítjuk a H0 hipotézist.

Tegyük fel, hogy r = 2, H0 : P(A) = p és ν az A gyakorisága n kísérletből. Ekkor

χ2 =(ν − np)2

np+

((n− ν)− n(1− p)

)2n(1− p)

=(ν − np)2

np+

(ν − np)2

n(1− p)=

(ν − np)2

np(1− p)


Legyen

ξi =

1 , ha az i. kísérletnél A bekövetkezik0 , különben (i = 1, 2, . . . , n)

Ekkor

ν =n∑

i=1

ξi, E(ξi) = p, D2(ξi) = p(1− p)

amiből

χ2 =(∑

ξi − nE(ξ1)√nD(ξ1)

)2n→+∞−−−−−→ χ2

1

Példa. (Kockadobás)36 kockadobás eredménye

Szám Megfigyelt npi(ν−npi)

2

npi

1 8 6 0, 6672 5 6 0, 1673 9 6 1, 5004 2 6 2, 6675 7 6 0, 1676 5 6 0, 167

Itt n = 36 és r = 6, tehát6∑

i=1

(ν − npi)2

npi= 5, 333 és P(χ2

5 > 5, 333) = 0, 377

Így nem tudjuk elutasítani a szabályosság hipotézisét!

Példa. (Számítógépek népszerűsége)100 amerikai diák

Számítógép Megfigyelt npi(ν−npi)

2

npi

IBM 47 33, 333 5, 604Macintosh 36 33, 333 0, 213Egyéb 17 33, 333 8, 003

Itt n = 100 és r = 3, tehát3∑

i=1

(ν − npi)2

npi= 13, 820 és P(χ2

5 > 5, 99) = 0, 05

Így elutasítjuk az egyforma kedveltség hipotézisét!

4.4.4. χ2-próba illeszkedésvizsgálatra.

Legyen H0 : ξ1, ξ2, . . . , ξn F eloszlásfüggvényű. A próbléma visszavezethető az előzőesetre:

Ai = ξ ∈ Ci ⇒ P (ξ ∈ Ci) = P (ai ≤ ξ < bi) = F (bi)− F (ai)

Ci = [ai, bi) (i = 1, 2, . . . , r),r⋃

i=1

Ci = R

vagy diszkrét esetben például Ai := ξ = xi (i = 1, 2, . . . , r)Így már alkalmazható a χ2-próba.


Példa.Egy vezető által okozott károk számának eloszlása Poisson eloszlású-e adott para-méter mellett?

Kárszám 0 1 2 3 4 5 6 7 >7 ÖsszesenVetetők száma 129524 16267 1966 211 31 5 1 1 0 148006

4.4.5. Becsléses χ2-próba.

Legyen a H0 hipotézis az, hogy az A1, A2, . . . , Ar teljes eseményrendszerre teljesülP(Ai) = pi(ϑ1, ϑ2, . . . , ϑs) minden i = 1, 2, . . . , r-re, ahol ϑ1, ϑ2, . . . , ϑs ismeretlenparaméterek. Ekkor ha a H0 igaz, akkor

χ2r−s−1 ∼

r∑i=1

(νi − npi)2

npi, ahol pi a pi(ϑ1, ϑ2, . . . , ϑs) becslése

azaz ha tesztstatisztika éréke nagyobb, mint az r − s − 1 szabadságfokú χ-négyzeteloszlás 1− α kvantilise, elutasítjuk a H0 hipotézist.

Példa.Egy vezető által okozott károk száma

Kárszám 0 1 2 3 4 5 6 7 >7Vetetők száma 129524 16267 1966 211 31 5 1 1 0Poisson: npi 128433 18218 1292 61 2,2 0,06 0,001 0,00003 5 · 10−7

Neg. bin: npi 129541 16237 1962 234 28 3,3 0,39 0,05 0,006

Itt n = 148006, r = 5, s = 1, A1 = = 1, A2 = = 2, A3 = = 3 és A4 = ≥ 4tehát Poisson(λ) esetben a paraméter ML becslése λ = 0, 709, amivel

4∑i=1

(ν − npi)2

npi> 200 és P(χ2

3 > 17, 7) = 0, 05%

Így elutasítjuk a Poisson eloszlás hipotézisét!

Megjegyzés.Folytonos eloszlások esetén az illeszkedésvizsgálatnál a teljes eseményrendszer aszámegyenes felosztása révén jön létre, úgy hogy ügyelünk arra, hogy minden in-tervallum közel azonos valószínűségű legyen. Ha paraméterbecslés szükséges, akkoraz ML becslés alkalmazható.

4.4.6. χ2-próba homogenitásvizsgálatra.

H0 : ξ1, ξ2, . . . , ξn és η1, η2, . . . , ηm ugyanolyan eloszlásúak.Legyen

νi =∣∣j : ξj ∈ Ci

∣∣, µi =∣∣j : ηj ∈ Ci

∣∣ (i = 1, 2, . . . , r),r⋃

i=1

Ci = R

Ekkor a tesztstatisztikára, ha H0 igaz

nm

r∑i=1

(νi

n − µi

m

)2νi + µi

n,m→+∞−−−−−−→ χ2r−1

Példa. (Ki tanul jobban?)2009. január 5-ei vizsga eredményei

4. SZEKVENCIÁLIS HIPOTÉZISVIZSGÁLAT 37

Jegy Férfi Nő Összesen1 47 4 512 11 1 123 11 2 134 9 2 115 8 2 2

Összesen 86 11 97Átlag 2,1 2,7 2,1

Itt n = 86, m = 11, valamint legyen C1 = 1, 2 és C2 = 3, 4, 5, így ν1 = 58,ν2 = 28, µ1 = 5, µ2 = 6.

86 · 11 ·

((5886 −

511

)258 + 5

+

(2886 −

611

)228 + 6

)= 2, 071

Viszont P (χ21 > 2, 71) = 10%, így nem tudjuk elutasítani az egyforma képesség

hipotézisét.

4.4.7. χ2-próba függetlenségvizsgálatra.

H0 : az A1, A2, . . . , Ar és a B1, B2, . . . , Bs teljes eseményrendszerekre teljesül afüggetlenség.Ha H0 igaz, akkor a

χ2rs−1 ∼

∑i,j

(νij − npiqj)2

npiqj,

ahol qi = P (Bi) (i = 1, 2, . . . , s) és pi = P (Ai) (i = 1, 2, . . . , r). Tehát, ha astatisztika értéke nagyobb, mint az rs − 1 szabadságfokú χ-négyzet eloszlás 1 − αkvantilise, elutasítjuk a nullhipotézist.

Általában, ha az illesztendő eloszlást nem ismerjük – csak a családját –, akkor aparamétereit becsüljük. Ekkor a próbastatisztika szabadságfoka annyival csökken,ahány paramétert becsültünk.

Függetlenségvizsgálatnál általában nem ismerjük a teljes eseményrendszer tagjai-nak valószínűségét, így r−1+ s−1 valószínűséget kell becsülnünk. A szabadságfokekkor tehát rs− 1− r − s+ 2 = (r − 1)(s− 1). Legyen a νij az AiBj gyakorisága,a νi¦ az Ai gyakorisága és a ν¦j a Bj gyakorisága. Ekkor a tesztstatisztika

n∑i,j

(νij − νi¦ν¦j

n

)2νi¦ν¦j

n→+∞−−−−−→ χ3(r−1)(s−1)

speciálisan r = s = 1 esetben

n(ν11ν22 − ν12ν21)2

ν1¦ν2¦ν¦1ν¦2

n→+∞−−−−−→ χ21

4.5. Szekvenciális hipotézisvizsgálat

Tegyük fel, hogy ξ1, ξ2, . . . függetlenek és abszolút folytonos azonos eloszlásuak.Legyen H0 az hogy a sűrűségfüggvény f0, H1 pedig az, hogy a sűrűségfüggvény f1.Ekkor ha a megfigyelések száma n, akkor a legerősebb próba

T (x) =

1 Vn =Q

f1(xi)Qf0(xi)

> c

γ Vn = c0 Vn < c


Ha n nem rögzített, akkor a következő eljárást használhatjuk:

HaVn ∈ [A,B] ⇒ folytatjuk a következő mintaelemmel (n := n+ 1)Vn < A ⇒ H0

Vn > B ⇒ H1

A Vn számolásához

lnVn = ln∏f1(xi)∏f0(xi)

= lnn∏

i=1

f1(xi)f0(xi)

=n∑

i=1

lnf1(xi)f0(xi)

Minőségellenőrézés. Kompromisszum a gyakorlatban–kétlépcsős tervekn1 elemű mintára

• X1 ≥ c2 ⇒ elutasítjuk H0-t.• X1 ≤ c1 ⇒ elfogadjuk H0-t.• c1 < X1 < c2 ⇒ új n2 mintaelemet veszünk és akkor fogadjuk el a hipoté-zist, ha X1 +X2 ≤ c3.

Az eljárás hatékonyságát mérő szám a várható mintaelemszám (ASN).

Tétel.(Stein-tétele)Tegyük fel, hogy Z1, Z2, . . . független, azonos eloszlású valószínűségi változók, ame-lyekre

E(Zi) = m <∞ és P(Zi = 0) < 1 (i = 1, 2, . . . )és legyen a < b,

N := min

n :

n∑i=1

Zi /∈ (a, b)

Ekkor

P(N <∞) = 1, E(N) <∞ és E(Z1 + Z2 + · · ·+ ZN ) = mE(N).

Bizonyítás.Legyen

U(r)i =

ir∑j=(i−1)r+1

Zj (i = 1, 2, . . . ; z ∈ Z+)

és c=|a|+|b|.Ha l < N , akkor∣∣∣U (r)

i

∣∣∣ < c

(i = 1, 2, . . . ,

[l

r

])és a <

j∑k=1

Zk < b (j = 1, 2, . . . , l)

amiből

P (N > l) ≤ P(∣∣∣U (r)

i

∣∣∣ < c : i = 1, 2, . . . ,[l

r

])= P

(∣∣∣U (r)1

∣∣∣ < c)[ l

r ]

ésP (Z1 = 0) < 1 ⇒ ∃h > 0 : P (Z1 > h) > 0 vagy P (Z1 < −h) > 0

Legyen r > ch , ekkor

P(∣∣∣U (r)

1

∣∣∣ ≥ c)

= P(|Z1, Z2, . . . , Zr| ≥ c) ≥

≥ P

(r⋂

i=1

Zi ≥

c

r

)+ P

(r⋂

i=1

Zi ≤ − c

r

)≥


≥ P

(r⋂

i=1

Zi > h

)+ P

(r⋂

i=1

Zi < −h

)> 0 ⇒

P(∣∣∣U (r)

1

∣∣∣ < c)

=: % < 1 ⇒ P(∣∣∣U (r)

1

∣∣∣ < c)[ l

r ]= %[

lr ] ≤

(%

1r

)l

Így

E(N) =+∞∑k=1

kP(N = k) =+∞∑k=1

P(N ≥ k) =+∞∑k=1

P(N > k − 1) ≤

≤+∞∑k=1

(%

1r

)k−1

< +∞

Legyen

Yi =

1 , ha N ≥ i0 , különben

amireYi = 0 = N < i = N ≤ i− 1

amiből következik, hogy az Yi csak a Z1, Z2, . . . , Zi−1-től függ, Zi-től független.

E(ZiY i) = E(Zi)E(Yi) ⇒ E(|Zi| · |Yi|

)= E

(|Zi|)E(Yi) ⇒

+∞∑i=1

E(ZiYi) =+∞∑i=1

E(|Z1|

)E(Yi) = E

(|Z1|

)+∞∑i=1

E(Yi) ⇒

E(Z1 + Z2 + · · ·+ ZN ) = E

(+∞∑i=1

ZiYi

)=

+∞∑i=1

E(Zi)P(N ≥ i) =

= m

+∞∑i=1

P(N ≥ i) = mE(N)

Első- és másodfajú hiba

Zi := lnf1(ξi)f0(ξi)

Ekkor a H0 és a H1 esetén a Zi-k független eloszlásúak és

E0

(lnf1(ξi)f0(ξi)

)=∫ +∞

−∞

(lnf1(x)f0(x)

)f0(x)dx <∞

E1

(lnf1(ξi)f0(ξi)

)=∫ +∞

−∞

(lnf1(x)f0(x)

)f1(x)dx <∞

így f0 6= f1 ⇒

P0

(f1(ξ1)f0(ξ1)

= 1)< 1 és P1

(f1(ξ1)f0(ξ1)

= 1)< 1

Itt

E

(n∑

i=1

Zi

∣∣∣∣ N∑i=1

Zi ≤ a

)∼ a

E

(n∑

i=1

Zi

∣∣∣∣ N∑i=1

Zi ≥ b

)∼ b

amiből

mE(N) ∼ aP

(N∑

i=1

Zi ≤ a

)+ bP

(N∑

i=1

Zi ≥ b

)


Legyen α1 az első- és α2 a másodfajú hiba valószínűsége, ekkor

m1E0(N) ∼ a(1− α1) + bα1

m2E1(N) ∼ a(1− α2) + bα2

Állítás.A ≥ α2

1− α1és B ≤ 1− α2

α1

Bizonyítás.

Cn :=x ∈ Rn : A < Vk(x) < B minden k = 1, 2, . . . , n− 1-re és Vn(x) ≥ B

Dn :=

x ∈ Rn : A < Vk(x) < B minden k = 1, 2, . . . , n− 1-re és Vn(x) ≤ A

ekkor

α1 =+∞∑n=1

∫Cn

f0(x)dx =+∞∑n=1

∫Cn

1Vn

n∏i=1

f1(xi)dx ≤1B

+∞∑n=1

∫Cn

f1(x)dx =1− α2

B

α2 =+∞∑n=1

∫Dn

f1(x)dx =+∞∑n=1

∫Dn

1Vn

n∏i=1

f0(xi)dx ≤ A

+∞∑n=1

∫Dn

f0(x)dx = A(1− α1)

Példa.Legyen ξi ∼ N(µ, σ2), H0 : µ = µ0 és H1 : µ = µ1, ekkor

Zi = ln1√2πσ

exp(− (ξi−µ1)

2

2σ2

)1√2πσ

exp(− (ξi−µ1)2

2σ2

) =(ξi − µ1)2 − (ξi − µ0)2

2σ2=

=µ1 − µ0

σ2ξi +

12· µ

20 − µ2

1

σ2⇒

lnVn =µ1 − µ0

σ2

n∑i=1

ξi +n

2· µ

20 − µ2

1

σ2

lnA <µ1 − µ0

σ2

n∑i=1

ξi +n

2· µ

20 − µ2

1

σ2< lnB

µ1 + µ0

2+

σ2 lnAn(µ1 − µ0)

<

∑ξin

<µ1 + µ0

2+

σ2 lnBn(µ1 − µ0)

FEJEZET 5

Lineáris regresszió, lineáris modell és szórásanalízis

Gyakori eset, hogy nem ismerjük a számunkra érdekes mennyiség (Y ) pontos ér-tékét (pl. holnapi részvényárfolyam, vízállás, időjárás). Van viszont információnkhozzá kapcsolódó mennyiségekről (X – mai értékek).Feladat olyan f0 megtalálása, amelyre f0(X) a lehető legjobb közelítése Y -nak.Matematikailag f0 megoldása a következő szélsőérték–problémának (legkisebb négy-zetes becslés).

minf

E(Y − f(X)

)2Valószínűségszámításbeli ismeretek alapján

E(Y − a)2 minimumhelye E(Y ) ⇒

E(Y − f(X)

)2 minimumhelye f0(x) = E(Y∣∣X = x

)Lináris f függvény esetén

E(Y − aX − b)2 minimumhelye

a = cov(X,Y )

D2(X) = corr(X,Y )D(Y )D(X)

b = E(Y )− aE(X)

5.1. Egyszerű lineáris modell

Yi = aXi + b+ εi

ahol Xi a magyarázó változó értéke, εi független, azonos eloszlású hiba. E(εi) = 0és általában feltesszük, hogy normális eloszlásúak.

Az a és b együtthatók becslése.(X1, Y1), (X2, Y2), . . . , (Xn, Yn)

Yi = aXi + b+ εi (i = 1, 2, . . . , n)

Legyen

g(a, b) =n∑

i=1

(Yi − aXi − b)2

amiből∂g

∂b= −

n∑i=1

2(Yi − aXi − b) = 0 és

∂g

∂a= −

n∑i=1

2Xi(Yi − aXi − b) = 0

Felhasználva, hogy

X =∑Xi

n, Y =

∑Yi

n, X2 =

∑X2

i

n, XY =

∑XiYi

n

kapjukb+ aX = X és bX + aX2 = XY

41

5. EGYSZERŰ LINEÁRIS MODELL 42

Tehát az együtthatók becslése

a =XY −X · YX2 − (X)2

=∑

(Xi −X)(Yi − Y )∑(Xi −X)2

b = Y − aX

SzórásokTegyük fel, hogy εi ∼ N(0, σ2) függetlenek, ekkor

Yi ∼ N(aXi + b, σ2) függetlenek.

A Likelihood függvény

L(Y , a, b) =n∏

i=1

1√2πσ

exp(− (Yi − aXi − b)2

2σ2

)és a loglikelihood

`(Y , a, b) = n ln1√2π

− n lnσ −n∑

i=1

(Yi − aXi − b)2

2σ2=

∂`

∂σ2= −n

2· 1σ2

+12· 1(σ2)2

n∑i=1

(Yi − aXi − b)2

Tehát a szórásnégyzet ML becslése

σ2 =∑

(Yi − aXi − b)2

n

és a torzítatlan becslése

σ2∗ =

∑(Yi − aXi − b)2

n− 2Az a várható értéke

E(a) =E(P

XiYi

n

)−XE

(PYi

n

)X2 −X

2 =1n·∑XiE(Yi)−X

∑E(Yi)

X2 −X2 =

=∑

(Xi −X)(aXi + b)

n(X2 −X2)

= b

∑(Xi −X)

n(X2 −X2)︸︷︷︸

=0

+a∑Xi(Xi −X)

n(X2 −X2)︸︷︷︸

=1

= a

így az a becslése torzítatlan.Az a szorásnégyzete

D2(a) = D2

(∑(Xi −X)Yi

n(X2 −X2)

)=∑

(Xi −X)2

n2(X2 −X2)2

D2(Yi)︸︷︷︸=σ2

=σ2

n(X2 −X2)

Tehát

a ∼ N

(a,

σ2

n(X2 −X2)

)A b várható értéke

E(b) = E(Y − aX) = E(Y )− E(a)X = aX + b− aX = b

így a b becslése torzítatlan.A b szórásnégyzete

D2(b) = D2(Y − aX) = D2

(∑Yi

n

)+X

2D2(a) =

σ2

n+

X2σ2

n(X2 −X2)

5. EGYSZERŰ LINEÁRIS MODELL 43

Tehát

b ∼ N

(b,σ2

n+

X2σ2

n(X2 −X2)

)Az X∗ pontban előrejelzett érték aX∗ + b és ennek szórásnégyzete

σ2

(1n

+(X∗ −X)2∑(Xi −X)2

)

Hipotézisvizsgálat.H0 : a = 0 tesztelése t-próbával (konfidenciaintervallum is kapható a-ra)

tn−2 ∼ a

√√√√√√√√√(n− 2)

n∑i=1

(Xi −X)2

n∑i=1

(Yi − aXi − b)2

H0 : b = 0 tesztelése t-próbával (konfidenciaintervallum is kapható b-re)

tn−2 ∼ b

√√√√√√√√√n(n− 2)

n∑i=1

(Xi −X)2

n∑i=1

X2i (Yi − aXi − b)2

SzóródásokTeljes ingadozás

n∑i=1

(Yi − Y )2

Rezuduális négyzetösszeg

n∑i=1

(Yi − aXi − b)2 =n∑

i=1

(Yi − Y )2 −(∑

(Xi −X)(Yi − Y ))2∑

(Xi −X)2

A megmagyarázott variabilitás részaránya éppen a tapasztalati korrelációs együtt-ható négyzete

corr(X,Y ) =

(∑(Xi −X)(Yi − Y )

)2∑(Xi −X)2

∑(Yi − Y )2

Lineáris modell vektoros reprezentációval

Y =

Y1

...Yn

, X =

X1

...Xn

, ε =

ε1...εn

Ekkor a modell

Y = aX + b1 + ε = AX + ε

a feladat‖Y −AX‖22 → min

5. EGYSZERŰ LINEÁRIS MODELL ÁLTALÁNOSÍTÁSA 44

5.2. Egyszerű lineáris modell általánosítása

Yi = a1Xi,1 + a2Xi,2 + · · ·+ ak−1Xi,k−1 + b+ εi (i = 1, 2, . . . , n)

aholXi,j-k a magyarázó változók értékei, εi független, azonos eloszlású hiba, amelyreE(εi) = 0 és általában feltesszük, hogy normális eloszlásúak. Az aj-k és a b a be-csülendő együtthatók.

Legyen

X =

X1,1 . . . X1,k−1 1...

. . ....

...Xn,1 . . . Xn,k−1 1

, Y =

Y1

...Yn

, ε =

ε1...εn

,

β =

a1

...ak−1

b

=

β1

...βk−1

βk

Ekkor az előző egyenletrendszer átírható mátrixos alakba

Y = Xβ + ε

Feladat a β becslése.

Legkisebb négyzetes becslés.

β :n∑

i=1

Yi −k∑

j=1

βjXi,j

2

= minb

n∑i=1

Yi −k∑

j=1

bjXi,j

2

Tétel.Ha a b0 az XTY = XT Xb0 egyenlet megoldása, akkor ez legkisebb négyzetes becslésés rang(X) = k esetén

β = b0 =(XT X

)−1XTY .

Bizonyítás.n∑

i=1

Yi −k∑

j=1

bjXi,j

2

= (Y −Xb)T (Y −Xb) =

= (Y −Xb0 + Xb0 −Xb)T (Y −Xb0 + Xb0 −Xb) == (Y −Xb0)

T (Y −Xb0) + (b0 − b)T XT X(b0 − b) + 2(b0 − b)T (XTY −XT Xb0) == (Y −Xb0)

T (Y −Xb0) + ‖X(b0 − b‖22 + 2(b0 − b)T (0) ≥

≥ (Y −Xb0)T (Y −Xb0) =

n∑i=1

Yi −k∑

j=1

βjXi,j

2

Jelölések, várható értékek.Az Y becslése

Y = XβAz ε becslése

ε = Y −Xβ = Y − Y

A β várható értéke

E(β) = E((XT X)−1XTY

)= E

((XT X)−1XT (Xβ + ε)

)=


= E((XT X)−1XT Xβ

)+ E

((XT X)−1XT ε

)= β

Az Y várható értéke

E(Y ) = E(Xβ) = XE(β) = Xβ = Y

Az ε várható értéke

E(ε) = E(Y − Y ) = E(Y )− E(Y ) = 0

Példa.

Megfigyelés száma y x1 x2

1 2 0 22 3 2 63 2 2 74 7 2 55 6 4 96 8 4 87 10 4 78 7 6 109 8 6 1110 12 6 911 11 8 1512 14 8 13

⇒ Y =

2327681078121114

, X =

1 0 21 2 61 2 71 2 51 4 91 4 81 4 71 6 101 6 111 6 91 8 151 8 13

XT X =

12 52 10252 395 536102 536 1004

, XTY =

90482872

(XT X

)−1=

.97476 .24290 −.22871.24290 .16207 −.11120−.22871 −.11120 .08360

, β =(XT X

)−1XTY =

90482872

Az y becslése(i)

y = 1.86 + 1.3x1

y = 0.86 + 0.78x2

y = 5.37 + 3.01x1 − 1.29x2


Alkalmazás egyszerű lineáris modellre

X =

X1 1...

...Xn 1

, Y =

Y1

...Yn

, ε =

ε1...εn

, β =(ab

)

Tétel. (Becslés kovarianciája)Tegyük fel, hogy

∀i, j = 1, 2, . . . , n; i 6= j : E(εi) = 0, D2(εi) = σ2, cov(εi, εj) = 0.

Ekkorcov(β) = E

((β − E(β)

)(β − E(β)

)T)

= σ2(XT X

)−1

Bizonyítás.Felhasználva, hogy ha ξ egy véletlenített és A tetszőleges konstans mátrix, melyekreszorzás elvégezhető, akkor

cov(Aξ) = E((

Aξ − E(Aξ))(

Aξ − E(Aξ))T)

=

= E(A(ξ − E(ξ)

)(ξ − E(ξ)

)T

AT

)= Acov(ξ)AT

kapjuk, hogycov(β) = cov

((XT X

)−1XTY

)=

=(XT X

)−1XT cov(Y )

((XT X

)−1XT)T

=

=(XT X

)−1XT cov(ε)

((XT X

)−1XT)T

=

=(XT X

)−1XTσ2I

((XT X

)−1XT)T

=

= σ2(XT X

)−1XT X

(XT X

)−1= σ2

(XT X

)−1

Tétel. (Gauss–Markov tétel)Tegyük fel. hogy rang(X) = k, E(ε) = 0 és cov(ε) = σ2I. Ekkor a βj-k (j =1, 2, . . . , k) legkisebb négyzetes becslések a minimális szórásúak a βj-k összes lineá-risan torzítatlan becslései közül.

Bizonyítás.Ha az Y torzítatlan becslés

(Eβ(AY ) = β

), akkor

Eβ(AY ) = Eβ

(A(Xβ + ε)

)= AXβ + AEβ(β)︸︷︷︸

=0

= β ⇐⇒ AX = I

ígycov(AY ) = Acov(Y )AT = Acov(ε)AT = σ2AAT =

= σ2(A−

(XT X

)−1XT +

(XT X

)−1XT)(

AT −(XT X

)−1XT +

(XT X

)−1XT)

=

= σ2

((A−

(XT X

)−1XT)(

A−(XT X

)−1XT)T

︸︷︷︸főátlóban ≥0

+(XT X

)−1)≥ cov(β)

Tétel. (Szórás becslése)Legyen

s2 =1

n− k

n∑i=1

(Yi −

(Xβ)

i

)2

5. SZÓRÁSELEMZÉS 47

EkkorE(s2) = σ2

Bizonyítás. (Vázlat)

s2 =

(Y −Xβ

)(Y −Xβ

)T

n− k=Y TY − βXTY

n− k=

=Y TY − Y T X

(XT X

)−1XTY

n− k=Y T

(I−X

(XT X

)−1XT)Y

n− k

Következmény.Az s2

(XT X

)−1 torzítatlan becslése cov(β)-nak.

Példa. (Normális eloszlás)Legyen E(Y ) = Xβ, cov(Y ) = σ2I és Yi ∼ N

((Xβ)i, σ

2). Ekkor a β és σ2 ML

becsléseiβ = β =

(XT X

)−1XTY

σ2 =

(Y −Xβ

)(Y −Xβ

)T

n

5.3. Szóráselemzés

Egyszempontú szoráselemzésLegyen

Yi,j = µi + εi,j , εi,j ∼ N(0, σ2) j = 1, 2, . . . , ni i = 1, 2, . . . , k

és a nullhipotézisH0 : µ1 = µ2 = · · · = µk

Vezessük be a következő jelöléseket

n =k∑

i=1

ni, Yi¦ =1ni

ni∑j=1

Yi,j , Y¦¦ =1n

k∑i=1

ni∑j=1

Yi,j =1n

k∑i=1

niYi¦

Tehátk∑

i=1

ni∑j=1

(Yi,j − Y¦¦)2︸︷︷︸Q

=k∑

i=1

ni∑j=1

(Yi,j − Yi¦)2︸︷︷︸Q2

+k∑

i=1

ni(Yi¦ − Y¦¦)2︸︷︷︸Q1

A fenti összefüggésben Q-t teljes négyzetösszegnek, Q1-t csoportok közötti négy-zetösszegnek és Q2-t csoportokon belüli négyzetösszegnek nevezzük.Ha H0 igaz, akkor Q1 és Q2 független és (k − 1) illetve (n − k) szabadságfokú χ2

eloszlásúak (σ2-el beszorozva), azaz

Q1(n− k)Q2(k − 1)

∼ F(k−1)(n−k)

Példa.Egy vezető kiváncsi arra, hogy van-e különbség beosztottai gyorsasága között. Há-rom csoportot vizsgál: kezdők, átlagos gyakorlattal rendelkezők és tapasztaltak. Amegfigyelések az alábbiak:

5. SZÓRÁSELEMZÉS 48

Munkatársak száma Csopotátlag Korr. szórásnégyzetTapasztalt 10 24.2 21.54Átlagos 10 27.1 18.64Kezdő 10 30.2 17.76

Az adatok alapján

Q1 = 180.06, Q2 = 521.46 ⇒ F =27Q1

2Q2= 4.662 > 335 = F0.05,2,27

tehát elutasítjuk az azonosság hipotézisét!

Szóráselemzés és lineáris modell.Legyen

Y =

Y1,1

...Y1,n1

...Yk,1

...Yk,nk

, X =

1 0...

...1 0... · · ·

...0 1...

...0 1

, ε =

ε1,1

...ε1,n1

...εk,1

...εk,nk

, β =

µ1

...µk

EkkorY = Xβ + ε

Irodalomjegyzék

[1] Baróti - Bognárné - Fejes Tóth - Mogyoródi: Matematikai statisztika jegyzet programozó szakoshallgatóknak, ELTE TTK jegyzet

[2] Bolla Marianna - Krámli András : Statisztikai következtetések elmélete, Typotex, 2005[3] Dévényi Dezső - Gulyás Ottó: Matematikai statisztikai módszerek a meteorológiában, Tan-

könyvkiadó, 1988[4] Móri - Szeidl - Zempléni: Matematikai statisztika példatár, Eötvös Kiadó, 1997

49

matematikai statisztika. (hallgatói jegyzet) készítette ... · fejezet 1 bevezetés a...

Documents