参数估计

参数估计问题

假设检验问题

点 估 计

区间估 计统计推断

什么是参数估计？参数是刻画总体某方面的概率特性的数量 .

当这个数量是未知的时候，从总体抽出一个样本，用某种方法对这个未知参数进行估计就是参数估计 .

例如， X ~N ( , 2),

点估计 区间估计

若 , 2 未知，通过构造样本的函数 , 给出它们的估计值或取值范围就是参数估计的内容 .

参数估计的类型

点估计 (point Estimation) —— 估计未知参数的值

区间估计 (interval Estimation)—— 估计未知参数的取值范围，使得这个范围包含未知参数真值的概率为给定的值 .

§ 7.1 点估计方法点估计的思想方法设总体 X 的分布函数的形式已知，但它含有一个或多个未知参数： 1,2, ,k

设 X1, X2,…, Xn 为总体的一个样本构造 k 个统计量：

),,,(

),,,(

),,,(

21

212

211

nk

n

n

XXX

XXX

XXX

随机变量

当测得一组样本值 (x1, x2,…, xn) 时，代入上述统计量，即可得到 k 个数：

),,,(ˆ

),,,(ˆ

),,,(ˆ

21

212

211

nk

n

n

xxx

xxx

xxx

数值

称数k ˆ,,ˆ,ˆ

21 为未知参数 k ,,, 21 的估计值

如何构造统计量？如何评价估计量的好坏？

对应的统计量为未知参数 k ,,, 21 的估计量Q :

三种常用的点估计方法 频率替换法 (Frequency substitution)

利用事件 A 在 n 次试验中发生频率nnA

作为事件 A 发生的概率 p 的估计量

pn

n pA

例 1 设总体 X ~ N ( , 2 ), 在对其作 28 次独立

观察中 , 事件 “ X < 4” 出现了 21 次 , 试用频率替换法求参数 的估计值 .

解 由 75.028

21)

2

4()4(

XP

675.02

4

查表得

于是 的估计值为ˆ 3.045

矩法 ( Method of moment)

方法用样本的 k 阶矩作为总体的 k 阶矩的 估计量 , 建立含有待估计参数的方程，从而可解出待估计参数一般地，不论总体服从什么分布，总体期望

与方差 2 存在，则它们的矩估计量分别为

XXn

n

ii

1

1

2

1

22 )(1

ˆ n

n

ii SXX

n

事实上，按矩法原理，令

n

iiX

nX

1

1

)(1 2

1

22 XEX

nA

n

ii

X

)()(ˆ 222 XEXE 22 A

2

1

21XX

n

n

ii

2

1

2)(1

n

n

ii SXX

n

设待估计的参数为 k ,,, 21

设总体的 r 阶矩存在，记为

),,,()( 21 krrXE

设 X1, X2,…, Xn 为一样本，样本的 r 阶矩为

n

i

rir X

nB

1

1

kr ,,2,1 令

),,,( 21 kr

n

i

riX

n 1

1

—— 含未知参数 1,2, ,k 的方程组

解方程组，得 k 个统计量：

),,,(ˆ

),,,(ˆ

),,,(ˆ

21

212

211

nk

n

n

XXX

XXX

XXX

——未知参数 1,2, ,k

的矩估计量

),,,(ˆˆ

),,,(ˆˆ

),,,(ˆˆ

21

2122

2111

nkk

n

n

xxx

xxx

xxx

——未知参数 1,2, ,k

的矩估计值

代入一组样本值得 k 个数 :

例 2 设总体 X ~ N ( , 2 ), X1, X2,…, Xn 为总体的 样本 , 求 , 2 的矩法估计量。解 X矩

2

1

22 1ˆ XX

n

n

ii

矩

例 3 设总体 X ~ E(), X1, X2,…, Xn 为总体的样本 , 求的矩法估计量。

解 1

)( XE1

X令故 1ˆ

X 矩

例 4 设从某灯泡厂某天生产的一大批灯泡中 随机地抽取了 10 只灯泡，测得其寿命为 ( 单位：小时 ) ： 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的标准差 .

解)(1147

101

)(10

1

hxxXEi

i

6821101

ˆ)( 210

1

22

xxXDi

i

)(25.79)( hXD

例 5 设总体 X ~ U (a, b), a, b 未知，求 a, b 的 矩法估计量 .

解 由于12

)()(,

2)(

2abXD

baXE

)()()( 22 XEXDXE

令

22

212

)(

baab

Xba

2

ˆˆ

n

iiX

nA

baab

1

22

22 1

2

ˆˆ

12

)ˆˆ(

解得)(3ˆ 2

2 XAXa 矩

n

ii XX

nX

1

2)(3

)(3ˆ 22 XAXb 矩

n

ii XX

nX

1

2)(3

点估计的极大似然估计法 (maximum likelihood)

思想方法：一次试验就出现的 事件有较大的概率

例如 : 有两个外形相同的箱子 , 都装有 100 个球 一号箱 99 个白球， 1 个红球 二号箱 1 个白球， 99 个红球

现从两箱中任取一箱，并从箱中任取一球，结果所取得的球是白球。

答 ：极有可能是第一箱 .

问 所取的球来自哪一箱？

例 6 设总体 X 服从 0-1 分布 , 且 P (X = 1) = p, 用极大似然法求 p 的估计值 .

解 总体 X 的概率分布为1,0,)1()( 1 xppxXP xx

设 x1, x2,…, xn 为总体样本 X1, X2,…, Xn

的样本值 ,

则 ),,,( 2211 nn xXxXxXP

)()1( 11 pLpp

n

ii

n

ii xnx

nixi ,,2,1,1,0

对于不同的 p , L (p) 不同 , 见下图

现经过一次试验，0.2 0.4 0.6 0.8 1

p

0.002

0.004

0.006

0.008

0.01

Lp

),,,( 2211 nn xXxXxX

发生了，

事件

则 p 的取值应使这个事件发生的概率最大 .

p

在容许范围内选择 p ，使 L(p) 最大 注意到， ln L(p) 是 L 的单调增函数 , 故若某个 p 使 ln L(p) 最大 , 则这个 p 必使 L(p) 最大。

01d

dln 11令

p

xn

p

x

pL

n

ii

n

ii

xxn

pn

ii

1

1ˆ

0

)1(dlnd

21

21

2

2

p

xn

p

x

pL

n

ii

n

ii

所以 xp ˆ 为所求 p 的估计值 .

一般 , 设 X 为离散型随机变量 , 其分布律为

,,,),,()( 21 uuxxfxXP

则样本 X1, X2,…, Xn 的概率分布为),,,( 2211 nn xXxXxXP

),(),(),( 21 nxfxfxf

1 2, , ,

1, 2, , ,ix u u

i n

)(),,,,( 21 LxxxL n 记为 或

称 L( ) 为样本的似然函数

)ˆ,,,,( 21 nxxxL )},(),(),(max{ 21

nxfxfxf

称这样得到的 ),,,(ˆ21 nxxxg

为参数 的极大似然估计值称统计量 ),,,( 21 nXXXg

为参数 的极大似然估计量

选择适当的 = , 使 取最大值 , 即L( )极大似然法的思想

简记mle

简记 ˆMLE

若 X 连续 , 取 f (xi, ) 为 Xi 的密度函数

n

iixfL

1

),()( 似然函数为注 1

注 2 未知参数可以不止一个 , 如 1,…, k

设 X 的密度 ( 或分布 ) 为 1( , , , )kf x 则定义似然函数为

1 11

( , , ) ( , , , )n

k i ki

L f x

, 1, 2, ,ix i n 1( , , )k

1 1( , , ; , , )n kL x x

若 1 1( , , ; , , )n kL x x 关于 1, …, k 可微 , 则称0),,,;,,,( 2121

knr

xxxL

为似然方程组

kr ,,2,1

若对于某组给定的样本值 x1, x2,…, xn ，参数 使似然函数取得最大值 , 即k ˆ,,ˆ,ˆ

21

1 1( , , ; , , )n kL x x

)},,,;,,,({max 2121

),,,( 21knxxxL

k

则称1, , k 为 1,…, k 的极大似然估计值

显然，),,,(ˆ

21 nr xxxg kr ,,2,1

称统计量

),,,(ˆ21 nr XXXg kr ,,2,1

为 1, 2,…, k 的极大似然估计量

例 7 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值 , 求 , 2 的极大似然估计 .

解 ),;,,,( 221 nxxxL

n

i

ix

nn e 12

2

2

)(

222 )()2(

1

)ln(2

)2ln(22

)(ln 2

12

2

nnx

Ln

i

i

2

2

2

)(

1 2

1

ixn

i

e

xxn

n

iimle

1

1

n

iimle xx

n 1

22 )(1

, 2 的极大似然估计量分别为

1

1,

n

ii

X Xn

2

1

2)(1

n

n

ii SXX

n

似然方程组为

0)(1

ln1

2

n

iixL

0)(2

)()(2

1ln

)( 21

2222

n

xLn

ii

极大似然估计方法

1 ） 写出似然函数 L

2 ）求出 k ˆ,,ˆ,ˆ21 , 使得

)ˆ,,ˆ,ˆ;,,,( 2121 knxxxL

)},,,;,,,({max 2121),,,( 21

knxxxLk

0),,,;,,,( 2121

knr

xxxL

kr ,,2,1

可得未知参数的极大似然估计值 k ˆ,,ˆ,ˆ21

然后 , 再求得极大似然估计量 .

L 是 的可微函数 , 解似然方程组1, , k 若

L 不是 的可微函数 , 需用其它方法求极大似然估计值 . 请看下例：

1, , k 若

例 8 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个样本值 , 求 a , b 的极大似然估计值与极大似然估计量 .

解 X 的密度函数为

其它,0

,1

),;( bxaabbaxf

似然函数为

其它,0

,,2,1

,,

)(1

),;,,,( 21 ni

bxa

abbaxxxLi

nn

似然函数只有当 a < xi < b, i = 1,2,…, n 时才能获得最大值 , 且 b - a 越小 , L 越大 .

令 xmin = min {x1, x2,…, xn}xmax = max {x1, x2,…, xn}

取 maxminˆ,ˆ xbxa

则对满足 bxxa maxmin的一切 a < b ,

nn xxab )(1

)(1

minmax

都有

故 maxminˆ,ˆ xbxa

是 a , b 的极大似然估计值 .

},,,max{

},,,min{

21max

21min

n

n

XXXX

XXXX

分别是 a , b 的极大似然估计量 .

问 题1) 待估参数的极大似然估计是否一定存在 ?

2) 若存在 , 是否惟一 ?

设 X ~ U ( a – ½, a + ½), x1, x2,…, xn

是 X 的一个样本 , 求 a 的极大似然估计值 .

解 由上例可知 , 当

21

ˆ21

ˆ maxmin axxa

时 , L 取最大值 1, 即

21

ˆ21

minmax xax

显然 , a 的极大似然估计值可能不存在 , 也可能不惟一 .

例 9

不仅如此 , 任何一个统计量

21

),,,(21

)1(21)( xxxxgx nn

),,,( 21 nXXXg

若满足

都可以作为 a 的估计量 .

常见分布的极大似然估计

分布 待估参数 极大似然估计二项 p

泊松 λ

指数 λ

正态 μ

正态 σ2

1

1ˆ

m

ii

p Xmn

1

1ˆn

ii

Xn

1

ˆn

ii

n X

1

1ˆ

n

ii

Xn

2 2

1

1ˆ ( )

n

ii

X Xn

极大似然估计的不变性

设 是 的极大似然估计值 , u( )

( ) 是 的函数 , 且有单值反函数 = (u), uU

则 是 u( ) 的极大似然估计值 . )ˆ(ˆ uu

如 在正态总体 N (, 2) 中 , 2 的极大 似然估计值为

2 2

1

1( )

n

ii

x xn

2 是 2 的单值函数 , 且具有单值反函数，故 的极大似然估计值为

2

1

1ˆ ( )

n

ii

x xn

lg 的极大似然估计值为2

1

1lg lg ( )

n

ii

x xn

作业 P164 习题七

2 3 5 7 8 10(1) 14