1

5. 推定論

母集団分布の母数を標本から推定する方法を説明する。まず、母数を一つの値で推定する

点推定について、良好な推定値（量）の性質を述べ、推定精度としての標準誤差を取り扱う。

次に、推定値を具体的に求める理論的方法としての最尤法を説明する。母数の最尤推定量の

漸近正規性と、その漸近分散の計算法を概説する。その他の母数推定法として、説明変数か

ら応答変数の値を予測する回帰式を推定するための最小自乗法について説明する。最後に、

母数が区間に存在することを推定する信頼区間を考える。

5.1. 点推定

先に述べた統計量は対応する母数の推定値である。このように母数を一つの値およびベク

トルで推定する場合を点推定(point estimation)という。母数の推定値は次のように定義される。

定義 5.1. 標本 X1, X2,…,Xn に対して、統計量 t(X1, X2,…,Xn)で母数θを推定するとき、

t(X1, X2,…,Xn)を母数θの推定量(estimator)といい、その値を推定値(estimate)と呼ぶ。□

推定量は抽出する標本毎に偶然に変動する確率変数であり、その推定精度を考える必要があ

る。t(X1, X2,…,Xn)を母数θの推定量とするとき、確率１で

t(X1, X2,…,Xn)≠θ

である。標本平均と標本分散はそれぞれ母集団（分布）の平均と分散の推定値である。正規

分布 N(100,25)から、標本数 10 と 100 の無作為抽出実験を 10 回行い、標本平均と分散を求め

た結果を下の表にまとめた。

表 5.1. 標本数 10 の標本からの標本平均と分散

実験 1 2 3 4 5 6 7 8 9 10

平均 99.69 99.24 103.00 98.85 100.77 99.10 99.90 99.74 100.30 100.36

分散 37.54 40.20 29.18 19.03 30.30 36.82 41.60 14.41 36.15 15.23

表 5.2. 標本数 100 の標本からの標本平均と分散

実験 1 2 3 4 5 6 7 8 9 10

平均 99.49 100.34 100.27 100.03 99.98 99.42 100.11 99.99 100.48 99.83

分散 29.47 28.67 28.29 25.02 28.91 25.84 24.86 21.13 23.83 28.96

標本平均や標本分散は標本を抽出するごとに偶然変動するが、変動の大きさは標本が増える

に従って小さくなる。この性質は前章で述べた大数の法則である。推定量の良さの基準とし

て次の 2 つの性質は基本的である。

2

(i) 一致性(consistency)

t(X1, X2,…,Xn)を母数θの推定量とするとき、 n に対して

t(X1, X2,…,Xn) → θ （確率収束）

であるとき、推定量は一致性をもつという。また、その推定量はθの一致推定量(consistent

estimator)という。

(ii) 不偏性(unbiasedness)

推定量 t(X1, X2,…,Xn)が

E{t(X1, X2,…,Xn)} = θ

のとき、この性質を推定量の不偏性という。また、その推定量は不偏推定量(unbiased estimator)

である。

標本平均X＿

は母平均μの推定量であり、大数の法則から一致性を持つことが分かる。また、

E(X＿

) =μであるから、標本平均は不偏推定量でもある。次に偏差平方和

2

1

2

1

2

XnXXXN

i i

N

i i

を考える。ここで、

E(Xi2) = σ2

+μ2, E( X

___2) = σ2

/n +μ2

であるから、この期待値は(n-1)σ2である。従って

E(S2) =(n-1)σ2

/n, E(U2) =σ2

を得る。このことから、S2 はσ2 の不偏推定量では無いが、U

2 は不偏推定量である。両者が

一致推定量であることは大数の法則を用いれば分かる。標本数が大きいとき S2は不偏推定量

に近づき、このような性質を漸近不偏性という。このように、我々が通常用いている統計量

は解釈が容易で、かつ数学的にも良好な性質をもっている。

例 5.1. 確率変数 X と Y の標本分散をそれぞれ UXX, UYYで、また共分散を UXYとすれば、標本

相関係数は

YYXX

XY

UU

Ur

で示される。この統計量は不偏性を持たないが、UXX, UYY, UXYが一致推定量であるので、相

関係数の一致推定量である。標本数が大きいときは、標本相関係数は

YX

XYUr

で近似されるので、漸近的に不偏推定量である。

3

5.2. 推定量の標準誤差

母数θの不偏推定量を t(X1, X2,…,Xn)とするとき、t(X1, X2,…,Xn)の標準偏差を標準誤差

(standard error, SE)という。すなわち、

SE = ),...,,( 21 nXXXtVar

である。例えば、標本平均X ___

の標準誤差は SE=σ/ n で、また不偏分散 U2の分散が Var(U

2) =

4

12 n

であるから、U2の標準誤差は SE =

2

12 n

である。実際の解析では標準誤差はその推

定値で求めることになる。すなわち、前者はSE∧

=n

U 、後者はSE∧

=2

12 U

nである。

例 5.2. 次のデータは男子学生の身長のデータである。母集団が正規分布するものとして、

データから平均と分散を推定する。

データ：168.0, 168.5, 172.5, 182.5, 164.0, 160.5, 167.5, 174.5, 162.5, 173.0, 168.5, 173.5

164.5, 177.5, 160.0, 172.0, 168.0, 170.5, 166.5, 168.5, 175.0, 157.0, 171.0, 176.5 (cm)

このタータから

標本平均 x ___

=169.3 (cm) (SE∧

=1.2), 標本分散 U2=36.3 (cm

2) (SE

∧

=10.7)

を得る。

円周率 の推定実験を行う。一辺が 2 の正方形内から無作為に点を n 個抽出し、そのうち

内接する半径 1 の円に入る点の個数 0n の相対度数の 4 倍、すなわちn

n04で円周率を推定する

（モンテカルロ法）。図 5.1 の実験で推定値 3.15 (SE=0.0818)を得る。図 5.2 はこの実験を

10 回反復した結果である。推定値は標本抽出を行う度に変動する様子が示されている。

図 1 n=400 の場合の実験

4

図 5.2 n=400 の実験を 10 回反復した結果

この図が示すように、推定値 SE の範囲の標本の変動は考慮に入れておく必要がある。

標準誤差は推定量の推定精度を表すので、推定精度を予め決定して、その精度に合わせた

標本数を決定することが可能である。

例 5.3. 男子学生の身長の標準偏差を高々σ=6.5cm とするとき、平均の推定で標準誤差を

0.5cm 以下にするための標本数を求める。標本数を n とするとき

SE=σ/ n =6.5/ n ≦0.5

を解いて、n ≧169 を得る。

例 5.4. 成功確率 p のベルヌイ試行で、p の推定を考える。ただし、0.2 < p < 0.8 とする。実

験回数 n としたときの標本平均の標準誤差は

SE= npp /)1( ≦1/(2 n )

である。標準誤差を 0.05 以下にするための標本数は

1/(2 n ) ≦0.05

を解いて、高々n ≧100 を得る。

一般に標準誤差は漸近的な方法によって算出する場合が多い。その理論は次節で説明する推

定量の漸近正規性に基づく。

5.3. 最尤推定

この節では母数推定の一般的な方法について述べる。

2.95

3

3.05

3.1

3.15

3.2

3.25

3.3

0 2 4 6 8 10

推定値

推定値

5

定義 5.2 母数θをもつ分布（母集団）の密度関数または確率関数を f(x|θ)とする。この分布

から無作為標本を x1, x2,…,xnを得たとき、その同時密度または確率関数

L(θ) =

n

i

ixf1

(5.1)

を母数θの尤度関数(likelihood function)という。

例 5.5. 成功確率 p のベルヌイ試行結果、x1, x2,…,xnを得たとき、その尤度関数は

L(p) =

n

i

xnxxxn

i i

n

i iii pppp1

111 11 (5.2)

である。 □

定義 5.3. 尤度関数(5.1)を最大化するθ∧

を、母数θの最尤推定値(maximum likelihood estimate)

という。また、最尤推定値を与える統計量を最尤推定量(maximum likelihood estimator)という。

尤度関数が母数空間の内点で最大化できるとき、最尤推定値は方程式

0)(

d

dL (5.3)

を解けば求めることができる。この方程式を尤度方程式という。但しθが母数ベクトルの場

合は、(5.3)は全ての成分で偏微分した方程式系になる。

尤度関数 L(θ)とその対数

l(θ) =

n

i

ixf1

log (5.4)

の最大化は同値であり、応用的には上の関数の最大化が行われる。関数(5.4)を対数尤度関数

(log likelihood function)という。

例 5.6. 例 5.5 で成功確率 p の最尤推定値p∧

を求める。対数尤度関数は

)1l o g (l o g)(1 1

pxnpxpln

i

n

i

ii

= nx__

log p + (n - nx__

)log(1-p) (5.5)

であるから、尤度方程式は

01

11

1

pxn

pxn

dp

dl

である。これを解いてp∧

= x__

を得る。従って、成功確率 p の最尤推定量は実験が成功する場

合の相対度数である。尤度関数(5.2)または対数尤度関数(5.5)から最尤推定値は統計量

n

i ix1

、

すなわち x の関数として求められることが分かる。このような統計量を十分統計量(sufficient

statistic)という。十分統計量は母数を推定するための全ての情報をもっている。 □

6

問 5.1. ある製品の寿命を調べる実験で標本 x1, x2,…,xn が得られたとき、平均寿命の最尤推定

値を求めよ。但し、この製品は平均μの指数分布に従うとする。

例 5.7. 標本 x1, x2,…,xnが正規母集団 N(μ,σ2)からの無作為標本とする。このとき、θ=(μ,

σ2)であり、対数尤度関数は

2

22

12

22

2

2log2log,

xnxxl

n

i inn (5.6)

となる。この対数尤度関数は x と 2

1

n

i i xx の関数であり、このような統計量を十分統計

量(sufficient statistics)という。尤度方程式系

,02

22),(2

2

nxnl

0

22

),(4

2

1

2

22

2

xnxxnln

i i

を解いて

μ∧

= x__

, σ∧

2 = S

2

を得る。

注意 5.1. 対数尤度関数と情報量の関係

対数尤度関数 l(θ)に対して

n

i

ixfl1

log (5.7)

を考える。f(xi|θ)が確率関数のとき、上の量は独立事象（標本）x1, x2,…,xn の負の同時（結合）

情報量である。このことから、母数の最尤推定値は(5.7)を最大化するものであり、この意味

で最尤推定値は標本が得られる不確実性を最小にするものである。標本が連続値のときも同

様な解釈が成立する。

例 5.8． 血液型の A, B, O の配偶子の母集団内頻度を p, q, r (p+q+r=1)とするとき、遺伝法則

（ハーディワインバーグの法則）では AA, AO, BB, BO, AB, OO 型の人の頻度が p2, 2pr, q

2, 2qr,

2pq, r2である。この母集団から n 人を抽出し、AA, AO, BB, BO, AB, OO 型の人の度数 nAA, nAO,

nBB, nBO,nAB, nOOを得た。このとき、p, q, r の最尤推定値を求める。尤度関数の定数を除いた

部分は

L = (p2)n

AA(2pr) n

AO(q2) n

BB(2qr) n

BO(2pq) n

AB(r2) n

OO

= 2n

AO+ n

BO+ n

ABp2n

AA+ n

AO+ n

ABq2n

BB+ n

BO+ n

ABr2n

OO+ n

AO + n

BO

である。この関数から対数尤度関数

l = logL

7

= (nAO+ nBO+ nAB)log2 + (2nAA+ nAO+ nAB)log p

+(2nBB+ nBO+ nAB)logq +(2nOO+ nAO + nBO)logr (5.8)

を得る。この関数を条件 p+q+r=1 の下で最大化して最尤推定量が得られる。具体的には r=1

−p−q を代入し、p と q について偏微分して次の尤度方程式系を得る。

,01

22

qp

nnn

p

nnn

p

l BOAOOOABAOAA

.01

22

qp

nnn

q

nnn

q

l BOAOOOABBOBB

これを解いて

,2

2

n

nnnp ABAOAA ,

2

2

n

nnnq ABBOBB .

2

2

n

nnnr BOAOOO

が求められる。これらの漸近的 SE はそれぞれ、 npp 2/)1( , nqq 2/)1( ,

nrr 2/)1( である。表 5.3 のデータは献血者 1000 人の血液型データである。このデータ

から推定値 (SE)を次のように得る。

p = 0.403 (SE=0.00778), q = 0.310 (0.00728), r =0.288 (0.0100)

表 5.3. 血液型データ

血液型 AA 型 AO 型 BB 型 BO 型 AB 型 OO 型

度数 165 225 92 184 251 83

注意 5.2. ニュートン法

関数の最適化や方程式を数値的に求める方法について述べる。関数 f(x)の最適化は通常の

場合、方程式

0)(

dx

xdf

を解くことに帰着するので、一般の方程式の解法を考えることにする。次の方程式の解は 2

と 2 であるが数値的に値を求める。

x2 − 2 = 0.

いま、関数

g(x) = x2 − 2

を考えて、次の様に数列{xn}を定義する。

(i) 定数 a を決めて x0 = a とする。

8

(ii) x = xn における g(x)の接線と x 軸との交点の x 座標を xn+1とする。すなわち

)(

)(

1n

n

xg

xg

nn xx (n = 0,1,2,…)

(iii) 収束誤差 δ>0 を定めて、

|xn+1 − xn| < δ

であればこの操作を止めて、xn+1 を解とする。この条件が満たされなければ(ii)に戻

る。

上の方法をニュートン法という。具体的には

n

n

x

x

nn xx 2

2

1

2

であり、x0 = 1, −1 としたエクセルによるシミュレーション結果は表 5.4 に示す。収束は比較

的に早く、正確な値が得られることが分かる。ただし、方程式の解が存在するおよその範囲

を特定した方がよい。

表 5.4. 方程式 x2 = 2 の数値解

x0 x1 x2 x3 x4 x5 x6

1 1.5 1.416667 1.414216 1.41421 1.41421 1.41421356

-1 -1.5 -1.41667 -1.41422 -1.41421 -1.41421 -1.41421356

関数の最適化の場合には

d x

xd fxg

)()(

として、上の(i)から(iii)を適用すればよい。この方法は多変数の場合の最適化に拡張される。

多変数関数 ),...,,( 21 pxxxf の最適化は一般に方程式系

0),...,,( 21

pxxxxf

i ),...,2,1( pi

を解くことになる。ニュートン法は統計学での母数推定には広く応用されている。

問 5.2. 関数 f(x) = x3 − 3 x

2 + x の極値をニュートン法で求めよ。

5.4. 最尤推定量の漸近的性質

上で述べた最尤推定量の分布については、一般には複雑であるが、標本数が大きい場合は

良好な性質をもつ。

定義 5.4. 変量（確率変数）X の密度関数または確率関数を f(x|θ)とするとき、

9

I(θ) =

2

log

Xfd

dE

をフィッシャー情報量という。 □

確率変数 X が連続のとき、この情報量は

I(θ) = dxxfxfd

d

2

log

(5.9)

である。この積分は X の標本空間全体での積分で、X が離散的な場合は積分記号を和で置き

換える。

例 5.9. ベルヌイ分布でのフィッシャー情報量を求める。このときの確率関数は

f(x|p) = px(1 – p)

1-x（x = 0, 1）

であり、

p

x

p

xpXf

dp

d

1

1log

が分かる。このことから

I(p) = E[{x/p−(1–x)/(1–p)}2] = 1/{p(1–p)}

を得る。 □

母数の最尤推定量に関する次の定理は基本的かつ有用である。

定理 5.1. 母数θの最尤推定値 が尤度方程式解として与えられるとき、密度関数または確

率関数 f(x|θ)に関する適当な正則条件の下で、最尤推定量は漸近的 )(

1,

nI

N に従う。ここ

に n は標本数とする。

この定理からさ最尤推定量の分布は漸近正規分布である。さらに、次の定理は重要である。

定理 5.2. 母数θの不偏推定量をθ～

とするとき、

Var(θ～

) ≧)(

1nI

(5.10)

である。ここに n は標本数とする。

上の定理で(5.10)の下限を満たす不偏推定量を有効推定量(efficient estimator)という。推定量の

分散や標準偏差は推定精度を表現している。この定理は推定精度の下限を与え、また前の定

理を合わせると最尤推定量は漸近的に有効推定量であることが分かる。最尤推定が統計解析

で広く用いられるのはこの意味からも理解できる。

例 5.10. 例 5.8 のベルヌイ分布での平均の最尤推定量の漸近分散は

10

n

pp

nI

)1(

)(

1

であり、これは標本平均の分散であるから、標本平均は母平均の有効推定量である。

例 5.11. 標本 x1, x2,…,xn が正規母集団 N(μ,σ2)からの無作為標本とする。このとき対数尤度

関数(5.6)から、

,),(

2

2

nxnl

であり、フィッシャー情報量は

nI(μ) =

24

22

nxEn

となる。このことから、μの最尤推定量X___

の漸近分散はσ2/n である。これは、標本平均の分

散であり、標本平均が母平均μの有効推定量であることを示している。 □

定理 5.3. 密度関数または確率関数に関する適当な正則条件の下で、フィッシャー情報量

が

I(θ) = dxxfxfd

d

2

log

= dxxfxf

d

d

log

2

2

である。

証明 確率変数が連続の場合のみ証明する。離散確率変数のときは積分記号を和の記号で置

き換えて示せばよい。密度関数を積分して

dxxf = 1

である。これをθに関して微分すれば

dxxfd

d

= 0

である。これは

0log

dxxfxf

d

d

を意味する。上式をθに関して微分すれば

dxxfxfd

d

log

2

2

+ dxxfxfd

d

2

log

=0

を得る。このことから定理が得られる。 □

注意 5.3. 上の定理の正則条件は f(x|θ)がθに関して２回微分可能で、関数の積分と微分が交

換可能であることである。

11

実際のデータ解析ではフィッシャー情報量はデータから次のように推定される。

2

1

1 )(logˆ

n

i idd

nxfI

(5.11)

母数がベクトルのとき、上の微分は各母数での偏微分に置き換わる。一般に、母数の最尤推

定値は明確な関数で表現されず、推定値はコンピュータによって数値的に求められる。汎用

的なモデルに関してはその推定アルゴリズムが統計用プログラムになっている。

例 5.12. 例 5.8 の血液データは血液の遺伝子型に関する分類としているが、形質型としての

分類データとして与えられる場合がある。表5.4は表5.3を形質型としてまとめたものである。

表 5.3 に対して表 5.4 は情報が欠落していて、表 3 を完全データとしたときに、表 5.5 は不完

全データである。このデータから母数の最尤推定値を求めるためには次の尤度関数の最大化

が必要である。いま、 ,AOAAA nnn BOBBB nnn として

OOABBAnnnn

rpqrqqrpprqpL 2222,,

を p, q, r に関して偏微分して尤度方程式を解く必要があるが、結果は陽に解けないので数値

的に求めなければならない。

表 5.5. 血液型データ

血液型 A 型 B 型 AB 型 O 型

度数 390 276 251 83

このデータから母数の最尤推定値を求めるための有効な方法として、EM 法が提唱されて

いる。EM 法は E スッテプと M スッテプの 2 段階の操作で構成される反復収束法である。E

は期待(Expectation)、M は最大化(Maximization)の意味である。この場合の計算は比較的に容

易であり、以下でその手順を説明する。母数 p, q, r の初期推定値をそれぞれ p(0), q(0), r(0)とす

る。この例では完全データが A 型と B 型に合併されているので

,390 AOAA nn ,276 BOBB nn ,251ABn 83OOn

であり、データ総数は 1000n となる。E スッテプでは欠測値 nAA, nAO, nBB, nBOの推定値

を母数の初期推定値 p(0), q(0), r(0)と表 5.4 のデータを与えた下での条件付き期待値と

して求める。

(i) E-step

,2

390)0()0(

)0(

)0(rp

pnAA

)0()0( 390 AAAO nn

,2

2 7 6)0()0(

)0(

)0(rq

qnBB

)0()0( 276 BBBO nn

12

次に完全データ nAA(0), nAO(0), nBB(0), nBO(0), nAB, nOO が得られた下で、母数 p, q, r の最尤推

定値 p(1), q(1), r(1)を次の M スッテプで求める。このときの対数尤度関数は(5.7)と同じであるか

ら、次の推定値を得る。

(ii) M-step

,2

2 )0()0(

)1(n

nnnp

ABAOAA ,

2

2 )0()0(

)1(n

nnnq

ABBOBB )1()1()1( 1 qpr

この推定値で E スッテプに戻り、(i)で期待値 )1()1()1()1( ,,, BOBBAOAA nnnn を計算し、その期待値

をデータとして(ii)で推定値を更新し )2()2()2( ,, rqp を得る。この操作を反復し、推定値が一定

の精度で収束をしたら操作を止めて、最尤推定値 ,p ,q r を得る。このアルゴリズムを EM

アルゴリズムという。このアルゴリズムを実際に実行した結果を表 5.5 に示す。この場合は

13 回程度の反復計算で収束値

401.0ˆ p , 312.0ˆ q , 287.0ˆ r

を得る。この推定値は欠測データ（表 5.5）からの最尤推定値であり、完全データ（表 5.4）

による例 5.8 の推定値と異なる。

表 5.5. 血液型データ

血液型 A 型 B 型 AB 型 O 型

度数 390 276 251 83

推定値の標準誤差を(5.11)を用いて計算する。 rqp ˆ,ˆ,ˆ のフィッシャー情報量をそれぞれ

rIqIpI 321 ,, とするとき、 qpr 1 に注意して

21212

222

211

1 2rOOpABrqArppA nnnnpnI

21212

222

211

2 2rOOqABrpBrqqB nnnnqnI

21212

222

111

3 2rOOpABrqBrqpA nnnnrnI

この結果から、推定量 rqp ˆ,ˆ,ˆ の漸近標準誤差はそれぞれ rnIqnIpnI ˆ1

ˆ1

ˆ1

321,, で計算される。

結果は 0.0121, 0.00946, 0.0144 となり、完全データが得られた場合より大きくなっている。不

完全データは完全データに関して情報が欠落していて、そのために推定精度が悪くなる。

問 5.3. 上の例で適当な初期値 p(0), q(0), r(0)から EM アルゴリズムを実行し、結果が表 5.6 のも

のと同じであることを確認せよ。

13

表 5.5. 初期値 p(0)=0.1, q(0),=0.1, r(0)= 0.8 による結果

反復回数 p q r AA AO BB BO AB OO

0 0.2 0.4 0.4 78 312 92 184 251 83

1 0.3595 0.3095 0.331 137.254 252.746 87.928 188.072 251 83

2 0.3891 0.3075 0.3034 152.377 237.623 92.816 183.184 251 83

3 0.3967 0.3099 0.2934 157.305 232.695 95.387 180.613 251 83

4 0.3992 0.3112 0.2897 159.096 230.904 96.451 179.549 251 83

5 0.4 0.3117 0.2882 159.773 230.227 96.868 179.132 251 83

6 0.4004 0.3119 0.2877 160.032 229.968 97.03 178.97 251 83

7 0.4005 0.312 0.2875 160.132 229.868 97.092 178.908 251 83

8 0.4006 0.312 0.2874 160.17 229.83 97.116 178.884 251 83

9 0.4006 0.3121 0.2874 160.185 229.815 97.125 178.875 251 83

10 0.4006 0.3121 0.2873 160.191 229.809 97.129 178.871 251 83

11 0.4006 0.3121 0.2873 160.193 229.807 97.13 178.87 251 83

12 0.4006 0.3121 0.2873 160.194 229.806 97.131 178.869 251 83

13 0.4006 0.3121 0.2873 160.194 229.806 97.131 178.869 251 83

問 5.4. 下のデータはある民族の血液データである。このデータから A、B、O の配偶子頻度

（確率）p, q, r を推定せよ。

表 5.7. 血液型データ

血液型 A 型 B 型 AB 型 O 型

度数 348 98 40 514

5.5 信頼区間

母数の点推定に対して、母数が区間に入ることを推定する。この推定法を区間推定(interval

estimation)という。

定義 5.5. 母数θをもつ分布（母集団）からの無作為標本を x1, x2,…,xn とするとき、統計量

TL(x1, x2,…,xn), TU(x1, x2,…,xn)が

TL(x1, x2,…,xn) < TU(x1, x2,…,xn),

P(TL(x1, x2,…,xn) < θ< TU(x1, x2,…,xn)|θ) = 1 –α

を満たすとき、区間(TL(x1, x2,…,xn),TU(x1, x2,…,xn))を信頼係数 1-α の信頼区間(confidence

interval)、または 100(1-α)%信頼区間という。

14

注意 定義上で信頼区間の信頼係数は自由に決めることができるが、通常は α=0.05, 0.01 す

なわち 95％と 99％の信頼区間が用いられる。

(i) 平均値の信頼区間

正規母集団 N(μ,σ2)からの無作為標本を X1, X2,…,xnとするとき、t 統計量

t = n (X___

–μ)/U

は自由度 n-1 の t 分布に従う。いま、t(n-1,α/2)をこの t 分布の上側 100α/2%点とすれば

1,1,122

ntntPU

Xn

である。この確率内の事象は、解き直すことで

n

U

n

U ntXntX22

,1,1

と同値であることが分かり、

n

UL ntXT

2,1 ,

n

UU ntXT

2,1

に対応し、100(1-α)%信頼区間である。信頼区間は次のように表現する場合もある。

n

UntX2

,1

例 5.13. 男子学生 15 人を無作為抽出し、収縮期の血圧を測定し、x__

= 123.47 (mmHg),

U2=153.124 を得た。このときの 95%信頼区間を求める。血圧の分布が正規分布とすると、

t(14,0.025)=2.145 であるから信頼区間は(116.62,130.32)で与えられる。

問 5.4. 例 5.2 の身長のデータから平均の 95％信頼区間を作れ。

信頼区間の意味を考えるために、正規分布 N(10,25)から標本の大きさ 10 の標本抽出を 20

回反復し、各標本で平均の 95％信頼区間を作ったものを表 5.8 にしている。この実験では 20

回中 19 回の信頼区間は平均値を含むことが分かる。第 11 回目の標本で信頼区間は平均値を

含まない。平均の 95％信頼区間は反復実験すると、確率 0.95 で母平均を含むことを意味する。

表 5.8. 95%信頼区間の 20 回の反復実験

標本 1 2 3 4 5 6 7 8 9 10

下限 9.274 6.102 6.257 6.571 4.661 4.279 7.856 9.28 10.126 6.767

上限 15.47 12.3 12.45 12.77 10.86 10.48 14.05 15.48 16.324 12.97

標本 11 12 13 14 15 16 17 18 19 20

下限 3.623 8.427 6.95 7.696 7.519 6.543 6.672 6.933 7.2665 7.627

上限 9.821 14.62 13.15 13.89 13.72 12.74 12.87 13.13 13.465 13.82

15

(ii) 分散の信頼区間

(i)で分散の信頼区間を求める。統計量

2

22 1

Un

は自由度 n-1 のχ2 分布に従う。この分布の上側 100α/2%点と 100(1-α/2)%点をそれぞれ

χ2(n-1,α/2), χ2

(n-1,1-α/2)とすれば

P(χ2(n-1,1-α/2) <χ2

<χ2(n-1,α/2)) = 1-α

である。この確率の事象から

2

2

22

2

2

2

1,1

1

,1

1

n

Un

n

Un

は分散の 100(1-α)%信頼区間である。

問 5.5. 例 5.2 で分散の 95％信頼区間を求めよ。

(iii) 相関係数の信頼区間

相関係数ρの二変量正規分布からの標本(X1,Y1),(X2,Y2),…,(Xn,Yn)に基づく標本相関係数 r の

分布は複雑であるが、最尤推定量の漸近正規性を用いれば

Z = 21 log(1+r)/(1-r)

の分布は 3

11

1

21 ,log

nN

で近似できる。これをフィッシャーの Z 変換という。このことか

ら q(α/2)を標準正規分布の上側 100α/2%点とすれば

Pr( 3n |21 log(1+r)/(1-r) –

21 log(1+ρ)/(1-ρ)| < q(α/2)) = 1 -α

が得られる。この確率の事象をρについて解いて、次の 100(1 -α)%信頼区間を得る。

(exp(A) – 1)/(exp(A) + 1) < ρ < (exp(B) – 1)/(exp(B) + 1)

ここに、

A = log(1+r)/(1-r) – 2q(α/2)/ 3n , B = log(1+r)/(1-r) + 2q(α/2)/ 3n

である。

例 5.14. 男子学生を 36 人抽出して、その身長と体重のデータから標本相関係数 r = 0.722 を得

た。このときの、相関係数ρの 95%信頼区間を求める。上の信頼区間で

α =0.05, q(0.025) = 1.96, n = 36

であるから

A = log(1+ 0.722)/(1- 0.722) - 2×1.96/ 33 = 1.141

16

B = log(1+ 0.722)/(1- 0.722) + 2×1.96/ 33 = 2.514

を得る。以上から、信頼区間は次で与えられる。

0.516 < ρ < 0.850

問 5.6. 次のデータは男子学生 20 名に対して行った体格検査の一部である。座高(X)と胸囲(Y)

について、それぞれの平均と相関係数の 95％信頼区間を求めよ。但し、X と Y の同時分

布は二変量正規分布とする。

表 5.10. 学生の座高と胸囲のデータ

学生番号

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

X 925 963 925 888 896 943 907 948 955 890 878 912 908 910 977 921 926 895 914 1008

Y 810 936 850 861 953 911 794 844 840 877 856 905 820 853 919 877 855 811 871 978

単位 mm

(iv) 成功（二項）確率の信頼区間

成功確率 p のベルヌイ試行結果として、標本 X1,X2,…,Xn を得るとき、p の最尤推定量p∧

は標

本平均であり、その漸近分布は N(p,p(1-p)/n)である。このとき、

Pr(|p∧

- p| < q(α/2) npp /)ˆ1(ˆ ) = 1 -α

である。ここで、分散 p(1-p)/n をp∧

(1- p∧

)/n で近似して、次の 100(1 -α)%信頼区間を得る。

p∧

- q(α/2) npp /)ˆ1(ˆ < p < p∧

+ q(α/2) npp /)ˆ1(ˆ (5.12)

ここに、q(α/2)は標準正規分布の上側確率が α/2 である限界値、すなわち P(Z> q(α/2))= α/2 を

満たす値である。

例 5.15. 182 回の実験を行い、55 回成功した。このとき、成功確率の 95%信頼区間を求める。

p∧

= 55/182 = 0.302

であるから、次の信頼区間を得る。

0.151 < p < 0.453

次に n 回のベルヌイ試行を行って、1 回も成功しなかった場合の信頼区間を求める。いま、

(1 – p)n > 1−α

を考えて、これを p について解いて、次の信頼区間を得る。

0 ≦ p < 1−(1−α)1/n

最尤推定量p∧

の正規分布による近似は観測された事象数 k が大きいことが基本であり、5 以

下になれば近似精度が劣化する。その場合の方法として F 分布やベータ分布を用いた信頼区

17

間の求め方が考案されている(Clopeer & Peason, Biometrika, 26, 404-413, 1934)。

問 5.7. 内閣支持率の調査で 1000 人中 654 人が支持すると答えたとき、支持率の 95％信頼区

間を求めよ。

(v) 最尤推定量による母数の漸近的信頼区間

母数 θ の最尤推定量 は標本数が大きいときに、漸近的に N(θ,SE2)に従う。ここに SE は

の標準誤差である。このとき 100(1−α)%信頼区間は

SEqSEq )2/(ˆ)2/(ˆ

である。実際のデータ解析では SE をその最尤推定値で置き換え、近似することになる。上

の(5.12)式はこの型の信頼区間である。

(vi) オッズ比の信頼区間

2×2 分割表（表 5.9）のオッズ比の最尤推定量は

1001

1100ˆnn

nn (5.13)

であり、対数オッズ比は

10011100 loglogloglogˆlog nnnn (5.14)

を得る。 11100100 ,,, nnnn の漸近正規性から、(5.14)は漸近的に

11010100

1111,log

nnnn

N

に従うことが示されている。標本数が大きいときは ijij nn であるから、統計量(5.14)の漸

近分散は

11100100

1111ˆlognnnn

Var

である。従って、対数オッズ比の )%1(100 信頼区間は

11100100

11112

ˆlognnnn

q

で与えられる。したがって、オッズ比の )%1(100 信頼区間は、上の区間を解き直して

1110010011100100

11112

11112

expˆexpˆnnnnnnnn

qq

18

で与えられる。

表 5.9. 2×2 分割表

Y

0 1 計

X 0 00n 01n 0n

1 10n 11n 1n

計 0n 1n n

問 5.8. 次のデータは幼児 152 人に対して行った適応性テストの結果である。この分割表のオ

ッズ比の 95%信頼区間を求めよ。

表 5.11. 2×2 分割表

Y

0 1 計

X 0 78 8 86

1 28 38 66

計 106 46 152

X: 個人的適応性、なし:0, あり: 1;

Y: 社会的適応性、なし:0, あり: 1;

5.6. 最小自乗法

応答変量 Y と説明変量 X に対して、X = x を与えたときの条件付確率が

E(Y|X = x) = α + βx

で示される場合を考える。ここで、αとβは母数である。標本(x1,y1), (x2,y2),…,(xn,yn)を基にし

て、次のような推定を行うことを考える。偏差平方和

D = 2

1

n

i ii xy

を、αとβに関して最小化することで、母数推定を行う方法を最小自乗法という。推定値は

∂D /∂α = 0, ∂D /∂β = 0.

を解いて、

,ˆˆ xy

XX

YY

XX

XY

S

Sr

S

S

を得る。ここに、r は X と Y の標本相関係数である。この推定値を最小自乗推定値という。

19

通常の線形回帰モデルは、e を平均 0 の正規分布 N(0,σ2)に従う誤差として、

Y＝α + βx + e

で示される。このときの最小自乗推定値は最尤推定値と一致する。直線

y =α + βx

を回帰直線という。母数αとβの推定量 と の期待値を計算する。

n

i i

i

n

i i

n

i i

n

i ii

xx

xxx

xx

YExxE

1

21

1

21ˆ

n

i i

n

i ii

xx

xxx

1

21

このことから は β の不偏推定量である。上の結果を利用して ˆE を得る。また、

推定量 と の分散はそれぞれ次のように導出される。

Var

,1

ˆ

1

2

2

2

n

i i xx

x

n (5.12)

Var

n

i i xx1

2

2 1ˆ (5.13)

従って、 と の SE はそれぞれ対応する分散の正の平方根である。実際の解析では誤差分

散 2 は未知であるので、応答変数 Y の観測値と回帰による予測値 α + βx の残差平方和から

計算される。すなわち、

2

ˆˆ2

12

n

xyU

n

i ii

である。このときの分子の自由度は 2n である。標本の総数 n が全自由度とすれば、2 個の

母数の推定量に自由度 2 が使われていると考えれば良い。(5.12)と(5.13)の 2 を 2U で置き換

えて、それらの正の平方根として、漸近標準誤差が計算される。ここで α と β の 95%信頼

区間を考える。次の統計量はそれぞれ、自由度 n−2 の t 分布に従う。

,

1

ˆ

1

2

21

n

i i xx

x

nU

t

n

i i xxU

t

1

2

21

ˆ

従って、α と β の 95%信頼区間はそれぞれ

20

相関図

800

850

900

950

1000

1050

850 900 950 1000 1050

座高

胸囲 (x,y)

,

1)025.0,2(ˆ

1)025.0,2(ˆ

1

2

2

1

2

2

n

i i

n

i i xx

x

nUnt

xx

x

nUnt

n

i i

n

i i xxUnt

xxUnt

1

2

1

2

1)025.0,2(ˆ1

)025.0,2(ˆ

である。

例 5.16. 問 5.7 のデータから回帰直線を推定する。

= 0.498×49.427/32.826 = 0.750

= 871.050 – 0.750×924.450 = 178.1714

を得る。また、 と の標準誤差はそれぞれの(5.13)と(5.14)で計算して、13.586 と 0.308 で

ある。このとき、 101.2)025.0,18( t であるから α と β の 95%信頼区間は次のように与え

られる。

715.206628.149

396.1103.0

推定された回帰直線（関数）は

y =177.173 + 0.750x

である。このグラフを下図に示している。回帰関数を用いて座高を与えたときの胸囲の予測

値を求めることができる。

図 5.3. 回帰直線とデータ

21

回帰モデルが成立すると仮定したとき、X = x を与えたときの応答変量 Y の値と予測する。

予測値は

xY ˆˆˆ

であり、その予測誤差の分散は

,

11)()ˆˆ(ˆ

1

2

2

2

n

i i xx

xx

neVarxVarYYVar

である。したがって、 2 を 2U で置き換えて、次の 95%信頼区間をえる。

,

11)025.0,2(ˆ1

1)025.0,2(ˆ

1

2

2

1

2

2

n

i i

n

i i xx

xx

nUntYY

xx

xx

nUntY

この区間から、平均 x のときの予測値の精度が最も高く、平均値から離れるほど予測精度は

落ちてゆくことが分かる。勿論、回帰モデルが成立する説明変数の範囲で適用すべき予測区

間である(図 5.4)。

図 5.4．座高に対する胸囲の 95%予測区間

座高に基づく胸囲の予測

600

700

800

900

1000

1100

930 950 970 990 1010

胸囲

座高

回帰直線（予測値）

予測の下限

予測の上限

22

問 5.8. 表 5.10 から、体重の身長に対する回帰式を推定し、そのグラフを描け。

表 5.10. 身長と体重のデータ

学生 1 2 3 4 5 6 7 8 9 10

X 164.2 177.5 169.0 172.2 171.4 169.9 168.7 172.1 169.6 166.6

Y 59.3 73.0 60.4 59.7 65.7 58.6 54.4 60.5 62.0 62.2

学生 11 12 13 14 15 16 17 18 19 20

X 168.8 171.9 171.8 174.4 172.7 174.6 172.0 166.8 163.2 164.5

Y 54.6 64.6 61.6 60.1 63.4 65.9 63.8 62.5 49.3 51.1

学生 21 22 23 24 25 26 27 28 29 30

X 174.5 169.9 175.2 171.1 166.4 158.8 168.1 173.4 156.5 180.7

Y 60.3 54.2 62.9 67.7 50.2 52.4 65.6 60.3 48.8 76.9