第 3 章 重回帰分析

計量経済学 ｰ ｰ

第 1 節　 3 変数のケースの最小 2 乗法１　 3 変数のケース２　回帰線が原点を通るケース３　重相関係数４　自由度修正済み決定係数

第 2 節　 t 検定１　検定の問題

第 3 節　重回帰に関連する諸概念１　偏相関係数

第 4 節　 4 変数以上のケース１　 4 変数のケース（偏微分を利用）２　多変数のケース（行列を利用）

• 第 2 章で考えた、独立変数が１つの場合の単純回帰分析では、経済モデルを分析する上で不十分なことがある。

（例）　消費関数において、　　　　　　　　　　 Y ＝ a+bX　　　　　　　　　　↑　　　↑　　　　　　　　　消費　　所得　　というように、説明変数を所得１つだけで

なく、資産などを含む複数考えることがある。

　　このような、説明変数が複数の回帰モデルを重回帰モデルという。

+cW

↑

資産

– 　　　の推定– 決定係数 R2

– 個々の係数についてｔ検定

• 単回帰モデル • 重回帰モデル

bXaY cWbXaY

ba ˆ,ˆ – 　　　 の推定– 決定係数 R2( ただ

し問題あり )– 個々の係数につい

てｔ検定

cba ˆ,ˆ,ˆ

第 1 節　 3 変数のケースの最小２乗法

１　 3 変数のケース

＜ 3 変数の場合のパラメータ推定値＞　　 3 変数の場合には回帰直線ではなく回帰平面とな

る。　　このとき、最小 2 乗法は空間上にある各点との垂

直方向の距離 ( これが残差となる ) の 2 乗和が最小になるように回帰平面 Y=a+bX+cW を描くことである。

回帰平面　Y=a+bX+cW

X

W

Y

××

××

パラメータ推定値は次のようになる。　　

222

2

222

2

)(ˆ

)(ˆ

ˆˆˆ

xwwx

xyxwxwy

xwwx

wyxwwxy

SSS

SSSSc

SSS

SSSSb

WcXbYa

nnwy

nnxw

nnxy

nw

ny

nx

ywywS

wxwxS

yxyxS

wwS

yyS

xxS

11

11

11

221

2

221

2

221

2

ただし

　 これは残差 2 乗和を　　　　で偏微分し、それらを 0 とおいたものを整理する。（別紙参照）

　　これから正規方程式といわれる次のような連立方程式が得られる。

　　これを解いたものがパラメータ推定値

cba ˆ,ˆ,ˆ

2

2

ˆˆˆ

ˆˆˆ

ˆˆˆ

WcXWbWaWY

XWcXbXaXY

WcXbanY

２　回帰線が原点を通るケース　

Y = ｂ X + ｃ W+u　という、回帰平面が原点を通るモデルを考える。　このときの残差 2 乗和 G は

　となるので、これを最小にするような　　　をもとめる。（具体的には　　　で偏微分したものを 0 とおく）すると、次のような正規方程式が得られる。

22111 )ˆˆ()ˆˆ( nnn WcXbYWcXbYG

cb ˆ,ˆ

cb ˆ,ˆ

2

2

ˆˆ

ˆˆ

WcXWbWY

XWcXbXY

この方程式を解くと

となる。これは (3-9) 式 ( テキスト 98 ページ ) と同じものである。

222

2

222

2

ˆ

ˆ

XWWX

XWXYWYXc

XWWX

XWWYXYWb

３　重相関係数• 決定係数は単純回帰の場合同様、次のように定義さ

れる。

　　この式を変形すると次のように表すことができる。

　　　　（別紙参照）

2

2

2

)(

)ˆ(

YY

YY

R

i

i

全変動される変動回帰平面によって説明

22

ˆˆ

y

wyxy

S

ScSbR

• 重相関係数はこの平方根をとった

　　であり、重回帰の場合には + の値しかとらない。

• 決定係数は説明変数の数を増やせば増やすほど、（その説明変数が非説明変数に関係なくても）その値が 1 に近づく

• ex2-5 に次のデータを加えて重回帰分析をやってみよう。

　このデータは阪神タイガースのセリーグでの順位

1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 20024 4 1 3 6 6 5 6 6 2 4 5 6 6 5 6 6 6 6 4

2

ˆˆ

y

wyxy

S

ScSbR

４　自由度修正済み決定係数• 決定係数に、説明変数の数を考慮して修正を加えたも

の。

• 自由度修正済み決定係数と決定係数には、次のような関係がある。

の分散残差の分散

Y12 R

kn

ee n

22

1 残差の分散 k: 変数の数

1

)()( 221

n

YYYYY nの分散

)1(1

1 22 Rkn

nR

• 自由度修正済み決定係数　　は負の値をとることもある。

　　 ( 例 ) 　 n=4, R2=0.5 のとき

• 自由度修正済み決定係数は、説明変数の数が異なる複数のモデルで、どちらのモデルが回帰のあてはまりが良いかを判断するときなどに用いられる。

• たとえば消費関数において、（所得）（消費） bXaY （資産）（所得）（消費） cWbXaY

　のいずれのモデルが良いかを判断するためには、決定係数ではなく、自由度修正済み決定係数が有効である。

＜自由度修正済み決定係数の性質と使い方＞2R

第 2 節　ｔ検定

１　検定の問題

• 自由度修正済み決定係数は、あくまでモデル全体のあてはまりを示す指標である。個々の変数がモデルにおいて意味を持つかどうかは、 t 検定が利用される。

• 標準誤差はそれぞれ次のようになる。　

3

2212

n

ees n

2222

22ˆ

2222

22ˆ

222

222222

ˆ

)(

)(

})(

2)()(1{

sSSS

Ss

sSSS

Ss

SSS

SWXSWSX

nss

xwwx

xc

xwwx

wb

xwwx

xwxwa

ただし

　たとえば「 X が Y に影響を及ぼしているか」を検定するためには、 H0: b=0 という帰無仮説を設定し、 t 検定をおこなえば良い。

　この場合の検定統計量は

　となるが、帰無仮説が正しいと設定して　　　　　の値を求める。

　この値と、自由度 n-3 の t0.95 とを比較すれば良い。

bb s

bbt

ˆˆ

ˆ

bb s

bt

ˆˆ

ˆ

第 3 節　重回帰に関連する諸概念

１　偏相関係数

YX相関が高い

W

強い影響

Y と X との間の関係は「見せかけの相関」である。

Y と X との相関が本当はどの程度かを見るためには、他の変数の影響を除いた偏相関係数で見る必要がある。

• Y を W に対して回帰する。すると、

nnn uWcaY

uWcaY

ˆˆ

ˆˆ 111

W の影響による部分

W の影響をとり除いた部分

nnn vWcaY

vWcaX

ˆˆ

ˆˆ 111

W の影響による部分

W の影響をとり除いた部分

となる。同様に X を W に回帰すると、

となる。

• この 2 つの残差 u1, ･･･ ,un と v1, ･･･ ,vn の相関係数が偏相関係数である。偏相関係数は次のようになる。

• 偏相関係数はまた、各変数間の相関係数を用いて次のように表せる。（証明は付録 (5) 参照）

　　　　　　　　　　　　 rYX: Y と X の相関係数　　　　　　　　　　　　 rYW: Y と W の相関係数　　　　　　　　　　　　 rXW: X と W の相関係数

))(( 221

221

11W

nn

nnYX

vvuu

vuvur

・

22W11 XWYW

XWYWYXYX

rr

rrrr

・

第 4 節　 4 変数以上のケース

１　 4 変数のケース（偏微分を利用）　 4 変数の場合、 Y=a+bX+cW+dZ というモデルに

なるが、パラメータ推定値は、残差 2 乗和を最小にする。

　 残差 2 乗和 G は

となるので、これを　　　　　で偏微分したものを0 とおくことによって、次のような正規方程式が得られる。

221111 )ˆˆˆˆ()ˆˆˆˆ( nnnn ZdWcXbaYZdWcXbaYG

dcba ˆ,ˆ,ˆ,ˆ

2

2

2

ˆˆˆˆ

ˆˆˆˆ

ˆˆˆˆ

ˆˆˆˆ

ZdWZcXZbZaZY

WZdWcXWbWaWY

XZdXWcXbXaXY

ZdWcXbanY

２　多変数のケース（行列を利用）　一般的なモデルとして、説明変数が m 個のモデルを

考える。すなわち、 Y=a+b1X1+ ･･･ +bmXm というモデルである。

　このモデルに撹乱項 u を加えて、 n 年分を書くと次のようになる。

　　ここで、次のように行列とベクトルを定義する。

nmnmnn

mm

uXbXbaY

uXbXbaY

11

111111

mnn

m

XX

XX

1

111

1

1

X

nY

Y

1

Y

mb

b

a

1p

nu

u

1

u

よって、行列とベクトルを用いてあらわすと

と表される。パラメータ推定値、残差のベクトルを次のように表

す。

すると、

となる。

uXpY

mb

b

a

ˆ

ˆˆ

ˆ 1

p

ne

e

1

e

epXY ˆ

残差 2 乗和 G は

となるので、

を最小にする　　を求める。　　で偏微分して整理すると、正規方程式は

これを　　について解いたものがパラメータ推定値であり、

である。

eeG

)pX(Y)pXYG ˆˆ(

p̂ p̂

0ˆ pXXYX

p̂

YXXXp 1)(ˆ