回帰分析

ここでは以下の内容について説明をする。

第 1 回 回帰分析とは 最小自乗法とは

単回帰の場合の回帰係数の仮定

結果の検討に用いる手法 決定係数 重相関係数

回帰平方和 残差平方和

ダービンワトソン比

（重相関係数）2＝決定係数

全平方和＝回帰平方和＋残差平方和

第 2 回 回帰係数の区間推定、検定

分散分析

第 3 回 重回帰分析 係数の推定

係数の分散…区間推定、検定

分散分析

変数の選択

第 4 回 回帰式の予測への適用 推定と予測の違い

予測値の信頼性

確率統計Ⅱ

1. 回帰分析とは

BAxy baxy

：誤差

これが、確率変数

),(),( 11 nn yxyx から推定値 ba, を求める。

この時、「最小自乗法」という推定方法を用いる

BAxy の様に xが 1 つである場合…単回帰分析

BxAxAy 2211 の様に x が複数ある場合

…重回帰分析

2. 最小自乗法

n

i 1

2 最小とする

推定法としては P215

モーメント法

最尤法

単回帰分析の場合

n

i

n

i

iii baxy1 1

22 )()(

重回帰分析の場合

n

i

n

i

iiii bxaxay1 1

2

2211

2 )()(

y …結果

x…原因

原因 xで結果 y を説明する。

x：説明変数、外生変数、独立変数

y ：被説明変数、内生変数、従属変数

誤差 の仮定

iiii

は独立　　と

0E ii の期待値はゼロ　　

2 ii Vの分散は等しい　　

　　　　は正規分布に従う　i この条件は係数の区間推定や仮説検定を行

う時に必要

3. 回帰係数の推定

n

i

ii

n

i

i baxyS1

2

1

2 )(

0)(2

0)(2

1

1

n

i

ii

n

i

iii

baxyb

S

baxyxa

S

n

i

i

n

i

n

i

i

n

i

ii

n

i

i

n

i

i

ybxa

yxxbxa

111

111

2

xayb

xx

yyxx

an

i

i

n

i

ii

1

2

1

)(

))((

4. 推定結果の検討

・分散の不均一 ・残差の分布

・推定値(計算値)と実測値の相関関係…重相関係数…決定係数

22 )()(

))((

YYyy

YYyyR

ii

ii

2

2

2

)(

)(

yy

YY

i

i

iy ：実測値

iY ：計算値

・誤差の検討

)1(2

)(

)(

1

2

2

2

1

rdDWn

i

i

n

i

ii

比

誤差の相関

5. 回帰分析の分散分析

回帰式は iii xy 21 とし、 21, を 2

i を最小にするよう

に推定した。その結果を 21ˆ,ˆ 、これと ix を用いて推定した

ix21ˆˆ を iY とする。

この時、データの平方和 2

yyi は 回帰式から求めた iY の平方和 2 YYi と

誤差の平方和 2

ii Yy を用いて以下の様に表される。

222 )()()( iiii YyYYyy 但し、

i

i

Yn

Y

yn

y

1

1

ヒント 21ˆ,ˆ 及び ii xy , は以下の条件を満たす。

00)ˆˆ(

00)ˆˆ(

21

21

iiiii

iii

xxxy

xy

　　

　　　

(証明)

22

22

)())((2)(

)()()(

yYyYYyYy

yYYyyy

iiiiii

iiii

　　　　　　

ここで )()()( yYYYyY ii として、

)()()()(

)()()(

iiiiiiiii

iii

YyyYyYYyYYYy

yYYYYy

　　

0)ˆˆ()( 21 iiii xyYy

iiiiiiii xxYYy 2121ˆˆ)ˆˆ()(

0 iii x より

y x

1

：

i iy ix

：

n

222 )()()( yYYyyy iiii

2)( yYi について考える

22

22

)())((2)(

)()()(

yYyYYYYY

yYYYyY

ii

ii

　　　　　

ここで

01)()()())(( YYyYYYyYyYYY iii

(Y - y)2å = (Y - y) 1å

n

xY

i 21

ˆˆ nn

xy

ii

21ˆˆ

)0(0

i

i

nyY

　　　　

22 )()()( iiii YyYYyy

これより

分散分析表 自由度 平方和 分散 分散比

全平方和 )1( n

n

i it yyS1

2)(

回帰平方和 p

n

i iR YYS1

2)ˆ(

pSV RR eR VVF

誤差平方和 pn )1(

n

i ieS1

2 pnSV ee )1(

iii Yy

6. （標本）回帰係数の区間推定・仮説検定

baxy の(偏)回帰係数は

xayb

xx

yxxyxx

xx

yyxx

an

i

i

nn

n

i

i

n

i

ii

1

2

11

1

2

1

)(

)()(

)(

))((

ここで、 ix は確率変数であり iy は確率変数である i の関数であることを考えると

分散 2

2

1

2

2

2

2

1

2

1

2

1

)(

)(

)(

)()(

n

i

n

n

n

i

xx

xx

xx

xxaV

n

i

i xx1

2

2

)(

2)()()()( xaVyVbV

2

1

2

2

1

2

222

)(

1

)(

n

i

i

n

i

i xx

x

nxx

x

n

参考までに ba, を求めると

nn

i

i

n

n

i

i

yE

xx

xxyE

xx

xxaE

1

21

1

2

1

iii BAxy であるので

BxAEyE ii より

BAxEBAx iii )(

2)()(

ii

i

iii

VyV

BAxy

のみであるので確率変数であるのは

で

B

xx

xx

xx

xxAx

xx

xxx

xx

xxaE

n

i

i

n

n

i

i

nn

i

i

n

n

i

i

1

2

1

2

1

1

21

1

2

1

A

xaEyEbE

B

xABxA

回帰係数の平均、分散が点推定された A,B 及び残差の分散 2 で表されるのでこれまで

の区間推定及び既定の知識を生かして回帰係数の検定・区間推定を行う

(残差の分散 2 が既知の場合 ba, は正規分布 2 が未知の場合は標本分散の t 分布を用い

る) 2 が既知として 0A の検定を行うと

帰無仮説 0:0 AH

対立仮説 0:1 AH

A の区間推定を行うと、

21

1

2

22

Z

xx

AaZ

n

i

i

n

i

i

n

i

i xx

ZaA

xx

Za

1

2

2

21

1

2

2

2 )()(

Z がこの範囲であれば棄却

2

Z 2

1

－Z

検定統計量

n

i

i xx

AZ

1

2

2

0

これが

補足資料 回帰係数の区間推定と検定のための分散の求め方（２）

回帰式 iii xy 21 で確率変数は i

これは 0)( iE 2)( iV ni 1

0)( jiCov

最小二乗法で推定した 2 は

22)(

))((ˆ

xx

yyxx

i

ii

この式で i を含むのは、 iy 及び y であるので

iii xy 21

nxy

i

21

)()()( 2n

xxyyi

iii

　　

\b2 =(xi - x )2å(xi - x )2å

b2 +(xi - x )eiå(xi - x )2å

-(xi - x )å(xi - x )2å

×eiån

= b2 +(xi - x )å(xi - x )2å

ei

22 )ˆ( E

2

2

222

1

2

22

)(

1

)()()(

1)ˆ(

xx

xxxxxx

V

i

n

i

　　　

2

2

22)(

,ˆxx

Ni

は　　　　

同様に、 1 について行うと

nxyxy

i

2121

ˆˆ 　　　

i

i

i

xx

xx

222)(

)(ˆ

i

i

i

i

i

ii

xx

xxx

n

xxx

xx

nx

21

22211

)(

)(1

))(

)(()(ˆ

　　　　

　　

11ˆ E　　

2

2

2

222

2

2

222

2

2

22

2

2

2

2

22

22

22

22

222

1

2

2

22

2

1

)()(

)(2)(2)()(

)()(2)()(

)()()(

)(

)(

)(

)(

)(

)()()(

1)ˆ(

i

i

i

i

ii

i

i

i

i

i

i

n

i

xxxn

xnxnxxxn

xnxnxxxxxn

xnxxxxn

xx

x

n

xx

xx

x

n

xxxxxx

x

nV

　　　

　　　

　　　

　　　

　　　

　　　

2

2

2

11)(

)(,ˆ

xxn

xN

i

iは　　　　

50.3

864.0

1

)( 2

比DW

R

n

xxi

数値例

この例題で、 ba, の点推定を行うと、

850.4371.0

850.4

371.0

xy

B

A

この例題で、残差の標本分散を求めると、

271.02

)(12

n

baxy

S

n

i

ii

したがって、係数の分散 )(aV 、 )(bV は、

980.0

00586.0

)(

)(

b

a

V

V

2

1

2)(

1S

xxn

i

i

偏相関係数

分散分析法

ダービンワトソン比

1 8.2 9.52 9.0 10.23 8.5 11.24 9.3 11.55 8.8 12.06 10.6 13.07 9.6 13.78 10.7 14.59 10.2 15.810 10.9 16.1合計 95.8 127.5平均 9.58 12.75

データy x

2

1

2

2

)(

1S

xx

x

n n

i

i

0a の仮説検定を行う と 、

統計量

)(

0371.0

aVt

有意水準を 05.0 と すると 、 この統計量は自由度 )210( の t分布に従う ので

と なり 、

この統計量は 847.4t であるので

仮説 )0( a は棄却される→ )0( a

aの信頼区間を推定する

)(

371.0

aV

At

信頼係数 )1( を 95.0 と すると 、 tは )2( n の t分布に従う ので

5475.01945.0

1765.0371.01765.0

306.2371.0

306.2)(

A

A

V

A

a

　　　

この範囲に統計量が存在

するこ と が必要 B については各自で行う こ と

306.2 306.2

)05.0%(5

306.2 306.2

補足資料 偏回帰係数・標準偏回帰係数の関係（理解）

年収 ＝今年の仕事量+今年の労働時間

2211 xaxay 　　　　　　　　　　　　

(百万円) (参加したプロジェクト数) (年間労働時間)

21 8.0120 xxy 　　　　　　　　　　　　

この時、説明変数 1x すなわち今年の仕事量の方が説明変数 2x 労働時間よりも

被説明変数 y 年収に与える影響が 150 倍 8.0

120 大きいと考える事は誤りである。

(偏)回帰係数の値は説明係数をどの様な単位で表すのかによって変わるのからである。

説明変数の単位に依らない偏回帰係数を求めたいのであれば、説明変数を

平均 0、分散 1 に標準化して用いればよい。

標準化したデータを用いて求めた回帰式の(偏)回帰係数を標準(偏)回帰係数という。

説明変数 y の分散を2

yS 、説明変数 xの分散を2

xS とすると

標準化した被説明変数と説明変数は以下の様に表わせる

yS

yyy

xS

xxx

標準化したデータを用いて求めた回帰式を

01 axay

とすると、

01 aS

xxa

S

yy

xy

これを整理すると

0aSxx

S

Sayy y

x

y

yxS

SaaSx

S

Say

x

y

y

x

y

0

となるので、(偏)回帰係数を標準(偏)回帰係数の間には以下の関係がある。

(偏)回帰係数＝標準(偏)回帰係数・x

y

S

S

補足資料 ダービンワトソン比(DW 比)

1.定義式

n

i

i

n

i

ii

dDW

1

2

2

2

1

比

2.意味

誤差i

互いに独立であるということは当然、隣接している誤差i

1i

の相関係数はゼ

ロということ

そこでi と

1i の相関係数 r を求めると

r =

ei -ei( ) ei-1 -ei-1( )i=2

n

å

ei -ei( )2

i=2

n

å ei-1 -ei-1( )2

i=2

n

å

誤差の平均とはともにゼロとしているので上の式は

n

i

i

n

i

i

n

i

ii

r

2

2

1

2

2

2

1

ここで、d を変形してみると

n

i

i

n

i

ii

n

i

i

n

i

i

n

i

i

n

i

ii

d

1

2

2

1

2

2

1

2

2

1

2

2

2

1 2

n が大きければ

n

i

i

n

i

i

n

i

i

2

2

1

2

2

1

2 ≒≒

と近似できるのでd は以下のようになる

n

i

i

n

i

i

n

i

ii

n

i

i

n

i

i

n

i

ii

n

i

i

n

i

i

d

2

2

1

2

2

2

1

2

2

1

2

2

1

2

2

1

2

2 22

≒

n

i

i

n

i

i

n

i

ii

n

i

i

n

i

i

2

21

2

2

2

1

2

21

2

22

n

i

i

n

i

i

n

i

ii

2

21

2

2

2

1

12

r12≒

3.使い方

系列相関が無い時 0r であるので 2d

正の系列相関が有る時 10 r であるので 20 d

負の系列相関が有る時 01 r であるので 42 d

補足資料 重相関係数と決定係数の関係

重相関係数と決定係数

22

1

)()(

))((

YYyy

YYyy

R

ii

n

i

ii

これの分子は Yy であるので

))(())(( YYYYYyYYyy iiiiii

2)())(( YYYYYy iiii

2)()( YYYY iii

この第１項は

iiiii YbaxYY )()(

iii bxa

＝0

これより

2

2

2

22

2

2

)(

)(

)()(

yy

YY

YYyy

YYR

i

i

ii

i

自由度調整済みの重相関係数

T

e

V

VR 12

7. 回帰式を用いた予測

推定した回帰式を用いて説明変数 xにある特定の値 0x を与えた時の被説明変数 y の推定

値を求めることを考える.

被説明変数の推定値を 0Y とすると,

Y0 = ax0 + b = y + a(x0 - x)

これより )()()()( 00 aExxyEYE

axxbxa )( 0

bax 0

推定値 0Y の分散は

)ˆ()()()( 2

00 aVxxyVYV

2

2

2

02

)(

)(

xx

xx

ni

)0ˆ,( ayCov

これより推定値 0Y の区間推定及び検定が行うことができる.

この推定値 0Y は y の母平均の区間推定値を与えるのであって,説明変数 0x の時の被説明

変数の測定値 y がこの区間に入るということを意味している訳ではない.

個々の測定値には測定誤差 2 が伴うので測定値 y の分散は以下のようになる.

2

2

2

000

)(

)(11

xx

xx

nYyV

i この関係を図で示すと

✽ ✽

Cov a, b( ) = E a-E a( )( ) × b-E b( )( )éëê

ùûú

2

2

2

2

2

21

2

211

2

1

11

11

xx

x

xxx

yyxx

xxx

nxx

xx

yEyxx

xxx

nyEyxx

xxE

i

i

ii

i

in

i

i

i

ii

i

jn

j

n

i

iii

i

xi - x( )1

n-x xi - x( )xi - x( )

2

å

æ

è

ççç

ö

ø

÷÷÷i=1

n

å

=1

nxi - x( )

i=1

n

å -x xi - x( )

2

å

xi - x( )2

å= 0 - x = -x

æ

è

ççççççç

ö

ø

÷÷÷÷÷÷÷

V Y0( ) =V ax0 + b( ) = x0

2V a( )+V b( )+2Cov a, b( ) x0

2

2

2

0

2

2

2

02

2

0

2

2

2

02

2

2

2

02

2

2

2

2

2

0

2

21

xx

xx

n

n

xxxx

xx

xxxn

xxx

xx

xx

xx

xx

x

nxx

x

i

i

i

i

i

iii

生産量 出荷額

S.50 1.77 3.46 11.97 6.12

S.51 1.56 2.43 5.90 3.79S.52 1.51 2.46 6.05 3.71S.53 1.29 2.38 5.66 3.07S.54 1.20 1.82 3.31 2.18S.55 1.05 1.62 2.62 1.70合計 8.38 14.17 35.53 20.58

数値例

問 1.ある地域の生産量と労働投入量を６年間について調べたのが表１である.

以下の問いに答えよ

①最小自乗法を用いて、生産量を労働投入量で表す式を求めよ.（答えではなく計算過程も

示すこと）

生産量を労働投入量で表す式を baxY とする（ :y 生産量, :x 労働投入量）.残差を

とすると,

baxyYy iiiii

22 )( baxy iii

2

)(),( baxybaf ii として,これが最小になる条件は, 0,0

b

f

a

fである.

0)(2 baxyx

a

fiii

0)(2 baxy

b

fii

これを解くと,

22 )(

ii

iiii

xxn

yxyxna

22

2

)(

ii

iiiii

xxn

xyxyxb

また,以下の様な表を作成すると,

0.00

0.50

1.00

1.50

2.00

0.00 1.00 2.00 3.00 4.00

生産量

労働投入量

iy ix 2

ix ii yx

生産量　ｙ 労働投入量S.50 1.77 3.46S.51 1.56 2.43S.52 1.51 2.46S.53 1.29 2.38S.54 1.20 1.82S.55 1.05 1.62

385.0)17.14(53.356

38.817.1458.2062

a 488.0

)17.14(53.356

17.1458.2038.853.352

b

よって,

488.0385.0 xY

②式の精度を表す分散分析表を作りなさい.

iy の平均値を y として以下の様な表を作成する.

実測値の全変動 349.0)( 2yySt i （全変動の自由度 ft = n-1( ) = 6-1= 5）

回帰による変動 305.0)(2 YYSr i （回帰による変動自由度 fr = p =1）

残差による変動 044.0)( 2 ii YySe （残差による変動の自由度

fe = n-1( ) - p = 4）

回帰による変動の不偏分散 Vr=Sr/fr=0.305/1=0.305

残差による変動の不偏分散 Ve=Se/Fe=0.044/4=0.011

488.0385.0 xy

iy ix iY

2)( yyi 2)( yYi

2)( ii Yy 生産量 出荷額 予測値

S.50 1.77 3.46 1.82 0.139 0.178 0.003

S.51 1.56 2.43 1.42 0.027 0.001 0.019S.52 1.51 2.46 1.44 0.013 0.001 0.006S.53 1.29 2.38 1.40 0.011 0.000 0.013S.54 1.20 1.82 1.19 0.039 0.043 0.000S.55 1.05 1.62 1.11 0.120 0.082 0.004合計 0.349 0.306 0.044平均 1.40 2.36 1.40

分散分析表

自由度 平方和 不偏分散 分散比

回帰変動 1 0.305 0.305 30

残差変動 4 0.044 0.011

全変動 5 0.349

分散比は自由度 1, 4( )の F 分布に従う

③偏回帰係数の 95％信頼区間を求めなさい.

回帰式の回帰係数と切片の分散は,残差 )( ii Yy の分散を

22 )(2

1ii Yy

ns とすると

以下の様になる.

2

2)(

1)( s

xxaV

i 2

2

2

)()( s

xxn

xbV

i

i

1

n+

x( )2

xi - x( )2

å

æ

è

ççç

ö

ø

÷÷÷s 2

0109.02 s であるので,

0314.0064.26

0109.053.35)(,00530.0

064.2

0109.0)(

bVaV

したがって求める 95％信頼区間は,自由度 4 に対し 776.2975.0 t であるため,

2020.000530.0776.2)(975.0 aaaVta 5866.01825.0 a

492.00314.0776.2)(975.0 bbbVtb 980.0003.0 b

④重回帰係数,ダービンワトソン比を求めなさい.

重回帰係数

n

i

i

n

i

i

n

i

ii

YYn

yyn

YYyyn

r

1

2

1

2

1

)(1

)(1

))((1

より,以下の様な表を作成する.

よって

S.50 0.16 0.178

S.51 0.00 0.001S.52 0.00 0.001S.53 0.00 0.000S.54 0.04 0.043S.55 0.10 0.081合計 0.31 0.305

))(( YYyy ii 2)( YYi

22.124,1

71.74,1

025.0

05.0

F

F

935.0

305.06

1349.0

6

1

31.06

1

r

ダービーワトソン比

n

i

j

n

i

ii

d

1

2

2

2

1)(

より,以下の様な表を作成する.

よって 5.204.0

10.0d

⑤推定した回帰式の妥当性を検討するために,行ったら良いと考える方法を説明しなさい.

⑥出荷額が 2.00の時の生産量の 95％信頼区間を求めなさい.

258.1488.000.2385.0,00.2 00 yx とすると,Y のに対する 95％信頼区間は

以下で表せられる.

00251.0011.0

11.2

36.20.2

6

011.02

2

2

2

0

2

0

xx

xx

nyV

i

0y の 95%信頼区間は

397.1119.1

139.0258.1139.0258.1

44 0

2

00

2

0

y

y

yVtyyyVty

　　　　　

　　

S.50 -0.05 0.00S.51 0.14 0.02 0.19 0.03S.52 0.08 0.01 -0.06 0.00S.53 -0.11 0.01 -0.19 0.04S.54 0.01 0.00 0.13 0.02S.55 -0.06 0.00 -0.07 0.01Σ 0.00 0.04 -0.01 0.10

残差 iii Yy 2

i 1 ii 2

1)( ii

補足資料 回帰分析とは

iii xy 10

母数

母集団

ii xaaY 10

i

i

x

yの標本

確定　〃　　　

誤差確率変数　　　　　

の関数とは　

を仮定　 １

:

:

10

0

i

i

ii

x

y

yx

最小自乗法で 10ˆˆ aa 　 を仮定

2

210

2

2111

2

2

2

000

ˆ,ˆ

1ˆˆ

1ˆˆ

xx

xaaCov

xxaVa

xx

x

naVa

i

i

i

　　　　

　　　

　　　

練習問題

(1) ii xy 221 の i の分散(残差分散)求めなさい

(2) 分散分析表から決定係数を計算し、回帰の 2R と比較しなさい

(3) 有意 F の意味を説明しなさい

(4) 係数の検定に用いる統計量と、帰無仮説を説明しなさい

(5) 区間推定に用いられる統計量と、その分布型を説明しなさい