多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法

広島大学大学院　理学研究科博士課程前期 (2 年 ) 　数学専攻

永井　勇

2

目的・動機• 多変量線形回帰モデルにおいて　説明変数間の相関が高い

　⇒最小二乗推定量 (LSE) の分散が大

　⇒単変量の場合には他の推定法が提案

　⇒その手法を多変量に拡張– 特に情報量規準によるパラメータの推定法の

拡張

3

目次• 一般化リッジ回帰モデル

– モデルの拡張

– リッジパラメータ推定法の拡張• 情報量規準による推定• その他の推定法による推定

– 検定統計量との関係• シミュレーション• 参考文献

4

多変量線形回帰モデル• 　　

　　 目的変数行列

　 　　　　　　　 説明変数行列 ただし

　　　　　　誤差行列 ただし は互いに独立に　　　　　 平均 で共分散行列 の分布に従って

いる

　　　 　　　　 未知回帰係数行列

5

最小二乗推定量 (LSE) の問題点

• の LSE ；

　説明変数間の相関が高い

　→　　　 の固有値が小さい

　→推定量の分散が大　　　　

別の推定方法が必要

6

多変量リッジ回帰モデル• 単変量リッジ回帰モデル (Hoerl & Kennard, 197

0)

　　　　　　　　　　　　　　　　　　　　 のモデルへ

　リッジ推定量 (Ridge Estimator : RE)

　

7

平均二乗誤差 (MSE)

• 多変量

単変量のとき　　　　　　　　　　　　　　

8

パラメータの推定法と問題点• 推定法

　 Mallows の 規準などを最小にする手法など

• 最適なパラメータは？

　←繰り返し計算が必要　 一般化リッジ推

定

9

多変量一般化リッジ回帰モデル• 　　　　　　　　 ；　　　　 の固有値

　　　なる直交行列　　　　 が在る

• 一般化リッジ推定量 (Generalized RE : GRE)

10

モデルの書き換え• 　

　　　　 LSE ；　　 　 RE ； GRE ；

11

リッジパラメータの推定法• MSE を小さくするパラメータ　⇒　　　　　　　　　　 　　　 で最小

　　 　 の各行が従っている分布の共分散行列　　 の 行目のベクトル

未知パラメータを含んだ形で陽に求まる未知パラメータに直接推定量を代入 (Plug in Estimator)

MSE の推定量を最小に

( 情報量規準の最小化に対応 )

別の推定法

12

多変量一般化リッジ回帰での 規準• の推定量を構築

⇒ 最小にする　　を求める

Lemma 1.

Corollary 1. 任意の　　　 行列 ，　　　　 行列

13

Lemma 2. 任意の 　　　 行列 　 ，　　　 行列　

14

• 基準化した残差平方和

• Lemma 2 より

　　　　　　

15

• 　　　　　　　　　　　 のモデル

• 　　　　　　　　　　　 のモデルへ

16

最小にすべき関数は？• MSE の推定量 ( 　　 規準 ) を構築　⇒　　に依存している部分・・・

　⇒ を各　 に関して最小

RE の場合

17

多変量の場合のパラメータの選択法•

を最小にする 　 は

•

を用いる推定法

誤差に正規性を仮定すると ,MSE の不偏推定量となる

18

未知パラメータに直接代入する方法1. MSE を最小にする　 に直接代入 (PI)

(Hoerl & Kennard, 1970)

2. 　　　　　　　　　　　　　　　　　　 (LSE の　行目 ) 　

　という反復

　　　　　 を用いる (IT-2) (IT-1=PI)

(Hoerl & Kennard, 1970)

19

他の推定法3. 2 の収束先 (Hemmerle,1975 の拡張 ) (IT-

∞) 　

収束する⇒　 　　　　　　　　　　　　　　　の解

4. PC (Lott, 1973)

20

検定統計量との関係• 　　　　　　　　　　 V.S.

検定統計量

　　　　　　　　　　　　　　　　　　　　 　　　　　　　　　

実現値ｃの値p LSE を縮小 or

0

LSE を縮小 or 0

IT-∞ 4p LSE を縮小 or 0

PC 2p LSE のまま or 0

　　 を棄却

21

シミュレーション• 比較方法 それぞれの推定法での推定値；

　　の平均により比較 （反復　 回）

22

23

24

まとめ• RE や GRE の多変量モデルへの拡張• 多変量一般化リッジ回帰モデルでの情報

量規準　　　　　　　　の提案– 最適なパラメータが陽に求まる

– 他の陽に求まる手法の拡張 (PI,IT-2,IT-∞,PC)

• 手法の比較– サンプル数が少ない場合 ; – ある程度大きい場合 ; IT-∞

25

参考文献1. Hoerl, A. E. & Kennard,R.W.(1970).Ridge regression

: biased estimation for nonorthogonal problems. Technometrics , 12 ,55-68

2. Lawless, J.F. (1981). Mean squared error properties of generalized ridge estimators.

J. Am . Stat . Assoc ., 76 ,462 – 4663. Mallows, C. L. (1973).Some comments on . Techn

ometrics , 15 , 661-675 4. Walker, S.G. & Page, C. J.(2001).Generalized ridge

regression and a generalization of the statistic. J. Appl. Statist.,28,911-9221. Yanagihara, H. & Satoh, K.(2008).An unbiased cri

terion for multivariate ridge regression. TR No. 08-04, Statistical Research Group, Hiroshima University.

26

ご清聴ありがとうございました

発表終了