PRML 復々習レーン3.3前半

@risuoku

中村直哉

3.3 ベイズ線形回帰何を問題にしているのか？

（イケてるモデルって何だろう・・）

• 線形回帰• 最尤推定→過学習！• モデルの複雑さ

線形回帰モデルをベイズ的に取り扱う

• 過学習を回避

• 訓練データだけからモデルの複雑さを自動的に決定

ところで、推定するといっても、どこから始めればいいんです？？

まずそれっぽいのを決めておいて、データを見ながら修正していこう。

ということで・・・

• モデルパラメータ（ここでは重みｗ）の事前確率分布を導入

3.3.1 パラメータの分布パラメータの事前分布

(3.48)

ベイズの定理と(3.10)を使用

(3.49)

(3.50)

(3.51)

• とにかくガウス分布• 式の意味は？

何故ｗがガウス分布に従うのか？

• exp中のｗが二次形式となるから

(3.10)

ｗの二次形式

モデルを単純に

(3.52)

(3.52)の意味は？

(3.50)(3.51)から(3.53)(3.54)が導ける

ところで、この仮定はどこかで見たような・・・？

正則化との関連性

(3.55)

その他もろもろ

• p(w|t)の対数をとると、正則化項ありの誤差関数(3.27)と一致

• logp(w)が正則化項に相当• 「誤差関数(3.27)が小さくなるよう最適化」と「事後確率分布に基づいてMAP推定」が等価

具体例• 直線フィッティング• 事後分布を逐次的に更新

データ生成アルゴリズム

準備

事後分布を逐次的に更新

使う式

①

②

パラメータ推定アルゴリズム

※更新式として(3.53)(3.54)を使ってもいいが、これらはバッチ処理用なので注意

パラメータに関する他の形式

(3.56)

• ガウス事前分布の一般化• q=2でガウス事前分布と一致

(3.49)と２章の関連

• (3.49)は、実は２章の話を使って導出可能（と、テキストに書いてある）

• wがガウス分布に従うことが前提

２章の復習

(2.116)

(2.115)

(2.114)

(2.113)

yの平均がxの線形関数

３章への橋渡し

• yをt、xをwと見る

• 線形回帰モデルを上手く（都合良く）表現

wの線形関数

記号の対応関係

２章

線形回帰モデル

式の対応関係

２章 (2.113) (2.114) (2.116)

線形回帰モデル (3.48) tの尤度. p(t|w)に相当.

(3.49)

※(2.115)は(3.58)に対応