prml上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6
TRANSCRIPT
![Page 1: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/1.jpg)
PRML 上巻勉強会 第三回
2.3.3 - 2.5.2
株式会社ネットプライスドットコム Beenos Future Center
技術戦略室 室長 加藤寛之
![Page 2: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/2.jpg)
自己紹介 加藤 寛之(かとうひろゆき)
•出身は静岡。うなぎパイ美味しいよね。•シス創を7年かけて卒業する/(^o^)\•株式会社アトランティスの共同創業者として 取締役 兼 最高技術責任者(CTO)に就任
•netprice.com シニアエンジニア(現職)
![Page 3: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/3.jpg)
すいません ところどころ飛ばしています
(́・ω・`)
![Page 4: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/4.jpg)
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
![Page 5: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/5.jpg)
前節でベクトルを のように分割して 条件付き分布 と周辺分布 を求めた。 !
ここで と が独立だったとき( ) ガウス条件付き分布 から、それぞれ !
周辺分布 : 確率分布 : !
を求めてみる。 前節の特殊な状態を考える?
同時分布 を求めてみる
![Page 6: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/6.jpg)
周辺確率 : 条件付き確率 : !
と の同時分布を とすれば !
の対数を取って !
同時分布の展開
![Page 7: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/7.jpg)
元の式は の要素の二次関数なので、 もガウス分布に従うから式(2.64)より共分散行列は
同時分布の分散
ただし
二次の項をまとめると
![Page 8: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/8.jpg)
式(2.71)から一次の係数と が等しいので
同時分布の平均一次の項をまとめると
![Page 9: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/9.jpg)
同時分布のまとめ
(2.59)から、 の平均が なので、 は(2.99)、(2.100)と と が独立しているという条件から当然の帰結?
![Page 10: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/10.jpg)
(2.92)と(2.93)、同時分布の結果から簡単に求められる
周辺分布
と分割したときにだったので、上の式にて とすれば
![Page 11: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/11.jpg)
(2.73)と(2.75)を使えば、条件付き分布も簡単
条件付き分布
とすれば、 なので
![Page 12: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/12.jpg)
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
![Page 13: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/13.jpg)
多変量ガウス分布から観測値 をN回の試行で独立に得られたと仮定したときに最尤推定法を行う
ガウス分布の最尤推定
(2.43)から対数尤度関数は以下になる
で偏微分したものを0として解くと最尤推定解 と そのときの共分散行列 は以下のようになる。
![Page 14: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/14.jpg)
p27で単一変数時に発生した問題(観測データが少ないと、その偏りによって分散が過小評価される)に対応するために、不偏分散 を定義する。
共分散の不偏推定
から、容易に
![Page 15: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/15.jpg)
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
![Page 16: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/16.jpg)
誤差信号 の1/Nだけずれている。 Nが大きくなれば(試行回数が増えれば)この信号は どんどん小さくなる。つまり、 が収束していく。 !
この議論を汎用的にすると。。。
(2.121)を基に、(N - 1)回目とN回目の試行前後でどの程度 に差が生じるのかを計算してみると
最後の観測値の影響を調べる
![Page 17: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/17.jpg)
となる を求めることを考える。 => ナンデ? => 後で分かるから、今は気にするな!
同時分布 に従う確率変数 と があり、 が与えられたときの の条件付期待値で を定義。
Robbins-Monro algorithm
![Page 18: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/18.jpg)
根 の連続的推定の系列を以下のように定義すると、 が に収束していく(らしい)
Robbins-Monro algorithm制約条件を以下のように定めた上で
![Page 19: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/19.jpg)
一般的な最尤推定問題を解く は負の対数尤度関数の停留点だから、 次式が成り立つ。
微分と総和の演算を交換して の極限を考えると
p52 (1.103)あたりを参照?
最尤推定解 を求める = 回帰関数の根 を求める
![Page 20: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/20.jpg)
目次
•2.3. ガウス分布 •3. ガウス変数に対するベイズの定理 •4. ガウス分布の最尤推定 •5. 逐次推定 •6. ガウス分布に対するベイズ推論 •7. スチューデントのt分布 •8. 周期変数 •9. 混合ガウス分布
•2.4. 指数型分布族 •1. 最尤推定と十分統計量 •2. 共役事前分布 •3. 無情報事前分布
•2.5. ノンパラメトリック法 •1. カーネル密度推定法 •2. 最近傍法
![Page 21: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/21.jpg)
とすれば となる
にガウス分布を選べば、上式は二次形式なので 事後分布もガウス分布になる
一変数のガウス確率変数について分散が既知とし、N個の観測点集合 から平均 を推測 する。 が与えられたときに観測データが生じる確率は
p26 (1.53)あたりも参照
![Page 22: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/22.jpg)
最終的に ただし
一変数のガウス確率変数について
or
この結果から、以下の性質が分かる
![Page 23: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/23.jpg)
ベイズ的観点からの逐次推定最終データ点 の影響を分けた事後分布は
(N個のデータ点を観測したときの尤度関数) =(N - 1個のデータ点を観測した後の事後分布 = 事前分布) ×(データ点Nについての尤度関数) !
とみなすことができる。
![Page 24: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/24.jpg)
平均を既知として、分散(精度)を推定する問題にすると
分散の推定とガンマ関数
ここで、ガンマ関数を以下のように定義する
![Page 25: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/25.jpg)
事前分布 を尤度関数に掛け合わせると、 パラメータが以下のガンマ分布になる。
分散の推定とガンマ関数
事前分布のパラメータ は 個の「有効な」観測点が 事前にあると解釈できる。 同様に も分散が であるような 個の「有効な」 観測値が事前にあると解釈できる。
![Page 26: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/26.jpg)
平均と精度が未知の場合
この と への関数依存性を備えた事前分布は以下の 正規(ガウス)- ガンマ分布になる。
![Page 27: PRML上巻勉強会 at 東京大学 資料 第2章2.3.3 〜 2.3.6](https://reader034.vdocuments.site/reader034/viewer/2022050805/556a1a78d8b42af0198b5366/html5/thumbnails/27.jpg)
多次元の場合精度 が既知の場合 平均 の共役事前分布はガウス分布 平均 が既知の場合 精度 の共役事前分布はウィシャート分布(下式)になる