prml 6.4-6.5
DESCRIPTION
「パターン認識と機械学習(PRML)」読書会（第８回） (http://sites.google.com/site/ikomadokushokai/prml/prml08)発表資料TRANSCRIPT
坪坂正志
Twitter tsubosaka
Mail mdottsubosakagmailcom
PRML勉強会(第8回)
20091024 1PRML勉強会第8回
概要
bull 645 ガウス過程による分類ndashロジスティックシグモイド関数を利用
ndash解析的に解くのは難しいbull ラプラス近似(646 今回解説)
bull 変分推論
bull EP法
bull 646 ラプラス近似ndash 3回目(4457)
ndashあともう一回出ます(723)
20091024 2PRML勉強会第8回
[復習]ラプラス近似
bull 確率分布 のモードを としたときに確率分布を と近似する方法
ndash
bull これは を においてテイラー展開して2次近似を行っていることに相当する
bull モードは適当な数値解析手法を用いて求めることが多い
20091024 PRML勉強会第8回 3
ロジスティック回帰(432)
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 4PRML勉強会第8回
ガウス過程への拡張
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 5PRML勉強会第8回
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
概要
bull 645 ガウス過程による分類ndashロジスティックシグモイド関数を利用
ndash解析的に解くのは難しいbull ラプラス近似(646 今回解説)
bull 変分推論
bull EP法
bull 646 ラプラス近似ndash 3回目(4457)
ndashあともう一回出ます(723)
20091024 2PRML勉強会第8回
[復習]ラプラス近似
bull 確率分布 のモードを としたときに確率分布を と近似する方法
ndash
bull これは を においてテイラー展開して2次近似を行っていることに相当する
bull モードは適当な数値解析手法を用いて求めることが多い
20091024 PRML勉強会第8回 3
ロジスティック回帰(432)
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 4PRML勉強会第8回
ガウス過程への拡張
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 5PRML勉強会第8回
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
[復習]ラプラス近似
bull 確率分布 のモードを としたときに確率分布を と近似する方法
ndash
bull これは を においてテイラー展開して2次近似を行っていることに相当する
bull モードは適当な数値解析手法を用いて求めることが多い
20091024 PRML勉強会第8回 3
ロジスティック回帰(432)
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 4PRML勉強会第8回
ガウス過程への拡張
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 5PRML勉強会第8回
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
ロジスティック回帰(432)
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 4PRML勉強会第8回
ガウス過程への拡張
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 5PRML勉強会第8回
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
ガウス過程への拡張
bull ２クラス
bull 入力変数
bull 特徴ベクトル
bull 帰属確率
20091024 5PRML勉強会第8回
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
事前分布bull 図611
ロジスティック変換
ガウス過程からのサンプル
変換結果
20091024 6PRML勉強会第8回
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
予測分布
bull 訓練集合
bull 観測値
bull テスト入力
bull 目標変数値
予測分布 を計算する
20091024 7PRML勉強会第8回
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
予測分布の計算
bull 予測分布は式(676)で与えられる
bull をガウス分布による近似を求めてやれば式(4153)の近似公式をつかって予測分布を求めることができる
20091024 8PRML勉強会第8回
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の近似のアプローチ
bull 変分推論 (Chapter 101)
ndashロジスティックシグモイド関数の局所的な変分近似(10144)を利用
bull EP法(expectation propagation method) (Chapter 107)
ndash真の事後分布が単峰性を持つため良い結果となる
bull ラプラス近似(646)
ndash今から解説する方法
20091024 9PRML勉強会第8回
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
同時分布
bull ベクトル
の同時分布は
で与えられる
bull 共分散項はノイズ項を含まないが正定値性のため
とする
20091024 10PRML勉強会第8回
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算
bull を使うと
20091024 11PRML勉強会第8回
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算(conn)
bull ガウス過程における回帰の結果(666667)から
なので の値は をラプラス近似してやれば2つのガウス分布のたたみこみで計算できる
20091024 12PRML勉強会第8回
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算
bull ベイズ公式から
bull 事前分布はガウス過程によって与えられデータについての項は独立性を仮定すると
20091024 13PRML勉強会第8回
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算
bull テイラー展開により の対数を展開すると
となりこの分布のモードを求める必要がある
20091024 14PRML勉強会第8回
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算
bull この値を0とおいて直接モードの計算はできない
bull ニュートンーラフソン法を用いる
20091024 PRML勉強会第8回 15
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
ニュートンーラフソン法
bull 2階微分の値
bull は を要素に持つ対角行列
bull 逐次更新式
bull ヘッセ行列が正定値より は大域的最適解に収束する
20091024 PRML勉強会第8回 16
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
演習624 ヘッセ行列の正定値性
bull 2つの正定値行列の和が正定値になることを示せばよい
bull 行列Aが正定値 lt=gt
bull 行列ABが正定値ならば
20091024 PRML勉強会第8回 17
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
演習625 逐次更新式の導出bull 式(492)より
20091024 PRML勉強会第8回 18
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
事後分布の近似
bull 事後分布のモード が求まれば事後分布のガウス分布による近似は
bull ここで
であるまた の値は以降 を用いて評価を行う
20091024 PRML勉強会第8回 19
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
の計算
bull 上の式は2つのガウス分布のたたみこみであるため(2115)を用いると
20091024 PRML勉強会第8回 20
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
決定面の決定
20091024 PRML勉強会第8回 21
bull 近似式(4153)を使って
を計算すると決定面は
であることが分かる
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
カーネルパラメータの学習
bull 共分散関数のパラメータ を決定する
ndashガウスカーネルならば
bull 最尤推定を用いて行う
を最大化
20091024 PRML勉強会第8回 22
(689)
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
カーネルパラメータの学習
bull (689)の積分は解析的に求まらないのでラプラス近似を用いる
bull 上記の式の に関する勾配を求めることにより非線形最適化アルゴリズムを用いて最適な の値を決定する
20091024 PRML勉強会第8回 23
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
647 ニューラルネットワークとの関係
bull ベイズニューラルネット
ndashパラメータ の事前分布とネットワーク関数
によって出力の分布が決まる
20091024 PRML勉強会第8回 24
隠れ層の数 =gt infin 出力の分布がガウス過程に近づく
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
参考文献
bull Rasmussen and Williams Gaussian Processes for Machine Learning MIT Press 2006
bull 赤穂昭太郎 カーネル多変量解析非線形データ解析の新しい展開 岩波書店 2008
20091024 PRML勉強会第8回 25
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26
ご静聴ありがとうございました
20091024 PRML勉強会第8回 26