prml reading group 10 8.3
TRANSCRIPT
坪坂 正志
Twitterhatena id tsubosaka
Mail mdottsubosakagmailcom
PRML勉強会(第10回) 83 マルコフ確率場
2010214 1 PRML勉強会第9回
発表概要
bull マルコフ確率場とは
ndash条件付き独立性(831)
ndash分解特性(832)
bull 有向グラフとの関係(834)
bull 応用例
ndash画像のノイズ除去(833)
2010214 PRML勉強会第9回 2
マルコフ確率場 (Markov Random Field)
bull マルコフネットワーク(Markov network)無向グラフィカルモデルなどとも呼ばれる
bull 変数に対応するノード集合とノード対を接続するリンク集合から成る
bull 前節のグラフィカルモデルと違いリンクは向きを持たない
2010214 PRML勉強会第9回 3
条件付き独立性
bull 任意の集合ABCに対し Aの任意のノードとBの任意のノードを結ぶ全ての経路が集合Cのノードを必ず尐なくとも一つを通るならば
が成立する
bull このとき集合Aと集合Bは集合Cによって遮断(blocked)されている
2010214 PRML勉強会第9回 4
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 5
A B
C
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
発表概要
bull マルコフ確率場とは
ndash条件付き独立性(831)
ndash分解特性(832)
bull 有向グラフとの関係(834)
bull 応用例
ndash画像のノイズ除去(833)
2010214 PRML勉強会第9回 2
マルコフ確率場 (Markov Random Field)
bull マルコフネットワーク(Markov network)無向グラフィカルモデルなどとも呼ばれる
bull 変数に対応するノード集合とノード対を接続するリンク集合から成る
bull 前節のグラフィカルモデルと違いリンクは向きを持たない
2010214 PRML勉強会第9回 3
条件付き独立性
bull 任意の集合ABCに対し Aの任意のノードとBの任意のノードを結ぶ全ての経路が集合Cのノードを必ず尐なくとも一つを通るならば
が成立する
bull このとき集合Aと集合Bは集合Cによって遮断(blocked)されている
2010214 PRML勉強会第9回 4
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 5
A B
C
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
マルコフ確率場 (Markov Random Field)
bull マルコフネットワーク(Markov network)無向グラフィカルモデルなどとも呼ばれる
bull 変数に対応するノード集合とノード対を接続するリンク集合から成る
bull 前節のグラフィカルモデルと違いリンクは向きを持たない
2010214 PRML勉強会第9回 3
条件付き独立性
bull 任意の集合ABCに対し Aの任意のノードとBの任意のノードを結ぶ全ての経路が集合Cのノードを必ず尐なくとも一つを通るならば
が成立する
bull このとき集合Aと集合Bは集合Cによって遮断(blocked)されている
2010214 PRML勉強会第9回 4
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 5
A B
C
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
条件付き独立性
bull 任意の集合ABCに対し Aの任意のノードとBの任意のノードを結ぶ全ての経路が集合Cのノードを必ず尐なくとも一つを通るならば
が成立する
bull このとき集合Aと集合Bは集合Cによって遮断(blocked)されている
2010214 PRML勉強会第9回 4
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 5
A B
C
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 5
A B
C
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
条件付き独立性
bull グラフ上で集合Cに属するノードを取り除いた時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条件付き独立性が成り立つ
2010214 PRML勉強会第9回 6
A B
C
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
条件付き独立性
bull 有向グラフの場合と違って「弁明」現象は起きない
2010214 PRML勉強会第9回 7
A B
C
A B
C
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
マルコフブランケット
bull ノードとその隣接するノードだけで条件づけられた下で残りの全てのノードに対して条件付き独立となる(Markov property)
2010214 PRML勉強会第9回 8
図828
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
分解特性
bull 条件付き独立性に対応する分解を考える
bull 今直接接続されない2つのノード について見た時に
が成立する
bull この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分布が因数分解されなければならない
2010214 PRML勉強会第9回 9
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
クリーク
bull 分解を説明するにはクリークを導入すると便利
bull クリーク ノードの部分集合でその中で完全グラフとなっているようなもの
bull 極大クリーク クリークで新たに1つノードを追加するとクリークでなくなるもの
2010214 PRML勉強会第9回 10
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
クリークの例
2010214 PRML勉強会第9回 11
bull 極大クリークは と
の2つ
bull また図のグラフィカルモデルにおいては
の形で分解されている必要がある
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
クリークを用いた分解
bull 同時分布を因数分解したときの各因子を極大クリークCが含む集合上の関数とする
bull すなわち
の形で書ける
bull ここで は極大クリーク上のポテンシャル関数でZは規格化定数 (分配関数)であり以下で与えられる
2010214 PRML勉強会第9回 12
(839)
(840)
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
ポテンシャル関数
bull ポテンシャル関数 は0以上であればよい(狭義に正の方が扱いやすいことが多い)
bull 確率的解釈が可能とは限らないこのため積は正しく規格化されないので(840)のような規格化定数が必要
bull 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼びこの指数関数表現をボルツマン分布と呼ぶ
2010214 PRML勉強会第9回 13
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
規格化定数
bull 有向グラフの場合と違い規格化因子を陽に導入する必要がある
bull M個のK状態離散変数ノードを持つモデルの場合K^M個の状態に関する足し算が必要
bull 条件付き分布を計算する際は周辺分布の比をとるだけなので不要
2010214 PRML勉強会第9回 14
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
分解の正当性
bull グラフ上の分離特性から読み取れる条件付き独立性の集合と矛盾しないすべての分布集合
bull 極大クリーク上のポテンシャル関数を用いて(839)の形に因数分解される分布の集合
bull このとき (Hammersley-Clifford Theorem Clifford 1990)
2010214 PRML勉強会第9回 15
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
有向グラフとの関係
bull 有向グラフを無向グラフに変換する
ndashジャンクションツリーアルゴリズムなどで有用(84節)
ndash逆はあまり行われない
bull 一般に条件付き独立性は完全には保存されない
ndash リンクの追加を最小限に抑える方法モラル化
2010214 PRML勉強会第9回 16
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
鎖の場合
2010214 PRML勉強会第9回 17
無向グラフ化
対応付けができる Z = 1
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
1つ以上の親を持つ場合
2010214 PRML勉強会第9回 18
無向グラフ化
有向グラフでの条件付き独立性は失われている
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
独立性の表現
bull 与えられた変数に関する分布をPとする
bull グラフGがPに対する依存性マップ(D-map)
ndash Pが満たす条件付き独立性をグラフGがもれなく表現する場合
bull グラフGがPに対する独立性マップ(I-map)
ndash Gが表現する独立性がすべてPによって満たされる
bull D-mapかつI-map =gt 完全マップ
2010214 PRML勉強会第9回 19
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
独立性の表現
bull 有向グラフで表現できるが無向グラフで表現できない分布が存在する(図835)
ndash逆も成立する(図836)
bull 無向グラフでも有向グラフでも表現できない分布も存在する
bull 無向グラフ+有向グラフを含んだ枠組み
=gt 連鎖グラフ(chain graph)
ndash連鎖グラフでも表現できない分布もある
2010214 PRML勉強会第9回 20
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
具体例 画像のノイズ除去
bull ピクセル値が+1-1の2種で構成される画像のノイズ除去を考える
bull 観測画像
bull ノイズなし画像
bull 観測画像は真の画像の一部がランダムに反転したことによって得られたとする
2010214 PRML勉強会第9回 21
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
2010214 PRML勉強会第9回 22
元画像
ノイズ画像 ICM
グラフカット
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
マルコフ確率場モデル
2010214 PRML勉強会第9回 23
bull ノイズレベルが低い場合ノイズなし画像のピクセルと観測画像のピクセルに強い相関がある
bull 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
エネルギー関数の設計
bull 観測画像と元の画像に強い相関がある
ndash で表す同符号のとき低いエネルギー(高い確率) 異符号のとき高いエネルギーを持つ
bull 隣接ピクセル に相関がある
ndash で表す
bull ピクセル値自体の事前確率
ndash で表す
2010214 PRML勉強会第9回 24
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
同時分布
bull エネルギー関数 (842)
bull 同時分布 (843)
2010214 PRML勉強会第9回 25
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
条件付き分布
bull 観測値が固定された場合
より条件付き分布が暗に決定される
bull (843)を最大化する を求めればよい
ndash統計物理学でいうイジングモデルの例
ndash ICM(iterated conditional modes 反復条件付きモード)
2010214 PRML勉強会第9回 26
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
ICM
1 変数 を初期化(例えば とする)
2 ノード を1つ選択 1 他のノードを固定した状態で の2つの可能な状態における全エネルギーを評価しエネルギーが小さくなる方に状態を設定する
3 一定の収束条件を満たすまで2を繰り返す
bull 2での選択方法は規則的でもランダムでもよい
bull 全ての点において変数値が変更されない場合局所最大点に収束している
2010214 PRML勉強会第9回 27
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
演習 813
bull (842)から に関する項のみを取り出すと
でこれを について計算すれば良い
2010214 PRML勉強会第9回 28
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
より効率的なアルゴリズム
bull max-productアルゴリズム (84節)
ndash ICMより良い解を与える
ndash大域的解を必ずしも得られるわけではない
bull グラフカットアルゴリズム [石川 2007]
ndash大域的最大解が得られる
ndash一般のエネルギー関数に用いることができるわけではない
2010214 PRML勉強会第9回 29
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
Related work
bull 判別モデルへの応用
ndash Logistic回帰 CRF[鹿島2006 Laerty 2001 Sutton 2007]
bull モデルに従うデータの生成
ndashサンプリング[Salakhutdinov 2010]
2010214 PRML勉強会第9回 30
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31
参考資料 bull [石川 2007]石川 博 チュートリアル「グラフカット」情報処理学会研究報告2007
bull [鹿島 2006] 鹿島 久嗣坪井 祐太工藤 拓 言語処理における識別モデルの発展 -- HMMからCRFまで -- 言語処理学会第12回年次大会(NLP 2006)チュートリアル 2006
bull [宮川 1997] 宮川雅巳 グラフィカルモデリング (統計ライブラリー) 朝倉書店 1997
bull [Laerty 2001] J Laerty A McCallum and F Pereira Conditional random fields Probabilistic models for segmenting and labeling sequence data In Proceedings of the 18th International Conference on Machine Learning 2001
bull [Sutton 2007] Charles Sutton Andrew McCallum An Introduction to Conditional Random Fields for Relational Learning In Introduction to Statistical Relational Learning MIT Press 2007
bull [Salakhutdinov 2010] Ruslan Salakhutdinov Geoffrey Hinton Replicated Softmax an Undirected Topic Model In Advances in Neural Information Processing Systems 22 2010
2010214 PRML勉強会第9回 31