PRML 読書会第 11 回8.4 グラフィカルモデルによる推論

2010-02-06SUHARA YOSHIHIKO

(id:sleepy_yoshi)

2

目次

• 8.4 グラフィカルモデルによる推論– 8.4.1 連鎖における推論– 8.4.2 木– 8.4.3 因子グラフ– 8.4.4 積和アルゴリズム– 8.4.5 max-sum アルゴリズム– 8.4.6 一般のグラフにおける厳密推論– 8.4.7 ループあり確率伝播– 8.4.8 グラフ構造の学習

ここまで

3

本発表のポイント

(1) 連鎖ノードにおけるメッセージパッシング(2) 因子グラフとは ? 因子グラフの作り方

4

8.4 グラフィカルモデルにおける推論

5

グラフィカルモデルにおける推論

• 目的 : グラフィカルモデルにおける推論– いくつかのノードが観測された際に，残ったノード

( のうちいくつか ) の事後分布を知りたい

• アプローチ– グラフ構造を利用して局所的なメッセージの伝播を

用いて厳密推論を行う– cf. 近似推論は 10 章で紹介

6

ベイズの定理の例

• 2 変数 x, y 上の同時分布を因数分解する

)|()(),( xypxpyxp

'

)'()'|()(x

xpxypyp

???

(a)

(b) y が観測された

)(

)()|()|(

yp

xpxypyxp

(8.47)

(8.48)

(b) y が観測された

(c) ???

)()|()()|(),( xpxypypyxpyxp ではダメ ?

7

8.4.1 連鎖における推論

8

無向連鎖のグラフの例

※ 有向グラフと同じ条件付き独立性を持つ

NNNN xxxxxxZ

p ,,,1

)( 1,1323,2212,1 x (8.49)

K 状態離散変数

N-1 個K×K の表

復習

⇒ 同時分布は (N-1) K2 個のパラメータを持つ

9

周辺分布の推論

• 連鎖途中のノードの周辺分布を推論したい– どのノードも観測されていない場合

1 1 1

)()(x x x x

n

n n N

pxp x

⇒ x が取りうる状態の数 : KN 個

ポイント : 連鎖の長さ N に対して指数オーダー O(KN) のメモリ容量と計算量

周辺分布 (8.50)

xn

コレ

xn 以外で周辺化

10

STOP! ポテンシャル関数って何なのさ？

• ( 規格化されるので ) ψ(xC) > 0 であればなんでもよい– 例えばボルツマン分布 :– エネルギー関数も本文中に記述なし

• ポテンシャル関数の周辺化ってどういうこと ?– 簡単のため xc={x1,x2} ， x1,x2 は 0,1 の 2 値離散確率変数とする

)}(exp{)( CCC E xx

2

)},(exp{)( 211x

C xxEx

)}1,(exp{)}0,(exp{ 2121 xxExxE

私の認識ポテンシャル関数を使って説明しているのは一般性を保つため辛くなったら適宜確率に脳内変換すべし

11

周辺分布の効率よい推論 : 道具立て

Nx

NNNN xxxxxx ,,, 1,1323,2212,1

Nx

NNNN xxxxxx ,,, 1,1323,2212,1 グラフィカルモデルの条件付き独立性を利用xN の周辺化の例

Nx

NNNNNNN xxx ,)( 1,11,1

),(),1(

)1,()1,1(

1,11,1

1,11,1

KxKxKxx

xKxxx

NNNNNNNN

NNNNNNNN

)()1( 1,11,1 Kxx NNNNNN

xN について周辺化

xN に依存する部分だけでよい

周辺化のイメージ

12

周辺分布の効率よい推論 : 本番

Zxp n

1)(

1 2 1

212,1323,21,1 ,,,nx x x

nnnn xxxxxx

1

,, 1,111,

n Nx xNNNNnnnn xxxx

)( nx

)( nx

1 1 1

)()(x x x x

n

n n N

pxp x

NNNN xxxxxxZ

p ,,,1

)( 1,1323,2212,1 x

代入

さきほどの条件付き独立性を利用

13

順序入れ替えによる計算量削減

• 演算順序による計算量削減の例 :

),(),1(

)1,()1,1(

212,1212,1

212,1212,1

KxKxKxx

xKxxx

)( cbaacab

),( 212,1 xx を x1 について周辺化

)(

)1(

22,1

22,1

Kx

x

K×K の演算

同じことを N-1 回繰り返すので， p(xn) を求めるために必要な計算量は O(NK2)

3 回 ⇒ 2 回

ポイント : 連鎖の長さ N に対して線形オーダー O(NK2) の計算量

14

局所的なメッセージ伝播

– μα: 前向きに伝わるメッセージ

– μβ: 後ろ向きに伝わるメッセージ

)()(1

)( nnaN xxZ

xp

1 2

),()( 1,1

n nx xnnnnna xxx

1

)(),( 11,1

nxnnnnn xxx

1 2

),()( 11,

n nx xnnnnn xxx

1

)(),( 111,

nxnnnnn xxx

前向き 後ろ向き

nx

nna xxZ )()( 規格化係数

15

連鎖上全てのノードに対しての推論

• 伝播中すべてのメッセージを保存(1) メッセージ μαを x1 から xNまで前向きに伝播

(2) メッセージ μβを xNから x1 まで後ろ向きに伝播)( 1na x )( na x )( Na x)( 2xa )( 1na x

)( 1nx )( nx )( 1Nx)( 1x )( 2nx

(8.54)nx

nnan xxZ

xp )()(1

)(

任意のノードの周辺分布を式 (8.54) を用いて計算可能

※1 計算量は 1 つのノードに対する計算量の 2倍 ※2 Z は都合のよいノードで計算すればよい

16

演習 8.15: 隣接する 2点の同時分布

• 隣接する 2点の同時分布 p(xn-1, xn)

Zxxp nn

1),( 1

2 12

212,1323,2121,2 ,,,x xx

nnnn xxxxxxn

1

,, 1,111,

n Nx xNNNNnnnn xxxx

xn, xn-1 以外を周辺化する

)( 1nx

)( nx

nnnn xx ,1,1

⇒ (8.54)

17

補足 : チャップマン - コルモゴロフの等式

• ホワイトボードで説明

18

8.4.2 木

19

メッセージパッシングの拡張

• ノードの連鎖から成るグラフでは，ノード数に線形な時間で厳密推論可能なことを示した

• 木 (tree) と呼ばれるクラスでも同様に局所的なメッセージパッシングによる推論が可能

⇒ 連鎖についてのメッセージパッシングを一般化した積和アルゴリズムを導出

積和アルゴリズムについては8.4.4 を乞うご期待！

20

木の種類• 無向木

– 任意のノード間に唯一の経路が存在• 有向木

– 根 (root) と呼ばれる親を持たないノードを 1 つだけ持ち，他の全てのノードは親を 1 つだけ持つ

• 多重木– 2 つ以上親を持つノードが存在するが，任意の 2 ノード間の ( 方向を

無視した ) 経路が 1 つしかない有向グラフ

無向木 有向木 多重木

モラル化で変化なし モラル化でループが発生

21

父 1父 2

子

復習 : モラル化

• 有向グラフから無向グラフへの変換方法– 親同士を結婚させる≒できちゃった婚

子

母父結婚 !

子

母父

モラル化

母父 1

父 2

子

母

モラル化 ?!

重婚 ! ザ・ばっくれ・バークレー・ボーイズby 秋里和国

22

モラル化：参考情報

などなど

23

演習 8.18• 有向木によって表現される分布が，対応する無向木上の等価な分布によって (自明に ) 表現されることを示せ．無向木で表現される分布が，クリークポテンシャルを適切に規格化することにより，有向木で表現可能であることも示せ．ある与えられた無向木から構築できる有向木の数を計算せよ．

⇒ ホワイトボードで説明

24

8.4.3 因子グラフ

25

因子グラフ

• 有向グラフ，無向グラフを因子グラフで表現– 局所的な変数の部分集合のみに依存する関数の集合

の積として表現可能

s

ssfp )()( xx

K

kkkxpp

1

)pa|()(x (8.5)

C

CCZp )(

1)( xx (8.39)

有向グラフ

無向グラフ

因子グラフ (8.59)

⇒ 親にのみ依存という条件付き独立性を利用

⇒ 極大クリーク上のポテンシャル関数の積で表現

26

因子グラフの例

• この因数分解のグラフ表現

)(),(),(),()( 3322121 xfxxfxxfxxfp dcbax

無向グラフ表現では，これらの積はひとつのポテンシャル関数に統合された

⇒ 因子グラフではより詳細な情報が表現される

変数ノード

因子ノード

27

有向グラフからの変換(1) ノードに対応する変数ノードを作る(2) 条件付き分布に対応する因子を付け加える(3) 適切なリンクを加える

),|()()(

),,(

21321

321

xxxpxpxp

xxxf

)()( 11 xpxfa

)()( 22 xpxfb

),|(),,( 213321 xxxpxxxfc

これはダメ ? なぜ ?

条件付き分布に着目

28

無向グラフからの変換(1) 各ノードに対応する変数ノードを作る(2) 極大クリーク xs に対応する因子ノードを加える

),,(),,( 321321 xxxxxxf ),,(

),(),,(

321

32321

xxx

xxfxxxf ba

),(),,(),(),,( 3232132321 xxxxxxxfxxxf ba 注意点

29

局所的な閉路を持つグラフ

• 有向グラフにおいて，適切な因子関数を設定することにより局所的な閉路を除去可能

),|()|()(),,( 213121321 xxxpxxpxpxxxf

30

複数の因子グラフによる表現• 複数の因子グラフが，ひとつの有向グラフ／無向グラ

フを表現することがある

),,()( 321 xxxfp x

),(),(),()( 323121 xxfxxfxxfp cbax

何の条件付き独立性も表現しない

31

(再掲 ) 本発表のポイント

(1) 連鎖ノードにおけるメッセージパッシング(2) 因子グラフとは ? 因子グラフの作り方

32

発表まとめ

• 連鎖による推論を通じて，メッセージによる推論の概要を解説した

• 有向／無向グラフから因子グラフと因子関数を生成する方法を解説した

• 疑問「因子グラフがなんで嬉しいの ?」

続く発表に乞うご期待！

33

次回予告

34

これからが

ほんとうの

ノー

テー

ショ

ン地獄だ…

35

36

おしまい