第8章グラフィカルモデル

山下正行

Twitter ruto5

PRML勉強会第10回 201019

目次

８１ ベイジアンネットワーク811 例多項式曲線フィッティング812 生成モデル

８ グラフィカルモデル

確率変数をノードとし確率変数間に統計的な依存関係を有向辺で表したグラフを考えるこのグラフに基づいて複数の確率変数の結合確率や条件付確率を扱うモデル

朱鷺の杜によれば

8章 グラフィカルモデル

これまでの確率論加法定理乗法定理

どんな複雑なモデルでも定式化して解くことができる

確率的グラフィカルモデル 解析に使うと とても便利

１確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援

２グラフ構造から条件付き独立性などのモデル性質に関する知見を得る

３精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現

で成り立っていた

確率分布の図式的な表現

数学的な表現も兼ねている

特徴

グラフ

リンク（辺弧）

ノード（頂点）

「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する

確率的グラフィカルモデルでのグラフ

グラフリンクによって接続されたノードの集まり

変数間の確率的関係

確率変数

確率的グラフィカルモデル

有向無向グラフ

有向グラフのリンクが特定の方向性を持ち矢印で描かれる

ベイジアンネットワーク（別名 有向グラフィカルモデル）

無向リンクが方向性を持たない

マルコフ確率場（別名 無向グラフィカルモデル）

確率変数間の因果関係を表現するのに便利

確率変数間の緩い束縛関係を表現するのに便利

推論問題を解く際 有無向グラフを因子グラフに変換すると便利

パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる

因子因子をで表しリンクは方向性を持たない 843で説明

グラフィカルモデルの特徴

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

目次

８１ ベイジアンネットワーク811 例多項式曲線フィッティング812 生成モデル

８ グラフィカルモデル

確率変数をノードとし確率変数間に統計的な依存関係を有向辺で表したグラフを考えるこのグラフに基づいて複数の確率変数の結合確率や条件付確率を扱うモデル

朱鷺の杜によれば

8章 グラフィカルモデル

これまでの確率論加法定理乗法定理

どんな複雑なモデルでも定式化して解くことができる

確率的グラフィカルモデル 解析に使うと とても便利

１確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援

２グラフ構造から条件付き独立性などのモデル性質に関する知見を得る

３精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現

で成り立っていた

確率分布の図式的な表現

数学的な表現も兼ねている

特徴

グラフ

リンク（辺弧）

ノード（頂点）

「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する

確率的グラフィカルモデルでのグラフ

グラフリンクによって接続されたノードの集まり

変数間の確率的関係

確率変数

確率的グラフィカルモデル

有向無向グラフ

有向グラフのリンクが特定の方向性を持ち矢印で描かれる

ベイジアンネットワーク（別名 有向グラフィカルモデル）

無向リンクが方向性を持たない

マルコフ確率場（別名 無向グラフィカルモデル）

確率変数間の因果関係を表現するのに便利

確率変数間の緩い束縛関係を表現するのに便利

推論問題を解く際 有無向グラフを因子グラフに変換すると便利

パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる

因子因子をで表しリンクは方向性を持たない 843で説明

グラフィカルモデルの特徴

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

8章 グラフィカルモデル

これまでの確率論加法定理乗法定理

どんな複雑なモデルでも定式化して解くことができる

確率的グラフィカルモデル 解析に使うと とても便利

１確率モデル構造の視覚化する方法を提供新モデル設計方針の決定支援

２グラフ構造から条件付き独立性などのモデル性質に関する知見を得る

３精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現

で成り立っていた

確率分布の図式的な表現

数学的な表現も兼ねている

特徴

グラフ

リンク（辺弧）

ノード（頂点）

「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する

確率的グラフィカルモデルでのグラフ

グラフリンクによって接続されたノードの集まり

変数間の確率的関係

確率変数

確率的グラフィカルモデル

有向無向グラフ

有向グラフのリンクが特定の方向性を持ち矢印で描かれる

ベイジアンネットワーク（別名 有向グラフィカルモデル）

無向リンクが方向性を持たない

マルコフ確率場（別名 無向グラフィカルモデル）

確率変数間の因果関係を表現するのに便利

確率変数間の緩い束縛関係を表現するのに便利

推論問題を解く際 有無向グラフを因子グラフに変換すると便利

パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる

因子因子をで表しリンクは方向性を持たない 843で説明

グラフィカルモデルの特徴

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

グラフ

リンク（辺弧）

ノード（頂点）

「全確率変数上の同時分布が一部の変数のみに依存する因子の積としてどのように分解可能か」を表現する

確率的グラフィカルモデルでのグラフ

グラフリンクによって接続されたノードの集まり

変数間の確率的関係

確率変数

確率的グラフィカルモデル

有向無向グラフ

有向グラフのリンクが特定の方向性を持ち矢印で描かれる

ベイジアンネットワーク（別名 有向グラフィカルモデル）

無向リンクが方向性を持たない

マルコフ確率場（別名 無向グラフィカルモデル）

確率変数間の因果関係を表現するのに便利

確率変数間の緩い束縛関係を表現するのに便利

推論問題を解く際 有無向グラフを因子グラフに変換すると便利

パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる

因子因子をで表しリンクは方向性を持たない 843で説明

グラフィカルモデルの特徴

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

有向無向グラフ

有向グラフのリンクが特定の方向性を持ち矢印で描かれる

ベイジアンネットワーク（別名 有向グラフィカルモデル）

無向リンクが方向性を持たない

マルコフ確率場（別名 無向グラフィカルモデル）

確率変数間の因果関係を表現するのに便利

確率変数間の緩い束縛関係を表現するのに便利

推論問題を解く際 有無向グラフを因子グラフに変換すると便利

パターン認識や機械学習に応用する場合に重要となる側面に焦点を当てる

因子因子をで表しリンクは方向性を持たない 843で説明

グラフィカルモデルの特徴

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

一般的な議論に関する資料１Whittaker J (1990) Graphical Models in Applied Multivariate Statistics Wiley

２Lauritzen SL (1996) Graphical Models Oxford University Press

３Jensen F V (1996) An Introduction to Bayesian Networks UCL Press

７Jordan M I (2007) An Introduction to Probabilistic Graphical Models In preparatioA

１ ２

４Castillo E J M Gutierrez and A S Hadi (1997) Expert Systems and Probabilistic Network Modes Springer

４

５Jordan M I (1999) Learning in Graphical Models MIT Press

5

６Cowell R G A P Dawid S L Lauritzen and D J Spiegelhalter (1999) Probabilistic Networks and Expert Systems Springer

６

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

８１ ベイジアンネットワーク

3変数abc上の任意の同時分布 p(abc)を考える

確率の乗法定理 p(XY) = p(Y | X)p(X) (111)を用いる

第2因子も(111)を適用

aはbの親ノード ｂはaの子ノード

有向グラフを用いて確率分布を記述することの利点 広い確率分布のクラスをグラフで記述できる

a b

aとｂの関係

Fig81

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

全結合

図81の例を拡張してK変数の同時分布p(x1xK)の場合を考える

Kの値を決めれば同時分布はK個のノードを持つ有向グラフとして表現される

全てのノードの組に対してリンクを持つ

条件付き確率への分解や全結合グラフ表現は任意の同時分布に対して適用可能

グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する

確率の乗法定理を繰り返し適用

全結合

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

全結合でないグラフグラフに対応する同時確率分布を条件付分布の積で表す

Fig82

１つの条件付分布を１つのノードに対応させる

各条件付分布は対応するノードの親だけに条件付けられるようにする

表し方

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

有向グラフと変数分布間の関係

グラフによって定義される同時分布

グラフ上で親に対応する変数によって条件付けられた各ノード変数上の条件付分布の積によって与えられる

K個のノードを持つグラフに対応する同時分布

xkの親ノード集合X=x1xK

与えられた有向グラフィカルモデルに対応する同時分布の分解特性を表現している

各ノードが１つの変数に対応するだけでなく変数集合やベクトル値変数にも対応可能

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

演習８１（基本）12

問変数を１つずつ周辺化することによって有向グラフの同時分布の表現(85)が正しく規格化されていることを示せただし個々の条件付分布は正しく規格化されていると仮定する

グラフのノードに番号が割り振られていると仮定した場合x1が根ノードになる大きい番号のノードは小さい番号のノードへ矢印はつかない

それぞれの条件付分布によって正しく規格化されると仮定した場合他の変数のいずれもxKに依存しないのでxKからスタートしてノードの逆順に残すことができる

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

演習８１（基本）22

この処理をK-2回繰り返して以下の式の左が得られる

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

有向非循環グラフ（DAG）

有向閉路

有向閉路を持たない

大きい番号を持つノードから小さい番号を持つノードへのリンクが存在しないようにノードを順序付けられる

＝

directed acyclic graph

あるノードから出発して矢印に従って進んだ後また初めのノードに戻ってくるような閉じた閉路

有向非循環グラフ

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

演習８２（基本）

問有向グラフにおいてすべてのノードについて自分より小さい番号を持つノードに向かうリンクが存在しないようにノードを順序付けることができるなら有向閉路は存在しないことを示せ

グラフのノードがノードから小さい番号のノードまで行く辺がない順番のようなものである有向グラフについて考察する

また次にノードの部分集合がグラフの有向閉路であるならばこの有向閉路に属するのは同じ番号である性質を満たさなければならない

エッジの向きに閉路を横断するならば始めのノードで終わらなければならないのでノード順は単調増加することができない

次の閉路は有向閉路であるはずがない

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

８１１多項式曲線フィッティング

例ベイズ多項式回帰モデル

モデルの確率変数 多項式係数ベクトルｗ

観測データt=(t1tN)T

確率分布を記述するために有向グラフを利用する方法

確率変数だけに注目すると同時分布は事前分布p(w)とN個の条件付分布p(tn|w)(n=1N)の積で与えられる

Fig83 ①代表ノード③ノード数

②プレート

プレートによるコンパクトな表現

プレートによるコンパクトな表現

モデルのパラメータも陽に書いた方が便利な場合もある

Fig85

グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円

確率変数

分布の精度パラメータ（ハイパーパラメータ） α

入力データ ｘ=(x1xN)T

ノイズの分散 σ2

グラフ表現でも描くことができる

観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合

確率変数のいくつかを特定の観測値に対応させる

例多項式曲線フィッティングの場合 学習データtn

Fig86

観測変数は対応するノードに影付けする

潜在変数（隠れ変数）

9章と12章で詳しく説明

観測変数確率モデルで重要な役割を果たす

観測されていない

事後分布

｛tnの値を観測すると多項式係数wの事後分布を求めることができる

ベイズの定理が適用されている 決定的パラメータは省略

１２５節 曲線フィッティング再訪より

予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと

問新しい入力値 が与えられた時対応する観測データで条件付けられた

の確率分布を求めたい

Fig87

グラフィカルモデルで表すと

プレートによるコンパクトな表現

モデルのパラメータも陽に書いた方が便利な場合もある

Fig85

グラフ表現を描く際の慣例確率変数塗りつぶさない円決定的パラメータ塗りつぶされた小さい円

確率変数

分布の精度パラメータ（ハイパーパラメータ） α

入力データ ｘ=(x1xN)T

ノイズの分散 σ2

グラフ表現でも描くことができる

観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合

確率変数のいくつかを特定の観測値に対応させる

例多項式曲線フィッティングの場合 学習データtn

Fig86

観測変数は対応するノードに影付けする

潜在変数（隠れ変数）

9章と12章で詳しく説明

観測変数確率モデルで重要な役割を果たす

観測されていない

事後分布

｛tnの値を観測すると多項式係数wの事後分布を求めることができる

ベイズの定理が適用されている 決定的パラメータは省略

１２５節 曲線フィッティング再訪より

予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと

問新しい入力値 が与えられた時対応する観測データで条件付けられた

の確率分布を求めたい

Fig87

グラフィカルモデルで表すと

観測変数機械学習やパターン認識問題にグラフィカルモデルを適用する場合

確率変数のいくつかを特定の観測値に対応させる

例多項式曲線フィッティングの場合 学習データtn

Fig86

観測変数は対応するノードに影付けする

潜在変数（隠れ変数）

9章と12章で詳しく説明

観測変数確率モデルで重要な役割を果たす

観測されていない

事後分布

｛tnの値を観測すると多項式係数wの事後分布を求めることができる

ベイズの定理が適用されている 決定的パラメータは省略

１２５節 曲線フィッティング再訪より

予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと

問新しい入力値 が与えられた時対応する観測データで条件付けられた

の確率分布を求めたい

Fig87

グラフィカルモデルで表すと

事後分布

｛tnの値を観測すると多項式係数wの事後分布を求めることができる

ベイズの定理が適用されている 決定的パラメータは省略

１２５節 曲線フィッティング再訪より

予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと

問新しい入力値 が与えられた時対応する観測データで条件付けられた

の確率分布を求めたい

Fig87

グラフィカルモデルで表すと

予測分布多項式フィッティングの最終目的新しい入力値に対する予測を行うこと

問新しい入力値 が与えられた時対応する観測データで条件付けられた

の確率分布を求めたい

Fig87

グラフィカルモデルで表すと

ｔに含まれる確率変数は学習データ集合の観測値に暗に固定されている

計算詳細は3章で議論した

確率の加法定理よりモデルパラメータｗを積分消去すると

が求まる

求めるべき の予測分布が得られる

８１２ 生成モデル与えられた確率分布に対してそれに従うサンプルを発生させたい場合が多い

グラフィカルモデルと特に関係の深い伝承サンプリング法について

に従って因数分解されるK変数上の

同時分布p(x1xK)を考える親ノード

子ノード

サンプリング法については11章で説明

変数の番号付け全てのノードはその親ノードよりも大きい番号を持つよう順序付けられている

目的同時分布に従うサンプル を発生させること

番号の最も小さいノードから順にサンプルを発生させていけば良い

１分布p(x1)に従うサンプルを発生させる

p(x1)

p(x2)p(x1)

2各ノードを番号順に進む

p(xn)

3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる

親変数 pan 値はサンプリングされた値を用いる

p(x2)p(x1) p(x3)

目的同時分布に従うサンプル を発生させること

番号の最も小さいノードから順にサンプルを発生させていけば良い

１分布p(x1)に従うサンプルを発生させる

p(x1)

p(x2)p(x1)

2各ノードを番号順に進む

p(xn)

3n番目のノードでは条件付分布p(xn|pan)に従うサンプルを発生させる

親変数 pan 値はサンプリングされた値を用いる

p(x2)p(x1) p(x3)

全変数上のサンプルを得る

特定の形の分布からサンプル値を発生させる方法がある 11章で説明

目的達成

p(x1)

p(x1x2) = p(x1)p(x2|x1)

p(x1x2x3xn) =p(x1) p(x2|x1)p(x3|x2)p(xn|xn-1)

p(x1x2x3xk) =p(x1) p(x2|x1) p(x3|x2)p(xk|xk-1)

p(x2)p(x1)

p(x2)p(x1)p(xn)

p(xn)p(xK)

全変数上の同時分布に従うサンプルを１つ発生させたことになる

一部の変数上のサンプルを得る

x4

分布p(x2x4)に従うサンプル

観測値潜在変数

潜在変数の重要な役割

観測変数上の複雑な形の分布をより単純な条件付き分布から作られたモデルを使って表現することにある

p(x2x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3)

x1 x2 x3

一部の変数集合上の周辺分布に従うサンプルを得たい場合

p(x4)p(x1) p(x2) p(x3)

同時分布p(x1x2x3x4)に従うサンプル

p(x1) p(x2)

他の値 は捨てる

同時分布p(x1x2)に従うサンプル

確率モデルの実際のアプリケーションでは

末端ノードに対応する大きい番号が割り振られた変数

小さい変数が振られたノード

観測データを発生する過程を表現している

例 物体認識問題

像観測データ点

隠れ変数

目的観測データ（物体の像）から物体の種類を推論する

観測像が１つ与えられたときすべての可能な位置向きに関して隠れ変数を積分消去することで物体の種類に関する事後分布を求める

問題

Fig88

生成モデル図８８は観測データが生成される因果過程を表現している

多項式回帰モデルは生成モデルではない

入力変数ｘに関する確率分布を与えられていない

人工的なデータ点を生成できない

尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能

複雑な同時分布を単純な要素から構成するためだけに導入してもOK

観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生

実用上そのモデルによって表現される確率分布の形を理解する上で有効

PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann

生成モデル

理由

伝承サンプリングを生成モデルに適用

参考文献

尾上守夫（監訳）パターン識別新技術コミュニケーションズ20012

httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false

httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false

httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf

httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141

httpwwwcsberkeleyedu~jordan

httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp

httppeoplecsubcca~murphykBayesbayeshtml

httpsslieewashingtoneducoursesee512lecslectureshtml

httpwww-userscsyorkacuk~jcteachingagm

宮川雅巳 グラフィカルモデリング朝倉書店19973

生成モデル図８８は観測データが生成される因果過程を表現している

多項式回帰モデルは生成モデルではない

入力変数ｘに関する確率分布を与えられていない

人工的なデータ点を生成できない

尐し複雑になるが適切な事前分布p(x)を導入することで多項式回帰モデルを生成モデルにすることが可能

複雑な同時分布を単純な要素から構成するためだけに導入してもOK

観測データの生成過程を模倣して観測データと全く同じ確率分布に従う「架空」のデータを発生

実用上そのモデルによって表現される確率分布の形を理解する上で有効

PearlJ (1988) Probabilistic Reasoning in Intelligent Systems Morgan Kaufmann

生成モデル

理由

伝承サンプリングを生成モデルに適用

参考文献

尾上守夫（監訳）パターン識別新技術コミュニケーションズ20012

httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false

httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false

httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf

httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141

httpwwwcsberkeleyedu~jordan

httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp

httppeoplecsubcca~murphykBayesbayeshtml

httpsslieewashingtoneducoursesee512lecslectureshtml

httpwww-userscsyorkacuk~jcteachingagm

宮川雅巳 グラフィカルモデリング朝倉書店19973

参考文献

尾上守夫（監訳）パターン識別新技術コミュニケーションズ20012

httpbooksgooglecojpbooksid=mGQWkx4guhACampdq=graphical+models+lauritzenampprintsec=frontcoverampsource=bnamphl=jaampei=MxMdS-KrGpeXkQWA6q3SAwampsa=Xampoi=book_resultampct=resultampresnum=4ampved=0CCMQ6AEwAwv=onepageampq=ampf=false

httpbooksgooglecojpbooksid=L1kHa-Sb2y0Campprintsec=frontcoverampdq=expertsystems+and+probabilistic+networkmodelsampas_brr=3v=onepageampq=ampf=false

httpwwwcisupennedu~mkearnspapersbarbadosjordan-tutpdf

httpmitpressmiteducatalogitemdefaultaspsid=702DE355-3E33-4B90-AF51-83300BD3BE68ampttype=2amptid=8141

httpwwwcsberkeleyedu~jordan

httpwwwamazoncojpgpproduct0471917508ref=sib_rdr_dp

httppeoplecsubcca~murphykBayesbayeshtml

httpsslieewashingtoneducoursesee512lecslectureshtml

httpwww-userscsyorkacuk~jcteachingagm

宮川雅巳 グラフィカルモデリング朝倉書店19973

補足p25のような場合は(a)のように順番にサンプリングしていかなければならないが(b)のようなグラフィカルモデルでは順番に関係なくp(x2 x4)は独立してサンプリングできる

p(x1)

p(x2)p(x1)

p(x2)p(x1) p(x3)

p(x2)p(x1) p(x3) p(x4)

p(x1)

p(x2)

p(x3)

p(x4)

図 一部の変数上のサンプルを得る場合

(a) (b)