applied stochastic processapplied stochastic process 第4...
TRANSCRIPT
-
物理フラクチュオマティクス論Physical Fluctuomatics
応用確率過程論Applied Stochastic ProcessApplied Stochastic Process
第4回 最尤推定とEMアルゴリズム4th Maximum likelihood estimation and EM algorithm4th Maximum likelihood estimation and EM algorithm
東北大学 大学院情報科学研究科 応用情報科学専攻田中 和之(Kazuyuki Tanaka)[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/ kazu/
物理フラクチュオマティクス論(東北大) 1
-
今回の講義の講義ノート
田中和之著:確率モデルによる画像処理技術入門,森北出版,第4章,2006.
物理フラクチュオマティクス論(東北大) 2
-
統計的学習理論とモデル選択統計的学習理論とモデル選択
デ タから確率 デルの確率を推定する操作データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化 不完全データにも対応
EMアルゴリズムによるアルゴリズム化確率伝搬法,マルコフ連鎖モンテカルロ法によるアルゴルズムの実装
更なる拡張
よるアルゴルズムの実装
赤池情報量基準(AIC),赤池ベイズ情報量基準(ABIC) etc.
物理フラクチュオマティクス論(東北大) 3
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
パラメータ
,,
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 4
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1 211Nパラメータ
0
222 2
1exp2
1,i
iggP
10
gg
g
,
1Ng
g
,
1,,1,0 NV 0 1 20 1 2
3 4 5
6 7 8
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 5
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1 211N
データ
パラメータ
0
222 2
1exp2
1,i
iggP
10
gg
g
,
1Ng
g
,
1,,1,0 NV 0 1 20 1 2
3 4 5
6 7 8
データ
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 6
デ タ
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1 211N
データ
パラメータ
0
222 2
1exp2
1,i
iggP
10
gg
g
,
1Ng
g
,
1,,1,0 NV 0 1 20 1 2
3 4 5
6 7 8
データ ヒストグラム
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 7
デ タ ヒストグラム
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1 211N
データ
パラメータ
0
222 2
1exp2
1,i
iggP
10
gg
g
,
1Ng
g
,
1,,1,0 NV 0 1 20 1 2
3 4 5
6 7 8
データ ヒストグラム
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 8
デ タ ヒストグラム
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1 211N
データ
パラメータ
0
222 2
1exp2
1,i
iggP
10
gg
g
,
1Ng
g
,
,maxargˆ,ˆ
,gP
1,,1,0 NV 0 1 2
,
0 1 2
3 4 5
6 7 8
データ ヒストグラム
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 9
デ タ ヒストグラム
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
1
21exp1N
iggP
データ
パラメータ
0
22 2exp
2,
iiggP
maxargˆˆ gP
10
gg
g
,
,maxarg,,
gP
1Ng
g
,
平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対
g
μ 散する尤もらしさを表す関数(尤度関数)とみなす.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 10
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
maxargˆˆ gP データ
パラメータ
1 211N
,maxarg,,
gP
10
gg
g
,
0
222 2
1exp2
1,i
iggP
1Ng
g
,
0
,
ˆ,ˆ
gP極値条件
平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対
g
0
,
ˆ,ˆ
,
gP
μ 散する尤もらしさを表す関数(尤度関数)とみなす.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 11
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
maxargˆˆ gP データ
パラメータ
1 211N
,maxarg,,
gP
10
gg
g
,
0
222 2
1exp2
1,i
iggP
1Ng
g
,
0
,
ˆ,ˆ
gP極値条件
平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対
g
0
,
ˆ,ˆ
,
gP
μ 散する尤もらしさを表す関数(尤度関数)とみなす.
1
0
1ˆN
iigN
1
0
22 ˆ1ˆN
iigN
標本平均 標本分散
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 12
0i 0i
-
最尤推定(Maximum Likelihood Estimation)(Maximum Likelihood Estimation)
maxargˆˆ gP データ
パラメータ
1 211N
,maxarg,,
gP
10
gg
g
,
0
222 2
1exp2
1,i
iggP
1Ng
g
,
0
,
ˆ,ˆ
gP極値条件
平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対
g
0
,
ˆ,ˆ
,
gP
μ 散する尤もらしさを表す関数(尤度関数)とみなす.
1
0
1ˆN
iigN
1
0
22 ˆ1ˆN
iigN
標本平均 標本分散
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 13
0i 0iヒストグラム
-
最尤推定 f
が分からなかったらどうしよう
gP maxargˆ データハイパパラメータ
10
ff
f
ff
fPfgPgfPgP
,,
10
gg
g
周辺尤度
1Nf
f
1
0
222 2
1exp21,
N
iii fgfgP
1Ng
g
不完全デ タ
0,1
ˆ
gP
11 N
極値条件
1
0
2
21exp
21N
iiffP
パラメータ
不完全 は完全にまず fP
データ
1
1
22 11ˆN
iigN
ベイズの公式
不完全データ
を考えよう.
わかっている場合
は完全にまず fP
fdgfPff ̂,ˆ gP fPfgPgfP
,,
イズの公式
物理フラクチュオマティクス論(東北大) 14
gP
-
信号処理の確率モデル
雑音
白色ガウス雑音原信号観測信号
雑音
i
fi
i
gi
通信路i i
原信号 観測信号
事前確率尤度
事後確率
原信号原信号観測信号 Pr|Pr
尤度
観測信号
原信号原信号観測信号観測信号原信号
PrPr|PrPr
ベイズの公式
物理フラクチュオマティクス論(東北大) 15
周辺尤度ベイズの公式
-
原信号の事前確率
ji fffP 2 1exp1
i j
EjiEji
ji
ff
ffZ
f
2
},{},{Prior
11
2p
E すべての最近接
i j
Eji
ji ffZ },{2
Prior 21exp1 E:すべての最近接
ノード(画素)対の集合
画像データの場合1次元信号データの場合1 2 3 4 5 1 2 3 4 51 2 3 4 5
1 2 2 3X=
1 2 3 4
6 7 8 9
5
10
11 12 13 14 153 4 4 5XX
11 12 13 14
16 17 18 19
15
20
物理フラクチュオマティクス論(東北大) 16
21 22 23 24 25
-
データ生成過程デ タ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)
Viii gffgP
222 2
1exp2
1,
2,0~ Nfg ii V:すべてのノード(画 ,Nfg iiV:す てのノ ド(画素)の集合
物理フラクチュオマティクス論(東北大) 17
-
信号処理の確率モデル信号処理の確率モデル
11データ不完全デ タ
パラメータ
Viii fgfgP
222 2
1exp21,
11
0ff
デ タ
0g
データ
Ejiji ffZ
fP},{
2
prior 21exp1
1
f
ff
1
g
gg
1Nf 1Ng
fi
gi
fdgfPff ii ,,ˆ
ハイパパラメータ
i i
fPfgP
gfP
,イ ラ タ
fdfPfgP
gfP
,,,
事後確率
物理フラクチュオマティクス論(東北大) 18
-
信号処理の最尤推定信号処理の最尤推定
f
,maxargˆ,ˆ gP
データ
パラメータ 不完全データ
10
ff
f
,
fdfPfPP
10
gg
g
1Nf fdfPfgPgP ,,
1Ng
周辺尤度
gPgP極値条件ハイパパラメータ
0
,,0
,
ˆ,ˆˆ,ˆ
gPgP
物理フラクチュオマティクス論(東北大) 19
-
最尤推定とEMアルゴリズム
データ fdfPfgPgP ,,
パラメータ
周辺尤度
不完全データ
10
ff
f
10
gg
g
Q
,, Q関数周辺尤度
1Nf
f
1Ng
g
fdgfPgfP ,,ln,, Q
ハイパパラメータ
)(),(, Calculate :Step E ttQ
0
,,
0,,
,
Q
Q
)1()1( Update:Step M
t,σtα
0
,
0
,,0
,
ˆ,ˆˆ,ˆ
gPgP )(),(,maxarg ),( ttQ EM アルゴリズムが収束すれば
物理フラクチュオマティクス論(東北大) 20
極値条件EM アル リズムが収束すれば周辺尤度の極値条件の解になる.
-
1次元信号のモデル選択1次元信号のモデル選択
EM Algorithm200Original Signal g100
200
if0.04
i0 127 2550
200
g
Degraded Signal 0.03α(t)
0 127 255
100
0
ig40
0.02
0.01
α(t)
i0 127 255
100
200
if̂
Estimated Signal0.01
0
i0 127 255
100
0
if
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大) 21
-
ノイズ除去のモデル選択 MSE327 0.000611 36.30
̂ ̂40
原画像 劣化画像 EMアルゴリズムと確率伝搬法
推定画像
α(0)=0.0001σ(0)=100
MSE ̂ ̂ 2ˆ1MSE ii ff
物理フラクチュオマティクス論(東北大) 22
260 0.000574 34.00
||MSE
iii ff
-
まとめまとめ
最尤推定とEMアルゴリズムガウシアングラフィカルモデルによる統計的推定
物理フラクチュオマティクス論(東北大) 23
-
演習問題4ー1
N個のデータgi (i=0,1,...,N-1) が確率密度関数
,演習問題4 1
,,
N個のデ タgi (i 0,1,...,N 1) が確率密度関数
12
21exp1,
NiggP
10gg
g
,
に従って生成されたものとする.このとき,最尤推定
0
22 2p
2iigg
1Ng
による平均 と分散 の推定値
,
,maxargˆ,ˆ,
gP
による平均 と分散 の推定値
11ˆ
NigN
1
22 ˆ1ˆN
igN
が次式で与えられることを示せ.
0iN
0iN
物理フラクチュオマティクス論(東北大) 24