東北大学大学院情報科学研究科応用情報科学専攻田中和之 (kazuyuki tanaka)...

物理フラクチュオマティクス論 ( 東北大 ) 1

物理フラクチュオマティクス論Physical Fluctuomatics

応用確率過程論Applied Stochastic Process

第 4回最尤推定と EM アルゴリズム4th Maximum likelihood estimation and EM algorithm

東北大学大学院情報科学研究科応用情報科学専攻田中和之 (Kazuyuki Tanaka)[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/


今回の講義の講義ノート

田中和之著：確率モデルによる画像処理技術入門，森北出版，第４章， 2006 ．


統計的学習理論とモデル選択

データから確率モデルの確率を推定する操作

モデル選択

統計的学習理論における確率モデルのモデル選択の代表例

最尤推定に基づく定式化

EM アルゴリズムによるアルゴリズム化

確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装

赤池情報量基準 (AIC) ，赤池ベイズ情報量基準 (ABIC) etc.

更なる拡張

不完全データにも対応

14 January, 2010Hokkaido University GCOE Tutorial

(Sapporo ） 4

最尤推定(Maximum Likelihood Estimation)

,

パラメータ


(Sapporo ） 5


1

0

222 2

1exp

2

1,

N

iiggP

1

1

0

Ng

g

g

g

,

パラメータ

1,,1,0 NV

0 1 2

3 4 5

6 7 8


(Sapporo ） 6


1

0

222 2

1exp

2

1,

N

iiggP

データ

1

1

0

Ng

g

g

g

,

パラメータ

1,,1,0 NV

0 1 2

3 4 5

6 7 8

データ


(Sapporo ） 7


1

0

222 2

1exp

2

1,

N

iiggP

データ

1

1

0

Ng

g

g

g

,

パラメータ

1,,1,0 NV

0 1 2

3 4 5

6 7 8

データヒストグラム


(Sapporo ） 8


1

0

222 2

1exp

2

1,

N

iiggP

データ

1

1

0

Ng

g

g

g

,

パラメータ

1,,1,0 NV

0 1 2

3 4 5

6 7 8



(Sapporo ） 9


1

0

222 2

1exp

2

1,

N

iiggP

データ

1

1

0

Ng

g

g

g

,

パラメータ

1,,1,0 NV

0 1 2

3 4 5

6 7 8


,maxargˆ,ˆ,

gP


(Sapporo ） 10


1

0

222 2

1exp

2

1,

N

iiggP

,maxargˆ,ˆ,

gP

データ

平均 μ と標準偏差 σ が与えられたときの確率密度関数をデータが与えられたときの平均 μ と分散σ2 に対する尤もらしさを表す関数（尤度関数）とみなす．

g

1

1

0

Ng

g

g

g

,

パラメータ


(Sapporo ） 11


1

0

222 2

1exp

2

1,

N

iiggP

,maxargˆ,ˆ,

gP

データ

0

,

0,

ˆ,ˆ

ˆ,ˆ

gP

gP極値条件


g

1

1

0

Ng

g

g

g

,

パラメータ


(Sapporo ） 12


1

0

222 2

1exp

2

1,

N

iiggP

,maxargˆ,ˆ,

gP

データ

0

,

0,

ˆ,ˆ

ˆ,ˆ

gP

gP

1

0

1ˆ

N

iigN

1

0

22 ˆ1

ˆN

iigN

極値条件


g

標本平均標本分散

1

1

0

Ng

g

g

g

,

パラメータ


(Sapporo ） 13


1

0

222 2

1exp

2

1,

N

iiggP

,maxargˆ,ˆ,

gP

データ

0

,

0,

ˆ,ˆ

ˆ,ˆ

gP

gP

1

0

1ˆ

N

iigN

1

0

22 ˆ1

ˆN

iigN

極値条件


g

標本平均標本分散

1

1

0

Ng

g

g

g

,

パラメータ

ヒストグラム


1

1

0

Nf

f

f

f

最尤推定

1

0

2

22 2

1exp

2

1,

N

iii fgfgP

gP

maxargˆ データ

0

,1

ˆ

gP

1

1

22 11ˆ

N

iigN

極値条件

1

0

2

2

1exp

2

1N

iiffP

ff

fPfgPgfPgP

,,

1

1

0

Ng

g

g

g

ハイパパラメータ

パラメータ

fdgfPff

,ˆ

gP

fPfgPgfP

,,

ベイズの公式

不完全データ

f

が分からなかったらどうしよう

を考えよう．わかっている場合

は完全にまず fP

周辺尤度

不完全データ


信号処理の確率モデル

原信号観測信号

通信路

雑音

周辺尤度

事前確率尤度事後確率

観測信号

原信号原信号観測信号観測信号原信号

Pr

Pr|PrPr

白色ガウス雑音原信号観測信号

i

fi

i

gi

ベイズの公式


原信号の事前確率

画像データの場合1 次元信号データの場合

1 2 3 4 5

1 2 2 3X

3 4 4 5XX

=

Ejiji

EjiEjiji

ffZ

ffZ

fP

},{

2

Prior

},{},{

2

Prior

2

1exp

1

2

1exp

1

E：すべての最近接ノード（画素）対の集合

i j


データ生成過程

加法的白色ガウス雑音 (Additive White Gaussian Noise)

2,0~ Nfg ii

Viii gffgP 2

22 2

1exp

2

1,

V：すべてのノード（画素）の集合


信号処理の確率モデル

Viii fgfgP 2

22 2

1exp

2

1,

Ejiji ff

ZfP

},{

2

prior 2

1exp

1

1

1

0

Nf

f

f

f

データ

1

1

0

Ng

g

g

g


i

fi

i

gi

不完全データ

パラメータ

fdfPfgP

fPfgPgfP

,

,,,

fdgfPff ii

,,ˆ

事後確率


1

1

0

Nf

f

f

f

信号処理の最尤推定

,maxargˆ,ˆ,

gP

データ

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP

極値条件

fdfPfgPgP ,,

1

1

0

Ng

g

g

g


パラメータ

不完全データ

周辺尤度


1

1

0

Nf

f

f

f

最尤推定と EM アルゴリズム

データ

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP

極値条件

fdfPfgPgP ,,

1

1

0

Ng

g

g

g


パラメータ

fdgfPgfP

Q

,,ln,,

,,

)(),(,maxarg

)1()1(

Update:Step M

)(),(, Calculate :Step E

),(ttQ

t,σtα

ttQ

0

,,

0,,

,

,

Q

Q

EM アルゴリズムが収束すれば周辺尤度の極値条件の解になる．

Q関数

周辺尤度

不完全データ


1 次元信号のモデル選択

EM Algorithm

i

i

i

0 127 255

0 127 255

0 127 255

100

0

200

100

0

200

100

0

200

if

ig

if

Original Signal

Degraded Signal

Estimated Signal

40

0.04

0.03

0.02

0.01

α(t)

0

α(0)=0.0001, σ(0)=100


ノイズ除去のモデル選択

原画像劣化画像 EM アルゴリズムと確率伝搬法

α(0)=0.0001σ(0)=100

推定画像

MSE

327 0.000611 36.30

MSE

260 0.000574 34.00

2ˆ||

1MSE

i

ii ff

40


まとめ

最尤推定と EMアルゴリズムガウシアングラフィカルモデルによる統計的推定


N 個のデータ gi (i=0,1,...,N-1) が確率密度関数

,

に従って生成されたものとする．このとき，最尤推定

による平均

,

演習問題 4 ー 1

1

0

222 2

1exp

2

1,

N

iiggP

1

1

0

Ng

g

g

g

,

,maxargˆ,ˆ,

gP

1

0

1ˆ

N

iigN

1

0

22 ˆ1

ˆN

iigN

,

,

東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之 (kazuyuki tanaka)...

Documents

東北大学大学院情報科学研究科応用情報科学専攻田中和之 (kazuyuki tanaka)...