３分でわかる 多項分布とディリクレ分布

斎藤 淳哉!!

間違い等ありましたらご連絡ください

junya【あっと】fugaga.info

概要

!2

何回覚えても忘れてしまいがちな !

多項分布とディリクレ分布を解説

はじめに

!3

確率密度関数

1p2⇡�

2exp

✓� (x� µ)

2

2�

2

◆µ

�2

x

平均

分散

確率変数

正規分布

みんな知っている正規分布は、平均と分散を入れると、 （釣り鐘上の）確率密度関数に従って、確率変数が出てくるイメージ

これにならって、多項分布とディリクレ分布を表すと・・・

多項分布とディリクレ分布

!4

多項分布：サイコロの出た目の分布

ディリクレ分布：サイコロの目の出易さの分布

K面サイコロの目の出易さサイコロを振る回数

K面サイコロの出た目

K K

回

回

回

確率

確率

確率

p1p2

pK nK

n1

n2

確率質量関数

K面サイコロの出た目

K

回

回

回

確率密度関数K面サイコロの目の出易さ

K

確率

確率

確率

p1p2

pK

↵1 � 1

↵2 � 1

↵K � 1

�(PK

k=1 ↵k)QKk=1 �(↵k)

KY

k=1

p↵k�1k

�((PK

k=1 nk) + 1)QK

k=1 �(nk + 1)

KY

k=1

pnkk

N(=PK

k=1 nk)

※αは自然数でなくてもよい

Dir(p|↵) =

Multi(n|p, N) =

※ のときは0N 6=PK

k=1 nk ※nは自然数

備考• 　　はガンマ関数（自然数　 に対して 　　　　　　　）

• 確率質量関数は、確率変数が離散のときの確率密度関数

• ディリクレ分布は、多項分布の共役事前分布

• これを利用して、LDAでは、

• 尤度関数：多項分布

• 事前分布：ディリクレ分布

• 多項分布とディリクレ分布の違い

• 確率変数としている変数が異なる

• サイコロの出た目のカウントが１ずれている

• 正規化項が微妙に異なる

• 詳細な定義等はググってください!5

�(·) m �(m+ 1) = m!