はじパタ6章前半

9/17/2013 6th #はじパタ #ピンクの薄い本 1

はじめてのパターン認識６章線形識別関数前半（pp.71-82）

@tanimocchi


自己紹介 Twitter ID： @tanimocchi

（もっちぃ）

修士(数学)、博士(情報科学)

所属：ﾀﾋにかけ半導体

仕事：マーケティングなのか

ブランディングなのか？

統計解析とパターン認識・機械学習は必要！だと信じてる。

統数研公開講座に結構参加してますので、ご一緒の際は宜しくお願いします。

アンケート設計・分析に従事しつつ、新規市場開拓も

画像認識・センサ応用技術開発にも袖触れ合う程度に関係


4.2.2項のおさらいベイズ誤り率最小識別規則：正規分布を仮定して

x

ΣμxΣμxx

xxx

ΣμΣμCΣΣS

xCx

xCSxxx

ii

iiiiii

jiij

jiijji

ij

ij

ji

g

CPg

ggf

Ff

Ff

CC

minarg

ln2ln

,

,,

02

02

,

1

1111

　識別クラス

　　　

　　　

　　　

　線形識別関数：

　２次識別関数：

の識別境界クラス

分散・共分散行列

平均事前確率

という形で表される。

　　

、一般に線形識別関数は

0wf xwx

次元の超平面線形識別関数：

次元入力データ：

的意味線形識別関数の幾何学

1-d

d


6.1 線形識別関数の定義目的・線形識別関数が２つのクラスを超平面で区分・多クラス問題への拡張


6.1.1 超平面の方程式 [1/7]

　となる。従って識別境界は、

　

　　

　　　　識別クラス

、識別規則は　を識別境界とすると

：バイアス項　　

：係数ベクトル　　

次元入力ベクトル：　　

の線形識別関数：クラス問題

0

0

0

0

0

,,

d,,

,2

000

2

1

0

1

1

021

w

w

d

d

f

wwwf

fC

fC

f

w

ww

xx

wfCC

xnx

xnw

xw

w

wx

w

wxwx

x

x

x

w

x

xwx

ww

wn 0,

ww　


6.1.1 超平面の方程式 [2/7]

0

wf xnx超平面：

：法線ベクトルn

位置ベクトル　　

：超平面上の任意の点P

原点　0

Pn

PnPP

w

wf が成立。に対して、位置ベクトル 0

ルは直線①の法線ベクト

直線②より、直線①

　直線②：

直線①：

b

a

y

x

b

a

y

x

b

a

cy

x

b

a

//

0

0

0xf 0xf


6.1.1 超平面の方程式 [3/7]

0

wf xnx超平面：

n

P

原点　0

x

Px

0 PxnPnxnxPn fw より、

Pxn 幾何学的には、

0xf 0xf


6.1.1 超平面の方程式 [4/7]

0

wf xnx超平面：

n

P

原点　0

x

は単位法線ベクトル　　　　 nP

PnPn

cos

cos

w

w

原点から超平面への距離正規化されたバイアス

0xf 0xf


6.1.1 超平面の方程式 [5/7]

0

wf xnx超平面：

n

0xf 0xf

P

原点　0

'x

w

1'

0'''

C

f ww

x

xnxxn

　　


6.1.1 超平面の方程式 [6/7]

0

wf xnx超平面：

n

0xf 0xf

P

原点　0''x

w

2''

0''''''

C

f ww

x

xnxxn

　　


6.1.1 超平面の方程式 [7/7]

ことを確かめよ。

のように表現できるを用いて、識別境界がルを求め、適当なベクト

の直線の法線ベクトルで表されるとする。こ　識別境界が直線例題

0

226.1

PxnP

xy

として表現できた。を　即ち、

　　　　　　　

　

すると、を直線上の任意の点と　

より、法線ベクトル　　

は直交。とより、解答　　

022

0225

122

5

1

25

1

5

1

5

2

02b2

5

1

5

2512

12021

202y2

22

Pxn

Pxn

P

w

wnw

wx

xy

yxbayx

byaxby

ax

aba

yxy

xx


6.1.2 多クラス問題への拡張 [1/9]

K(>2)クラスの識別関数の作り方

・一対多（one-versus-the-rest）

・一対一（one-versus-one）

・最大識別関数法

識別不能領域（空白クラス）発生

解消！



0;

0;

1,,1

21-K

　

　　　識別クラス

を用意　線形識別関数

クラス個のてのクラスを識別する一つのクラスと他の全

x

x

x

j

j

K

j

j

fKj

fj

C

C

Kjf

(1) 一対多

クラス2

クラス3

クラス1

01 xf

02 xf

01 xf 02 xf

00 21 xx ff

00 21 xx ff ←空白領域（１か２か識別不能）



jvote

fKljfjijvote

KKKjif

KKCji

j

jlij

ij

K

maxarg

0|#0|1#

:

211

2212

　　識別クラス

　　　　　

識別クラスを決定

で個の識別関数の多数決を用意し、　

クラス線形識別関数個のを識別するとクラス

xx

x

(2) 一対一 [1/2]

に投票　　

に投票　　

多数決投票ルール：

jf

if

ij

ij

0

0

x

x

クラス3

クラス2 クラス1

013 xf

012 xf

evenvotevotevote

fff

voteff

voteff

voteff

　　　　　

空白領域：

：クラス

：クラス

：クラス

13,11,12

000

23003

22002

21001

231312

2313

2312

1312

xxx

xx

xx

xx

023 xf



能性ありない票が投票される可　仕方に依っては関係

義の別クラスの判定法の定個が無関係であり、識②

がとれないより、多数決で過半数①

ある手法である。従って、下記の懸念が

個の　　　　　

に対しては、タ　１つ固定した入力デー　　　例

個の個数に直接関連したクラス　入力データのクラス

個　識別関数の個数

を識別する場合個手書き文字

36

95.22245

9,,,,,,,,

3 )

9

45

,90, ex.10

393837363534231303

210

fffffffff

C

(2) 一対一 [2/2]


6.1.2 多クラス問題への拡張 [5/9] (3) 最大識別関数法 [1/5]

に一致。ラスの場合の識別境界この識別境界は、２ク

　　　　　

　　　　　

　　

よりの識別境界は、とクラス


一意性？義　を識別クラスとして定識別関数を最大とする

0

maxargmaxarg

00

00

00

0

jiji

jiji

jjiijiij

ji

jjj

jj

j

ww

ww

wwfff

ffji

wf

C

xww

xww

xwxwxxx

xx

xwx

以下、最大識別法にて、K(>2)個の線形識別関数で、 K個のクラス(領域)に必ず分割可能である事を示す。



は凸でない。となり、　　即ち、

穴に属する点が存在。点を結ぶ直線上には、　　をとると、

点ると、その穴を跨ぐ２に穴が開いているとす　　

は凸でない」を示す。が単連結でない　対偶、即ち「証明

穴の開いていない領域は単連結が凸補題：

」「　　　

が凸定義：領域

RR

RR

RR

RR

RR

R

21

21

2121

1;10

2

,

1*,10;,

xx

xx

xxxxx



は凸。となり　　クラス　　　

　　　　　　

　　　

数の線形性とから、　　とすると、識別関

をとり、と　　さて、任意に

　　　

の定義から、とすると、識別クラスクラス　　

事のみ示せば良い。　補題から、凸である証明

める領域は単連結で凸命題１：各クラスの占

RReiRif

ijforffff

ffff

R

ffijR

iR

kk

jjjj

iiii

ji

*.,.*maxarg

*11

11*

1*10,

,,

2121

2121

2121

xx

xxxxx

xxxxx

xxxxx

xxx



するからである。空白クラスが現れ矛盾何れかが判別できない

とすると、２つの何故なら、一意でないである事が示される。

スの定義が一意別関数法での識別クラ上記命題から、最大識

矛盾。として識別されるためラス　　空白エリアは、ク

となり、、は線形関数であるためと　　然るに、

ルを持つ。にて同一の法線ベクトは、と　　即ち、

　　　　

が存在したとすると、次元の空白エリア　　

　背理法にて示す。証明

エリアなし識別境界を除いて空白法命題２：最大識別関数

ji

ffff

Aff

ffAjifAji

Ad

jiji

ji

jiij

xxxxx ,;,0,;,



れる。個の領域に必ず分割さ個の識別関数で、　　従って、

命題２の主張に矛盾。来た事となり、これは　　の空白エリアが出

個とすると、個の領域に分割されたなる　　今仮に、

。個の領域に分割される高々飛び地はできないので　　ため、

各クラスは凸である個であり、命題１から　識別関数は証明

れる個の領域に必ず分割さ個の識別関数で、　　　　

法命題３：最大識別関数

kk

k)(

k

kk

lklkl


6.2 最小２乗誤差基準によるパラメータの推定目的・最小2乗誤差基準による線形識別関数のパラメータが正規方程式により得られる事・多クラス問題への拡張


6.2.1 正規方程式 [1/7]

：教師ベクトル　　

：データ行列　　

を以下とする。と教師ベクトルとし、データ行列また、学習数を

のとする。のように与えられるも

　　

　　　　

により、教師入力が所属するクラスは、さて、入力ベクトル

トル　番目の学習用入力べク：　　

先変数：入力ベクトルの代入　　

：バイアス項：係数ベクトル、　　

　　

線形識別関数

N

N

i

i

i

ii

iidii

d

d

dd

tt

N

C

Ct

t

xixx

xx

wwww

xwxwwf

,,

,,

1

1

1,,,1

,,,1

,,,

1

1

2

1

01

1

010

110

t

xxX

tX

x

x

x

x

x

w

xwx


6.2.1 正規方程式 [2/7]

より、スカラスカラ　　　　　

　　　

　　　

　　　

　　　

　　

乗誤差とすると教師入力の差のを識別関数の出力値と評価関数

tXwXwtXwXwXwttt

XwXwtXwXwttt

XwtXwt

XwtXwt

xw

xw

xw

xw

xw

xw

xwxw

w

2

2

22

11

22

11

1

2

1

2

NNNN

N

i

ii

N

i

ii

t

t

t

t

t

t

tftE

E

NNddN

dd

dNdNN

d

dNd

N

xwxww

xwxww

w

w

xxx

xxx

w

w

w

w

xw

xw

x

x

xxXw

1

110

11110

0

21

11211

010

1

1

1

,,


6.2.1 正規方程式 [3/7]

。ハット行列と呼ばれる

、に変換する行列でありを予測値は、教師データ行列

となる。

　　

は、測値学習データに対する予

：正規方程式　　

　　

の最小を与えるになるパラメータがでの微分が故に、

　は下に凸な関数評価関数

ttXXXX

tXXXXwXt

t

tXXXw

tXXwXXwXtXw

w

ww

XwXwXwtttw

ˆ

ˆˆ

ˆ

ˆ

022

0

2

1

1

1

E

E

E

tX

w

wtX

w

Xwt

XttXwxtXaax

xa

BXXXXBXwXw

XwXw

wxXXBxBBx

Bxx

　　

からとおくと、で、　公式　

　　　　

とおくと、で、　公式　

,

2

,

の存在を保証可能。

とできで、入力ベクトルの与え方

：正方行列　

より

1

1

1,1

,1,1,

XX

XX

XX

dN

ddM

NdMdNM


6.2.1 正規方程式 [4/7]

となる等高線を描け。　が

平面内に識別関数値も変数と考え、に固定せず、への入力をバイアス項

平面に図示せよ。識別関数をを求めよ。　

いに答えよ。としたとき、下記の問

をとする。学習データ対　識別関数を例題

6,0,6

,1 (3)

,1, (2)ˆ (1)

2,1,

,1,1,,16.2

1000

11

212

11111010

xxxw

xfx

xt

xtxwwxxf

w

2

3

1

1

11

12

1

1

21

11

23

35ˆ

23

35

53

32

21

11

21

11

21

11

1

1

21

11 )1(

1

1

2

1

210

110

tXXXw

XXXXX

tX

　　　

、、　　　

、教師ベクトルデータ行列

解答　

t

t

xx

xx


6.2.1 正規方程式 [5/7]






6,0,6

,1 (3)

,1, (2)ˆ (1)

2,1,

,1,1,,16.2

1000

11

212

11111010

xxxw

xfx

xt

xtxwwxxf

w

1

1

1

231

2,3

2,3ˆ,,1,ˆ (2)

xx

fy

xf

x

wxxwx

　　　

より識別関数

解答

1,1 xfy

0f

0f

が識別境界5.11 x

y

x


6.2.1 正規方程式 [6/7]






6,0,6

,1 (3)

,1, (2)ˆ (1)

2,1,

,1,1,,16.2

1000

11

212

11111010

xxxw

xfx

xt

xtxwwxxf

w

10

1

0

10

232,3

2,3ˆ,,,ˆ (3)

xxx

xfy

xxf

x

wxxwx

　　　

より識別関数

解答

0, 10 xxf

1x

0x

法線ベクトル2

2

6, 10 xxf

6, 10 xxf

10 x

標準座標系での識別境界

10 xが現れる平面

標系同次座標系内の標準座

標準座標系同次座標系


6.2.1 正規方程式 [7/7] 示せ。は必ず原点を通る事をば、識別境界　同次座標表現によれ例題 06.3 xf

なる。　は識別境界上の点と

　　　

より、。識別境界は、　のように表現される

　　　

は、識別関数は解答　同次座標表現で

0,0,

0

23

10

10

xx

f

xxf

x

x

x

。を線形識別関数とするを用いて、

表現ので、以降、同時座標平面として表現可能な

点を通るは、同次座標系では原に依らず

アス項平面で表現され、バイバイアスは

xwx

x

f

f

x

0

10



を求める。乗誤差を与えるこの前提で、最小

個の学習データ：　　

個の教師ベクトル：　　

個のベクトル：要素数　　　

それ以外

番目のクラスに属する番目の学習入力が

　

　　　　

：教師ベクトル　　　

：識別関数　　　

K

N

N

i

ik

iNii

kk

N

N

K

kit

tstt

Kkf

wwW

xxX

ttT

t

t

xwx

,,ˆ2

,,

,,

0,,1,,0

0

1

..,,

,,1

1

1

1

1



K

k

kkkkkk

K

k

kkkk

K

k

NkNk

kk

kk

NkNk

kk

kk

K

k

N

i

ikik

K

k

N

i

ikik

t

t

t

t

t

t

tftE

E

1

1

1

22

11

22

11

1 1

2

1 1

2

2

2

XwXwXwttt

XwtXwt

xw

xw

xw

xw

xw

xw

xwxw

w

　　　

　　　

　　　

　　

乗誤差とすると教師入力の差のを識別関数の出力値と評価関数



xWxwwx

w

w

xwxwxxxf

TXXXW

TXXWX

tXXwX

XwXtXw

w

wwXwXwXwtttw

ˆ,,,,,,

2ˆ

0

,,10

,,1022

,,2

1

1

11

1

1

1

K

K

KK

jj

jj

j

K

K

k

kkkkkk

ff

Kj

KjE

E

　

識別関数

ラメータ乗誤差を最小にするパ　　　　

　　

　　　　

　　　　

で偏微分を、評価関数



　行かない！！

だと上手く並んでいるような分布のクラスが一直線上に　

かない場合あり！上手く行く場合と、行　


識別規則

2

maxarg

K

f jj

x


6.3 線形判別分析・線形識別関数：

・最小2乗誤差法：教師データに忠実になるよう fを求めた・線形判別分析：1-dimに写像したとき、クラス間の分布が出来るだけ重ならないようにする重なりの少ない写像を実現するベクトルw

を見つける事が大事！

上のスカラ関数ベクトル次元ベクトル wd

xwxxf w

0w


6.3.1 フィッシャーの線形判別関数 [1/9]

2121

22

11

21

1

,2

μμw

μwμ

xμ

xw

mm

m

N

y

CN

CN

CC

kkk

Ci

i

k

k

i

　　

る、クラス分離が良くな平均の差が大きいほど

　　写像：

　　平均ベクトル：

線形変換　線形識別関数

向け学習データ数：　

向け学習データ数：　

問題クラス

0w

w



シャーの基準という。を見つける事をフィッを最大にする

　　

内変動の比クラス間変動とクラス

　　

全クラス内変動はクラスしかないので、

　　　　

次元に写像後の分散クラス内変動

　　　

乗平均の差のクラス間変動

w

w

xw

2

2

2

1

2

21

2

2

2

1

22

2

21

2

1:

2:

SS

mmJ

SS

ymyS

mm

ii

Ci

kik

i



より、対称行列

変動行列学習データのクラス間：線形変換される前の

　　

　　

スカラスカラ　　　　

　　　

乗平均の差のクラス間変動

2121

2121

2121

2

21

2

21

2:

μμμμS

S

wSw

wμμμμw

μμwμμw

μμw

B

B

B

mm



wSwwSSwwSwwSw

SS

wSw

xAAxAxAwμxμxw

xxxwμxμxw

wμxμxw

μxwμxw

μxw

w

wk

k

Ci

kiki

Ci

kiki

Ci

kiki

Ci

kiki

Ci

ki

Ci

kik

SS

yyyy

myS

i

i

i

i

ii

2121

2

2

2

1

2121

2121

222

,

1:

　

は対称行列構成の仕方から全クラス変動　　

　　

　　　　

　　　　

　　

スカラスカラ　　　　

　

次元に写像後の分散クラス内変動



wSwS

wSSwSSSSw

wSSw

wSSwwSwwSw

wSwwSwwSw

wSw

wSwS

w

wSw

wSww

wB

wBwBwBwB

wBwB

wB

w

B

wB

w

BJ

　　

　　

　　

　　　

、を未定乗数と見立てて　

　　

問題の解は、次の一般化固有値これを最大にする解

　　

フィッシャーの基準は

02

0

も対称行列は対称行列より、 wBwB SSSS ,



来ない。で、直接求める事が出が消去されてしまうのの項で

　　

ーの基準では、イアス項。フィッシャが識別境界を与えるバであり、

　　

、さて、線形識別関数は

となる。による最適ながフィッシャーの基準

　　

より、

はスカラ内積　　　　

通常の固有値問題　　　　

とすると

0

2121

0

0

21

11

21212121

1

w

mm

w

wf

dGL

wBw

B

Bw

w

μμw

xwx

w

μμSwSSw

wμμμμwμμμμwS

wwSS

S

0w

w



違いのみとなる。

動行列は比例乗数の全クラスのクラス内変となり、共分散行列と

　　

より、

　　　　

　　

関数と仮定。すると、を持つ多次元正規分布

　　

散行例の値に依らず同じ共分

が、率に、クラス条件付き確を算出可能とするため

wpool

i

i

N

j

ijij

i

i

pool

k

NNNN

N

NN

N

iNN

N

NCP

N

NCP

CPCP

k

kCPw

i

SSS

SSΣ

SμxμxΣ

ΣΣΣ

x

111

2,111

,

2,1

212

2

21

1

1

1

22

11

2211

0

0w

w



線形変換に一致。最小識別規則で求めたとなり、ベイズ誤り率

は対称行列　　　

　　

とすると、

　　

にてルにて定義されたベクト

となる。

　　

のみ重要定数倍を無視した向きはよる最適解フィッシャーの基準に

　　

poolijpoolijpool

poolijiijj

poolji

iijj

pool

poolw N

ΣμμΣμμΣc

ΣμμΣμΣμc

ΣΣΣ

ΣμΣμc

μμΣw

w

μμΣμμSw

11

111

11

21

1

21

1

21

1

32.4

0w

w



0w

w

とすれば良い。への射影をのとなるような

　　

ように

にある章、即ち、じになる点を従って、事後確率が同

正規分布正規分布の線形変換は　正規分布で近似可能　

元の射影は、それぞれ一次に属するデータのへのため、

関数に従うと仮定したを持つ多次元正規分布共分散行例

の値に依らず同じは、クラス条件付き確率

0

2211

0 p.263

2,1

w

CPCPCPCP

w

C

kkCP

k

pool

k

wx

xx

Σ

x


Thanks a lot!

はじパタ6章前半

Technology

w w x xw

w w w w xw xw x x xxxw

tx x x x x x w xwx

x x x j j

f xxf x x x xwx x f

dim w wd xwxx f w

np pnpn cos cos w w

f j j x