PRML復々習レーン#11 前回までのあらすじ

2013-06-23

Yoshihiko Suhara

@sleepy_yoshi

v.1.0

前回のおさらい

• 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容

• 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください

• 目的 – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため

ポイントだよ

2

ポイント小僧の向きに意味はありません

ポイントだよ

前回の範囲 • 6章 カーネル法

– ・・・ – 6.4 ガウス過程

• 6.4.1 線形回帰再訪 • 6.4.2 ガウス過程による回帰 • 6.4.3 超パラメータの学習 • 6.4.4 関連度自動決定 • 6.4.5 ガウス過程による分類 • 6.4.6 ラプラス近似 • 6.4.7 ニューラルネットワークとの関係

• 7章 疎な解を持つカーネルマシン – 7.1 最大マージン分類器

• 7.1.1 重なりのあるクラス分布 • 7.1.2 ロジスティック回帰との関係 • 7.1.3 多クラスSVM • 7.1.4 回帰のためのSVM • 7.1.5 計算論的学習理論

– 7.2 関連ベクトルマシン

3

6章 カーネル法

4

6.4.3 超パラメータの学習

カーネルパラメータを最尤推定で求める

• 第二種の推定 (経験ベイズ)

5

ポイントだよ

6.4.4 関連度自動決定

超パラメータを自動的に決定する

• ガウスカーネルの例 – 右のグラフではある次元毎に異なる分散パラメータが設定されている

ポイントだよ

6

6.4.5 ガウス過程による分類

ポイントだよ

7

6.4.6 ラプラス近似

ポイントだよ

8

6.4.7 ニューラルネットワークとの関係

多層ニューラルネットワークの 中間層の数を無限にするとガウス過程に近似する

ポイントだよ

9

7章 疎な解を持つカーネルマシン

10

7章 疎な解を持つカーネルマシン

カーネルのメリットには十分にわかってので 本章ではモデルを構築するサポートベクタを

減らす方法について紹介

• ハードマージンSVM

• ソフトマージンSVM

• 多クラスSVM

• SVMによる回帰

• 関連ベクトルマシン

ポイントだよ

11

7.1 最大マージン分類器

分類境界を最大化するモデルを求めるため 最適化問題として定式化．それがSVM

• 線形分離可能な場合，誤り0で最も境界に近い点からの距離が最大になるような目的関数を設定 – L2正則化と同じ形式になる – 損失関数の解釈については後述

• 利点

– 大域的最適解が求まる – 双対形式の導出により，カーネル関数の利用が可能

• i.e., 非線形モデルなのに大域的最適解が求まるなんて…!!

ポイントだよ

12

7.1.1 重なりのあるクラス分布

ソフトマージンを導入することによって SVMを線形分離不可能な場合に拡張する

• 各データ点に対する誤り度合いを表すスラック変数を導入する

𝐶 𝜉𝑛

𝑁

𝑛=1

+1

2𝒘 2

• ハードマージンの場合と同様に双対問題を求めることができ，二次計画問題として解く

• SVM用に開発された数値計算手法 – Sequential Minimal Optimization など

ポイントだよ

13

7.1.2 ロジスティック回帰との関係

SVMはヒンジ損失＋L2正則化と解釈することができる

• SVMの損失関数は以下の

1− 𝑦𝑛𝑡𝑛 +

𝑁

𝑛=1

+ 𝜆 𝒘 2

• ロジスティック回帰の損失関数は

ln 1 + exp −𝑦𝑛𝑡𝑛 +

𝑁

𝑛=1

𝜆 𝒘 2

ポイントだよ

14

7.1.3 多クラスSVM

SVMは2値分類しか対応していないため 多クラス分類を実現するためにはいくつか方法がある

• one-vs-the-rest方式 – K個の多クラス分類問題に対してクラス𝑘 (𝑘 = 1,… , 𝐾)を正例，それ以外のクラスを負例として𝐾個の分類器を学習

– 出力値が最大のものを利用する方法がデファクトスタンダード

• one-vs-one方式 – K(K-1)個の分類器を学習．その出力結果を利用

• e.g., DAGSVM

• 誤り訂正符号を用いた方法 (ECOC法)

• 1-class SVM

ポイントだよ

15

7.1.4 回帰のためのSVM

分類の場合と同様にヒンジ損失を用いて 損失に寄与するデータ点 (サポートベクタ) の 数を少数に抑える回帰モデルを実現する

• 誤差関数に以下の𝜖許容誤差関数を用いる

𝐸𝜖 𝑦 𝑥 − 𝑡 = 0 𝑦 𝑥 − 𝑡 < 𝜖

𝑦 𝑥 − 𝑡 − 𝜖 otherwise

ポイントだよ

16

RVMではさらに 疎になります お楽しみに！

つづく さぁ今日も一日 がんばるぞ

17