nagoya institute of technology - matsuzoe...

55
Nagoya Institute of Technology

Upload: vanhuong

Post on 21-Jul-2019

217 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya

Institute of

Technology

Page 2: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

発表構成

Page 3: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

クラス分類問題 (例: 文字認識、音声認識)

音声時系列信号

文字

「0」, 「1」, ..., 「9」

単語 (cf. カーナビ)

「大阪市立大学」

画像(画素値)

Page 4: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

クラス分類問題 (例: 遺伝子病理診断)

Page 5: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

(2クラス)分類問題の定式化

Page 6: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

モデルベース分類器/事例ベース分類器

Page 7: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

(例) サポートベクトルマシン (SVM)

Page 8: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最近傍分類器 (nearest neighbor classifier)

Page 9: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

分類器の特徴選択(変数選択)

Page 10: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

特徴選択アルゴリズムのアプローチ

Page 11: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Filter Approach

expression level highlow

健常者 癌患者

10000genes

p1p2p3

p10000

Page 12: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Wrapper Approach

step 1

gene 1

gene 2

gene 3

gene 6800

gene 6

step 2

gene 6

gene 6

gene 6

gene 6

gene 6

gene 1

gene 2

gene 3

gene 6800

gene 9

step 3

gene 6

gene 6

gene 6

gene 6

gene 6

gene 9

gene 9

gene 9

gene 9

gene 9

gene 1

gene 2

gene 3

gene 6800

gene 321

gene 6 gene 9 gene 321

Page 13: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

正則化(回帰問題)

Page 14: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

正則化パス(回帰問題)

Page 15: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

正則化パス(分類問題)

Page 16: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

研究目的と発表構成

Page 17: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最近傍分類器と距離尺度

Page 18: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

k-最近傍分類の損失関数

Page 19: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

k-最近傍分類の損失関数

Page 20: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

k-最近傍分類の損失関数

Page 21: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

k-最近傍分類の損失関数

Page 22: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

k-最近傍分類器特徴選択のための最適化問題

Page 23: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最適化問題の整理

Page 24: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍不変の仮定と凸計画問題

Page 25: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

アクティブ集合

Page 26: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最適性条件

Page 27: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最適解の区分線形性

Page 28: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

区分線形パスの例(人工データ n = 40, m = 6)

Page 29: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

区分線形パスの例 (拡大図)

Page 30: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

変化点の検出

Page 31: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍の変化

Page 32: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍不一致数の推移

Page 33: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

偽の学習誤差 vs. 真の学習誤差

Page 34: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍変化の検出

Page 35: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍の変化点

Page 36: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍の変化点

Page 37: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

標的近傍変化における演算

Page 38: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Primal Active-Set QP

Page 39: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

アルゴリズムのイメージ

Page 40: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

アルゴリズムのイメージ

Page 41: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

アルゴリズムのイメージ

Page 42: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

アルゴリズムのイメージ

Page 43: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

偽の学習誤差 vs. 真の学習誤差

Page 44: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Discussion (1)

Page 45: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Conditional Optimal weights and T.N.

Page 46: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

Discussion (2)

Page 47: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

距離学習(Metric Learning)との関連

Page 48: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

従来のアプローチ (1)

Page 49: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

従来のアプローチ (2)

Page 50: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

従来のアプローチ (3)

Page 51: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

マイクロアレイデータへの適用

Page 52: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

マイクロアレイデータへの適用(学習誤差)

Page 53: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

マイクロアレイデータへの適用(評価誤差)

Page 54: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

最後に

Page 55: Nagoya Institute of Technology - Matsuzoe …matsuzoe.web.nitech.ac.jp/infogeo/OCAMI2010/takeuchi.pdfNagoya Institute of Technology k-最近傍分類器特徴選択のための最適化問題

Nagoya Institute of Technology

謝辞