eigenboosting: combining discriminative and generative information
DESCRIPTION
Eigenboosting: Combining Discriminative and Generative Information. 土屋成光 2008/1/8. 背景. 認識,検出手法における問題 Training (訓練データ) -Recognition (実データ) 双方のノイズの影響 無関係な情報(ノイズ)に着目 ノイズに過敏な認識システムとなる可能性. 従来法. Generative (生成モデル) principal component analysis (PCA) independent component analysis (ICA) - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/1.jpg)
Eigenboosting:Combining Discriminative and
Generative Information
土屋成光2008/1/8
![Page 2: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/2.jpg)
Eigenboosting
背景
• 認識,検出手法における問題• Training (訓練データ) -Recognition (実データ)
• 双方のノイズの影響
• 無関係な情報(ノイズ)に着目• ノイズに過敏な認識システムとなる可能性
![Page 3: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/3.jpg)
Eigenboosting
従来法
Generative (生成モデル)• principal component analysis (PCA)• independent component analysis (ICA)
欠損,オクルージョンをカバー
Discriminative( 判別モデル )• クラス分類手法• linear discriminant analysis (LDA)• support vector machines (SVM)• Boosting
Generative に比較して高精度 (bag-of-keypoint など )
現実にはこれらが多く用いられる
![Page 4: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/4.jpg)
Eigenboosting
両手法の相違点
サンプルの分布による変化
![Page 5: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/5.jpg)
Eigenboosting
Discriminative モデルの問題点
トレーニングに対する性能≠実データに対する性能Ex. ノイズ,オクルージョン
非常に多数のラベル付きデータが必要
![Page 6: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/6.jpg)
Eigenboosting
Eigenboosting ( CVPR2007 )
Combining Discriminative and Generative Information• 判別,識別のための特徴と生成モデルの融合• Helmut Grabner ら ( Graz University 独)
• Discriminative• Haar-like 特徴の組み合わせ
• Generative• Haar-like による固有画像
![Page 7: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/7.jpg)
Eigenboosting
基礎技術
DiscriminativeBoosting による特徴選別
GenerativePCA によるモデル近似
![Page 8: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/8.jpg)
Eigenboosting
問題
弱識別器
強識別器
Boosting(AdaBoost)
![Page 9: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/9.jpg)
Eigenboosting
PCA
入力画像
→固有ベクトルに写像(固有値問題の解,特異値分解)
K 個で元の画像を近似
![Page 10: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/10.jpg)
Eigenboosting
Eigenboosting
Discriminative/Generative を共に考慮
Low レベルな特徴( Haar-like )を使用
DiscriminativeGenerative
• 両方で使用可能
![Page 11: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/11.jpg)
Eigenboosting
Haar-like 特徴の利用
DiscriminativeHaar-like の boosting強力な Discriminative 識別器 (Viola など )
GenerativeHaar-like を用いて固有画像( Eigenimage )を近似
• BPCA
![Page 12: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/12.jpg)
Eigenboosting
Haar-like による近似
PCA
得られる基底直交していない実用上問題ない精度で近似可能
![Page 13: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/13.jpg)
Eigenboosting
Eigenboosting
BoostingFeature pool より特徴選択 (discriminative)並行して固有画像を生成 (generative)双方を評価
![Page 14: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/14.jpg)
Eigenboosting
Mofdified boosting error-function
Discriminative Generative
パラメタにより両モデルを考慮
弱識別器
![Page 15: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/15.jpg)
Eigenboosting
Discriminative error
弱識別器
全サンプルに対するエラー
![Page 16: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/16.jpg)
Eigenboosting
Generative error
のエラー 以外を使った際の近似誤差
すべてを使った近似誤差より減算
全サンプルについて考慮, 2 値化
![Page 17: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/17.jpg)
Eigenboosting
Experiments
データセットATT databaseUIUC Image Database
再構築実験Haar-like+BPCA による再構築
• BPCA と再現率を比較識別実験
ノイズを付与 ををををををををををををを
![Page 18: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/18.jpg)
Eigenboosting
再構築実験
Haar-like+BPCA による復元の頑健さ(a) 入力画像(b)BPCA
(c)Eigenboosting
欠落を補正
![Page 19: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/19.jpg)
Eigenboosting
識別実験: ATT ノイズなし
ROC カーブによる評価ノイズなしDiscriminative な情報のみ( β=1 )が最大
![Page 20: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/20.jpg)
Eigenboosting
識別実験: ATT ノイズあり
ROC カーブによる評価ノイズありD-G 双方を考慮( β=0.5 )することで性能の低下を防止
![Page 21: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/21.jpg)
Eigenboosting
識別実験: β に対する識別性能の変化
EER誤検出率 = 未検出率の際の誤識別率
ノイズなしβ 大
• 最大の識別性能ノイズあり
β=0.5 付近• 最大の識別性能
Generative な情報ノイズに頑健
![Page 22: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/22.jpg)
Eigenboosting
弱識別器群の例
(a)β=1
(b)β=0.5
(c)β=0
β 大→多くの弱識別器がノイズを使用β 小→大まかな弱識別器が顕著
![Page 23: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/23.jpg)
Eigenboosting
おわりに
EigenboostingGenerative な要素を考慮ノイズに対し頑健Low レベルな特徴を使用( Haar-like )
![Page 24: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/24.jpg)
Eigenboosting
2 値フィルタを用いた近似
線形結合で表現
BPCAF. Tang and H. Tao. Binary principal component analysis.
In Proc. British Machine Vision Conf., volume I, pages 377-386, 2006.
![Page 25: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/25.jpg)
Eigenboosting
BPCA
(a)PCA
(b)BPCA
(c)BPCA with Block
![Page 26: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/26.jpg)
Eigenboosting
AdaBoost - Y.Freund and R.E.Schapire at 1997 –
T 個の識別器の重み付き多数決
AdaBoost 識別器の構築
``A decision-theoretic generalization of on-line learning and an application to boosting",Journal of Computer and System Sciences, 1997.
T 回繰り返す
![Page 27: Eigenboosting: Combining Discriminative and Generative Information](https://reader036.vdocuments.site/reader036/viewer/2022062315/5681515b550346895dbf7e64/html5/thumbnails/27.jpg)
Eigenboosting
強識別器
弱識別器の集合による重みつき多数決