multi scale recognition with dag-cnns

Multi Scale Recognition with DAG-CNNs

2016 年 2 月 6 日山本　大輝（ @tereka114 ）

Self Introduction

1. 山本　大輝2. Acroquest Technology 株式会社 (2015.4.1 〜 )3. システム系のエンジニア4. Twitter （ @tereka114 ）5. CV 勉強会 参加 2 回目です。（発表 1 回目）6. Blog: 「のんびりしているエンジニアの日記」

1. http://nonbiri-tereka.hatenablog.com/

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

なんでこの論文？1. CNN って特徴量抽出しているって言われているが、それを検証していたのが興味深い。2. DAG は Directed acyclic graph （有向非循環グラフ）です。

1. 最近、複雑な構造なネットワークが多い2. レイヤーを統合していく考え方が増えてきている。

論文の概要1. 複数のレイヤーの結果を使う DAG-CNNs を実装、実験した。2. 複数のレイヤーの結果を使うことにより、 high,middle,low-level な特徴量を活用した。3. DAG-CNNs により、 MIT67,Scene15,SUN397 のエラー率を下げた。

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

Convolutional Neural Network の比較

Convolutional Neural Network の比較

1P でわかる CNN

LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P. (1998d). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324

従来までのConvolutional Neural Network1. Single Output CNN

1. 最後のレイヤーのみの情報を使う。2. 非常にシンプルな構造である。2. Multi Scale CNN

1. 結合しているのみなので、非常に高次元のデータを生成する。2. 学習が難しく、過学習が生じやすい。

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs の解説5. Experiments6. Conclusion

レイヤーにおける特徴差分の検証1. 情報検索を用いた手法で検証し、 query 画像からの距離を計算し近い 7 画像を出力する。2. 得たレイヤーの出力を Support Vector Machine(SVM,

One-VS-All) で分類した。3. 各レイヤーの出力で分類を実施し、その際の結果を K

x N で可視化し、ソートを実施した。

情報検索を用いた手法1. 情報検索を実施し、各レイヤーで取得できる出力を元に検索した。2. 手順は以下の通り

1. 学習して、出力した各層の出力の L2 距離を求めた。2. 距離の近い上位 K （ =7 ）件を抽出する。

情報検索を用いた手法

特徴量のレベルによる差分

クエリ

複数のレイヤーの結果から予測1. 複数のレイヤーの結果に対して予測し、グラフ化した。2. 各レイヤーの出力に対して SVM で One vs All の手法により、 K クラスに分類するタスクを実施した。3. High Lavel な特徴ほど、良い結果を示している。

各レイヤーの情報を用いた分類結果

複数のレイヤーの結果から予測1. 各クラスについて、分類を実施した。2. 分類結果について、可視化を実施し、ヒートマップとした。その上で各層ごとに最も高い正答率にてソートした。

各層とクラスの正解率のマップ最も多いクラス

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

DAG-CNNs

DAG-CNNs の学習• 今回は以下の式を最適化する。

入力 教師

誤差関数

Convolution の重み

K=Layer 数、 x = 学習データ y = 学習ラベル

DAG-CNNs の学習• 今回は以下の式を最適化する。

入力 教師

誤差関数

Convolution の重み

K=Layer 数、 x = 学習データ y = 学習ラベル

BP で解く

DAG-CNNs

DAG-CNNs の学習Convolution Layer の入力

出力

DAG-CNNs の勾配の計算方法

Chain Rule

Vanishing Gradient Problem

1. 低層レイヤーまでに勾配情報が消えている問題のこと。2. 通常、深くなっていくと勾配情報が消えていくとされている。

1. 直接つないでいるので低層も問題なく学習できる。

Gradient based learning

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

Experiments

1. 分類データセットの Accuracy による評価を実施した。1. SUN397

1. 100K の画像と 397 カテゴリー、景観画像の分類2. MIT67

1. 15K の画像と 67 カテゴリー、室内画像の分類3. Scene15

1. 外と中の景観画像

Evaluation

MIT67 の Classification Result

Outline

1. 論文の概要2. Convolutional Neural Network とその後の比較3. 特徴マップの Scale の比較4. DAG-CNNs5. Experiments6. Conclusion

Conclusion

1. Low Level から High Level までの特徴について、様々な実験を用い、検証した。2. 上記から、ネットワーク DAG-CNNs を提唱した。

1. 各層の活性化関数の出力を合計する。3. 実験より、特に MIT67 によるデータ・セットに対し、成果をあげることができた。