relational binarized hog特徴量とreal adaboostによるバイナリ選択を用いた物体検出
TRANSCRIPT
Relational Binarized HOG特徴量と Real AdaBoostによるバイナリ選択を用いた物体検出
松島千佳山内悠嗣藤吉弘亘(中部大学)
山下隆義(中部大学オムロン株式会社)
1
ハードウェアを用いた物体検出
2
物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]
bull 局所領域における輝度の勾配方向に着目
ndash 物体の形状を表現可能
ndash 局所的な幾何学変化に頑健
入力画像
16セ
ル
8セル
HOG特徴量 1セル 8x8ピクセル
26880バイト 特徴量数3360 個
浮動小数点型8 バイト
勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
1つのウィンドウにおけるメモリ量
125GB サイズ640x480ピクセル
ウィンドウ数50000 個
画像1枚におけるメモリ量
3
1 特徴量数(次元数)を削減
ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減
ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減
2 低ビット量子化により情報量を削減
ndash スカラー量子化
ndash 2値化
メモリ量の削減法
4
元の情報量は維持されるが処理コストは高い
元の情報量は削減されるが処理コストは低い
閾値処理によるHOG特徴量の2値化
bull Binarized HOG特徴量 (B-HOG)
ndash 固定閾値による閾値処理
ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量
ndash 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を164に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
閾値
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
ハードウェアを用いた物体検出
2
物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]
bull 局所領域における輝度の勾配方向に着目
ndash 物体の形状を表現可能
ndash 局所的な幾何学変化に頑健
入力画像
16セ
ル
8セル
HOG特徴量 1セル 8x8ピクセル
26880バイト 特徴量数3360 個
浮動小数点型8 バイト
勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
1つのウィンドウにおけるメモリ量
125GB サイズ640x480ピクセル
ウィンドウ数50000 個
画像1枚におけるメモリ量
3
1 特徴量数(次元数)を削減
ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減
ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減
2 低ビット量子化により情報量を削減
ndash スカラー量子化
ndash 2値化
メモリ量の削減法
4
元の情報量は維持されるが処理コストは高い
元の情報量は削減されるが処理コストは低い
閾値処理によるHOG特徴量の2値化
bull Binarized HOG特徴量 (B-HOG)
ndash 固定閾値による閾値処理
ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量
ndash 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を164に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
閾値
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
物体検出に有効なHOG特徴量 [Dalal et al CVPR lsquo05]
bull 局所領域における輝度の勾配方向に着目
ndash 物体の形状を表現可能
ndash 局所的な幾何学変化に頑健
入力画像
16セ
ル
8セル
HOG特徴量 1セル 8x8ピクセル
26880バイト 特徴量数3360 個
浮動小数点型8 バイト
勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
1つのウィンドウにおけるメモリ量
125GB サイズ640x480ピクセル
ウィンドウ数50000 個
画像1枚におけるメモリ量
3
1 特徴量数(次元数)を削減
ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減
ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減
2 低ビット量子化により情報量を削減
ndash スカラー量子化
ndash 2値化
メモリ量の削減法
4
元の情報量は維持されるが処理コストは高い
元の情報量は削減されるが処理コストは低い
閾値処理によるHOG特徴量の2値化
bull Binarized HOG特徴量 (B-HOG)
ndash 固定閾値による閾値処理
ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量
ndash 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を164に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
閾値
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
1 特徴量数(次元数)を削減
ndash ベクトル量子化 bull クラスタリングにより特徴量数を削減
ndash 主成分分析 bull 部分空間に射影することにより特徴次元を削減
2 低ビット量子化により情報量を削減
ndash スカラー量子化
ndash 2値化
メモリ量の削減法
4
元の情報量は維持されるが処理コストは高い
元の情報量は削減されるが処理コストは低い
閾値処理によるHOG特徴量の2値化
bull Binarized HOG特徴量 (B-HOG)
ndash 固定閾値による閾値処理
ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量
ndash 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を164に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
閾値
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
閾値処理によるHOG特徴量の2値化
bull Binarized HOG特徴量 (B-HOG)
ndash 固定閾値による閾値処理
ndash 8方向のバイナリ(バイナリパターン)で1つの特徴量
ndash 符号なし整数型で扱うことが可能
5
(0 1 1 1 1 0 0 0 )2
B-HOG特徴量
HOG特徴量と比較してメモリ量を164に削減
0
1
入力画像 勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
閾値
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
1 最適な閾値が必要
2 同一のバイナリパターンとして扱うことが困難
ndash 閾値との差が小さい場合容易にバイナリが反転
B-HOG特徴量の問題点
6 入力画像
勾配方向 勾
配強
度
勾配方向
勾配
強度
0
1
閾値 (0 1 1 1 1 0 0 0 )2
0
1
閾値 (0 1 1 1 0 0 0 0 )2
7 ( )16 8
7 ( )16 0
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
提案手法
1 Relational Binarized HOG特徴量 (RB-HOG)
ndash 2つのセルから得た特徴量の大小関係により2値化
2 ldquordquoを用いた識別に有効なバイナリ選択
ndash 容易に反転するバイナリをldquolowastrdquoで表現 bull ldquordquoはldquo0rdquoとldquo1rdquoの2値を許容
7
閾値が不要でありメモリ量の削減が可能
特徴量の表現能力が向上
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
bull 2つのセルから得た特徴量の大小関係により2値化
ndash 閾値(パラメータ)が不要
ndash 局所領域間の関係性を表現
ndash HOG特徴量における正規化処理を必要としない
入力画像
Relational Binarized HOG特徴量 (RB-HOG)
8
RB-HOG特徴量
0
1
勾配方向
1 2 3 4 5 6 7 8 勾
配強
度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
( 1 1 1 1 0 0 0 1 ) 2
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
類似した形状から得られるRB-HOG特徴量
bull 勾配強度が同じ場合明確な2値で表現困難
9
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
勾配強度の差
一
0
1
RB-HOG特徴量
( 0 1 1 1 0 0 1 1 ) 2
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
10
0
1
勾配強度の差
一
0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量)
( 0 1 1 1 0 0 1 1 ) 2 s = 0
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
11
1方向シフト (s = 1) SRB-HOG特徴量
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
0
1
勾配強度の差
一
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
入力画像
勾配方向
1 2 3 4 5 6 7 8
勾配
強度
12
SRB-HOG特徴量 7方向シフト (s = 7)
hellip
SRB-HOG特徴量
( 1 1 0 0 0 0 0 1 ) 2 s = 7
( 0 1 1 1 0 0 1 1 ) 2 s = 0
( 0 0 0 1 1 1 1 0 ) 2 s = 1
勾配
強度
勾配方向
0
1
勾配強度の差
一
Shifted Relational Binarized HOG特徴量 (SRB-HOG)
bull 一方のヒストグラムの勾配方向をシフト ndash 「シフトなし」から「7方向シフト」まで8パターン
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
SRB-HOG特徴量の効果
13
勾配強度の差が少ないバイナリでも明確な2値化が可能
1 2 3 4 5 6 7 8
勾配
強度
0方向シフト (s = 0) 1 2 3 4 5 6 7 8
勾配
強度
4方向シフト (s = 4)
勾配
強度
5 6 7 8 1 2 3 4
一
勾配強度の差
s = 0 ( 0 1 1 1 0 0 1 1 ) 2
勾配強度の差
s = 4 ( 1 1 1 1 0 0 0 1 ) 2
一
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
2 ldquordquoを用いた識別に有効なバイナリ選択
14
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
bull 勾配強度の差が小さい場合反転する可能性あり
ndash 信頼性が低いバイナリが存在する場合誤検出の要因
ldquordquoの導入
15
1 1 1 0 0 0
ldquolowastrdquoによる表現 ldquolowastrdquoを用いることにより
表現されるパターン
11100000
11110000
11100001
11110001
反転しやすいバイナリにldquo0rdquoとldquo1rdquoを許容するldquordquoを導入
類似した複数の特徴量を1つのパターンで表現
SRB-HOG特徴量
4方向シフト (s = 4)
勾配方向 1 2 3 4 5 6 7 8
勾配
強度
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
勾配
強度
勾配方向
( 1 1 1 1 0 0 0 1 ) 2
勾配強度の差
一
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
bull 全組み合わせを考慮
ndash ldquordquoの位置
ndash ldquordquoの数
一組のセルにおける弱識別器の候補数
16
00000000 00000000 00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
00000000 0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
0000000lowast
lowastlowastlowastlowastlowastlowast0lowast
000000lowast0 hellip
lowastlowastlowastlowastlowastlowastlowast0
hellip hellip hellip
hellip hellip
全ての組み合わせから識別に有効なパターンを選択
バイナリ数
(0 1 )
38 = 6561パターン
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
Real AdaBoostの弱識別器
bull 各クラスの重みつき頻度により対数比を出力
ndash 対象パターンと抽出パターンの一致不一致により算出
17
1 1 1 0 0 0
対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x)
一致
頻度
不一致
各クラスの重み付き頻度
ポジティブクラス ネガティブクラス
W-
W+
1- W-
1- W+
11100000
11110000
11100001
11110001
00000010
hellip
hellip
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
評価実験
bull 実験内容 ndash 実験1 RB-HOG特徴量の有効性を確認
ndash 実験2 バイナリ選択の有効性を確認
bull 比較手法 ndash HOG特徴量 (HOG)
ndash Binarized HOG特徴量 (B-HOG)
ndash Relational Binarized HOG特徴量 (RB-HOG)
ndash RB-HOG特徴量+勾配方向のシフト (SRB-HOG)
bull 評価方法 ndash DET (Detection Error Tradeoff)カーブ
bull 原点に近いほど検出器の性能が高い 18
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
データセット
19
データセット 学習用 評価用
ポジティブ ネガティブ ポジティブ ネガティブ
INRIA person dataset 2415 12180 1126 453
車両のデータセット 710 8800 1230 3880
ポジティブサンプル
ネガティブサンプル
INRIA person dataset
ポジティブサンプル
ネガティブサンプル
車両のデータセット
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
実験1 RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG RB-HOG
1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
B-HOG
SRB-HOG RB-HOG
HOG
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
実験2 バイナリ選択の有効性を確認
21
1
10
100
Mis
s r
ate
[
]
01 0001 001 10 100 False positive per window (FPPW) rate []
(a) INRIA person dataset
HOG SRB-HOG (なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリをldquordquo により抑制可能
SRB-HOG (あり) 1
10
100
Mis
s r
ate
[
]
10 01 100 False positive per window (FPPW) rate []
(b) 車両のデータセット
HOG
SRB-HOG (あり) SRB-HOG (なし)
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
考察選択されたldquordquoの数の割合
22
SRB-HOG B-HOG
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
(a) INRIA person dataset
B-HOG SRB-HOG
(b) 車両のデータセット
0 1 2 3 4 5 6 7 の数
000
005
010
015
020
025
頻度
SRB-HOG特徴量はB-HOG特徴量より ldquordquoの数が少ない
ldquordquoで表現されたバイナリはldquo0rdquoかldquo1rdquoか不明確
ldquordquoの数が少ないほど曖昧なバイナリが少ない
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
メモリ量と処理時間の比較
bull 特徴抽出に必要なメモリ量の比較
bull 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 391 050 049 098
処理時間[s] 539times10minus10 540times10minus10 270times10minus10 270times10minus10
メモリ量を約75削減
HOG特徴量のバイナリパターン化
処理時間を約50削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64times128ピクセル)当たりの計測結果
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24
まとめ
bull RB-HOG特徴量とReal AdaBoostによる
バイナリ選択を用いた物体検出
ndash Relational Binarized HOG特徴量 bull 2つのセルから得たHOG特徴量の大小関係により2値化
bull Sifted Relational Binarized HOG特徴量
ndash 勾配方向をシフトして大小関係により2値化
ndash 勾配強度の差が小さい場合でも明確な2値化が可能
ndash ldquordquoを用いた識別に有効なバイナリ選択 bull 容易に反転するバイナリをldquordquoで表現
bull 今後の予定 ndash 効率の良いSRB-HOG特徴量の学習手法を検討
24