Joint特徴量を用いた人検出

　中部大学 藤吉研究室

はじめに

•  Real AdaBoost –  AdaBoostと異なる点 – アルゴリズムについての解説

•  Joint特徴量 – 手法の解説

Real AdaBoost

AdaBoostとReal AdaBoost

•  AdaBoost(Discrete AdaBoost) – 学習サンプルの重みを適応的(adaptive)に更新 – 弱識別器の出力(+1,-1)にαで重み付けて結合することで最終識別器を構築

•  Real AdaBoost – 弱識別器の出力が特徴量の確率密度分布に応じて多値化

– 学習の収束が早い •  少ない弱識別器で高精度な検出

弱識別器の重みαが不要 →出力値の線形和で識別器を構築可能

[R. E. Schapire et al, Machine Learning(1999)]

(real)

学習アルゴリズム1,2

学習アルゴリズム1,2

•  前処理 –  N個の学習サンプル

•  : 画像 •  : クラスラベル

–  人には+1, 非人には-1

•  学習サンプルの重みの初期化 – 各サンプルの重み　 を均等にする

学習アルゴリズム3.1

ネガティブサンプル（ ）

学習アルゴリズム3.1

•  確率密度分布の作成 – 特徴量をBINに変換しサンプルの重みを足し合わせる

0 1 2 … 62 63

出現確率

特徴量 j （BIN） 0 1 2 … 62 63

出現確率

特徴量 j （BIN）

ポジティブサンプル（ ）

学習アルゴリズム3.2

学習アルゴリズム3.2

•  弱識別器の評価値算出 –  2つの分布のBhattacharyya距離で分離度を求める – 分離度が高い→識別に有効な特徴量

出現確率

特徴量 j （BIN）

小 = 分布が分離しずらい →識別に有効ではない

大 = 分布が分離しやすい →識別に有効

評価値 :

出現確率

特徴量 j （BIN）

学習アルゴリズム4

= 0.15, = 0.15

= 0.0

学習アルゴリズム4

•  全ての弱識別器候補から最もzが高いものを選択

– 弱識別器の出力

: 学習ラウンド : 弱識別器の番号

( )

= 0.1, = 0.2

= -1.39

= 0.26, = 0.12

= 1.54

出現確率

特徴量 j （BIN）

出現確率

特徴量 j （BIN）

出現確率

特徴量 j （BIN）

学習アルゴリズム5

•  学習サンプルの重みの更新

•  学習サンプルの重みの正規化

学習アルゴリズム5

= 0.15, = 0.15 = 0.0

= 0.1, = 0.2 = -1.39

= 0.26, = 0.12 = 1.54

出現確率

特徴量 j （BIN）

出現確率

特徴量 j （BIN）

出現確率

特徴量 j （BIN）

ポジティブ サンプル

ネガティブ サンプル

重みを高く 重みを低く

ポジティブ サンプル

ネガティブ サンプル

重みを低く 重みを高く

ポジティブ サンプル

ネガティブ サンプル

重みはそのまま

学習アルゴリズム6

学習アルゴリズム6

•  強識別器の生成 – 弱識別器の線形和

•  AdaBoostのように重みαは必要ない

–  Hが閾値値より高ければ人、低ければ非人と判定

Joint特徴量

Joint特徴量の考え方

•  人の形状特徴

単一のHOG特徴量 Joint特徴量

従来法 提案手法

•  異なる2つの領域のHOG特徴量をReal AdaBoostにより組みわせる

Joint特徴量による人検出

HOG特徴量

Joint特徴量プール

人/ 人以外

人/ 人以外

人/ 人以外

人/ 人以外

入力画像

局所領域間の関係を見る：共起性をとらえる特徴量を生成

… … … … … …

… … …

… … …

…

…

… …

学習の流れ

•  2段階にReal AdaBoostを構築 •  1段階目のReal AdaBoostで局所領域間における強識別器を生成→Joint特徴量プール →Joint特徴プールから識別に有効なものを選択

HOG特徴量 Joint特徴量プール 最終識別器

共起を表現した特徴量

•  Real AdaBoostを用いて、識別に有効な特徴量の組み合わせを自動選択

•  しきい値により2値化した特徴量を組み合わせる 同時に複数の特徴量を観測

特徴選択

特徴選択

人 : 1 / 人以外 : 0

人 : 1 / 人以外 : 0

HOG特徴量

条件付き確率分布

[Mita et al. PAMI `08]

識別実験結果1

•  学習用画像データ　Positive：2,053枚　Negative：6,253枚 •  評価用画像データ　Positive：1,000枚　Negative：1,234枚

誤検出率1.0%の時、検出率11.4%向上

検出例

誤検出が発生

•  他の物体にはない特有の動き – 非剛体のため、部位ごとに異なる動き – 軸足が静止している間、もう一方の足は動作

さらに高精度な検出を行う為に

人 : 非剛体の動き 人以外 : 剛体の動き

ピクセル状態分析(Pixel State Analysis：PSA)※ H. Fujiyoshi et al, “Layered Detection for Multiple Overlapping Objects”, IEICE Transactions on Information and systems, 2004.

時空間特徴 : PSA特徴量の抽出

t

BG : 背景 ST : 静状態 TR : 動状態

1セル：5×5ピクセル BG　ST　TR

ピクセル数

ピクセル状態ヒストグラム

HOG特徴量とPSA特徴量の例

背景 静状態動状態

入力画像

HOG特徴量

PSA特徴量

目的 : 人の動きと見えを同時に捉える

•  異なる2つの局所領域における特徴量を自由に組み合わせる

人 / 人以外

HOG特徴量

PSA特徴量

…

H ( , ) 9, 17 人 / 人以外 …

H ( , ) 14, 39 人 / 人以外 …

…

H ( , ) 51, 58 人 / 人以外

Joint特徴量プール

異なる特徴量間の共起性を捉える

提案手法と従来法の人検出例

従来法：アピアランスのみ(HOG特徴量) 提案手法：アピアランスと時空間特徴(Joint特徴量)

識別実験結果2

•  学習用画像データ　Positive：2,053枚　Negative：6,253枚 •  評価用画像データ　Positive：1,000枚　Negative：1,234枚

誤検出率1.0%の時、検出率39.2%向上

学習サンプルのアピアランスと時空間特徴

•  全学習サンプルの平均パターンを算出 –  勾配画像 :輪郭情報 –  背景 :シルエット情報 –  動状態 :頭部と脚部に分布 –  静状態 :上半身に分布

動状態の平均画像 静状態の平均画像 平均勾配画像 背景の平均画像

ピクセル状態分析

前景 背景

•  学習の初期 – 時空間特徴(PSA特徴量) ： 動きの情報で大まかに判別

•  約5ラウンド以降 – アピアランス(HOG特徴量) ： 人の見え方で細かく判別

学習により選択された特徴量

t:学習ラウンド[回]

アピアランスの割合

[%]

1 25 50 75 99 0

20

40

60

80

100 0

20

40

60

80

100 時空間特徴の割合

[%] t = 1 t = 3 t = 97 t = 99

アピアランス

時空間特徴

人検出例と人数カウント

おわりに

•  Real AdaBoostのアルゴリズムについての解説 •  Joint特徴量を用いた人検出についての解説