Unified real-time tracking and recognition with rotation-invariant fast features

後藤祐斗

2

キーポイント検出と特徴量記述の変遷

回転に不変な特徴量記述の高速化

3

Mobile Augmented Reality(MAR)• 携帯端末で拡張現実

持ち方による見えの変化 回転に不変低スペック 省メモリかつ高速なアルゴリズム

携帯端末では SIFT や SURF による処理が困難

頑健，高速，省メモリな特徴量記述が必要

ARTOOLWORKS より抜粋

4

• SIFT– キーポイント検出

• スケールとキーポイント検出• キーポイントのローカライズ

– 特徴量記述• オリエンテーションの算出• 特徴量記述

特徴量記述

SIFT ：処理コストは高いが高精度

SURF ： SIFT の高速化

デスクトップ PC

携帯端末

RIFF ：高速化及び省メモリ化

5

Rotation-Invariant Fast Feature(RIFF)• 回転に不変な勾配方向の取得

– キーポイントを中心とした法線ベクトル , 接線ベクトルを求める

– 勾配方向を r － t 空間のローカル座標系に投影

𝒄

𝒓𝒕 𝐠

𝒑

𝒓 ′

𝒕 ′

𝐠 ′ 𝒑 ′𝜽

キーポイント中心　注目座標　勾配方向　回転変化法線ベクトル　接線ベクトル　回転行列　

𝑅𝜃𝒑=𝒑 ′ ,𝑅𝜃𝒓=𝒓 ′ ,𝑅𝜃𝒕=𝒕′ ,𝑅𝜃𝒈=𝒈 ′r － t ローカル座標に投影することで回転に不変な勾配方向を取得

6

Rotation-Invariant Fast Feature(RIFF)

　　

回転に不変な勾配方向を取得

回転変化に依存しない勾配方向を取得

7

Rotation-Invariant Fast Feature• 特徴量記述

– 1 ピクセル刻みで勾配を算出 → 高速化– ヒストグラムの作成

• サイズの異なる 4 つの同心円に領域分割• それぞれの領域において r – t 座標系よりヒストグラムを作成

– ヒストグラムは 5×5 スカラー量子化範囲– 特徴次元数は 4 × 25 =100 次元

スカラー量子化範囲円形パッチ

8

キーポイントによる評価実験

• キーポイントは FAST により検出• 実験環境

– 15fps, 320×240 サイズの動画 × 2– 処理端末

• 携帯 NokiaN900(ARM プロセッサ , 600MHz)• ノート PC IBMT43(PemtiumM, 1.8GHz)

• 比較手法– KLT [Bruce D. Lucas and Takeo Kanade, IJCAI1981]– RIFF

9

評価結果

ノート PC では約 10 倍，携帯端末では約 26 倍高速

10

画像認識による評価実験

• 画像データベースから画像検索– 2,000 ~ 1,000,000 枚のデータベースから検索– 入力画像を 5° 刻みで回転させて評価– 正解率の平均値を比較– 比較手法

• SIFT, SURF, RIFF

11

認識結果

RIFF は回転に不変な追跡が可能