山陰（鳥取・島根）発 新技術説明会 1

車側面に取り付けられた魚眼カメラによる車線検出

鳥取大学 大学院 工学研究科

教授 李 仕剛

2008年12月5日、科学技術振興機構 ＪＳＴホール（東京・市ヶ谷）

山陰（鳥取・島根）発 新技術説明会 2

概要

目的

背景

提案技術

実験結果

まとめ

山陰（鳥取・島根）発 新技術説明会 3

目的

カメラによる運転補助

− レーンキーピング、車線はみ出し警告、など

基本機能: − 車線検出

目標: − 車の側面に取り付けられている魚眼カメラから車線を検出

Fisheye camera

山陰（鳥取・島根）発 新技術説明会 4

背景(1)

フロントカメラによる車線の検出

− 視野がドライバーと同じ

− 車線は、前方の車両に遮断されるかもしれない

山陰（鳥取・島根）発 新技術説明会 5

背景(2)

全方位視覚センサからの車線検出

− 車の屋根にカメラを取り付ける

− 真下の車線は、車自身に遮断され、観測できない

The nearest lane markings

山陰（鳥取・島根）発 新技術説明会 6

背景(3)

FFCVS (Four Fisheye Camera Vision System) − 車の各サイドに1台の魚眼カメラで観測

− 車の周辺に死角がない

例えば、日産のAroundViewシステム

− 魚眼カメラによる車線検出が必要

Fisheye camera

山陰（鳥取・島根）発 新技術説明会 7

サイド魚眼カメラによる車線検出

魚眼カメラは半球以上の視野をもつ

− 側面にある全直線車線を観測することが可能

車自身の一部を含む側面のシーンを観測することにより

− 車線のはみ出し検出が簡単

Near lane marking

Far lane marking

Two sides of the boundaries of a lane marking

山陰（鳥取・島根）発 新技術説明会 8

解決する課題

問題定義

− 姿勢が未知であるサイド魚眼カメラから車線を検出

Near lane marking

Far lane marking

Two sides of the boundaries of a lane marking

山陰（鳥取・島根）発 新技術説明会 9

関連技術

車線検出のアプローチは、視野により以下の三つに分類

− 通常の視野が限られているカメラ

− 車の屋根に取り付ける全方位カメラ

− 車の周辺に取り付けられる複数の魚眼カメラ

山陰（鳥取・島根）発 新技術説明会 10

アルゴリズム

ブロック図:

サイド魚眼カメラから画像列を撮像

2枚の魚眼画像から直線車線の方向ベクトルを推定

ハフ変換で車線輪郭の候補を発見

RANSAK法で車線の輪郭を再フィッテング

山陰（鳥取・島根）発 新技術説明会 11

球面カメラモデルによる魚眼画像処理

ピンホールカメラモデルは、半球以上の視野を扱えない

球面カメラモデルは、任意の視野を表すことができる

魚眼画像を球面画像にマッピングして処理を行う

− 例えば、等距離射影モデルの魚眼カメラに対して、

X

YZ

θ

rx

y

P

p

O

c

f

ϕ

⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡φθ

ϕ 100fr

T

fr

fr

frm ⎥

⎦

⎤⎢⎣

⎡= cossinsincossin φφ

山陰（鳥取・島根）発 新技術説明会 12

直線車線の方向ベクトルの推定

仮定:− 魚眼カメラの姿勢が未知であるが、そのカメラがおおよそ直線車線に沿って

動く

− 車線の向きは、車の運動方向とほぼ同じ

連続に撮像された2枚の画像に対して

− 画像間の回転量が小さい

− ステレオ画像のエピポールの位置ベクトルが運動方向と一致する

2枚の魚眼ステレオ画像のエピポールの算出により車線方向を推定する

− 詳しい内容は、文献[Li and Fukumori, 2005]

山陰（鳥取・島根）発 新技術説明会 13

ステレオ魚眼画像エピポールの算出

撮像さえたステレオ魚眼画像

算出されたエピポール

運動ブラの除去

RANSAC法によるステレオ魚眼画像の基礎魚列の推定

山陰（鳥取・島根）発 新技術説明会 14

消失点と空間直線の方向ベクトル

空間直線は、球面画像上に楕円の一部として射影される

１群の並行な直線から、球面画像から１対の消失点を得る

平行な空間直線の方向ベクトルは、球面画像上の消失点の位置から算出できる Vanishing

points vnr p

P

l

山陰（鳥取・島根）発 新技術説明会 15

車線輪郭の初期位置の推定

空間直線の投影面は、その消失点と１つの投影点で定まる

１つの投影面は、唯一の法線ベクトルをもつ

その法線ベクトルは、ハフ変換で決定できる

[ ] 0)( =•× ZYXpn svr

Vanishing points vn

r p

P

l

山陰（鳥取・島根）発 新技術説明会 16

車線輪郭の初期位置の決定

エッジ点の勾配向きを用いて、車線輪郭の上側と下側を区別

勾配方向によって分けたエッジ画像

ハフ空間での投票結果

発見された車線輪郭の候補

山陰（鳥取・島根）発 新技術説明会 17

車線輪郭の推定結果の微調整

Compute the projected curve of the candidates

For every projected curve, compute the normal vector of the point on the projected curve and compare it with the gradient of edge points in the vicinity of the projected curve

For the edge points belonging to a lane marking boundary, the both should be aligned

If there is enough number of such edge points at the neighboring of the projected curve, a lane marking boundary is assumed to exist

These edge points are used to refit the projected curve of the lane marking boundary by the least-squared method

Integrate the near boundaries whose edge points have different gradient direction

山陰（鳥取・島根）発 新技術説明会 18

微調整の結果

(a)

(b)

Fig. 11. (a) The refined results for each group shown in Fig. 10 (c). (b) The found lane marking boundaries are shown together. (c) The lane markings are found by integrating the neighboring boundaries whose edge points have different gradients directions.

(c)

山陰（鳥取・島根）発 新技術説明会 19

実験

トヨタの車の側面にソニーのビデオカメラを取り付ける

そのビデオカメラにオリンパスの魚眼コンバージョンレンズをマウントする

The Side Fisheye Camera

Fig. 12. The vehicle and the fisheye camera used in this research. The fisheye camera is mounted at the side of the vehicle.

山陰（鳥取・島根）発 新技術説明会 20

他の実験結果

山陰（鳥取・島根）発 新技術説明会 21

まとめ

サイド魚眼カメラから車線検出法を提案

− 利点:全直線車線が観測できる

より正確な車線を推定できる

車線のはみ出しを簡単に発見できる

− 課題:より複雑な環境での実験

想定された業界

自動車メーカー

自動車部品メーカー

山陰（鳥取・島根）発 新技術説明会 22

お問い合わせ先

鳥取大学 産学・地域連携推進機構

知的財産管理運用部門

佐々木 茂雄

ＴＥＬ 0857－31 － 6000

ＦＡＸ 0857－31 － 5474

e-mail s.shigeo＠cjrd.tottori-u.ac.jp

山陰（鳥取・島根）発 新技術説明会 23

おわり

ご清聴、ありがとうございます

山陰（鳥取・島根）発 新技術説明会 24

鳥取大学 大学院

工学研究科 李 仕剛