自律走行と走行用地図について...自律走行と走行用地図について...

自律走行と走行用地図について

2013年12月6日

豊田工業大学

三田誠一

発表内容

• 自動運転の世の中の状況

• 実験用車両の構成

• 自律走行のための基本事項 SLAM (Simultaneous Localization and Mapping)

– 地図データベース

• 自己位置推定に関する現在の取り組み – Lidar + 地図 – OpenStreetMapを用いたデータベースの作成 – 安価なGPSを使ったデータ取得

Toyota Technological Institute at Chicago

(TTIC)

自動車開発ニーズ

情報科学の

基礎理論開拓

豊田工業大学

スマートビークル研究センター （設立2010年）

運転支援および自動運転システムのための基礎理論とその応用技術の研究

連携および研究協力大学

センター直属グループ

電磁システム研究室

知能数理研究室

トヨタグループ

企業

研究者および学生交流など

名古屋大学 上海交通大学

北京大学など

知的情報処理研究室

研究組織

豊田工業大学

スマートエネルギー技術

研究センター

自動運転の世の中の状況

(1) Google self driving car:通算無事故走行距離＞５００，０００Km (2) Vislab car Parma:周辺の高速道、郊外、市街道路 ステレオカメラ主体 (3) Mercedes-Benz car:マンハイムからプフォルツハイムまで 103キロメートル ステレオカメラ＋ミリ波レーダ

市街地も含めた一般道走行例

名称 搭載機器

Google Bosch ２０１３年６月

Nissan ２０１３年６月

Toyota Benz

LIDAR Velodyne ( HDL-64E)

Velodyne ( HDL-64E)

５（前方左右

後方側部左右、後方）

有

Camera 有

Stereo １ Mono １

５（前後方、 サイドミラー部 バックミラー部）

有

Stereo １ Mono 前後 2

ミリ波 長距離 ２ 中距離 ６

有

有（車々間通信）

長距離 前後 2 中距離 前後 2 側方長距離 左右 2

超音波 有

Bosch Nissan （日経新聞より） （Wall street Journalより） （東洋経済より）

Toyota （日経新聞より）

Benz Google （Google home page より）

最近の試作車代表例

２０２５ ２０２０ ２０１５ ２０３０

Bosch 高速道路限定 運転者常時監視(2016)

高速道路限定 運転者常時監視不要

高速道路全体 （インタチェンジ、料金所）

一般道路全体

Nissan 自動運転車製品化

Google 自動運転車実用化（2017） Driverless Taxi

国土交通省 有識者 検討会

高速道路本線限定 高速道路、合流部分 や渋滞多発部分を含む

Traffic Jam assist 低速自動走行（50Km/h以下）(2014）

Volvo Audi Ford

Mercedes-Benz

高速道路での自動走行（200Km/hまで）(2014）

オートメイテッド ハイウェイ ドライビング アシスト(AHDA) Toyota

オートパイロット

ITS2013 世界会議 シンポジウム

Level 2 Combined functions

Level 3 Limited Self-driving

Level 4 Full self-driving

Driverless Taxi

Lane keeping assist Auto cruse control

実現年代

実験用車両の構成

実験用車両外観

Side Camera

Bumblebee Stereo Camera

Grasshopper Front Camera

Velodyne Lidar

Ibeo Lidar

POS/LV GPS

Ladybug Camera

ハードウェア構成

Interfaces

USB3.0 IEEE1394b

Grasshopper

GS3-U3-28S4C-C

Bumblebee

BBX3-13S2C-38

IEEE1394b

Ladybug NTSC

Estima’s Camera

Side Camera

Front & Rear Camera

CAN

Vector

VN1610

USB2.0

GPS

Cheap GPS

Module

GPS

POS/LV

Ethernet

&RS232C

Ethernet

Ethernet

Lidar

Velodyne

HDL-32E

Ibeo

ALASKA Rotary Encoder

研究具体例

ステレオビジョンシステム

ディスパリティ真値 提案手法（マルチパスビタビ）

走行経路計画

提案手法 （サポートベクターマシン）

典型的他手法 （ボロノイダイアグラム）

狭路自動駐車システム 統合化環境認識システム

生成経路例 SLAM

必要装備追加 統合ソフトウェアと データベース整備

認識系整備

バーチャル走行実験例

本学校内 名古屋駅前周辺

統合化環境認識システム

ランドマークをもとにした位置推定

Android GPS OSM Road Database

Detect Current Road

CAN Data (Velocity, Yaw Rate)

Traffic Light Database

White Line Database

OSM Building Database

Lidar Data

Estimate Current Position, Current Lane

Kalman Filter

Image Data

Particle Filter

走行に必要な情報の例

• 画像特徴量

• 白線・信号機のランドマーク

SURF特徴量 ORB特徴量

白線検出

ステレオビジョンシステム

高速道入口

障害物への安全距離 大きく

走行距離 短く

ギア切り換え回数 少なく

曲率 小さく

1

1 2 1

1 1

( ) ( ) | ( ) ( ) |N N

i i i i

i i

C p w d p w g p g p

1

3 4

1 1

| ( ) |N N

i i

i i

w p w p

Closeness to

obstacles

Gear change

g = 1: forward

g = -1: backward

Distance between

path points

Curvature

狭路自動駐車アルゴリズム

Support vector machine + Fast marching method

18

Proposed method Hybrid A*and Risk Potential

Case A Unstructured map with complicated obstacles’ shapes

Method H-A*+RP Proposed method

Safety Margin for Obtained

Paths (cell) 4.783 5.9611

Number of gear change 3 1

Average curvature 0.218145 0.17069

Average computation time (ms) 561 234

実験結果

19

Case B SLAM of real cluttered environment

Proposed method Hybrid A* and Risk Potential

Method H-A*+RP Proposed method

Safety Margin for Obtained

Paths (cell) 17.3708 19.1896

Number of gear change 4 2

Average curvature 0.218145 0.17069

Average computation time (ms) 145 317

自律走行のための基本事項

自己位置推定に対する考え方

（１） 簡単な地図情報と高精度観測情報 （２） 詳細な地図情報と簡易な観測情報 （３） 詳細な地図情報と高精度観測情報

観測は天候、照明条件、車両周辺の交通状況により、常に変化！

詳細な地図情報で補間

センサ固有のスティルス特性

LIDAR : 吸収性塗料、高反射物体、降雪 カメラ ： ガラスなどの透明物、霧、雪 ミリ波 ： ピンポイント検出 超音波 ： 長距離にある物体 GPS : 電波遮蔽物(地下道）

地図情報の利用 どのようなデータを地図に含めるべきか?

– 緯度、経度、高度 – 白線、信号機 – 道路の形状データ – 曲率 – Pitch角 – 縁石 – 進入禁止 – 制限速度 – 停止線 – 横断歩道 – 街路樹、植込み – 電柱位置: 歩行者との区別 – 交差点の構成 高速道路では他に – 側壁位置 – 合流点、分岐点 – 車線数 走行レーン位置を地図に書き込む

（白線検出の有無にかかわらず）

地図の利用例

フィンランドNokiaは9月10日（現地時間）、独自動車大手Daimler傘下のMercedes-Benz、自動車部品大手の伊 Magneti Marelliおよび独Continentalと、自動運転機能を含む地図ソリューション「HERE Connected Driving」構築で提携したと発表した。Mercedes-Benzが、同日から独フラン

クフルトで開催の国際モーターショーで同ソリューションのデモを行う。

NokiaがNavteq（地図作成会社）を買収

自己位置の予測と確認

現在位置

車両の運動モデル

を考慮した地図による次位置の予測

観測による 確認

現在位置

観測による 次位置の予測

従来

現在 センサごとに確認内容が異なる

SLAM • Simultaneous Localization and Mapping

– センサの観測情報から自己位置推定と環境地図を同時に行う

– 観測地図を作成 相対的な位置の推定

地図例：3D SLAM @ TTI

150m

地図例：3D SLAM @ Nagoya St.

350m

歩行者・車両を除去するため地上3[m]の点群から地図を作成

Ｓｕｒｆ特徴量によるマッチング

29

0 50 100 150 200 250 3000

0.01

0.02

0.03

0.04

0.05

0.06

位置決め結果

フレーム数

誤差

自己位置推定に関する 現在の取り組みについて

自己位置推定

• リアルタイムな自己位置推定 – 作成した地図とセンサの観測から位置を推定

• MCL (Monte Carlo Localization) • UKF (Unscented Kalman Filter)

– 事前に作成する地図 • 2次元レーザスキャナで作成したSLAM地図

– 画像データ

• 3次元レーザスキャナで作成したSLAM地図 – 3次元点群データ

• その他 – 各地点の画像特徴量 – ランドマーク情報

確率分布による自己位置の推定

• Monte Carlo Localization (MCL) • 車の状態(位置(x,y),姿勢θ )を粒子による確率分布で表現

• センサデータにより確率分布を補正・更新して状態を推定

予測 重み付け リサンプリング

真の値

状態空間

ｘ

𝑋𝑡−1 𝑋 𝑡 𝑋𝑡

Lidar+2D地図の自己位置推定

• Velodyneの観測点を3段階の高さで分割

– 各高さごとの地図を作成

• 位置推定：Particle Filter

– センサ：Velodyne, オドメトリ, GPSの差分値

1.0-1.5 [m] 1.5-2.0 [m] 2.0-2.5 [m]

Localization Results (z=1.0m)

Localization Results (z=1.5m)

Localization Results (z=2.0m)

OpenStreetMap

• GoogleMapと同様ベクトルデータの地図

– ユーザが地図を更新可能

– 全世界のデータをダウンロード可能

OpenStreetMapの地図データ

OSM

Download Rawdata

Extract “road” data

Save as a map-database

OSM Data + GPS Data

OSM Data + GPS Data

Localization (Velodyne)

OSM building data

Point Data

Apply Particle Filter

Velodyne data

Extract z>0 (higher than estima)

White Line Database（１）

Transform to Latitude & Longitude

OpenStreetMap Data

White Line Database（２）

確認できていること

• Particle Filterによる位置推定

– 全体的には良好

– 市街地の場合は高い地点の情報が有効

• 課題

– 画像として地図は敷地内など範囲が限定される

– 点群の場合も全地形データでは容量が多すぎる

• 必要な特徴を整理してデータ量の削減が必要

安価なGPSを用いたデータ計測（１）

• 携帯電話用のGPSの活用

– 緯度経度を取得

• 日本国内の場合はAGPSによるサポート

– 速度や方位は不安定

– 更新間隔(1[sec])

Bluetooth

安価なGPSを用いたデータ計測（２）

• PA6C, GlobalTop

– 2cm程度のアンテナ内蔵小型GPSモジュール

– 緯度経度を取得

– 更新間隔(100[msec])

名古屋駅–栄 (Android, 4km/h)

Android GPS (5km/h-10km/h)

PA6C GPS (5km/h-10km/h)

市内で計測したGPSデータ

• ◎：1[m]以下

• ○：10~20[m]以下

• △：取得可能／計測不能

• ×：計測不能 GPS Android GPS PA6C

河川沿い ◎ 未検証（○?） ○

高速道路 ◎ 未検証（○?） ○

高速道路(トンネル) ○ 未検証（×?） ×

市街地 ◎ ○ △

高速道路の下 ◎ 未検証（○?） ×

ご清聴ありがとう ございました！