objektu 3d sekošana izmantojot pasīvo stereo redzi uz mobilas platformas

28
Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas Harijs Grīnbergs ˠ , Artis Mednis* un Modris Greitāns ˠ Diskrētās signālu apstrādes laboratorijaˠ Kiber-fizikālo sistēmu laboratorija* Elektronikas un datorzinātņu institūts, Dzērbenes iela 14, LV-1006, Rīga, Latvija {vārds.uzvārds}@edi.lv 30.10.2013

Upload: charles-lang

Post on 02-Jan-2016

41 views

Category:

Documents


5 download

DESCRIPTION

Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas. Harijs Grīnbergs ˠ , Artis Mednis* un Modris Greitāns ˠ Diskrētās signālu apstrādes laboratorijaˠ Kiber-fizikālo sistēmu laboratorija* Elektronikas un datorzinātņu institūts, Dzērbenes iela 14, LV-1006, Rīga, Latvija - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Objektu 3D sekošanaizmantojot pasīvo stereo redzi

uz mobilas platformas

Harijs Grīnbergsˠ, Artis Mednis* un Modris Greitānsˠ

Diskrētās signālu apstrādes laboratorijaˠKiber-fizikālo sistēmu laboratorija*

Elektronikas un datorzinātņu institūts,Dzērbenes iela 14, LV-1006, Rīga, Latvija

{vārds.uzvārds}@edi.lv

30.10.2013

Page 2: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Motivācija un mērķi• Sistēma tiktu izmantota kā daļa no Viedā

transportlīdzekļa Adaptīvās Kruīza Kontroles (ACC) un Vadītāja Asistēšanas Sistēmas (ADAS)

• Ātrums – Sistēmai ir jāstrādā reālā laikā• Pasīva sistēma –Netraucē un patērē mazāk enerģiju• Noslēgta – Viegli izmantot un uzstādīt uz mašīnas• Robusta – Nespēja detektēt un sekot var novest pie

avārijas

Harijs Grīnbergs 2/19

Page 3: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras

3/19Harijs Grīnbergs

Page 4: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras

4/19Harijs Grīnbergs

Page 5: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras• Disparitāte ir inversi proporcionāla attālumam

5/19Harijs Grīnbergs

Page 6: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana

problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā

6/19Harijs Grīnbergs

Page 7: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

7/19Harijs Grīnbergs

Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana

problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā• Zeme noņemta izmantojot detektēto leņķi un augstumu

Page 8: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Objektu detektēšana• Vajag detektēt visus objektus• Izmanto filtrētu plān-tipa aizņemtības karti

8/19Harijs Grīnbergs

Sqv

n

iv

yxBqyxG

yxByxpyxB

,,max

,,,0

Page 9: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Segmentācija un sekošana• Ierobežota segmentēšana ar attāluma koeficentu• Segmentētās virsmas centroīds izmantots kā Kalmana

filtra mērījums

9/19Harijs Grīnbergs

2

,,,,

0

and ,1, 00

d

bf

d

zC

CCzzCCzzyxS

d

dpyxyxdsyxyx pp

Page 10: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija

10/19Harijs Grīnbergs

TKKKR

Tzyx

Tzyx

TRTT

RT

tt

RRRRvvvvvv

RRzyxzyx

RRR

pRp

111

11

,

1,61,51,4

1

Page 11: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija

11/19Harijs Grīnbergs

Page 12: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi

• Robusta vairāku mērķu sekošana

12/19Harijs Grīnbergs

Page 13: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi

• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana

13/19Harijs Grīnbergs

Page 14: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi

• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana• Kājāmgājēju sekošana

14/19Harijs Grīnbergs

Page 15: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)

biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.

15/19Harijs Grīnbergs

Page 16: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)

biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.

16/19Harijs Grīnbergs

Page 17: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)

biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.

17/19Harijs Grīnbergs

Page 18: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Nobeigums• Sistēma spēj detektēt un sekot vispārējiem objektiem• Strādā reālā laikā ar 40fps uz 2.9Ghz I5 (70fps 4.4Ghz)• Sekošana prasa 0.1-0.2ms katram mērķim• Maksimālais sekošanas attālums ar Bumblebee XB3

(24cm attālums starp kamerām) ir 50m• Robusta detektēšana

• Nākotnes darbs iekļauj klasificēšanu un modeļu izmantošanu precīzākai sekošanai lielākās distancēs

• Kustību klasificēšanu un notikumu analīzi priekš vadītāja brīdināšanas

18/19Harijs Grīnbergs

Page 19: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Paldies! Jautājumi?

Pētījuma aktivitātes veiktas Valsts pētījumu programmas "Inovatīvo daudzfunkcionālo materiālu, signālapstrādes un informātikas tehnoloģiju izstrāde konkurētspējīgiem zinātņu ietilpīgiem produktiem" projekta "Inovatīvas signālapstrādes tehnoloģijas viedu un efektīvu elektronisko sistēmu radīšanai" ietvaros.

19/19Harijs Grīnbergs

Page 20: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

20/19Harijs Grīnbergs

Page 21: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

21/19Harijs Grīnbergs

Page 22: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

22/19Harijs Grīnbergs

Page 23: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

23/19Harijs Grīnbergs

Page 24: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

24/19Harijs Grīnbergs

Page 25: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

25/19Harijs Grīnbergs

Page 26: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

26/19Harijs Grīnbergs

Page 27: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

27/19Harijs Grīnbergs

Page 28: Objektu 3D sekošana izmantojot pasīvo stereo redzi  uz mobilas platformas

Lietus ietekme

28/19Harijs Grīnbergs