objektu 3d sekošana izmantojot pasīvo stereo redzi uz mobilas platformas
DESCRIPTION
Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas. Harijs Grīnbergs ˠ , Artis Mednis* un Modris Greitāns ˠ Diskrētās signālu apstrādes laboratorijaˠ Kiber-fizikālo sistēmu laboratorija* Elektronikas un datorzinātņu institūts, Dzērbenes iela 14, LV-1006, Rīga, Latvija - PowerPoint PPT PresentationTRANSCRIPT
Objektu 3D sekošanaizmantojot pasīvo stereo redzi
uz mobilas platformas
Harijs Grīnbergsˠ, Artis Mednis* un Modris Greitānsˠ
Diskrētās signālu apstrādes laboratorijaˠKiber-fizikālo sistēmu laboratorija*
Elektronikas un datorzinātņu institūts,Dzērbenes iela 14, LV-1006, Rīga, Latvija
{vārds.uzvārds}@edi.lv
30.10.2013
Motivācija un mērķi• Sistēma tiktu izmantota kā daļa no Viedā
transportlīdzekļa Adaptīvās Kruīza Kontroles (ACC) un Vadītāja Asistēšanas Sistēmas (ADAS)
• Ātrums – Sistēmai ir jāstrādā reālā laikā• Pasīva sistēma –Netraucē un patērē mazāk enerģiju• Noslēgta – Viegli izmantot un uzstādīt uz mašīnas• Robusta – Nespēja detektēt un sekot var novest pie
avārijas
Harijs Grīnbergs 2/19
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras
3/19Harijs Grīnbergs
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras
4/19Harijs Grīnbergs
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras• Disparitāte ir inversi proporcionāla attālumam
5/19Harijs Grīnbergs
Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana
problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā
6/19Harijs Grīnbergs
7/19Harijs Grīnbergs
Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana
problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā• Zeme noņemta izmantojot detektēto leņķi un augstumu
Objektu detektēšana• Vajag detektēt visus objektus• Izmanto filtrētu plān-tipa aizņemtības karti
8/19Harijs Grīnbergs
Sqv
n
iv
yxBqyxG
yxByxpyxB
,,max
,,,0
Segmentācija un sekošana• Ierobežota segmentēšana ar attāluma koeficentu• Segmentētās virsmas centroīds izmantots kā Kalmana
filtra mērījums
9/19Harijs Grīnbergs
2
,,,,
0
and ,1, 00
d
bf
d
zC
CCzzCCzzyxS
d
dpyxyxdsyxyx pp
Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija
10/19Harijs Grīnbergs
TKKKR
Tzyx
Tzyx
TRTT
RT
tt
RRRRvvvvvv
RRzyxzyx
RRR
pRp
111
11
,
1,61,51,4
1
Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija
11/19Harijs Grīnbergs
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana
12/19Harijs Grīnbergs
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana
13/19Harijs Grīnbergs
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana• Kājāmgājēju sekošana
14/19Harijs Grīnbergs
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
15/19Harijs Grīnbergs
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
16/19Harijs Grīnbergs
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
17/19Harijs Grīnbergs
Nobeigums• Sistēma spēj detektēt un sekot vispārējiem objektiem• Strādā reālā laikā ar 40fps uz 2.9Ghz I5 (70fps 4.4Ghz)• Sekošana prasa 0.1-0.2ms katram mērķim• Maksimālais sekošanas attālums ar Bumblebee XB3
(24cm attālums starp kamerām) ir 50m• Robusta detektēšana
• Nākotnes darbs iekļauj klasificēšanu un modeļu izmantošanu precīzākai sekošanai lielākās distancēs
• Kustību klasificēšanu un notikumu analīzi priekš vadītāja brīdināšanas
18/19Harijs Grīnbergs
Paldies! Jautājumi?
Pētījuma aktivitātes veiktas Valsts pētījumu programmas "Inovatīvo daudzfunkcionālo materiālu, signālapstrādes un informātikas tehnoloģiju izstrāde konkurētspējīgiem zinātņu ietilpīgiem produktiem" projekta "Inovatīvas signālapstrādes tehnoloģijas viedu un efektīvu elektronisko sistēmu radīšanai" ietvaros.
19/19Harijs Grīnbergs
Lietus ietekme
20/19Harijs Grīnbergs
Lietus ietekme
21/19Harijs Grīnbergs
Lietus ietekme
22/19Harijs Grīnbergs
Lietus ietekme
23/19Harijs Grīnbergs
Lietus ietekme
24/19Harijs Grīnbergs
Lietus ietekme
25/19Harijs Grīnbergs
Lietus ietekme
26/19Harijs Grīnbergs
Lietus ietekme
27/19Harijs Grīnbergs
Lietus ietekme
28/19Harijs Grīnbergs