kārlis dimza 06.08.2012
DESCRIPTION
Gājēju meklēšanas telpas sašaurināšana izmantojot projektīvo ģeometriju viedo automobiļu drošības sistēmās Search Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry 利 用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間. Kārlis Dimza 06.08.2012. Saturs. 1. Ievads - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/1.jpg)
Gājēju meklēšanas telpas sašaurināšana izmantojot projektīvo ģeometriju viedo automobiļu drošības sistēmās
Search Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry
利用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間
Kārlis Dimza06.08.2012
![Page 2: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/2.jpg)
2
Saturs1. Ievads 2. Literatūras pārskats3. Attēlveidošana
– Nakts redzamība– NIR nakts redzamība
• Filtri• Filtru mērījumu rezultāti
– Attēluzlabošana4. Gājēju meklēšanas telpas sašaurināšana
– Gadījums ar zināmiem kameras kalibrācijas parametriem– Gadījums ar nezināmiem kameras kalibrācijas parametriem
5. Eksperimenti– Prognozētā gājēju izmēru kartes izveide– Gājēju meklēšana
• Izmantojot publiskus datus (Daimler)• NTHU CVLAB Day-Night monocular pedestrian dataset
6. Secinājumi un turpmākie darbi
![Page 3: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/3.jpg)
3
1. Ievads (1/7). Auto industrijas attīstība
• Mūsdienu automašīnās sastopams liels daudzums elektronikas, kas uzlabo braukšanas drošību un komfortu
Pirmās automašīnas:nekādas inteliģences
Stanford University in DARPA Challenge 2007: Autonomās automašīnas prototips
Zirgu pajūgs:transports ar zināmu
inteliģences devu
![Page 4: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/4.jpg)
4
1. Ievads (2/7). Gājēju aizsardzība
• Mazaizsargātie satiksmes dalībnieki sastāda 2/3 no visiem nāves gadījumiem uz ceļa
• Izšķir aktīvo un pasīvo gājēju aizsardzību• ADAS1 cenšas uzlabot pasīvo gājēju
aizsardzību• Mērķis ir noteikt gājēju pēc iespējas agrāk un
dot brīdinājuma signālu vadītājam• Liela daļa letālo gadījumu notiek naktī
1 ADAS-Advanced Driver Assistance System
![Page 5: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/5.jpg)
5
1. Ievads (3/7). Gājēju meklēšana
• Pašreiz viens no visvairāk citētajiem cilvēku klasifikatoriem ir HOG ar SVM
• Pateicoties labajai veiktspējai lielākajā daļā moderno cilvēku meklētāju ir izmantotas idejas no HOG
• Šajā darbā mēs izmantojam klasisko HOG• Ilustratīvs piemērs HOG1:
1 Dalal and Triggs - Histograms of Oriented Gradients for Human Detection, CVPR 2006
![Page 6: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/6.jpg)
6
1. Ievads(4/7). Perspektīva– sirreāls gadījums
• Meklēšanas telpa ir svarīga!
![Page 7: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/7.jpg)
7
1.Ievads(5/7). Lokalizācija• Slīdošā maska ir tradicionāls veids kā meklēt objektus
attēlā• Parasti slīdošās maskas izmērus un pozīcijas izvēlas t.s.
Vienmērīgā sadalījuma principa
![Page 8: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/8.jpg)
8
1.Ievads(6/7). Perspektīva – pareizs gadījums
![Page 9: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/9.jpg)
9
1.Ievads (7/7). Adaptīvā maska- princips
![Page 10: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/10.jpg)
10
2. Literatūras pārskats(1/4).
• Nakts redzamība– FIR un NIR salīdzinājums
– IR-PASS filtra dizains• Meklēšanas telpas ierobežošana
– Putting objects in perspective (CVPR2006)
– Camera calibration toolkit (CVPRW2011)
![Page 11: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/11.jpg)
11
2. Literatūras pārskats(2/4). • Nakts redzamība
– Near infrared system (NIR)– Far infrared system (FIR), dažreiz tiek saukta par
termālo sistēmu
Material from [8]
![Page 12: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/12.jpg)
12
2. Literatūras pārskats(3/4). WDR CMOS.
• Lai izbēgtu no kameras «apžilbšanas» efekta naktī, tika izvēlēta WDR tipa kamera
Bez WDR Ar WDR
The sample images are taken from WDR manufacturer proposal
![Page 13: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/13.jpg)
13
2. Literatūras pārskats– Meklēšanas telpas sašaurināšana(4/4).
• Perspektīvas informācijas nozīme tika pierādīta objektu meklēšanā, bet metode ir limitēta tajā, ka nepieciešams zināt kameras parametrus
• Ar nelielu lietotāja līdzdalību kameras parametru aproksimācija var tikt atrasta– Piedāvātā metode tika modificēta, lai izslēgtu kļūdainu
lietotāja ievadu.
![Page 14: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/14.jpg)
14
Pamatveikums.
• NIR nakts redzamības sistēmas izveide– Apmēram 320GB ar ievāktiem datiem– Izveidota datubāze ar atzīmētiem gājējiem
balstoties uz ievāktajiem datiem• Cilvēka augstuma prognozēšana
– Atrisināts gadījums ar kļūdainu saplūšanas punktu noteikšanu
![Page 15: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/15.jpg)
15
3.Attēlveidošana (1/6). NIR princips.• Uzbūvētā NIR gaismekļa princips
– Redzamā gaisma tiek bloķēta ar trīsslāņu filtru– Zilais, zaļais un sarkanais filtrs ir kombinēts, lai
iegūtu redzamo gaismu necaurlaidīgu filtru
![Page 16: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/16.jpg)
16
3. Attēlveidošana (2/6). Instalācija.WDR image sensor NIR illuminator side view
NIR illuminator (front view) NIR illuminator (view from top)
![Page 17: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/17.jpg)
17
3. Attēlveidošana (3/6). Gaismas avota intensitātes spektrālais sadalījums un IR-PASS Filtra mērījumi.
– Mērīts ar BWTEK BRC111A CCD Array Spectrometer
![Page 18: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/18.jpg)
18
3. Attēlveidošana (4/6). NIR nozīme.
With NIR camera With conventional USB color camera
![Page 19: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/19.jpg)
19
3. Attēlveidošana (5/6). Piemērs WDR.
• Piemēri no iegūtajiem datiem, kuros redzams WDR nozīmes efekts.
On coming vehicle
On coming vehicle
WDR1 WDR2
![Page 20: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/20.jpg)
20
3. Attēlveidošana (6/6). Attēluzlabošana (NLM)
Pirms Pēc
• Lai uzlabotu nakts redzamības attēlu kvalitāti, trokšņa filtrācija tika pielietota
![Page 21: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/21.jpg)
21
4. Meklēšanas telpas sašaurināšana(1/11).
• Procesu var sadalīt 3 galvenajās daļās:– Priekšapstrāde
• Darba galvenā daļa– Klasifikācija
• Izmantota validācijai– Pēcapstrāde
• Nav lietota
Preprocessing Classification Post processing
Scene geometry estimation
Set of projected humanheights estimation
![Page 22: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/22.jpg)
22
Do we havecamera parameters or
projection matrixfor this scene?
Estimate projectionmetrix
User input:1. Z direction parallel lines2. X direction parallel lines3. Y direction parallel lines4. Human reference object
Justify:1. X vanishing point2. Y vanishing point
Compute set of projected human heights by Algorithm 3
Compute reprojections by assuming:1. Y=0
2. Height=1.8m
Compute set of projectedhuman heights
Yes
No
SVM Classification
4. Meklēšanas telpas sašaurināšana(2/11). Cilvēka projekcijas lieluma noteikšana.
Scenegeometry withunknowncameraparameters
Scenegeometry withknowncameraparameters
![Page 23: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/23.jpg)
23
4. Meklēšanas telpas sašaurināšana(3/11). Cilvēka projekcijas lieluma noteikšana ar zināmiem kameras
kalibrācijas parametriem.
=> Projekcijas matrica
=> bezgalīgi daudz atrisinājumu!
=> viens atrisinājums!
=> Project back to image, by assuming human metric height is 1,8m
Y=0 (zemes plakne)
![Page 24: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/24.jpg)
24
4. Meklēšanas telpas sašaurināšana(4/11). Saplūšanas punkti.
• Pamatideja ir balstīta uz paralēlām līnijām, kuras krustojas saplūšanas punktos (Vanishing Point(VP))
• Trīs savstarpēji perpendikulāri saplūšanas punkti ir nepieciešami attēla analīzei– Parasti tiek lietoti kalibrācijas objekti, lai noteiktu trīs VP– Bet parasti uz ceļa šādi objekti nav pieejami
![Page 25: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/25.jpg)
25
4. Meklēšanas telpas sašaurināšana(5/11). Saplūšanas punktu atrašana.
Metodes tips Pozitīvās īpašības Ierobežojumi
Automātiskā Mazāk darba lietotājam Rezultāts iespējams neuzticams
Lietotāja līdzdalība Lielāka uzticamība Ierobežots informācijas apjoms
• Metode ar lietotāja līdzdalību pielietota:– Lietotājam jāievada:
• 3 pāri ar savstarpēji perpendikulārām paralēlajām līnijām• Viens cilvēka lieluma objekts
– Līnijas X un Y virzienā nepieciešams automātiski pielabot jo:• Līnijām savstarpējais leņķis uz projekcijas attēla ir ļoti neliels• VP trijstūra ortocentrs ir optiskais centrs attēlā• Attēla optiskais centrs tiek pieņemts atrodamies attēla centrā, kas ir
patiesi jebkurai modernai kamerai.
![Page 26: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/26.jpg)
26
Orthocenter
Principal point
4. Meklēšanas telpas sašaurināšana(6/11). Optiskais centrs, attēla centrs, ortocentrs
• Ortocentrs sakrīt ar optisko centru attēlam• Optiskais centrs atrodas attēla centrā
(every modern camera is built to have principal point at center of image)
• Attiecīgi optiskais centrs var tikt pieņemts, kā zināms mainīgais, ko varam izmantot ortocentra validācijā
![Page 27: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/27.jpg)
27
Large mutual slope of vanishing lines
Small mutual slope of vanishing lines
User interactionerror = ε
User interactionerror = ε
Error in vanishingpoint estimation
Error in vanishingpoint estimation
4. Meklēšanas telpas sašaurināšana(7/11). Saplūšanas punkts pie dažāda slīpuma paralēlo
līniju projekcijas.
![Page 28: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/28.jpg)
28
4. Meklēšanas telpas sašaurināšana(8/11). VP noteikšana.
Region to pick random new endpoint from X direction parallel linesY direction parallel linesZ direction parallel lines
Principal point
Current orthocenter of VP triangle
![Page 29: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/29.jpg)
29
Initialize image center
Initialize 16 random values
New X vanishing point;Random new 8 coordinatesfrom defined small range
New Y vanishing point
Compute the new orthocenter;While orthocenter is not in image center
4. Meklēšanas telpas sašaurināšana (9/11). VP
estimation. Computeinitial orthocenter
![Page 30: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/30.jpg)
30
4. Meklēšanas telpas sašaurināšana(10/11). Cilvēka izmēra
projekcijas noteikšana.
Horizonline
Z VP
Y VP
Human referenceUnknown
human
height
Line from point of interest (foot) to Y VP
Line from reference
head to Vn
X VP
Line through reference foot and
point of interest foot
Intersection of Horizon line and line through
reference foot and point of interest foot
Estimated human height
![Page 31: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/31.jpg)
31
4. Meklēšanas telpas sašaurināšana(11/11). Projected human height estimation from VP and reference.
Convert points to 3Dvectors
Compute cross product
Human height isdifference between head and foot points
![Page 32: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/32.jpg)
32
Eksperimenti(1/10).• Cilvēka izmēra noteikšana• Adaptīvās maskas efekts gājēju noteikšanā
– Publiskos datos– NTHU CVLAB Day monocular pedestrian dataset– NTHU CVLAB Night monocular pedestrian datasets
![Page 33: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/33.jpg)
33
Eksperimenti(2/8). Cilvēka izmēra noteikšana.
![Page 34: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/34.jpg)
34
Eksperimenti(3/8). Rezultāti uz publiskiem datiem.
* - Results from:
0 2 4 6 8 100
0.05
0.1
0.15
0.2
0.25
0.3
0.35Daimler Optional Pedestrians
UniformAdaptive
Average False positive per frame
Dete
ctio
n ra
te
0 2 4 6 8 100
0.10.20.30.40.50.60.70.80.9
1Daimler Required pedestrians
UniformAdaptiveGavrila NN/LRF*Gavrila Cascade*Gavrila HOG*
Average False positive per frame
Dete
ctio
n ra
te
![Page 35: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/35.jpg)
35
Eksperimenti(4/8). NTHU CVLAB Day monocular pedestrian dataset.
Rezultāti
0 10 20 30 40 50 600
0.10.20.30.40.50.60.70.80.9
1
Daytime sequence
UniformAdaptive
Average False Positive per frame
Dete
ctio
n Ra
te
![Page 36: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/36.jpg)
36
Eksperimenti(5/8). NTHU CVLAB Night monocular pedestrian dataset Rezultāti.
0 5 10 15 20 25 30 35 400
0.10.20.30.40.50.60.70.80.9
1
UniformAdaptive
Dete
ctio
n Ra
te
0 2 4 6 8 10 12 14 16 180
0.10.20.30.40.50.60.70.80.9
1
Uniform
Adaptive
Dete
ctio
n ra
te
0 20 40 60 80 100 120 1400
0.10.20.30.40.50.60.70.80.9
UniformAdaptive
Average False Positive per frame
Dete
ctio
n Ra
te
Night1
Night2
Night3
![Page 37: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/37.jpg)
37
Eksperimenti(6/8). NTHU CVLAB Day monocular pedestrian dataset.
ParaugrezultātiUniform scan Adaptive
Daimler
NTHU Daytime
![Page 38: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/38.jpg)
38
Eksperimenti(7/8). NTHU CVLAB Night monocular pedestrian dataset. Lietotāja ievads
HumanreferenceZ VP
Y VP
X VP
Humanreference
Z VP
X VP
Y VP
Humanreference
Z VP
X VP
Y VP
Night1
Night2
Night3
![Page 39: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/39.jpg)
39
Eksperimenti(8/8). NTHU CVLAB Night monocular pedestrian dataset. Paraugrezultāti.
Dense Adaptive
Night1
Night2
Night3
![Page 40: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/40.jpg)
40
Secinājumi un nākotnes pētījumi
• Izstrādāta metode lai samazinātu gājēju meklēšanas telpu
• Gājēju datubāzes izveide• Metodes efektivitāte pierādīta eksperimentos• GPU daudzkodolu iegultās sistēmas implementācija
ir plānotais nākotnes darbs• Nepieciešams izveidot reģionu grupēšanas metodi,
kura ir saderīga ar adaptīvo masku• Rezultātu kombinēšana no vairāka tipa sensoriem kā
arī stereo informācijas pielietojumi.
![Page 41: Kārlis Dimza 06.08.2012](https://reader036.vdocuments.site/reader036/viewer/2022081422/568160c6550346895dcff3f2/html5/thumbnails/41.jpg)
41
Paldies par uzmanību!