computer vision1_seite 1 beispiel andocksystem (ads)komponenten im system flughafengebäude...
Post on 05-Apr-2015
104 Views
Preview:
TRANSCRIPT
Computer Vision
1_Seite 1
Beispiel Andocksystem (ADS) Komponenten im System
Flugha
feng
ebäu
de
Passagierbrücke
Rollfeld
Einroll-leitlinie
StoppositionVideokamera
B 737-300
Display
Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition.
Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen.
Computer Vision
1_Seite 2
ADS im Flughafen-Informationssystem Komponenten im System
Leitsystem
Tower
Vorfeld-kontrolle
Gate
Touchdownzeit, Flugzeugtyp, Flugnummer
Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer
Gateankunftzeit (ist), Stopposition
ADSRegler:Display
Video-auswertung Flugzeugmodell
Status, Position, Winkel, Zeit
TypLage
Computer Vision
1_Seite 3
ADS: Systemanforderungen Komponenten im System
ADSRegler:Display
Video-auswertung Flugzeugmodell
Status, Position, Winkel, Zeit
TypLage
● Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel)
● Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT
● Messfrequenz: mindestens 12 Hz
● Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2°
● Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi-Leitlinienfähigkeit
● Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung
Computer Vision
1_Seite 4
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum):
ADS: Messaufgabe Komponenten im System
z
y
Szenenpunkt
Objektpunkt aufder Bildebene, z.B. Triebwerksmitte
Bildebene
Sehstrahl
Rollfeld(Boden)
Höhe der Triebwerksmitte über
dem Boden
Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt.
Computer Vision
1_Seite 5
Erinnerung: Kameramodell und -kalibrierung
Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert.
Begriffe
Kameramodell
=
Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors.
z.B. Lochkamera: Die Transformation P : R³ R² ist durch 5 Parameter gegeben:f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln)dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems
yc
c
yx
c
c
x
cz
y
d
fjc
z
x
d
fi
Computer Vision
1_Seite 6
Kamerakalibrierung Begriffe
Kalibrierkörper und die IDs undWeltkoordinaten der Marken
z.B. SchachbrettmusterGröße der Quadrate 2 cm
Marke 0(0, 0, 0)T
Marke 1(2, 0, 0)T
Marke 3(4, 0, 0)T
Marke 8(0, 2, 0)T
gemessen (soll)
Bild vom Kalibrierkörperund die Bildkoordinaten der Marken
Was wird für die Kamerakalibrierung benötigt?
projiziert (ist)
Computer Vision
1_Seite 7
Kamerakalibrierung Begriffe
Bemerkungen zu den Kalibriermarken:
● Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen).
● Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert.
gemessen (soll)
projiziert (ist)
Computer Vision
1_Seite 8
Bemerkungen:
● Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung)
● Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken.
● Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung.
● Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!)
Kamerakalibrierung Begriffe
Radial verzeichnetesSchachbrettmuster(Fischauge)
Computer Vision
1_Seite 9
ADS: Kameramodell Komponenten im System
Abbildungsmodell nachRoger Tsai (Lochkamera plus radiale Verzeichnung)
Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein.
Projiziere die Markierungen auf das Bild (rote Kreuze)
Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen.
Computer Vision
1_Seite 10
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum).
ADS: Messaufgabe Komponenten im System
Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung.
Computer Vision
1_Seite 11
Kreuzkorrelation Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt
Kreuzkorrelation von g und s.
1
0
1
0
21
0
1
0
2
1
0
1
0
),(),(
),(),(
),(B
x
H
y
B
x
H
y
B
x
H
y
yxsyxg
yxsyxg
sgKorr
Computer Vision
1_Seite 12
Schablonenanpassung Komponenten im System
● Gegeben seien ein Bild g und eine Schablone s.
● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation.
● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten.
Bild g
Schablone s
Kreuz-korrelationsbild
Computer Vision
1_Seite 13
ADS: Objektmodell Komponenten im System
Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter)
Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen.
Schablonen,starres Gitter
Centerline
Stopposition
Computer Vision
1_Seite 14
ADS: Suchvorgang im Fangbereich Komponenten im System
1
41
81
121
161
201241
281321
361
ce3ce
5
ce24
ce20
ce16
ce12
ce17
ce13
ce10
ce21
ce23
ce26ce
9ce2
- 0.100.10.20.30.40.50.60.7
0.8
0.9
Korrelationsw
ert
Bild-Nr.Sequenz
Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtyp: 737; Kamera: color; Mittelwert-Template. ce3
ce4
ce5
ce25
ce24
ce19
ce20
ce8
ce16
ce15
ce12
ce6
ce17
ce18
ce13
ce14
ce10
ce11
ce21
ce22
ce23
ce7
ce26
ce27
ce9
ce1
ce2
Sequenz Bild-Nummer
Kor
rela
tions
wer
t
Korrelationsverlauf für verschiedene Sequenzen
3D-Template an Suchpositiontransformieren
Suchposition festlegen
Start
Flugzeugposition über 3D-Fit berechnen
Tracking
Korr. berechnen für Umgebungum Suchposition
Template gefundenKorr>Schwellwert
Nein
Ja
Bild einziehen
Computer Vision
1_Seite 15
ADS: Objektverfolgung Komponenten im System
Schablone an aktuelle Flugzeugposition transformieren
Aktuelle Flugzeugposition aus "Searching"
Start
Stop-Postion
Korrelation für Schabloneberechnen
ja
nein
Stop
Aktuelle Flugzeugposition über 3D-Fit berechnen
Bild einziehen
Schablone mit aktuellemBildinhalt überblenden
Computer Vision
1_Seite 16
ADS: Verfolgungsergebnisse Komponenten im System
1
38
75
112
149
186
223
260
297
334
371
t3d_
3
t3d_
4
t3d_
5
t3d_
25
t3d_
24
t3d_
19
t3d_
20
t3d_
8
t3d_
16
t3d_
15t3
d_12
t3d_
6t3
d_17
t3d_
18t3
d_13
t3d_
14t3
d_10
t3d_
11t3
d_21
t3d_
22t3
d_23
t3d_
7t3
d_26
t3d_
27t3
d_9
t3d_
1t3
d_2
0
0.2
0.4
0.6
0.8
1
Korrelationswert
Bild-Nr.
Sequenz
KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 Pt3d_3
t3d_4
t3d_5
t3d_25
t3d_24
t3d_19
t3d_20
t3d_8
t3d_16
t3d_15
t3d_12
t3d_6
t3d_17
t3d_18
t3d_13
t3d_14
t3d_10
t3d_11
t3d_21
t3d_22
t3d_23
t3d_7
t3d_26
t3d_27
t3d_9
t3d_1
t3d_2
Korrelationsverlauf für verschiedene Sequenzen
Sequenz
Bild-Nummer
Computer Vision
1_Seite 17
ADS: Auswerteergebnisse Komponenten im System
Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5
0
5
10
15
20
25
30
-0,5
0 0,5
0
5
10
15
20
25
30
1 33 65 97 129
161
193
225
257
289
321
353
385
417
449
481
Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7
0
5
10
15
20
25
-0,5 0
0
5
10
15
20
251 33 65 97 129
161
193
225
257
289
321
353
385
417
449
481
Computer Vision
1_Seite 18
ADS: Auswerteergebnisse Komponenten im System
0
10
20
30
40
50
60
70
80
90
-5 0 5 10 15 20
0
10
20
30
40
50
60
-2 -1,5 -1 -0,5 0
Computer Vision
1_Seite 19
Zusammenfassung
Operationelle Lösungskonzept SystemanforderungenAnforderungen Bildauswertung
Geschwindigkeit SensorenNutzungskonzept
Latenzzeit Aufgabendefinition SzeneDatensätze
Genauigkeit Algorithmen Kommunikations-HW-/SW-Konzept Einbindung
Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware
Testumgebung Zuverlässigkeit Systemintegration
BetriebssystemVerfügbarkeit
Komponenten im System
Computer Vision
1_Seite 20
Korrelationskoeffizient Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt
Korrelationskoeffizient von g und s.
g und s heißen korreliert, wenn ist.
1
0
1
0
221
0
1
0
1
0
1
0
),(),(
),(),(
)()(
),(),(
B
x
H
y
B
x
H
y
B
x
H
y
syxsgyxg
syxsgyxg
sVgV
sgKovsg
negativ
un
positiv
0
0
0
Computer Vision
1_Seite 21
Schablonenanpassung Komponenten im System
● Gegeben seien ein Bild g und eine Schablone s.
● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition den Korrelationskoeffizienten.
● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist der Betrag des Korrelationskoeffizienten am größten.
Bild g
Schablone s
Korrelations-Koeffizientenbild
(Betrag)
top related