lehrstuhl für messtechnik und bildverarbeitung rwth aachen 22.01.04 gait recognition seminararbeit...
TRANSCRIPT
![Page 1: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/1.jpg)
Lehrstuhl fürMesstechnik und Bildverarbeitung
RWTH Aachen
22.01.04
Gait Recognition
Seminararbeit
Stefan Meyer
![Page 2: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/2.jpg)
Stefan Meyer
Gait Recognition
2
ÜberblickÜberblick
● Einführung und Allgemeines zur Personenerkennung am Gang
● Vorstellung von zwei verschiedenen Lösungsansätzen● Experimente und Ergebnisse der Gangerkennung mit
passender Software zu einem der Ansätze● Zusammenfassung
![Page 3: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/3.jpg)
Stefan Meyer
Gait Recognition
3
EinführungEinführung
● Übliche Methoden zur Personenerkennung untersuchen Merkmale wie:
● Gesicht● Fingerabdruck● Irismuster
● Nachteil dieser Methoden:● Ohne Kooperation der Testperson bekommt man kein Bildmaterial
dieser Merkmale
● Personenerkennung am Gang:● Vorteile:
● Keine besonderen Aktionen seitens der Testperson erforderlich● Identifikation ist berührungslos und unauffällig (nicht-invasiv)● Korrekte Identifikation kann nur schwer von der Person verhindert
werden
![Page 4: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/4.jpg)
Stefan Meyer
Gait Recognition
4
EinsatzmöglichkeitenEinsatzmöglichkeiten
● Überall wo es technisch nicht möglich oder lästig ist besondere Personenmerkmale zu erfassen.
● Erkennung soll geheim stattfinden.
Beispielvideo:- Fest installierten Kamera
- 256 Graustufen
- 320x160 Pixel
- 30 Frames/sec
![Page 5: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/5.jpg)
Stefan Meyer
Gait Recognition
5
VorverarbeitungVorverarbeitung
● Hintergrund entfernen● Hintergrundbild dynamisch aus den letzten Bildern bestimmen● Hintergrundbild vom aktuellen Bild subtrahieren● Pixel mit Grauwert unterhalb eines Schwellwertes entfernen
● Artefakte entfernen● Pixelfehler außerhalb der Person => Erosion● Kleine Löcher innerhalb der Person => Dilatation
![Page 6: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/6.jpg)
Stefan Meyer
Gait Recognition
6
1. Untersuchung von Formmerkmalen1. Untersuchung von Formmerkmalen
● Kontur der Person aus jedem Bild extrahieren● Errechnen der Eigenform aus der gesamten Bewegung
(Form mit minimalem Gesamtabstand zu allen Konturen)● Vergleich der Eigenform mit anderen Eigenformen und
Zuordnung
![Page 7: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/7.jpg)
Stefan Meyer
Gait Recognition
7
1. Untersuchung von Formmerkmalen1. Untersuchung von Formmerkmalen
● Vorteil:● Erkennung auch möglich wenn die Personen frontal auf die Kamera
zulaufen
● Nachteile:● Funktioniert nur bei einem kleinen Datenbestand● Anfällig für Störungen (z.B. Veränderungen in der Kleidung –
Handschuhe/dickere Jacke)
![Page 8: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/8.jpg)
Stefan Meyer
Gait Recognition
8
2. Formunabhängige Bestimmung mittels 2. Formunabhängige Bestimmung mittels Optischem FlussOptischem Fluss
![Page 9: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/9.jpg)
Stefan Meyer
Gait Recognition
9
Optischer FlussOptischer Fluss
● Definition: Der “Optische Fluss” ist der Grauwertfluss in der Bildebene.
● Bei konstanten Lichtverhältnissen und texturierten Oberflächen entspricht der Optische Fluss dem Bewegungsvektorfeld.
Bild 1 Bild 2 Optischer Fluss
![Page 10: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/10.jpg)
Stefan Meyer
Gait Recognition
10
Optischer Fluss - BerechnungOptischer Fluss - Berechnung
Bild 1 Bild 2
Ergebnis:U(x,y) = -1V(x,y) = -1
● Beispiel für die Berechnung des blau-markierten Pixels● Suchbereich 3x3 Pixel
![Page 11: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/11.jpg)
Stefan Meyer
Gait Recognition
11
Optischer Fluss - BeispielOptischer Fluss - Beispiel
● Optischer Fluss des Beispielvideos● Binärbild des Optischen Flusses (Weiße Flächen haben sich bewegt)● Gewichtet mit Bewegungsdistanz in |u|, |v| oder |u,v| - Richtung
(farblich dargestellt)
Binärbild Gewichtet mit |(u,v)|0,0
![Page 12: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/12.jpg)
Stefan Meyer
Gait Recognition
12
13 Skalare Größen (je Frame)13 Skalare Größen (je Frame)
● Schwerpunkt Binärbild : xc, yc
● Schwerpunkt |u| Verteilung : xuc, yuc
● Schwerpunkt |v| Verteilung : xvc, yvc
● Schwerpunkt |u,v| Verteilung : xuvc, yuvc
● Differenzen der Schwerpunkte : xd, yd
● Verhältnis max. zu min. Trägheitsmoment : ac, awc (Binärbild und |u,v|-Verteilung)
● Differenz der beiden Momentverhältnisse : ad
![Page 13: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/13.jpg)
Stefan Meyer
Gait Recognition
13
Darstellung der skalaren Größen im VideoDarstellung der skalaren Größen im Video
● Viereck – Schwerpunkt Binärbild● Kreuz – Schwerpunkt |u,v|-Verteilung● Ellipse – Trägheitsmomente an einer drehbaren Achse
durch den Schwerpunkt (Binärbild und |u,v|-Verteilung)
![Page 14: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/14.jpg)
Stefan Meyer
Gait Recognition
14
Skalare Größen (komplette Sequenz)Skalare Größen (komplette Sequenz)
Mittelwert und Linearen Anteil subtrahieren
![Page 15: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/15.jpg)
Stefan Meyer
Gait Recognition
15
Grundfrequenz bestimmenGrundfrequenz bestimmen
Spektrum von yc (y-Koordinate Schwerpunkt im Binärbild)
Grundfrequenz bei 0.063(ca. 16 Frames/Halbschritt)
yc ist zur Bestimmung der Grundfrequenz am besten geeignet.
Alle skalaren Größen haben die gleiche Grundfrequenz.
![Page 16: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/16.jpg)
Stefan Meyer
Gait Recognition
16
Grundfrequenzanteil der skalaren GrößenGrundfrequenzanteil der skalaren Größen
● Rot: Skalare Größe ac
● Grün: Darstellung mit nur 1 Spektralkoeffizient der Grundfrequenz
Alle skalaren Größen können stark vereinfacht durch eine Sinus-Funktion dargestellt werden.
![Page 17: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/17.jpg)
Stefan Meyer
Gait Recognition
17
Bestimmung des MerkmalsvektorsBestimmung des Merkmalsvektors
● Die Phasen der 13 skalaren Größen charakterisieren den Gang der Person.
● Phase ist abhängig vom Zustand des Ganges der Person bei Beginn der Sequenz.
● 1 Wert ist Referenz und wird von den anderen 12 subtrahiert.
![Page 18: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/18.jpg)
Stefan Meyer
Gait Recognition
18
Auswertung des MerkmalsvektorsAuswertung des Merkmalsvektors
Darstellung von zwei Werten des Merkmalsvektors im 2d-Raum
![Page 19: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/19.jpg)
Stefan Meyer
Gait Recognition
19
Alle Werte des MerkmalsvektorsAlle Werte des Merkmalsvektors
● Einige Merkmale haben sehr geringe Aussagekraft (x_d, x_wc)● Abhängigkeiten zwischen Merkmalen (x_c, x_wc / a_c, a_wc)● => Merkmalsvektor kann weiter reduziert werden.
![Page 20: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/20.jpg)
Stefan Meyer
Gait Recognition
20
Ergebnis des VersuchesErgebnis des Versuches
● Leaving-One-Out:● Aus den 7 Durchgängen jeder Person wird einer rausgenommen. Die
restlichen 6 Merkmalsvektoren werden gemittelt und ergeben den Merkmalsvektor der die Person charakterisiert.
● Der entfernte Durchgang jeder Person wird mittels minimalem Euklidischem Abstand zugeordnet.
● Permutation aller Kombination.
● Ergebnis:● 95.2% der Aufnahmen wurden der richtigen Personen zugeordnet.● Die Betrachtung von nur 5 (x_c, y_d, a_c, a_d, y_vwc) der 12
Merkmalswerten liefert das gleiche Ergebnis.● Bei der Zuordnung von 3 Durchgängen pro Person (Mittelwert aus
restlichen 4 Durchgängen) sinkt die Erkennungsrate auf 92.2%
![Page 21: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/21.jpg)
Stefan Meyer
Gait Recognition
21
Eigene ExperimenteEigene Experimente
● Software zur Gangerkennung mit der optischen Fluss Methode ist frei verfügbar.
● http://www-mitpress.mit.edu/e-journals/Videre/001/articles/Little-Boyd/gait/gait.html
● Artikel und Software wurden 1998 von Mitarbeitern des MIT in der Zeitschrift Videre veröffentlicht
● C Quellcode und Shellskripten● UNIX programmiert => Kompiliert nach kleinen
Änderungen unter Linux und ist voll lauffähig.
![Page 22: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/22.jpg)
Stefan Meyer
Gait Recognition
22
ParameterParameter
● Maximale Flussweite (Größe des Suchfensters).● Guter Wert ist die maximale Bewegung zwischen zwei Bildern in der
gesamten Szene● Zu klein => - anfällig für Rauschen
- falsche Zuordnung bei großen Bewegungen
● Zu groß => - schlechte örtliche Auflösung (Details wie Bewegung der Arme verschwinden)
● Filterparameter des Gaußfilters in der Flussberechnung● Gerade groß genug wählen, dass keine Bewegung im Hintergrund
angezeigt wird
![Page 23: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/23.jpg)
Stefan Meyer
Gait Recognition
23
Eigene Berechnung: Videos vom MITEigene Berechnung: Videos vom MIT
![Page 24: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/24.jpg)
Stefan Meyer
Gait Recognition
24
Eigene Berechnung: Videos vom MITEigene Berechnung: Videos vom MIT
![Page 25: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/25.jpg)
Stefan Meyer
Gait Recognition
25
Videos aufgenommen am LfMVideos aufgenommen am LfM
![Page 26: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/26.jpg)
Stefan Meyer
Gait Recognition
26
Videos aufgenommen am LfMVideos aufgenommen am LfM
![Page 27: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/27.jpg)
Stefan Meyer
Gait Recognition
27
Auswertung Videos am LfM (2D-Charts)Auswertung Videos am LfM (2D-Charts)
![Page 28: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/28.jpg)
Stefan Meyer
Gait Recognition
28
Auswertung Videos am LfMAuswertung Videos am LfM(Skalare Größe x_wc)(Skalare Größe x_wc)
![Page 29: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/29.jpg)
Stefan Meyer
Gait Recognition
29
Ursachen für schlechte ErgebnisseUrsachen für schlechte Ergebnisse
● Kamera ungeeignet (Kompakte Digitalkamera mit Videofunktion - Canon Ixus V330)
● Sehr viel Rauschen im Video● Aufnahme mit 20 Frames/sec (entspricht weniger als 10 Bilder pro
Schrittfolge)
● Raum schlecht ausgeleuchtet● Leichte Schatten am Boden● Unter den Lampen ist die Person heller als an den Seiten
● Versuchspersonen gehen unnatürlich● Raum zu klein. Personen laufen aus dem Stand an.● Aufnahme auf Kommando verfälscht den charakteristischen Gang
einer Person
![Page 30: Lehrstuhl für Messtechnik und Bildverarbeitung RWTH Aachen 22.01.04 Gait Recognition Seminararbeit Stefan Meyer](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d6949795902118bff33/html5/thumbnails/30.jpg)
Stefan Meyer
Gait Recognition
30
ZusammenfassungZusammenfassung
● Personenerkennung am Gang unterscheidet sich als kontaktloses Verfahren von allen anderen Methoden.
● Es existieren viele Lösungsansätze die aber alle noch verbessert und an einer repräsentativen Anzahl Personen getestet werden müssen.
● Die Identifikation von mehr als 90% der Personen ist vielversprechend und eröffnet neue Möglichkeiten der Kameraüberwachung.