Computer Vision

Klassifizierung, Boosting

Yun-Yi Lisa Wang

wangyu@in.tum.de

08.07.2004

Klassifizierung.ppt Yun-Yi Lisa Wang

2

Übersicht

• Motivation– Wozu braucht man Klassifizierung

• Grundlagen– Was ist Klassifizierung– Entscheidungsgrenze finden– Methoden zum Bau von Klassifikatoren

• Klassifizierung mittels Histrogramm• Auswahl der Merkmale• Verbesserung durch Boosting• Fazit

Klassifizierung.ppt Yun-Yi Lisa Wang

3

Motivation

• Fahrerassistenzsystem • Mensch-Maschine-Schnittstelle

Spracherkennung, Mimikerkennung

Klassifizierung.ppt Yun-Yi Lisa Wang

4

Klassifizierung

Was sind• Merkmale• Labeling• Klassen• Trainingsbeispiele • Trainingsmenge• Entscheidungsgrenze

ii yx ,

Klassifizierung.ppt Yun-Yi Lisa Wang

5

Entscheidungsgrenze finden

• Verlustfunktion

• Gesamtrisiko berechnen

• Gesamtrisiko minimieren

sonst 1,

jifür 0,)( jiL

12|12Pr21|21Pr LsLssR

Klassifizierung.ppt Yun-Yi Lisa Wang

6

Methode mit Normalverteilung

Parameter der Normalverteilung für Klasse k• Mittelwert • Varianz

Aktion: Klassifizierung von Stichprobe x• wähle die Klasse mit der geringsten Distanz zu x• verwende dabei Mahalanobis Distanz

kk

Klassifizierung.ppt Yun-Yi Lisa Wang

7

Mahalanobis Distanz

Unterschiedliche Gewichtung des Abstandsmaßes

• die Distanz hat ein größeres Gewicht in der Richtung der kleineren Abweichung

• die Distanz hat ein kleineres Gewicht in der Richtung der größeren Abweichung

12

1,;

21

kTx kk

kk xx

Klassifizierung.ppt Yun-Yi Lisa Wang

8

Methode mit „Nearest Neighbours“

• k nächste Nachbarn suchen• Einfache Mehrheit muss mehr als l sein

Neighbour-Nearest-, lk

Klassifizierung.ppt Yun-Yi Lisa Wang

9

Klassifikator mittels Histogramm

Wahrscheinlichkeitsmodell durch Histogramm

Vor- und Nachteil verglichen mit Normalverteilung:

Vorteil: realitätsnäher

Nachteil: rechenaufwendiger

Klassifizierung.ppt Yun-Yi Lisa Wang

10

Auswahl der Merkmale

Anforderungen:• Eindeutig für die Klasse• Invariant zur Veränderungen• Nicht zu viele auch nicht zu wenige Merkmale

Verschiedene Einheiten– Länge: im Pixel– Grauwert: – Winkel:

25503600

Klassifizierung.ppt Yun-Yi Lisa Wang

11

Verbesserung mit Boosting

• Erster Boosting Algorithmus aus dem Jahr 1989• Zur Zeit: Adaboost• Grundidee des Trainings:

Wir wollen t-mal trainieren, wobei t = T

1. Alle Trainingsdaten haben anfangs gleiches Gewicht

2. Geringste Fehlerwahrscheinlichkeit suchen

3. Damit Hypothese ht und deren Faktor αt feststellen

4. Gewicht für falsch klassifizierte Daten erhöhen

5. Wenn t < T : goto 2

6. End-Hypothese: ∑ ht * αt

Klassifizierung.ppt Yun-Yi Lisa Wang

12

Beispiel für Boosting

http://www.cs.technion.ac.il/~rani/LocBoost/index.html

Klassifizierung.ppt Yun-Yi Lisa Wang

13

Fazit

• Linearer Klassifikator• Dynamic Time Warping (Dynamische

Programmierung)• Hidden Markov Modelle (HMM)• Artificial Neural Network (ANN)

Trainingsmenge

Klassifikator

x

y