nichtlineare fisher- diskriminanzanalyse raphael hoffmann praktikumsbericht projektbetreuung durch...

Nichtlineare Fisher-

DiskriminanzanalyseRaphael Hoffmann

PraktikumsberichtProjektbetreuung durch Dr. Bernhard

Sick

Universität Passau

2

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

3

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

4

Beispiel I

Motivation

Gewicht

Größe

Männer (blau)

Frauen (rot)

• Merkmalsreduktion• Klassifikation

I

F

5

Klassifikation mit Diskriminanzanalyse

Motivation

Vorgehensweise:1. Finde Gerade durch den Ursprung,

so dass Klassen auf Gerade gut getrennt sind2. Finde Decision Boundary db auf Gerade

g: w ¢ x = 0

w

IF

db

6

Alternative Klassifikationsverfahren

Motivation

• Perzeptron-Lernen• Lösung eines linearen

Ausgleichsproblems• Support Vector Machines

w

I

7

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

8

Fisher-Kriterium

Lineare Fisher-Diskriminanzanalyse

Streuung zwischen den Klassen (erklärte Streuung)

Streuung innerhalb der Klassen (unerklärte Streuung)

Menge der Vektorender Klasse i

Mittelwert der Vektorender Klasse i

Mittelwert aller Vektoren

maximiere

9

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

10

Beispiel II

Nichtlineare Fisher-Diskriminanzanalyse

Temperatur

Blutdruck

krank (blau)

gesund (rot)

I

11

Architektur-Übersicht

Eingabe-raum

I Nichtlineare Transformation

Lineare Fisher-

Diskriminanz-analyse

HRaum

Ausgabe-Raum

F

Nichtlineare Fisher-Diskriminanzanalyse

Beispiel

12

MLP-basierte Architektur (MLP-NLDA)

Nichtlineare Fisher-Diskriminanzanalyse

Nichtlineare Transformation

Lineare Fisher-Diskriminanzanalyse

Eingabe-raum

Bias

sigmoideAktivierung

lineareAktivierung

Bias

I

Ausgabe-Raum

F

13

RBF-basierte Architektur (RBF-NLDA)

Nichtlineare Fisher-Diskriminanzanalyse

Nichtlineare Transformation

Linear Fisher-Diskriminanzanalyse

Eingabe-raum

Bias

Radiale Basisfunktionen-Aktivierung

lineareAktivierung

I

Ausgabe-Raum

F

14

Kern-basierte Architektur (Kern-NLDA)

Nichtlineare Fisher-Diskriminanzanalyse

Eingabe-raum Raum

Lineare Fisher-Diskriminanzanalyse

NichtlineareTransformation

• Kernfunktion berechnet Skalarprodukt in einem anderen Raum

• Keine explizite Anwendung von notwendig

I H

Ausgabe-Raum

F

: I £ I ! R

15

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

16

Implementierung im NNSIM

Implementierung

• Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg

1. Setzen der Gewichte nach Fisher-Kriterium

3. Anpassung der Gewichte nach Gradientenaufstieg

2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten

1. Setzen der Gewichte nach Fisher-Kriterium

17

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

18

Experiment I

Experimente

• Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

19

Vergleich von Klassifikationsraten auf Standarddatensätzen

MLP RBF SVM

0.0049

0.0052

0.0240

0.0281

0.0229

0.0402

Experimente

• Fehlerraten des Cancer3-Datensatzes

trainingerror

testerror

trainingerror

testerror

trainingerror

testerror

MLP-NLDA RBF-NLDA Kern-NLDA

0.0200

0.0178

0.0191

0.0167

0.0000

0.0286

20

Experiment II

Experimente

• Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

21

Lineare Separierung im Ausgabe-Raum

Mögliche Kriterien:• Euklidischer Abstand zu Klassenzentren• Maximum A Posteriori (MAP)• Klassifizierung durch lineare SVM

Experimente

?

FBeispiele

?

F

22

Lineare Separierung im Ausgabe-Raum

Experimente

• MAP erlaubt Berücksichtigung eines prior

Euklidisch MAP SVM

0.0311

0.0244

0.0293

0.0201

0.0306

0.0229

trainingerror

testerror

trainingerror

testerror

trainingerror

testerror

Anmerkung:- Durchschnittswerte für Cancer1, Cancer2, Cancer3

23

Experiment III

Experimente

• Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

24

Robustheit bei unterschiedlichen Klassenstärken

Experimente

• Synthetische Daten mit hoher Überlappung• Variation der Klassenstärke der Exp.-Vert.

Normal-Verteilung (rot)

Exponential-Verteilung (blau)

25

Robustheit bei unterschiedlichen Klassenstärken

Experimente

Exp-gr. 10000 5000 2500 1000 100MLP 0.254

70.282

90.342

80.408

00.451

0MLP-NLDA 0.2526

0.2734

0.3142

0.3392

0.4169Anmerkungen:

- MLP mit target coding (0,...,0,1,0,...0)- MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

• Analytische Ermittlung der Fehlerrate• Gleiche Berücksichtigung beider Klassen

26

Klassifikation bei unterschiedlichen Klassenstärken

Anpassungen des MLP-NLDA:1. MAP nimmt uniformen prior an2. Modifizierung der unerklärten

Streuung

Experimente

Division durch Klassengröße

max.

27

Experimente

Robustheit bei unterschiedlichen Klassenstärken

Exp-gr. 10000 5000 2500 1000 100MLP 0.254

70.282

90.342

80.408

00.451

0

MLP-NLDA1

0.2526

0.2734

0.3142

0.3392

0.4169

MLP-NLDA2

0.2531

0.2551

0.2706

0.2876

0.3275

MLP-NLDA3

0.2524

0.2522

0.2533

0.2516

0.2563

Prior: Klassenstärke unerklärte Streuung: normal

Prior: uniform unerklärte Streuung: normal

Prior: uniform unerklärte Streuung: modifiziert

28

0.2

0.25

0.3

0.35

0.4

0.45

0.5

10000 5000 2500 1000 100

Robustheit bei unterschiedlichen Klassenstärken

Experimente

MLP

MLP-NLDA1

MLP-NLDA2

MLP-NLDA3

Prior: KlassenstärkenUnerklärte Streuung: normal

Prior: uniformUnerklärte Streuung: normal

Prior: uniformUnerklärte Streuung: modifiziert

29

Inhalt

• Motivation

• Lineare Fisher-Diskriminanzanalyse

• Nichtlineare Fisher-Diskriminanzanalyse

• Implementierung

• Experimente

• Zusammenfassung

1

2

3

4

5

6

30

• Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten.

• Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza.

• Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

Zusammenfassung

31

• Vielen Dank für Ihre Aufmerksamkeit

Literatur:Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear

discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998

Ende