clase analisis discriminante

14
8/16/2019 Clase Analisis Discriminante http://slidepdf.com/reader/full/clase-analisis-discriminante 1/14 Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci An´ alisis Discriminante Clasicando las Observaciones IND7210 M´ etodos Avanzados de An´ alisis de Datos Programa de Magister en Ingenier´ ıa Industrial Alba Mart´ ınez-Ruiz Departamento de Ingenier´ ıa Industrial Universidad Cat´ olica de la Ssma. Concepci´ on, Chile Concepci´ on, Chile Alba Mart´ ınez-Ru iz An´ alisis Discriminante Clasicando las Observaciones Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci Contenido 1 Introducci´ on 2 Funci´ on Discriminante de M´ ınimo Costo (ECM) - Caso 2 Poblaciones 3 Funci´ on Discriminante de M´ ınimo Costo (ECM) - Caso G Poblaciones 4 Funci´ on Discriminante Lineal de Fisher - Caso 2 Poblaciones 5 Funci´ on Discriminante Lineal de Fisher - CasoG Poblaciones 6 Raz´ on de Error Aparente de Clasicaci´ on 7 Estad´ ısticos de Prueba Alba Mart´ ınez-Ru iz An´ alisis Discriminante Clasicando las Observaciones Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci Introducci´on Tenemos un grupo de G poblaciones: Queremos distinguir los grupos lo as posible uno de otro. Medimos en cada grupo una variable p -dimensional x = ( x 1 , x 2 , . . . , x p ) . Usamos estas variables para separar/discriminar lo m´aximo posible los grupos. Luego podemos clasicar un nuevo elemento en uno de los grupos. Alba Mart´ ınez-Ru iz An´ alisis Discriminante Clasicando las Observaciones Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci Introducci´on Ejemplos: Segmentaci´on de enfermedades de acuerdo a s´ ıntomas; clasicaci´ on de nuevos pacientes de acuerdo a sus s´ ıntomas. Segmentaci´on de clientes - preferencias. Bancos, retails, empresas de seguros, productos de consumo masivo, marketing. Clasicaci´ on de spam. Alba Mart´ ınez-Ru iz An´ alisis Discriminante Clasicando las Observaciones

Upload: camila-andrea-olivero-araya

Post on 06-Jul-2018

226 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 1/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Analisis DiscriminanteClasicando las Observaciones

IND7210 Metodos Avanzados de Analisis de DatosPrograma de Magister en Ingenierıa Industrial

Alba Martınez-Ruiz

Departamento de Ingenierıa IndustrialUniversidad Cat´ olica de la Ssma. Concepci´ on, Chile

Concepcion, Chile

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Contenido

1 Introduccion

2 Funcion Discriminante de Mınimo Costo (ECM) - Caso 2 Poblaciones

3 Funcion Discriminante de Mınimo Costo (ECM) - Caso G Poblaciones

4 Funcion Discriminante Lineal de Fisher - Caso 2 Poblaciones

5 Funcion Discriminante Lineal de Fisher - Caso G Poblaciones

6 Razon de Error Aparente de Clasicacion

7 Estadısticos de Prueba

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Introducci´on

Tenemos un grupo de G poblaciones:

Queremos distinguir los grupos lomas posible uno de otro.

Medimos en cada grupo unavariable p -dimensionalx = ( x 1 , x 2 , . . . , x p ).

Usamos estas variables paraseparar/discriminar lo maximoposible los grupos.

Luego podemos clasicar unnuevo elemento en uno de los

grupos.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Introducci´on

Ejemplos:

Segmentacion de enfermedades de acuerdo a sıntomas;clasicacion de nuevos pacientes de acuerdo a sus sıntomas.

Segmentacion de clientes - preferencias.

Bancos, retails, empresas de seguros, productos de consumomasivo, marketing.

Clasicacion de spam.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 2: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 2/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Introducci´on

Tenemos dos problemas o tareas (parecidos pero distintos):

Un problema de discriminaci´on/separaci´ onUn problema de clasicaci on/asignaci´ on

No todas las variables medidas pueden ser utiles para separar losgrupos, algunas pueden tener mayor poder discriminante que otras.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Introducci´on

El problema de discriminaci´ on generalmente es un problemasupervisado , es decir, conocemos los G grupos o poblaciones a priori.

Esta informacion nos sirve para construir una funcion discriminadoraque nos permitira clasicar un nuevo elemento.

La clasicacion generalmente no es intentada a menos que el vector demedias de las poblaciones dieran signicativamente de una muestra aotra.

Hay metodos de clasicacion no supervisados que son utilizados cuandono se conoce los grupos a priori, por ejemplo tecnicas de clustering oanalisis de conglomerados.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Introducci´on

Dos procedimientos para separar y clasicar un nuevo elemento:

Funci on discriminante de mınimo costo .

Minimiza el costo de clasicar mal un nuevo elemento.Enfatiza la clasicacion.Supuesto acerca de la distribucion de probabilidad de los datos.Casos: 2 poblaciones, G poblaciones.

Funci on discriminante lineal de Fisher .Enfatiza la separacion.No hace ningun supuesto acerca de la poblacion.Casos: 2 poblaciones, G poblaciones.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Necesitamos una regla para decidir donde clasicar un nuevoelemento que minimize el error de clasicaci´ on.

Π1 y Π2: dos clases/grupos/poblaciones.x: variable p -dimensional medida en las problaciones Π1 y Π2.Ω: espacio muestral, es decir todos los posibles valores de x.R1 y R2 = Ω R1: conjunto de valores (regiones) de x quepermiten clasicar las observaciones en Π1 o Π2. p1: probabilidad a priori de pertenecer a Π1. p2: probabilidad a priori de pertenecer a Π2.

p1 + p2 = 1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 3: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 3/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

P(obs. es correctamente clasicada en Π1) = P(obs. viene de Π1 y escorrectamente clasicada en Π1).

P (x ∈R1 |Π1)P (Π1) = P (1|1) p1

P(obs. es erroneamente clasicada en Π1) = P(obs. viene de Π2 y eserroneamente clasicada en Π1).

P (x ∈R1 |Π2)P (Π2) = P (1|2) p2

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

P(obs. es correctamente clasicada en Π2) = P(obs. viene de Π2 y escorrectamente clasicada en Π2 .

P (x ∈R2 |Π2)P (Π1) = P (2|2) p2

P(obs. es erroneamiente clasicada en Π2) = P(obs. viene de Π1 y eserroneamente clasicada en Π2).

P (x ∈R2 |Π1)P (Π1) = P (2|1) p1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Clasicar mal tiene un costo:

Π1 Π2

Π1 0 c(2|1)

Π2 c(1|2) 0

Costo total a minimizar :

ECM = c(2|1) p(2|1) p1 + c(1|2) p(1|2) p2

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

f 1(x) y f 2(x): funciones de densidad asociadas a x para cadapoblacion.x0: observacion a clasicar en Π1 o Π2.

Regla de Clasicaci´ on

(1) Clasicamos x0 en R1 cuando:f 1(x)f 2(x)

≥ c(1|2)c(2|1)

p2

p1

(2) Clasicamos x0 en R2 cuando:

f 1(x)f 2(x)

< c(1|2)c(2|1)

p2 p1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 4: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 4/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Casos especiales.

A.1 p2/p 1 = 1 (probabilidades a priori iguales).

R1: f 1 (x)f 2 (x) ≥ c(1 |2)

c(2 |1) R2: f 1 (x)f 2 (x) < c(1 |2)

c(2 |1)

A.2 c(1|2)/c (2|1) = 1 (costos de clasicar mal iguales).

R1: f 1 (x)f 2 (x) ≥ p1

p2R2: f 1 (x)

f 2 (x) < p1

p2

A.3 p2/p 1 = 1 y c(1|2)/c (2|1) = 1

R1: f 1 (x)f 2 (x) ≥ 1 R2: f 1 (x)

f 2 (x) < 1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Caso especial : f (x), densidades normales multivariadas .

f i (x) = 1

(2π) p/ 2|Σ |1/ 2 exp1

2 (x µi ) ′Σ − 1(x µi )

B.1 Σ1 = Σ 2 = Σ =⇒ funcion discriminante lineal .

B.2 Σ1 = Σ 2 =⇒ funcion discriminante cuadratica .

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Funci on discriminante lineal : regla general de clasicacion para2 poblaciones normales de mınimo costo, Σ1 = Σ 2 = Σ (optima).

(1) Clasicamos x0 en Π1 si:

(µ1 µ2) ′Σ − 1x0 12 (µ1 µ2) ′Σ − 1(µ1 + µ2) ≥ ln c(1 |2)

c(2 |1) p2

p1

(2) Clasicamos x0 en Π2 en otro caso.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Funci on discriminante lineal : estimacion para la regla general declasicacion para 2 poblaciones normales de mınimo costo,x1, x2, Scjta (no es optima).

Scjta = n 1 − 1(n 1 − 1)+( n 2 − 1) S1 + n 2 − 1

(n 1 − 1)+( n 2 − 1) S2

n1 + n2 2 ≥ pAsumimos probabilidades a priori y costos de clasicar maliguales.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 5: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 5/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

(1) Clasicamos x0 en Π1 si:

(x1 x2) ′ S− 1cjta x0 ≥ 1

2 (x1 x2) ′ S− 1cjta (x1 + x2)

a ′ x0 ≥ 12 (x1 x2) ′ S− 1

cjta x1 + 12 (x1 x2) ′ S− 1

cjta x2

a ′ x0 ≥ 12 a ′ x1 + 1

2 a ′ x2y0 ≥ 1

2 (y1 + y2)

(2) Clasicamos x0 en Π2 en otro caso.

Todo dependera de si y0 = a ′ x0 cae a la derecha o a la izquierda delpromedio de las medias univariadas, y1 y y2 .

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Funci on discriminante cuadratica : regla general de clasicacionpara 2 poblaciones normales de mınimo costo, Σ1 = Σ 2.

(1) Clasicamos x0 en Π1 si:

12 x′(Σ − 1

1 Σ − 12 )x + ( µ′

1Σ − 11 µ′

2Σ − 12 )x k ≥ ln c(1 |2)

c(2 |1) p2

p1

con k = 1

2 ln |Σ 1 |

|Σ 2 |+ 1

2(µ′

1Σ − 1

1 µ1 µ′

2Σ − 1

2 µ2).

(2) Clasicamos x0 en Π2 en otro caso.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso 2 Poblaciones

Funci on discriminante cuadratica : estimacion para la reglageneral de clasicacion para 2 poblaciones normales de mınimocosto, x1, x2, S1 y S2.

(1) Clasicamos x0 en Π1 si:

12 x′

0(S− 11 S− 1

2 )x0 + ( x′1S− 1

1 x′2S− 1

2 )x0 k ≥ ln c(1 |2)c(2 |1)

p2

p1

con k = 12 ln |S1 |

|S2 | + 12 (x′

1S− 11 x1 x′

2S− 12 x2).

(2) Clasicamos x0 en Π2 en otro caso.

Raramente se aplica para mas de 2 poblaciones por que es difıcil deinterpretar.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

G poblaciones. pi : probabilidad a priori de pertenecer a Πi .c(k|i): costo de asignar un caso a Πk cuando pertenece a Πi .f i (x): funcion de densidad.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 6: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 6/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

El costo de clasicar mal x de Π1 en Π2, Π3,. . . es:

ECM (1) = P (2|1)c(2|1) + P (3|1)c(3|1) + . . . + P (g|1)c(g|1)

ECM (1) = gk =2 P (k|1)c(k|1)

La funcion de costo total a minimizar sera:

ECM = p1ECM (1) + p2ECM (2) + . . . + pg ECM (g)

Clasicamos x en la poblacion Πk en la cual el valor i=1i = k

pi f i (x)c(k|i)

es el mas pequeno.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

CASO 1 : los costos c(k|i) son todos iguales.

Clasicamos x0 en Πk si:

pk f k (x) > p i f i (x), ∀i = k

Esto equivale a:

Clasicamos x0 en Πk si:

ln pk f k (x) > ln pi f i (x), ∀i = k

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

CASO 2 : poblaciones normales.

f i (x) = 1

(2π) p/ 2 |Σ |1/ 2 exp1

2 (x µi ) ′ Σ − 1(x µi )

Para la poblacion Πk tendremos:

ln pk f k (x) = ln pk p2 ln(2π) 1

2 ln |Σ k | 12 (x µk ) ′ Σ − 1

k (x µk )

Esta expresion dene un discriminador cuadratico (score) dQi (x):

dQi (x) =

12

ln |Σ i | 12

(x µi ) ′ Σ − 1i (x µi ) + ln pi i = 1, . . . , g

Clasicamos x en Πk si dQk (x) es el (score) discriminador cuadratico mas

grande.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

CASO 3 : µi , Σ i desconocidos → xi , Si .

Hacemos una estimacion del discriminador cuadratico.

Regla de clasicacion: clasicamos x en Πk si dQk (x) es el

(score) discriminador cuadr atico mas grande.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 7: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 7/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

CASO 4 : µi y Σ

i desconocidos, pero Σ

i = Σ .

La expresion para dQi (x) es:

dQi (x) = − 1

2 ln |Σ | 12 x′Σ − 1x + µ′

iΣ − 1x 12 µ′

iΣ − 1µi + ln pi

que es un discriminador (score) lineal. Simplicando:

di (x) = µ′iΣ − 1x 1

2 µ′iΣ − 1µi + ln pi i = 1 , . . . , g .

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

CASO 5 : µi, Σ desconocidos → x

i, S

cjta.

Hacemos una estimacion de di (x):

Scjta = 1

n 1 + n2 + . . . + ng g[(n1 1)S1 +( n2 1)S2 + . . . +( ng 1)Sg ]

=⇒ di (x) = x′i S

− 1cjta x 1

2 x′i S

− 1cjta xi + ln pi i = 1 , . . . , g .

Clasicamos x0 en Πk si el discriminador lineal dk (x) es el mas grande.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo - ECMCaso G Poblaciones

Algunas consideraciones:

Si las probabilidades a priori son desconocidas, elprocedimiento usual es p1 = p2 = . . . = pg = 1

g .

Los casos (3) y (5) pueden no ser optimos ya que empleamosestimadores de los parametros poblacionales. Por lo tanto surendimiento debe ser evaluado (razon de error aparente).

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante de Mınimo Costo

Resumen

Discriminadores 2 poblaciones G poblaciones

Lineales µi , Σ 1 = Σ 2 = Σ µi , Σ i = Σx i , S cjta (Σ 1 = Σ 2 = Σ ) x i , S cjta (Σ i = Σ )

Cuadraticos µi , Σ 1 = Σ 2 µi , Σ i = Σ k

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 8: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 8/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso 2 Grupos

Objetivo : Buscar una combinacionlineal y tal que al proyectar los datosesten lo mas separados posible.

Supuestos:

2 poblaciones nonecesariamente normales

Σ1 = Σ

2 = Σ

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso 2 Grupos

La separacion entre los grupos esta dada por:

|y1 y2 |s2y

donde y1 y y2 son las proyecciones de x1 y x2 sobre y dadas pora ′ x1 y a ′ x2, respectivamente.

Si Σ 1 = Σ 2 = Σ tenemos:

Scjta = n 1 − 1(n 1 − 1)+( n 2 − 1) S1 + n 2 − 1

(n 1 − 1)+( n 2 − 1) S2

Ademas, como y = a ′x:

s2y = a ′Scjta a

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso 2 Grupos

Maximizamos la variabilidad entre los grupos relativo a lavariabilidad intra grupo, es decir estimamos a de manera quemaximicemos la razon:

(y1 y2)2

s2y

= (a ′ x1 a ′ x2)2

a ′Scjta a

= (a ′d)2

a ′Scjta a

donde d = ¯x1

¯x2.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso 2 Grupos

La direccion a que maximiza esta razon es:

a ′ = ( x1 x2) ′S− 1cjta

La combinacion lineal y de las x’s es:

y = a ′x = ( x1 x2) ′S− 1cjta x

Este es el discriminador lineal de Fisher . El maximo de la razon esy = D 2 = ( x1 x2) ′ S− 1

cjta (x1 x2).

Dadas 2 poblaciones normales, la regla de clasiacion de Fisher esequivalente a la regla de mınimo costo esperado con probabilidades apriori iguales y costos de clasicar mal iguales.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 9: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 9/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

Objetivo : separar las poblaciones o conjuntos de datos lo maximoposible; puede ser usado para clasicacion.

G poblaciones no necesariamente normales.Σ 1 = Σ 2 = . . . = Σ g = Σ de rango completo.

Maximizamos la separacion entre las medias de las poblacionesusando el cuociente:

Variabilidad entre GruposVariabilidad dentro de los grupos

= Varianza explicada

Varianza no explicada o residual

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

Proyectamos las medias y los grupos de puntos de tal manera

que tengan separaci on maxima.

El vector donde proyectamos lo buscamos como unacombinacion lineal de las x.

Vector de medias :

µ = 1g

gi=1 µi

Diferencias entre grupos :

Bµ = gi=1 (µi µ)(µi µ) ′

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso G Grupos

Media global proyectada :

µy = 1

q

g

i=1 µiy

= 1

g

g

i=1

a ′µi

= a′ 1g

g

i=1

µi

= a′ µ

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso G Grupos

Formamos la razon:

Suma de las distancias al cuadradoVarianza de Y

=gi =1 (µiy µy )2

σ2y

=gi =1 (a ′ µi a ′ µ)2

a ′ Σ a

= a′ ( g

i =1 (µi µ)(µi µ) ′ ) aa ′ Σ a

= a′ Bµ a

a ′ Σ a

Mide la variabilidad entre los grupos relativo a la variabilidad dentrodentro de los grupos. Debemos seleccionar a de manera de maximizaresta razon.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 10: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 10/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

Usualmente no tenemos Σ y µi . Entonces si tenemos muestras 1 de

tama no n i de la poblacion Πi , i = 1 , . . . , g , el procedimiento es elsiguiente:

(1) Calculamos las medias muestrales.xi = 1

n i

n i j =1 x ij

(2) Calculamos las matrices de covarianzas Si , i = 1 , . . . , g .

(3) Calculamos la media global.x = 1

ggi=1 xi

1 Datos de entrenamiento.Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

(4) Calculamos la matriz B de diferencias entre grupos (varianzaexplicada).

B = gi=1 (xi x)( xi x) ′

(5) Calculamos la matriz W (una estimacion de Σ) con lasdiferencias dentro de los grupos (varianza no explicada oresidual).

W = gi=1 (n i 1)Si = g

i=1n i j =1 (x ij xi )(x ij xi) ′

La estimacion de Σ es Scjta = W (n 1 + n 2 + ... + n g − g)

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso G Grupos

(6) Maximizamos a ′B aa ′W a

para estimar a.

Es decir, maximizamos la relacion entre la variabilidad entre gruposo varianza explicada y la variabilidad dentro de los grupos ovarianza no explicada. Maximizar esta expresion es equivalente a

calcular los valores y vectores propios de W ′B .

W ′B es la matriz de distancias de Mahalanobis generalizada.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciFunci on Discriminante Lineal de FisherCaso G Grupos

Tendremos λ1, . . . , λ s > 0 y e1, . . . , es con s ≤ min (g 1, p). Losvectores e1, . . . , es estan escalados tal que e′Scjto e = 1 .

La magnitud del valor propio nos indica la variabilidad explicadaque cada variable canonica aporta al problema de discriminacion.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 11: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 11/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

El vector a viene dado por a1 = e1.El primer discriminante muestral o primera variable can´ onicade Fisher es:

a ′1x = y1

El k-esimo discriminante muestral , k ≤ s, es:

a ′kx = e′

kx = yk

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Funci on Discriminante Lineal de FisherCaso G Grupos

Dado que s ≤ min ( p, g 1) tenemos:

∀ p, si g = 2 , el numero maximo de discriminantes es 1.∀ p, si g = 3 , el numero maximo de discriminantes es 2.Si p = 2 , ∀g, el numero maximo de discriminantes es 2.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciRaz on de Error Aparente de Clasicaci´ on

Raz on de error aparente de clasicaci´ on.

Se dene como la fraccion de observaciones en la muestra (deaprendizaje) que sera mal clasicada por la funcion de clasicacion.

Se puede aplicar a cualquier procedimiento de clasicacion.Desventaja: subestima el error real.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciRaz on de Error Aparente de Clasicaci´ on

Tabla de resultados de la clasicacion.

Pertenencia Pronosticada

Π1 Π2

Pertenencia OriginalΠ1 n1C n1M = n1 n1C n1

Π2 n2M = n2 n2C n2C n2

n1C : numero de casos Π1 clasicados correctamente en Π1.n1M : numero de casos Π1 mal clasicados como casos en Π2.n2C : numero de casos Π2 clasicados correctamente en Π2.

n2M : numero de casos Π2 mal clasicados como casos en Π1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 12: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 12/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Raz on de Error Aparente de Clasicaci´ on

La razon de error aparente es igual a:

n1M + n2M

n1 + n2

proporcion de casos en la muestra de entrenamiento que estan malclasicados.

Finalmente, si se quiere clasicar un nuevo elemento x0, secalculan sus coordenadas y0 con y0 = a ′x0 y se asigna al grupo decuya media transformada, µiy = a ′µi , este mas pr oximo con ladistancia euclıdea.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Estadısticos de Prueba

Prueba para la normalidad univariada y multivariada.Prueba para la igualdad de las medias de los grupos.Prueba M de Box para la igualdad de las matrices decovarianzas de los grupos.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciEstadısticos de PruebaTest normalidad univaridad y multivariada

Generalizaci´on de los contraste de asimetrıa y kurtosis.La normalidad multivariante implica la normalidad de las distribucionesmarginales unidimensionales (condicion necesaria pero no suciente).

Coeciente de asimetrıa multivariante:

A p = 1n 2 ni =1 nj =1 d3ij

Coeciente de kurtosis multivariante:

K p = 1n

ni =1 d2

ii

donde dij = ( xi − x′ S− 1(xi − x). Se verica asintoticamente con datosnormales:

nA p/ 6 ∼ χ 2f con f = 1

6 p( p + 1)( p + 2)

K p ∼N ( p( p + 2);8 p( p + 2) /n )

Este contraste requiere de muestras grandes.Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciEstadısticos de PruebaTest para la igualdad de las medias

2 poblaciones: x 1(n 1 × p) ∼N p(µ1, Σ) y x2(n 2 × p) ∼N p(µ2, Σ)

H 0 : µ1 = µ2

(1) Σ conocida, el estadıstico de contraste es:

n 1 n 2

n 1 + n 2(x1 − x2) ′Σ − 1(x1 − x2) ∼ χ 2

p

(2) Σ desconocida, el estadıstico de contraste es:n 1 + n 2 − 1− p(n 1 + n 2 − 2)

n 1 n 2

n 1 + n 2(x1 − x2) ′S− 1(x1 − x2) ∼ F pn 1 + n 2 − 1− p

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 13: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 13/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Estadısticos de PruebaTest para la igualdad de las medias

G poblaciones.

H 0 : µ1 = µ2 = . . . = µg = µ

H 1 : no todas las µi son iguales

B = gi=1 (xi − x)( xi − x) ′ (dispersion entre grupos).

W = g

i=1(x ij − xi )(x ij − xi ) ′ (dispersion intra grupos).

T = gi=1

n i j =1 (xij − x)( xij − x) ′ (dispersion total).

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Estadısticos de PruebaTest para la igualdad de las medias

Se verica que W = ( n − g)S y la relacion T = B + W. Si la hipotesis

nula es cierta, se verica ademas:

B ∼W p(Σ , g − 1), W ∼W p(Σ , n − g), T ∼W p(Σ , n − 1)

donde W p es la distribucion de Whishart. B y W son estocasticamenteindependientes, ⇒ si H 0 es cierta:

Λ de Wills = Λ = |W ||W + B| ∼Λ( p, n − g, g − 1)

Rechazaremos H 0 si Λ es un valor pequeno y signicativo, o si latransformacion a una F es grande y signicativa.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciEstadısticos de PruebaTest para la igualdad de las medias

Ademas del estadıstico Λ de Wilks, hay otros estadısticos basados en B yW:

Traza de Lawley-Hotelling:

tr [BW − 1]− 1

Traza de Pillai:

tr [B(B + W)− 1]

Raız mas grande de Roy:

maximo valor propio de W(B + W)− 1

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciEstadısticos de PruebaTest para la igualdad de las medias

Todos estos test son aproximadamente equivalentes para muestrasextremadamente grandes.Hay evidencia que indica que la traza de Pillai es una medidarobusta cuando no hay normalidad.

La raız mas grande de Roy no es considerada, aunque seasignicativa, si los otros estadısticos no son signivativos.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Page 14: Clase Analisis Discriminante

8/16/2019 Clase Analisis Discriminante

http://slidepdf.com/reader/full/clase-analisis-discriminante 14/14

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Estadısticos de PruebaTest para la igualdad de las matrices de covarianzas

Prueba M de Box para G poblaciones:

H 0: Σ1 = Σ 2 = . . . = Σ g = Σ

La hipotesis alternativa es que al menos dos de las matrices decovarianzas no son iguales.

El estadıstico de raz on de verosimilitud:

Λ = i |Si |

|Scjta |

(n i − 1)/ 2

donde Scjta = 1i (n i − 1) [(n1 − 1)S1 + ( n2 − 1)S2 + . . . + ( ng − 1)Sg ].

La expresion M = − 2lnΛ aproxima una χ 2 .

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on Funcion iscriminante e ınimo osto (E - aso 2 o aciones Funci

Estadısticos de PruebaTest para la igualdad de las matrices de covarianzas

Si Λ es cercano a 1 y M pequenos, H 0 es verdadera (S i yScjta son similares).

Si Λ es pequeno y M relativamente grande, H 0 es falsa.

Sensible a las desviaciones de la normalidad multivariada.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciEstadısticos de PruebaTest para la igualdad de las matrices de covarianzas

Prueba de Box para Igualdad de las Matrices de Covarianzas(Johnson and Wichern, 2007).

Sea:

u = i

1

(n i − 1) − 1

i (n i − 1)

2 p2 +3 p− 1

6( p+1)( g− 1)

donde p es el numero de variables y g el numero de grupos. Entonces:

C = (1 − u)M = (1 − u) [ i (n i − 1)] ln |Scjta | − i [(n i − 1)ln |Si |]

distribuye como una χ 2 con:

ν = g 12 p( p + 1) − 1

2 p( p + 1) = 12 p( p + 1)( g − 1)

grados de libertad. A un nivel de signicancia α , rechazamos H 0 si

C > χ 2 p( p+1)( g− 1) / 2 . La prueba M de Box trabaja mejor si cada n i ≥ 20

y si p y g no exceden de 5.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones

Introducci´ on

Funcion iscriminante e ınimo osto (E - aso 2 o aciones FunciCuadras, C. M. (2012) Nuevos Metodos de AnalisisMultivariante, CMC Editions, Barcelona.

Johnson, R. Wichern, D. (2007) Applied MultivariateStatistical Analysis, Prentice Hall, New Jersey.

Mardia, K.V., Kent, J.T., Bibby, J.M. (1979) MultivariateAnalysis. London: Academic Press.

Pena, D. (2002) Analisis de Datos Multivariantes,McGraw–Hill, Madrid.

Alba Martınez-Ru iz Analisis Discriminante Clasicando las Observaciones