métodos de inteligencia artificialesucar/clases-metia/metia-14.pdf · 2011-03-22 · métodos de...
TRANSCRIPT
![Page 1: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/1.jpg)
Métodos deInteligencia Artificial
L. Enrique Sucar (INAOE)[email protected]
ccc.inaoep.mx/esucarTecnologías de Información
UPAEP
![Page 2: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/2.jpg)
Agentes que Aprenden:Clasificador Bayesiano
• Clasificación• Clasificador bayesiano• Clasificador bayesiano simple• Extensiones: TAN y BAN• Mejora estructural• Discretización
![Page 3: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/3.jpg)
© L.E. Sucar: MGP - Básicos 3
Clasificación
• El concepto de clasificación tiene dossignificados:– No supervisada: dado un conjunto de datos,
establecer clases o agrupaciones (clusters)– Supervisada: dadas ciertas clases, encontrar
una regla para clasificar una nueva observacióndentro de las clases existentes
![Page 4: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/4.jpg)
4
Clasificación
• El problema de clasificación (supervisada)consiste en obtener el valor más probable de unavariable (hipótesis) dados los valores de otrasvariables (evidencia, atributos)
ArgH [ Max P(H | E1, E2, ...EN) ]ArgH [ Max P(H | EE) ]
EE = {E1, E2, ...EN}
![Page 5: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/5.jpg)
5
Tipos de Clasificadores
• Métodos estadísticos clásicos– Clasificador bayesiano simple (naive Bayes)– Descriminadores lineales
• Modelos de dependencias– Redes bayesianas
• Aprendizaje simbólico– Árboles de decisión, reglas, …
• Redes neuronales, SVM, …
![Page 6: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/6.jpg)
6
Clasificación
• Consideraciones para un clasificador:– Exactitud – proporción de clasificaciones
correctas– Rapidez – tiempo que toma hacer la
clasificación– Claridad – que tan comprensible es para los
humanos– Tiempo de aprendizaje – tiempo para obtener o
ajustar el clasificador a partir de datos
![Page 7: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/7.jpg)
7
Regla de Bayes
• La probabilidad posterior se puede obtener en basea la regla de Bayes:
P(H | EE) = P(H) P(EE | H) / P(EE)P(H | EE) = P(H) P(EE | H) / Σi P(EE | Hi ) P(Hi)
• Normalmente no se requiere saber el valor deprobabilidad, solamente el valor más probable de H
![Page 8: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/8.jpg)
8
Regla de Bayes
• Para el caso de 2 clases H:{0, 1}, la regla dedecisión de Bayes es:
H*(E) = 1 si P(H=1 | EE) > 1/20, de otra forma
• Se puede demostrar que la regla de Bayes esóptima
![Page 9: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/9.jpg)
9
Valores Equivalentes
• Se puede utilizar cualquier función monotónicapara la clasificación:
ArgH [ Max P(H | EE) ]ArgH [ Max P(H) P(EE | H) / P(EE) ]
ArgH [ Max P(H) P(EE | H) ]ArgH [ Max log {P(H) P(EE | H)} ]
ArgH [ Max ( log P(H) + log P(EE | H) ) ]
![Page 10: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/10.jpg)
10
Clasificador bayesiano simple
• Estimar la probabilidad: P(EE | H) es complejo, pero sesimplifica si se considera que los atributos son independientesdada la hipotesis:
P(E1, E2, ...EN | H) = P(E1 | H) P(E2 | H) ... P(EN | H)• Por lo que la probabilidad de la hipótesis dada la evidencia
puede estimarse como:P(H | E1, E2, ...EN) = P(H) P(E1 | H) P(E2 | H) ... P(EN | H)
P(EE)• Esto se conoce como el clasificador bayesiano simple
![Page 11: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/11.jpg)
11
Clasificador bayesiano simple
• Como veíamos, no es necesario calcular eldenominador:
P(H | E1, E2, ...EN) ~P(H) P(E1 | H) P(E2 | H) ... P(EN | H)
• P(H) se conoce como la probabilidad a priori,P(Ei | H) es la probabilidad de los atributos dadala hipótesis (verosimilitud), y P(H | E1, E2, ...EN)es la probabilidad posterior
![Page 12: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/12.jpg)
12
Ejemplo
• Para el caso del golf, cuál es la acción másprobable (jugar / no-jugar) dado elambiente y la temperatura?
![Page 13: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/13.jpg)
13
Ventajas
• Bajo tiempo de clasificación• Bajo tiempo de aprendizaje• Bajos requerimientos de memoria• “Sencillez”• Buenos resultados en muchos dominios
![Page 14: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/14.jpg)
14
Limitaciones• En muchas ocasiones la suposición de independencia
condicional no es válida• Para variables continuas, existe el problema de
discretización• Alternativas – dependencias:
– Estructuras que consideran dependencias– Mejora estructural del clasificador
• Alternativas – variables continuas:– Descriminador lineal (variables gaussianas)– Técnicas de discretización
![Page 15: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/15.jpg)
© L.E. Sucar: MGP - Básicos 15
CBS – modelo gráfico
C
A2A1 An…
![Page 16: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/16.jpg)
16
Extensiones
• TAN
C
A2A1 An…
Se incorpora algunasdependencias entre atributos mediante laconstrucción de un“árbol” entre ellos(técnica de Chow-Liu)
![Page 17: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/17.jpg)
17
Extensiones
• BAN
C
A2
A1 An…
Se incorpora una “red” para modelar lasdependencias entre atributos (aprendizajede redes bayesianas).
![Page 18: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/18.jpg)
18
Mejora estructural
• Otra alternativa para mejorar el CBS es partir deuna estructura “simple” y modificarla mediante:– Eliminación de atributos irrelevantes (selección de
atributos)– Verificación de las relaciones de independencia entre
atributos y alterando la estructura:• Eliminar nodos• Combinar nodos• Insertar nodos
![Page 19: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/19.jpg)
19
Eliminación de atributos• Medir la “dependencia” entre la clase y atributos
(por ejemplo con la información mutua), yeliminar aquellos con “poca” aportación
C
A2A1 A4A3
![Page 20: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/20.jpg)
20
Mejora estructural
• Medir la dependencia entre pares de atributosdada la clase (por ejemplo mediante lainformación mutua condicional), alterar laestructura si hay 2 dependientes:
1. Eliminación: quitar uno de los dos (redundantes)2. Unión: juntar los 2 atributos en uno, combinando sus
valores3. Inserción: insertar un atributo “virtual” entre la clase
y los dos atributos que los haga independientes.
![Page 21: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/21.jpg)
21
Mejora Estructural
YX
Z
X
Z
XY
Z W
Z
YX
![Page 22: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/22.jpg)
22
Atributos redundantes
• Prueba de dependencia entre cada atributoy la clase
• Información mutua:I(C, Ai) = Σ P(C, Ai) log [P(C, Ai) / P(C) P(Ai)]
• Eliminar atributos que no proveaninformación a la clase
![Page 23: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/23.jpg)
23
Atributos dependientes
• Prueba de independencia de cada atributodada la clase
• Información mutua condicionalI(Ai, Aj | C) =
Σ P(Ai,Aj|C) log [P(Ai,Aj|C) / P(Ai|C) P(Aj|C)]
• Eliminar, unir o (insertar) atributos
![Page 24: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/24.jpg)
24
Ejemplo:clasificación de piel
• 9 atributos - 3 modelos de color: RGB,HSV, YIQ
S
GR B IY QSH V
![Page 25: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/25.jpg)
25
Mejora estructural
S
GR IY QSH V
Elimina B
![Page 26: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/26.jpg)
26
S
GR IYSH V
Elimina Q
![Page 27: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/27.jpg)
27
S
GR IYS V
Elimina H
![Page 28: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/28.jpg)
28
S
RG IYS V
Unir RG
![Page 29: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/29.jpg)
29
S
RG IYS
Elimina V
![Page 30: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/30.jpg)
30
S
RG IY
Elimina S Exactitud: inicial 94%final 98%
![Page 31: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/31.jpg)
31
Discretización
• Si los atributos no siguen una distribucióngaussiana, la alternativa es convertirlos adiscretos agrupando los valores en unconjunto de rangos o intervalos
• Dos tipos de técnicas de discretización:– No supervisada: no considera la clase– Supervisada: en base a la clase
![Page 32: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/32.jpg)
32
Discretización no supervisada
• Intervalos iguales• Intervalos con los mismos datos• En base al histograma
![Page 33: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/33.jpg)
33
Discretización supervisada
• Considerando los posibles “cortes” entreclases:– Probar clasificador (con datos diferentes)– Utilizar medidas de información (p. ej., reducir
la entropía)• Problema de complejidad computacional
![Page 34: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/34.jpg)
34
Costo de mala clasificación
• En realidad, no sólo debemos considerar laclase más probable si no también el costode una mala clasificación– Si el costo es igual para todas las clases,
entonces es equivalente a seleccionar la demayor probabilidad
– Si el costo es diferente, entonces se debeminimizar el costo esperado
![Page 35: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/35.jpg)
35
Costo de mala clasificación• El costo esperado (para dos clases, + y -) está
dado por la siguiente ecuación:CE = FN p(-) C(-|+) + FP p(+) C(+|-)
FN: razón de falsos negativosFP: razón de falsos positivosp: probabilidad de negativo o positivoC(-|+): costo de clasificar un positivo como negativoC(+|-): costo de clasificar un negativo como positivo
• Considerando esto y también la proporción decada clase, existen técnicas más adecuadas paracomparar clasificadores como la curva ROC y lascurvas de costo
![Page 36: Métodos de Inteligencia Artificialesucar/Clases-MetIA/MetIA-14.pdf · 2011-03-22 · Métodos de Inteligencia Artificial L. Enrique Sucar (INAOE) esucar@inaoep.mx ccc.inaoep.mx/esucar](https://reader030.vdocuments.site/reader030/viewer/2022041004/5ea749cdf763153c2b69434e/html5/thumbnails/36.jpg)
Tarea
• Leer Capítulo 19 de Russell• Práctica de Redes Bayesianas (en la página
del curso)