Aprendizaje

Capítulo 18

Sección 1 – 3

Aprendizaje

•Agentes que aprenden

•El aprendizaje inductivo

•Aprendiendo árboles de desición

Aprendiendo

•El aprendizaje es esencial para ambientes desconocidos, i.e., Cuando el diseñador carece de omnisciencia

•El aprendizaje es útil como un método de la construcción de sistema, i.e., Exponga al agente a la realidad en vez de tratar de programarlo

•El aprendizaje modifica los mecanismos de decisión del agente para mejorar la actuación

Elementos de aprendizaje • El diseño de un elemento educativo es

afectado por:-Cuáles de los componentes del elemento de actuación

deben ser aprendidos-Qué retroalimentación está disponible para aprender estos

componentes-Qué representación sirve para los componentes

• Tipo de retroalimentación:-Aprendizaje supervisado: Corrija respuestas para cada

ejemplo-Aprendizaje sin supervisar: Corrija respuestas no dadas-Aprendizaje reforzado: Las recompensas ocasionales

Aprendizaje Inductivo

•La forma más simple: Aprenda una función de ejemplos

f es la función a aprender

Un ejemplo es un par (x, f (x))

El problema: Encuentre una h de hipótesis–h debe modelar a f–Dado unos ejemplos de entrenamiento

Modelo altamente simplificado de aprendizaje real:-Ignorar el conocimiento anterior -Asumir que los ejemplos son dados

Método inductivo de aprendizaje•Construir/ajustar h para modelar f•h es coherente si está de acuerdo con f en todos los ejemplos

•La razon de Ockham: Prefiere la hipótesis más simple que consistente con datos

Aprendiendo árboles de decisiones

El problema: ¿Esperar una mesa en un restaurante? basado en los siguientes atributos:

1 Substituto: ¿Hay un restaurante alternativo cerca?2 La barra: ¿Hay un área confortable de la barra para la espera adentro?3 Viernes/Sábado: ¿Es hoy viernes o sábado?4 Hambriento: ¿Tienes hambre?5 Clientes: El número de personas en el restaurante (Ninguno, Alguno, Lleno)6 Precio: La gama de precios ($, $$, $$$)7 Lloviendo: ¿Está lloviendo afuera?8 Reservación: Hemos hecho una reservación?9 Tipo: La clase de restaurante (el tailandés francés, italiano, Hamburgesas)•10Tiempo de Espera: (0-10, 10-30, 30-60, > 60)

Representaciones basadas en atributos

•La clasificación de ejemplos es positiva (T) o negativa (F)

Los árboles de decisión

La expresividad•Los árboles de decisiones puede expresar cualquier función de los atributos de entrada.•v. g., Para funciones Booleanas, el camino de la fila de la tabla de verdad a la hoja:

•Trivialmente, hay un árbol de decisiones coherente para cualquier conjunto de entrenamiento con un camino a la hoja para cada ejemplo (a menos que la f no este determinada en x) pero eso probablemente no generalizará para los ejemplos nuevos

•Se prefieren árboles de decisiones más compactos

Los espacios de hipótesis

¿Cuántos árboles de decisiones distintos con n atributos Booleanos?= el número de funciones Booleanas= el número de distintas tablas de verdad con = 2n filas = 22n

•v. g., Con 6 atributos Booleanos, hay 18,446,744,073,709,551,616 árboles

Los espacios de hipótesis¿Cuántos árboles de decisiones distintos con n atributos Booleanos?= el número de funciones Booleanas= el número de distintas tablas de verdad con = 2n filas = 22n

•E. g., Con 6 atributos Booleanos, hay 18,446,744,073,709,551,616 árboles•Cuántas hipótesis puramente conjuntivas (v.g., ¿Lluvia y Hambriento)?•Cada atributo puede estar adentro(positivo), adentro (negativo), o afuera

• 3n hipótesis conjuntivas distintas•Más espacio expresivo de hipótesis

•Los incrementos provocan que la función blanco pueda ser expresada•Incrementa el numero de hipótesis consistente con el conjunto de entrenamiento

pueden obtener peores predicciones

Aprendiendo árboles de decisiones

•La meta: Encontrar un árbol pequeño consistente con los ejemplos de entrenamiento•La idea: (Recursivamente) escojer el atributo "más significativo" como raíz de (sub) árbol

Teoría de información•Para implementar cambiar los atributos en el algoritmo DTL•El Contenido De Información (La Entropía):

I(P (v1), …, P (vn)) = Ói=1 - P(vi) log2 P(vi)•Para un set de entrenamiento que contenga ejemplos positivos p y ejemplos negativos n:

np

n

np

n

np

p

np

p

np

n

np

pI

22 loglog),(

Ganancia de información•Una A seleccionada de atributo divide la E del conjunto de entrenamiento en subconjunto E1, …, Ev según sus valores para A, donde A tiene v valores distintos.

•La ganancia de información (IG) o reducción en la entropía del atributo experimenta:

•Escoja el atributo con la IG más grande

v

i ii

i

ii

iii

np

n

np

pI

np

npAremainder

1

),()(

)(),()( Aremaindernp

n

np

pIAIG

Ganancia de informaciónPara el conjunto de entrenamiento, p n = 6, I(6/12, 6/12) = 1 bit

Considere los atributos Patrons y Type (y los otros también):

Patrons tiene el IG más alto de todos los atributos y así también está seleccionado por el algoritmo de DTL como la raíz

bits 0)]4

2,

4

2(

12

4)

4

2,

4

2(

12

4)

2

1,

2

1(

12

2)

2

1,

2

1(

12

2[1)(

bits 0541.)]6

4,

6

2(

12

6)0,1(

12

4)1,0(

12

2[1)(

IIIITypeIG

IIIPatronsIG

El contd de ejemplo.•El árbol de decisiones aprendido de los 12 ejemplos

•Sustancialmente más simple que el árbol “verdadero”• Una hipótesis más complicada no es justificada por unos pocos datos

La medida de aptitud•¿Cómo conocemos esa h ~ f?

•Use teoremas de estadística/computacional de teoría de aprendizaje•La h de intento en un conjunto nuevo de prueba de ejemplos

(Use la misma distribución sobre el espacio del ejemplo como conjunto de entrenamiento)

Curva de aprendizaje= % correcto en la prueba colocada como una función de tamaño del set de entrenamiento

El resumen•El aprendizaje necesario para ambientes desconocidos, diseñadores perezosos•Agente de aprendizaje = actuación del elemento + el elemento de aprendizaje•Para el aprendizaje supervisado, la meta es encontrar una hipótesis simple aproximadamente consistente con los ejemplos de entrenamiento•Aprendizaje de árbol de decisiones usando ganancia de información•Actuación de aprendizaje = predicción de actuación medida en el conjunto experimental