algoritmo de back-propagation

Algoritmo de Back-PropagationPresenta: Erik lvarez Velzquez Raquel Montes San Agustn

NEURONA ARTIFICIAL Neurona artificial: unidad de procesamiento de la informacin, es un dispositivo simple de clculo que ante un vector de entradas proporciona una nica salida. Elementos: Conjunto de entradas, xj Pesos sinpticos, wi Funcin de activacin: w1x1+ w2x2 + ... + wnxn = a Funcin de transferencia: y = F (w1x1+ w2x2 + ... + wnxn )a y

Principales funciones de transferencia: Lineal: y=ka Escaln: y = 0 si a=0 Sigmoide Gaussiana.

Backpropagation El mtodo de back-propagation (o entrenamiento hacia atrs) es un sistema automtico de entrenamiento de redes neuronales con capas ocultas, perfeccionado en la dcada de los 80.

Principios Bsicos El algoritmo Back-propagation es un algoritmo iterativo que permite entrenar redes multicapa. Calcula el error en la salida para cada patrn. Ajusta los pesos en la capa de salida para reducir el error. Propaga los errores hacia la capa de entrada, ajustando los pesos de las capas ocultas. Repite este proceso de forma iterativa. Los pesos se pueden actualizar de dos formas: -Tras presentar cada patrn.

Caractersticas Principales El algoritmo busca el mnimo de la funcin error a partir de un conjunto de patrones de entrenamiento. El algoritmo precisa que la funcin de activacin sea diferenciable. Entrenar consiste en modificar los pesos de la red. Los pesos se modifican hacia la direccin descendente de la funcin error. La red entrenada es capaz de generalizar, clasificando correctamente patrones ruidosos o incompletos.

AlgoritmoEl sistema de entrenamiento mediante back-propagation consiste en: 1. Empezar con unos pesos sinpticos cualquiera (generalmente elegidos al azar). 2. Introducir unos datos de entrada (en la capa de entradas) elegidos al azar entre los datos de entrada que se van a usar para el entrenamiento. 3. Dejar que la red genere un vector de datos de salida (propagacin hacia delante). 4. Comparar la salida generada por al red con la salida deseada. La diferencia obtenida entre la salida generada y la deseada (denominada error) se usa para ajustar los pesos sinpticos de las neuronas de la capa de salidas.

5. El error se propaga hacia atrs (backpropagation), hacia la capa de neuronas anterior, y se usa para ajustar los pesos sinpticos en esta capa. 6. Se continua propagando el error hacia atrs y ajustando los pesos hasta que se alcance la capa de entradas. Este proceso se repetir con los diferentes datos de entrenamiento.

Deficiencias Dificultad en elegir la arquitectura de la red (numero de capas, numero de unidades en cada capa, etc.), los parmetros de aprendizaje(alpha, momento, error aceptable, etc.) Lentitud del aprendizaje. Mnimos Locales- Es difcil localizar el mnimo global de energa, y suele caer en mnimos locales. Parlisis de la red- los pesos toman valores muy grandes, y la red no

Aplicaciones Este tipo de redes se estn aplicando a distintas clases de problemas. Esta versatilidad se debe a la naturaleza general de su proceso de aprendizaje ya que solamente se necesitan dos ecuaciones para propagar las seales de error hacia atrs. La utilizacin de una u otra ecuacin slo depende de si la unidad de proceso es o no de salida. Algunos de los campos de aplicacin ms representativos son :Codificacin de informacin: la idea consiste en que la informacin de entrada se recupere en la salida a travs de un cdigo

Reconocimiento de lenguaje hablado Reconocimiento ptico de caracteres (OCR) Aplicaciones en cardiologa Clasificacin de seales electrocardiogrficas (ECG) Deteccin de taquicardias ventriculares y supraventriculares Deteccin de complejos QRS anmalos Reconocimiento de formas anormales en seales ECG Emulacin hardware de una red neuronal para el procesado de ECG Cancelacin de ruido en seales ECG

Comprensin/descomprensin de datos

EjercicioUtilizando el algoritmo de Back-Propagation hacer un anlisis para determinar si una persona tiene inters en comprar un auto considere, los siguientes datosSEXO AUTOMVIL ESCOLARID ROL AD 1 1 1 1 1 1 1 2 1 2 6 7 7 4 7 1 1 4 1 1 TARJETA

EDAD NSE

INTERES DE COMPRA 5 5 3 5 4

38 39 28 30 34

1 2 1 1 3

2 2 1 1 2

NSE: nivel de ingreso

Posibles Valores NSE 1 2 3 ALTO MEDIO BAJO Automvil 1 2 TIENE NO TIENE 1 2

sexo MASCULINO FEMENINO

escolaridad rol 1 1 2 3 4 5 6 7 NO FUE A LA ESCUELA PRIMARIA INCOMPLETA PRIMARIA COMPLETA SECUNDARIA INCOMPLETA SECUNDARIA COMPLETA UNIVERSITARIA INCOMPLETA UNIVERSITARIA COMPLETA INTERES 1 2 3 4 5 MUY INTERESADO INTERESADO MAS O MENOS POCO INTERESADO NADA INTERESADO 2 3 4 5 JEFE DE FAMILIA AMA Y JEFE AMA DE CASA HIJO/A OTRO

tarjeta 1 S 2 NO

Bibliografa Redes Neuronales Artificialesde Jos Hilera y Vctor J. Martnez de la Editorialra-ma, pgs. 138-142.