redes neuronales adaline
DESCRIPTION
REDES NEURONALES, ADALINETRANSCRIPT
AGOSTO 2002 ESCOM I P N 1
Red AdalineRed Adaline
B. B. Widrow Widrow & M. Hoff& M. Hoff
(Adaptive Linear Element)
AGOSTO 2002 ESCOM I P N 2
REDES ADALINE Y REDES ADALINE Y MADALINEMADALINE
Desarrolladas en 1960 por Bernie Desarrolladas en 1960 por Bernie
Widrow y Marcian Hoff en la Widrow y Marcian Hoff en la
Universidad de Stanford.Universidad de Stanford.
ADALINE: ADAptive LINear ElementADALINE: ADAptive LINear Element
ADALINE: Una única Neurona de Salida.ADALINE: Una única Neurona de Salida.
MADALINE: Varias Neuronas de Salida.MADALINE: Varias Neuronas de Salida.
MADALINE (Multiple ADALINE)MADALINE (Multiple ADALINE)
AGOSTO 2002 ESCOM I P N 3
Bernard WidrowBernard Widrow
Professor Adaptive Systems. Widrow concentrates on adaptive signal processing, adaptive control systems, and adaptive neural networks. Adaptive systems have the ability to learn and improve their behavior through contact with their environments. Applications include signal processing, control systems, and pattern recognition. Sc.D. MIT 1956
Department of Electrical Engineering Durand Bldg., Rm. 139
723-4949
AGOSTO 2002 ESCOM I P N 4
Marcian E. Marcian E. HoffHoff
Marcian E. Hoff was born in 1937 in Rochester N.Y. and graduated with a degree in Electrical Engineering from Rensselaer Polytechnic Institute in 1958. He received his Ph.D. from Stanford University in 1962 and stayed on as a research associate in computer area until 1968. Hoff joined Intel as Manager of Application Research in 1968, became an Intel fellow in 1980 and remained in this position until 1983. After a year at Atari, Marcian E. Hoff became a consultant with time for independent technical projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine award of the Franklin Institute, the Cledo Brunetti Award and holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma Xi and is an IEEE Fellow.
AGOSTO 2002 ESCOM I P N 5
CaracterísticasCaracterísticas
AGOSTO 2002 ESCOM I P N 6
Diferencias con Diferencias con el PERCEPTRONel PERCEPTRON
Algoritmo de aprendizaje: Regla del Mínimo Algoritmo de aprendizaje: Regla del Mínimo Error Cuadrado Medio (LMS), o regla Delta, o Error Cuadrado Medio (LMS), o regla Delta, o regla de Widrow-Hoffregla de Widrow-Hoff
Su función de transferencia es lineal, (pureline )Su función de transferencia es lineal, (pureline ) Procesamiento de información analógica, tanto Procesamiento de información analógica, tanto
de entrada como de salida, utilizando una de entrada como de salida, utilizando una función de Activación Lineal o Sigmoidal.función de Activación Lineal o Sigmoidal.
También puede resolver problemas linealmente También puede resolver problemas linealmente separables.separables.
AGOSTO 2002 ESCOM I P N 7
Diferencias con Diferencias con el PERCEPTRON el PERCEPTRON
El algoritmo LMS minimiza el error El algoritmo LMS minimiza el error cuadrático medio y trata de mover la cuadrático medio y trata de mover la frontera de decisión tan lejos como sea frontera de decisión tan lejos como sea posible de los patrones de entrenamientoposible de los patrones de entrenamiento
La red ADALINE es menos sensible al La red ADALINE es menos sensible al ruido ruido
Las redes ADALINE y MADALINE tiene Las redes ADALINE y MADALINE tiene usos prácticos en el procesamiento de usos prácticos en el procesamiento de señales digitales.señales digitales.
AGOSTO 2002 ESCOM I P N 8
ArquitecturaArquitectura
AGOSTO 2002 ESCOM I P N 9
Arquitectura de Arquitectura de ADALINEADALINE
X0=1X1
W0
XN
X2
X3
W1
W2
W3
WN
S
s Salida Lineal
Salida binaria
y
Combinador Adaptativo Lineal
Conmutador Bipolar
s
y
-1
1
AGOSTO 2002 ESCOM I P N 10
Arquitectura de Arquitectura de ADALINEADALINE
Formada por un elemento denominado: Formada por un elemento denominado:
Combinador Adaptativo Lineal (ALC).Combinador Adaptativo Lineal (ALC).
La salida lineal obtenida del ALC se La salida lineal obtenida del ALC se
aplica a un Conmutador Bipolar.aplica a un Conmutador Bipolar.
El Umbral de la F. de T. se representa a El Umbral de la F. de T. se representa a
través de una conexión ficticia de peso través de una conexión ficticia de peso
Wo (b)Wo (b)
AGOSTO 2002 ESCOM I P N 11
Arquitectura Arquitectura de ADALINEde ADALINE
a purel in Wp b+ Wp b+= =
AGOSTO 2002 ESCOM I P N 12
AplicacionesAplicaciones
AGOSTO 2002 ESCOM I P N 13
Aplicaciones de Aplicaciones de ADALINEADALINE
Procesamiento de Señales.Procesamiento de Señales.• Filtros que eliminen el ruido en Filtros que eliminen el ruido en
señales portadoras de información.señales portadoras de información.• Filtros de ecualización adaptativos Filtros de ecualización adaptativos
en Módems de alta velocidad.en Módems de alta velocidad.• Cancelación del ruido materno de Cancelación del ruido materno de
grabaciones ECG del latido del feto grabaciones ECG del latido del feto humano.humano.
AGOSTO 2002 ESCOM I P N 14
AplicacionesAplicaciones(continuación)(continuación)
• Eliminación de ecos en circuitos Eliminación de ecos en circuitos telefónicos.telefónicos.
• Canceladores adaptativos del eco Canceladores adaptativos del eco para el filtrado de señales en para el filtrado de señales en comunicaciones telefónicas de larga comunicaciones telefónicas de larga distancia y comunicaciones vía distancia y comunicaciones vía satélite.satélite.
AGOSTO 2002 ESCOM I P N 15
Filtros Filtros AdaptativosAdaptativos
Tapped Delay Line Adaptive Filter
a k pure lin Wp b+ w1 i y k i– 1+ i 1=
R
b+= =
AGOSTO 2002 ESCOM I P N 16
Ejem. : Cancelación Ejem. : Cancelación de Ruidode Ruido
AGOSTO 2002 ESCOM I P N 17
Cancelación de ruido, Cancelación de ruido, Filtro AdaptativoFiltro Adaptativo
AGOSTO 2002 ESCOM I P N 18
Algoritmo de Algoritmo de Aprendizaje Aprendizaje
AGOSTO 2002 ESCOM I P N 19
Aprendizaje en la Aprendizaje en la Red ADALINERed ADALINE
•Aprendizaje OFF-LINE con Supervisión LMS
•LMS trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el PERCEPTRON, sólo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal.
AGOSTO 2002 ESCOM I P N 20
Aprendizaje en ADALINEAprendizaje en ADALINE(continuación)(continuación)
El entrenamiento de la red consiste en El entrenamiento de la red consiste en adaptar los pesos a medida que se adaptar los pesos a medida que se vayan presentando los patrones de vayan presentando los patrones de entrenamiento y salidas deseadas para entrenamiento y salidas deseadas para cada uno de ellos.cada uno de ellos.
Para cada combinación E/S se realiza un Para cada combinación E/S se realiza un proceso automático de pequeños proceso automático de pequeños ajustes en los valores de los pesos hasta ajustes en los valores de los pesos hasta que se obtienen las salidas correctas.que se obtienen las salidas correctas.
AGOSTO 2002 ESCOM I P N 21
Ecuaciones PrincipalesEcuaciones Principales
W k 1+ W k 2e k pTk +=
b k 1+ b k 2e k +=
En forma de Matriz:
0 1 max
R E ppT
12---p1p1
T 12---p2p2
T+==
es la velocidad de aprendizaje determinada por
Donde : max: es el eigenvalor más grande de la matriz Hessiana R
AGOSTO 2002 ESCOM I P N 22
Algoritmo de Algoritmo de Aprendizaje Aprendizaje en ADALINEen ADALINE
1. Se aplica un patrón de entrada P.
2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error).
3. Se actualizan los pesos.
4. Se repiten pasos 1 a 3 con todos los vectores de entrada.
5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.
AGOSTO 2002 ESCOM I P N 23
Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado.La regla minimiza el error cuadrático medio definido como:
donde:es la función de error
RRR at
p
RRR p 1
22 1
Regla de Widrow-HoffRegla de Widrow-Hoff
AGOSTO 2002 ESCOM I P N 24
La derivada de la suma del error cuadrático con respecto a un peso W(i,j) (de la entrada j a la neurona i) para un solo vector de entrada p y vector objetivo t, es:
)()(2)()(),()(),(),(
2
1
jpieibjpjiWitjiWjiW
sse R
j
AGOSTO 2002 ESCOM I P N 25
La regla de Widrow-Hoff es La regla de Widrow-Hoff es implementada realizando cambios a los implementada realizando cambios a los pesos en la dirección opuesta en la que el pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la error está incrementando y absorbiendo la constante -2 en constante -2 en lrlr..
En forma de matriz:En forma de matriz:
Transformando a la expresión del umbral Transformando a la expresión del umbral (considerando que en el umbral es un peso (considerando que en el umbral es un peso con entradas de 1):con entradas de 1):
)()(),( jpjelrjiW
TEplrW
Elrb
AGOSTO 2002 ESCOM I P N 26
SuperficieSuperficie de Error de Error
AGOSTO 2002 ESCOM I P N 27
a) ADALINE b) PERCEPTRÓN
Superficies de errorSuperficies de error
AGOSTO 2002 ESCOM I P N 28
Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global.
Con función de activación lineal Con función de activación sigmoidal
Superficies de ErrorSuperficies de Error
AGOSTO 2002 ESCOM I P N 29
Función de errorFunción de error..
|Para un ALC con solo |Para un ALC con solo dos pesos, la dos pesos, la superficie de error superficie de error es un paraboloide. es un paraboloide. Los pesos que Los pesos que minimizan el error minimizan el error se tienen en el fondo se tienen en el fondo de la superficie de la superficie paraboloidalparaboloidal
AGOSTO 2002 ESCOM I P N 30
EjerciciosEjercicios
AGOSTO 2002 ESCOM I P N 31
Ejemplo 1Ejemplo 1
p1
1–
11–
t1 1–= =
p2
1
11–
t2 1= =
R E ppT
12---p1p1
T 12---p2p2
T+==
R12---
1–
11–
1– 1 1–12---
1
11–
1 1 1–+1 0 0
0 1 1–0 1– 1
= =
1 1.0 2 0.0 3 2.0=== 1
max------------ 1
2.0------- 0.5==
Banana Manzana
AGOSTO 2002 ESCOM I P N 32
Iteración Iteración UnoUno
a 0 W 0 p 0 W 0 p1 0 0 01–1
1–
0====
e 0 t 0 a 0 t1 a 0 1– 0 1–=–=–=–=
W 1 W 0 2e 0 pT 0 +=
W 1 0 0 0 2 0.2 1– 1–
11–
T
0.4 0.4– 0.4=+=
Banana
AGOSTO 2002 ESCOM I P N 33
Iteración Iteración dosdos
Manzana
a 1 W 1 p 1 W 1 p2 0.4 0.4– 0.4
1
11–
0.4–====
e 1 t 1 a 1 t2 a 1 1 0.4– 1.4=–=–=–=
W 2 0.4 0.4– 0.4 2 0.2 1.4 1
1
1–
T
0.96 0.16 0.16–=+=
AGOSTO 2002 ESCOM I P N 34
Iteración Iteración TresTres
a 2 W 2 p 2 W 2 p1 0.96 0.16 0.16–
1–
1
1–
0.64–====
e 2 t 2 a 2 t1 a 2 1– 0.64– 0.36–=–=–=–=
W 3 W 2 2 e 2 pT
2 + 1.1040 0.0160 0.0160–= =
W 1 0 0=
AGOSTO 2002 ESCOM I P N 35
Simulación de Simulación de ADALINE en ADALINE en
Neural Network Neural Network Toolbox de Toolbox de
Matlab Matlab
AGOSTO 2002 ESCOM I P N 36
Modelo de una neuronaModelo de una neurona lineal en MATLAB lineal en MATLAB
p(1)
p(2)
p(3)
p(R)
W(1,1)
W(1,R)
1
b
n a
a = purelin(w*p+b)
a = w*p+b
0
0
1
-1
a
a
b/w
b/wp
n
a = purelin(n)
AGOSTO 2002 ESCOM I P N 37
ADALINE ADALINE NetworkNetwork
a purel in Wp b+ Wp b+= =
ai pure lin ni purelin wT
i p bi+ wT
i p bi+= = =
wi
wi 1
wi 2
wi R
=
AGOSTO 2002 ESCOM I P N 38
[W,b]=initlin(P,T)[W,b]=initlin(P,T)
crea un conjunto de pesos y umbrales crea un conjunto de pesos y umbrales aleatorios iniciales positivos y aleatorios iniciales positivos y negativos para una red Adaline.negativos para una red Adaline.
Toma una matriz de de vectores de Toma una matriz de de vectores de entrada P, y de salida TS , regresando entrada P, y de salida TS , regresando los valores de W y b correspondientes los valores de W y b correspondientes a las dimensiones de la red.a las dimensiones de la red.
AGOSTO 2002 ESCOM I P N 39
[W,b]=solvelin(P,T);[W,b]=solvelin(P,T);
W=solvelin(P,T);W=solvelin(P,T); Diseña redes Adaline Diseña redes Adaline
directamente si se conocen sus directamente si se conocen sus vectores de entrada y objetivo, vectores de entrada y objetivo, calculando los valores de los calculando los valores de los pesos y el bias sin necesidad pesos y el bias sin necesidad de entrenamiento.de entrenamiento.
AGOSTO 2002 ESCOM I P N 40
[W,b,ep,tr]= [W,b,ep,tr]= trainwh(W,b,P,T,tp)trainwh(W,b,P,T,tp)
tp=[disp_freq max-tp=[disp_freq max-epoch err-goal lr]epoch err-goal lr]
Entrena una red Adaline, hasta Entrena una red Adaline, hasta alcanzar el minimo error alcanzar el minimo error eepecificado en sus parametros eepecificado en sus parametros iniciales.iniciales.
AGOSTO 2002 ESCOM I P N 41
A=simulin(P,W,b)A=simulin(P,W,b)
Simula la red Adaline con los Simula la red Adaline con los parametros calculados en el parametros calculados en el entrenamiento y prueba cada uno entrenamiento y prueba cada uno de los patrones clasificandolos.de los patrones clasificandolos.
AGOSTO 2002 ESCOM I P N 42
Entrenamiento Paso a Entrenamiento Paso a PasoPaso
A = simulin (P,W,b)E = T - A[dW,db] = learnwh (P,E,lr)W = W + dWb = b + dW
AGOSTO 2002 ESCOM I P N 43
E = T - A;[ dW, db ] = learnwh( P, E, lr )
lr es la tasa de aprendizaje. Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias
W = W + dW; b = b + db;
AGOSTO 2002 ESCOM I P N 44
Ejemplo de Ejemplo de CodificaciónCodificación
P = [ 1 1; 1 -1 ];P = [ 1 1; 1 -1 ];T= [ 1 0];T= [ 1 0];[W,b] = initlin ( P,T )[W,b] = initlin ( P,T )[W,b] = solvelin ( P,T )[W,b] = solvelin ( P,T )plotpv ( P,T ) plotpv ( P,T ) plotpc ( W,b )plotpc ( W,b )
AGOSTO 2002 ESCOM I P N 45
Dudas ??Dudas ????
AGOSTO 2002 ESCOM I P N 46
Hasta la Hasta la próxima !!!próxima !!!