redes neuronales artificiales teorÍa y aplicaciones
DESCRIPTION
REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES. Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María. SOM/KOHONEN Network Mapas Autoorganizativos. Capítulo 3. Estructura de la Red. SOM (Self-Organization Map o Kohonen Network) - PowerPoint PPT PresentationTRANSCRIPT
REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES
Dr. Héctor AllendeDepartamento de Informática
Universidad Técnica Federico Santa María
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
SOM/KOHONEN NetworkMapas Autoorganizativos
Capítulo 3
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Estructura de la RedSOM (Self-Organization Map o Kohonen Network) Teuvo Kohonen Rev. Information Science(1984)
– Red de aprendizaje no supervisado.– Posee una única capa, la capa de salida.
• Posee un feedback lateral. En general es de forma indirecta ( tipo “Sombrero Mejicano”).• Consiste en K neuronas.• Puede ser unidimensional (K) o multidimensional ( KxK).
– La capa adicional de entrada solo distribuye la entrada en la capa de salida.
• Consiste en N neuronas (dimensión de la entrada).• No hay procesamiento
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4
Estructura de la red de Kohonen
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Sombrero mejicano
Las Neuronas cercanas reciben un feedback (+)
Las Neuronas a mediana distancia reciben feedback (-).
Las Neuronas lejanas no son afectadas.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
Estructura de la Red.
• Obervaciones:– La distancia entre neuronas es discreta. 0 para la
neurona misma, 1 para las neuronas más cercanas etc.– La función de feedback determina la velocidad de
aprendizaje.– Vecindad Neuronal: Area afectada por el feedback
lateral.– Para grandes vecindades, la distancia puede
considerarse función continua.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
El Proceso de aprendizaje• Matriz de pesos:• Vector de entrada:
– Entrada es una función paramétrizada x = x(t)• Entrada total: a = W x• La neurona k que tiene un peso asociado tal que:
se declara ganadora.
NiKjijwW
,..,1,..,1}{
NiixX ,..,1}{
||:),(||||:),(|| min,..,1
xjWxkW T
Kj
T
NkW :),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
Proceso de aprendizaje• Todas las neuronas incluidas en la vecindad neuronal
incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas.
• El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo).
• Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Proceso de aprendizaje
• Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona:
donde y son funciones escalares (no lineales). : feedback positivo : feedback negativo
• A continuación se considera que la vecindad neuronal es toda la red.
),(),( WxWxdtdW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10
Tipos de aprendizaje• La ecuacion diferencial Trivial:
tt
tT
T
T
eWdtetxtW
WxdtdW
jWxdtjdW
00
'
0
')'(1̂)(
:Solución.W W(0):inicialCondición
1̂
:matricial forma
00, :),(:),(
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Tipos de Aprendizaje• La ecuación simple:
.W W(0):inicialCondición ])()()[()1(
])()()[()1(
)()1(:discreto en tiempo Aprox.
)()(1
:matricial, forma
00, :),()(:),(
0
IItxtxtWtW
ItxtxtWtttWtW
tW
dtdW
IxxWWxtadtdW
Wxa
jWxtadtjdW
T
T
TT
Tj
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
Tipos de Aprendizaje• La Solución de la ecuación simple:
– La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables.
– Para tiempos cortos la solución se aproxima a procesos asintóticamente estables.
• Para t ; relativamente pequeños y 0:
1
0'0 ])()([)(t
t
T IItxtxWtW
1
0'0 )'()'()(
t
t
T txtxIWtW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Tipos de Aprendizaje
• La Ecuación diferencial de Riccati:
WWxxdtdW
jWjWIxdtjdW
jWxxjWa
jWaxdtjdW
TT
TT
TTj
jT
)1̂(1̂
:matricialnotación En
:)],(:),([:),(
:),(:),( como
0,0 :),(:),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14
Tipos de Aprendizaje• Ecuación de Riccati:
– Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma:
– Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma
cteWxEx
xxxW
T
t
}/{ donde
0̂ si ||||
1̂lim
/||:),(|| jW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
Tipos de Aprendizaje• Ecuaciones más generales:Teorema: Sea > 0, a =Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones W acotada para t, entonces debe tener la forma:donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser
paralelo a <x>
WaxdtdW
jWaxdtjdW
TT
jT
]1̂)([1̂
:matricialnotación en
K1,..,j :),()(:),(
Tt xW 1̂lim
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
Tipos de AprendizajeTeorema: Sea > 0, a = Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl
l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones no triviales W acotada para t, entonces debe tener la forma:donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax
WaaxdtdW
jWaxadtjdW
TT
Tj
]1̂)([
:matricialnotación en
:),()(:),(
Tt xW 1̂lim
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
Dinámica de la Red
• Función de ejecución de la red:Para cada vector de entrada X ,
la neurona k para la cual
se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje.
||:),(||||:),(|| min,..,1
XjWXkW T
Kj
T
nTjW :),(
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
Dinámica de la Red• Función de aprendizaje de la red:
– El proceso de aprendizaje es no-supervisado.– El aprendizaje se desarrolla en tiempo discreto.– W=W(t)– En t = 0 los pesos son inicializados con valores
aleatorios pequeños W(0) = W0 .– Los pesos se actualizan de la siguiente forma:
• Para x(t) encontrar la neurona ganadora k.• Actualizar los pesos según modelo elegido:
)/()1()( dtdWtWtWW
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Dinámica de la Red
• Inicialización y condición de parada:– Los pesos son inicializados con valores
aleatorios pequeños.– La condición de parada del proceso de
aprendizaje puede ser:• Elegir un número fijo de pasos.• El proceso de aprendizaje continúa hasta que la
cantidad de ajuste: wji= wji(t+1)-wji (t)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20
El Algoritmo• Para toda las neuronas en la capa de salida: inicializar los pesos con
valores aleatorios • Si se trabaja con vectores normalizados, Normalizar vectores • Elegir el modelo de aprendizaje ( Ecuación diferencial)• Elegir un modelo de vecino neuronal ( fu. de feedback lateral).• Elegir condición de parada.• Construir a partir de la ED, la fórmula de adaptación de los pesos.• Considerando tiempo discreto, repetir los pasos anteriores hasta que la
condición de parada se cumpla:– Tomar la entrada x(t)– Para todas las neuronas j en la capa de salida, encontrar la ganadora.– Conociendo la ganadora, actualizar los pesos.
)1,0(2U
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Fórmula de adaptación de pesos• La ecuacion diferencial Trivial:
])(exp[h j)h(k,
,.0;,, j)h(k,
j)h(k, lateralfeedback defu la Dada
1̂
2jk
etocNjparao
WxdtdW
c
T
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Fórmula de adaptación de pesos
La ecuación Trivial:
.W W(0):inicial Condición ])(1̂[]1̂)()[()()1(
))(exp()(exp),(
0
0
WtxnormxhttWtW
tftjkh
TT