redes neuronales artificiales entrenamiento por retropropagación del error-backpropagation dr....
TRANSCRIPT
Redes Neuronales Artificiales Entrenamiento por Retropropagación
del Error-Backpropagation
Dr. Pedro Ponce CruzEGIA-MCI
Consultar Libro de TextoInteligencia Artificial con aplicaciones a la ingeniería
Redes multicapa
1
o
o
o
o
pi
p1
pn
F(·)
F(·)
F(·)
F(·)
F(·)
F(·)
1o
wj iu1
u j
u m
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
h1
h j
h m
s 1
s k
s r
o 1
o k
o r
v k j- +
- +
- +
d1
d k
d r
.
.
.
.
.
.
e1
e k
e r
entrada capa oculta capa de salida valoresdeseados
Las redes multicapa que se entrenan con el método de Backpropagationrequieren de encontrar el valor del error que se define como la diferencia delvalor deseado y el valor de salida. Es una topología de entrenamiento supervisado
Si definimos la red multicapa, empleando 6 neuronas
Cada neurona se compone de una función de activación
La función Sigmoidal es de las más empleadas dentro de las redes multicapa
• La función sigmoidal se define como
Dentro de cada neurona se tiene el valor de x que se presenta en la función Sigmoidal como la sumatoria de los pesos por las entradas
-5 -4 -3 -2 -1 0 1 2 3 4 50
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Funcion de activacion Sigmoidal
x
Sig
moi
dal(x
)
Función Sigmoidal y su derivada
Encontrando la derivada f’(x)
Las derivadas de las funciones empleadas en redes multicapas se puede resumir
2)(1)('
)(
Tanh
)(1)()('1
1)(
1)('
)(
Lineal
xfxf
ee
eexf
xfxfxfe
xf
Sigmoidal
xf
xxf
xx
xx
x
Graficas de la función sigmoidal y su derivada
-8 -6 -4 -2 0 2 4 6 80
0.2
0.4
0.6
0.8
1Función sigmoidal
-8 -6 -4 -2 0 2 4 6 80
0.1
0.2
0.3
0.4Derivada de la función sigmoidal
Evaluación de entradas en una red multicapa
Representación grafica del método Backpropagation
Representación grafica del método Backpropagation
Deducción de la regla de entrenamiento Backpropagation• Definiendo el gradiente del error con
respecto a los pesos.
i
kj
e
2
Deducción de la regla de entrenamiento Backpropagation
Donde
Backpropagation
si δ es la sensibilidad del error
Backpropagation
Para una función sigmoidal
Regla para la capa de salida , se tiene el valor deseado (d), en está capa
Capas intermedias
Capas intermedias
Regla general para todas las capas ocultas
Ejemplo de Backpropagation
Algoritmo backpropagation• Pasos 1- Definir la estructura de la Red
• Paso 2- Poner pesos de manera aleatoria en cada neurona
• Paso 3- Calcular la salida de la Red
• Paso 4- Calcular Coef. De Sensibilidad del error
• Paso 5-Calcular nuevos pesos
• Paso 6- Regresar al paso 3 si no se alcanzar la tolerancia o número de iteraciones , en otro caso detener algoritmo