redes neuronales artificiales 3 - perceptrones dr. juan josé flores romero división de estudios de...
TRANSCRIPT
Redes Neuronales Artificiales
3 - Perceptrones
Redes Neuronales Artificiales
3 - Perceptrones
Dr. Juan José Flores RomeroDivisión de Estudios de Posgrado
Facultad de Ingeniería Elé[email protected]
http://lsc.fie.umich.mx/~juan/http://lsc.fie.umich.mx/~juan/Materias/ANN
Curso Redes Neuronales Artificiales
Curso Redes Neuronales Artificiales
CONTENIDO
IntroducciónAprendizajePerceptrones mono-nivelPerceptrones multi-nivelOtras Arquitecturas
Separación LinealPerceptrones Monocapa
Separación LinealPerceptrones Monocapa
Condición crítica de clasificación:
n
iiixw
1
θ
Para 2-D:
θ2211 xwxw
Despejando:
21
2
12
θw
xww
xTutorial Matlab:
ch 2 – 1ch 2 – 2ch 3 – 1
Separación LinealHyperplanos
Separación LinealHyperplanos
Separación Lineal
Enfoque Vectorial
Separación Lineal
Enfoque Vectorial
Condición crítica de clasificación: θxw
AprendizajeFalso Negativo
AprendizajeFalso Negativo
Conjunto de Entrenamiento: {v,t}
Supongamos que t=1, pero y=0Necesitamos que w apunte en dirección de vCon cambios no muy bruscos
vww α
AprendizajeFalso PositivoAprendizaje
Falso Positivo
Ahora supongamos que t=0, pero y=1Necesitamos que w apunte en dirección de -vCon cambios no muy bruscos
vww α
AprendizajeGeneralización
AprendizajeGeneralización
ii vt-yw
vt-yww
αΔ
α
t=1, y=0 vww α
t=0, y=1 vww α
Repeatpara cada (v, t)
y=f(v)if yt
calcular w’until y=t para todo el TS
Tutorial Matlab: ch 4 – 1ch 4 – 2
Clasificadores con +2 Clases
Clasificadores con +2 Clases
Clasificadores con +2 Clases
Clasificadores con +2 Clases
Clases linealmente separables
Separables por hyperplanos
Clases No Separables Linealmente
Clases No Separables Linealmente
Clases No Separables Linealmente
Clases No Separables Linealmente
Tutorial Matlab: ch 11 – 1
Regla DeltaRegla Delta
lerror tota
salida de neuronas #
ppatrón k, neuronaen error
αΔ
αΔ
1
1
2
j
e
ee
M
e
yde
ydXw
w
ew
P
pp
p
M
kpkpkp
pkpkji
ji
pji
Regla Delta - MulticapaRegla Delta - Multicapa
iji
iii
iii
iiji
aw
ingErr
OTErr
ingErraw
j
j
αΔ
)(
)(αΔ
BACKPROP:La neurona oculta j es responsable de parte del error i
jkkj
ii
jijj
Iw
wing
αΔ
)(Δ
Algoritmo BackPropagation
Algoritmo BackPropagation
LearningLearning
Tutorial Matlab: ch 10 – 3ch 11 – 2ch 11 – 3
Overfitting – Demasiadas Neuronas
Overfitting – Demasiadas Neuronas
Overfitting – Mala Generalización
Overfitting – Mala Generalización
Mínimos LocalesMínimos Locales
MomentoMomento
)(βΔ)(α)1(Δ
)(α)1(Δ
j
j
twtatw
tatw
jiiji
iji
• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor
• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor
• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor
• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor