Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 0FSB - Zavod
Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 1Naslov
Katedra za strojarsku automatiku
SUSTAVIUMJETNE SUSTAVINEIZRAZITE
LOGIKE
UMJETNENEURONSKE
MREŽE LOGIKEMREŽE
TEHNIČKA TEHNIČKA UMJETNA
INTELIGENCIJAINTELIGENCIJA
GENETIČKIALGORITMI
EKSPERTNISUSTAVI
Dubravko Majetić Neuronske mreže 2Umjetna inteligencija
Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 3Analiza, sinteza i odlučivanje
Katedra za strojarsku automatiku
William James – 1890.Aktivnost bilo koje točke mozga čovjeka predstavlja zbroj nastojanja svih ostalih točaka da se prazne ili ispaljuju u nju.
Nastojanja ovise o :
Temelj za osnovnu strukturu umjetnog
neurona !Nastojanja ovise o :
broju točaka (broju veza) koje djeluju na promatranu točku
h b d ( ž ) intenzitetu tih uzbuda (težini veza)
odsutnosti rivalne točke koja nije u funkcionalnoj vezi s promatranomtočkom, a u koju bi se pražnjenje ostalih točaka moglo skrenuti
Dubravko Majetić Neuronske mreže 4Kako je počelo ?
, j p j j g
Katedra za strojarsku automatiku
TIJELO NEURONA promjer 5-100 μm
DENDRITI
AKSON
Dubravko Majetić Neuronske mreže 5Biološki neuron
SINAPSA
Katedra za strojarsku automatiku
100 milijardi neuronaLjudski mozak 100 trilijuna veza
2 % m tij lLjudski mozak 20 % tj l O2 % mase tijelaLjudski mozak 20 % tjelesnog O2
20 W energijeLjudski mozak
Više tisuća W energijeRačunalo “kapaciteta” mozga
Dubravko Majetić Neuronske mreže 6Ljudski mozak
Katedra za strojarsku automatiku
Brzina prijenosa signala : milisekundenanosekunde
Načina procesiranja : paralelno - brzo sekvencijalno - sporo
Kvaliteta pogreške : Ne radi pogrešku dok Daje bolje zaključke i k k d
p gsu ulazni podaci, softver ihardver savršeno ispravni !
aproksimacije i kod djelomično nekompletnih i nekorektnih ulaza !
Ponekad loše, ali to nije onemogućilo
Dubravko Majetić Neuronske mreže 7Mozak - računalo
j gpreživljavanje čovjeka milijunima godina!
Katedra za strojarsku automatiku
Ako se određena točka u mozgu čovjeka zamijeni neuronom, onda se aktivnost neurona može modelirati kao zbroj otežanih ulaza neurona.
Otežani ulaziulazi su ulazi pomnoženi određenim faktorima koji se nazivaju težinetežine neurona.
broju ulazabroju ulaza (veza) iz okoline (okruženja) neurona
Aktivnost umjetnog neurona ovisi o :
broju ulazabroju ulaza (veza) iz okoline (okruženja) neurona
intenzitetu tih uzbudaintenzitetu tih uzbuda (iznosu težinskih faktora)
j lji i j lji i k ji j d i ij pragu osjetljivostipragu osjetljivosti koji stanje neurona mora dosegnuti prije negošto ispali impuls preko svog izlaza u okolinu neurona
Formalizaciju umjenog neurona dali su McCulloch i Pitts 1943. godine.
Dubravko Majetić Neuronske mreže 8Aktivnost umjetnog neurona
Katedra za strojarsku automatiku
TIJELO NEURONAULAZI NEURONA TIJELO NEURONA
j1w1x
ULAZI NEURONA
AKSONj2w2x
iijj xwnet jyAKSON
)( jnetj3w IZLAZ3x
AKTIVACIJSKAw
NEURONA
x
SUMATORDENDRITI
AKTIVACIJSKAFUNKCIJA
njw
SINAPSEŽ
AKSONI
nx
Dubravko Majetić Neuronske mreže 9Umjetni neuron
(TEŽINE)SO
Katedra za strojarsku automatiku
Funkcijaizlaza
Lokalnamemorija
Funkcijasume
Aktivacijskafunkcija
Funkcijaskaliranja
Ograničenjej
SumMin
j
LinSgn
Sigmoid
j
DirektnoNajveći
yyjj
ww00
ww11
xx00
Max
Umnožak
itd.
SigmoidBAM
Perceptron
aT + b NajmanjiOdabraniAdaline
yyjj11
wwnn
xx11
xxnnitd.
Pravilo
itd.
GeneratorPraviloučenja
Učenje mreže
Generatoršuma PE
On/Offa b
Parametrialgoritma učenja
Natjecanje
Dubravko Majetić Neuronske mreže 10Funkcionalni prikaz neurona
Rad naučene mreže
Katedra za strojarsku automatiku
j1w1x
j2w2x
iijj xwnet jy)( jnet
j3w IZLAZ3x
w
NEURONA
x
FUNKCIJA
AKTIVACIJSKAFUNKCIJA
njw
TEŽINEULAZI
NEURONA
nx
Dubravko Majetić Neuronske mreže 11Statički neuron
SUMETEŽINENEURONA
Katedra za strojarsku automatiku
U1=1 Bias
bb
bb00wB
u2w
bb22
bb11
z-1 z-1 net(n) y(n)y(n)
w2
u3w3
y(n)
aa11
3
u4w4
aa22uj
wjJ 1
net(n) w u
jj j
j 1net(n) w u
0 1 2 1 2y(n) b net(n) b net(n 1) b net(n 2) a y(n 1) a y(n 2)
( ) ( )
Dubravko Majetić Neuronske mreže 12Dinamički neuron
By(n) y(n) w
y(n) (y(n))
Katedra za strojarsku automatiku
y yy1
y1
net
-1
net
-11
net net 1 a) y sign(net) b)net net 1
ysign(net) net 1
Dubravko Majetić Neuronske mreže 13Tipične aktivacijske funkcije 1
Katedra za strojarsku automatiku
y y1 1
net
-1
net
-1
) 2 1 d)1yc) nety 1
1 e
d) nety1 e
Dubravko Majetić Neuronske mreže 14Tipične aktivacijske funkcije 2
Katedra za strojarsku automatiku
y yy1
y1
net
-11
2
netc
e) y sin(net) f)
21 net c2y e
Dubravko Majetić Neuronske mreže 15Tipične aktivacijske funkcije 3
Katedra za strojarsku automatiku
DEFINICIJA neuronske mreže prema Robertu HechtDEFINICIJA neuronske mreže prema Robertu Hecht--Nielsenu :Nielsenu :
Umjetna neuronska mreža je paralelna distribuirana informacijska struktura koja se sastoji od elemenata procesiranja (neurona) koja se sastoji od elemenata procesiranja (neurona) koji su povezani u slojeve jednosmjernim vezama.
Neuroni imaju lokalnu memoriju i predstavljaju osnovnu jedinku procesiranja.
Dubravko Majetić Neuronske mreže 16Definicija neuronske mreže
Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 17Umjetna neuronska mreža
ulazni sloj sakriveni sloj izlazni sloj
Katedra za strojarsku automatiku
N j ž iji p m t j p b ti mj t ih kih m ž !Najvažniji parametar ocjene sposobnosti umjetnih neuronskih mreža!
Kapacitet umjetne neuronske mreže određuje :
broj neuronabroj neurona (elemenata procesiranja)
broj slojevabroj slojeva neurona j jj j
K i k ž i i j l b dj l b d ž k ji ž k ji
Thomas M. Cover – 1992.
Kapacitet neuronske mreže ovisi o stupnju slobodestupnju slobode mreže koji mreže koji je određen brojem promjenjivih (podesivih) parametara mreže. je određen brojem promjenjivih (podesivih) parametara mreže.
Neuronska mreža realizirana jednim jedinim neuronom, sa parametrom koji može poprimiti stotinu vrijednosti u različitim vremenskim trenutcima, može imati veći kapacitet od neuronske
ž d k fik i i i
Dubravko Majetić Neuronske mreže 18Kapacitet neuronske mreže
mreže sa desetak neurona s fiksiranim parametrima.
Katedra za strojarsku automatiku
IzlazIzlaz
H1
H2
Izlaz
H1
H2
Ulaz
H1
Ulaz
H1
2 – 3 – 7 – 1
Izlaz
2 – 5 – 5 – 1
H1
Izlaz
H1
H2
Izlaz
UlazUlaz
H1
Dubravko Majetić Neuronske mreže 19Odabir strukture mreže
2 – 10 – 1 2 – 7 – 3 – 1
Katedra za strojarsku automatiku
Primjer Odabir strukture za učenje ponašanja osnovnih dinamičkih članova !
Član Diferencijalna jednadžba Diskretna forma BU BI
T T
P1P1 PT x x K u
0k k 1 P k
0 0
0
T Tx x K uT T T
T konst.
P1P1 P
k k 1 k
P
uz T konst.K konst.
x f(x , u )
22 11
0k k k 1
Tx u xT
I0I0iT x u
i
0k k 1
ik
TT konst.
uzT
x f(x , u )konst.
22 11
BU = broj ulaznih neurona,
Dubravko Majetić Neuronske mreže 20Primjer odabira strukture 1
j ,BI = broj izlaznih neurona
Katedra za strojarsku automatiku
Član Diferencijalna jednadžba Diskretna forma BU BI
1k 1 k 1 2 k 2 P k
0
2 10 2
1x a x a x K uaT Ta 1
P2 2 1 PT x T x x K u
0 200
2 1 21 22 2
00 0
a 1TT
2T T Ta , aTT T
0 0
0
k k 1 k k1
2
T konst.T konst.
uzT konst
x f(x ,x ,u )
1133
0 dT Tx x (u u )
2
P
T konst.K konst.
D1 dT x x T u
k k 1 k k 10 0
0
x x (u u )T T T TT konst.T konst
d
k k 1 k k 1d
P
T konst.uz
T konst.K kon
x f(x , u ,u
s .
)
t
1133
Dubravko Majetić Neuronske mreže 21Primjer odabira strukture 2
Katedra za strojarsku automatiku
1O 2O 3O KO
k k k k
O1net O2net Oknet OKnet izlazni sloj
21w
1
1J 1w 11w k1w
1y 2y J 1y Jy
j j j1
BIASH1net H2net HJ 1net
21v
sakriveni sloj
12Z 3Z iZ
11v12v
21
1ZIZ
ulazni sloj
Dubravko Majetić Neuronske mreže 22Statička neuronska mreža
BIASj
Katedra za strojarsku automatiku
k k k
1O 2O kO KO
izlazni sloj
k k k k
k1netk2net kknet kKnet
11v 12v
21v
sakriveni sloj
j j j
1
BIAS
1
1
BA
2
2
BA
J 1
J 1
BA
j1net j2net jJ 1net
ulazni sloj12Z iZ IZ
12w
11w
1Z
Dubravko Majetić Neuronske mreže 23
ulazni sloj
Dinamička neuronska mreža
1BIAS
2Z iZ IZ1Z
Katedra za strojarsku automatiku
JednoslojneJednoslojneJednoslojneJednoslojne
Prema broju slojeva VišeslojneVišeslojneTroslojneTroslojne
DvoslojneDvoslojneDvoslojneDvoslojne
Dubravko Majetić Neuronske mreže 24Podjela neuronskih mreža 1
Katedra za strojarsku automatiku
IterativnoIterativno S učiteljemS učiteljem AutoasocijativneAutoasocijativnejj jj
Prema načinu učenja Prema učitelju Prema podacima za učenje
Jedan korakJedan korak Bez učiteljaBez učitelja HeteroasocijativneHeteroasocijativne
Dubravko Majetić Neuronske mreže 25Podjela neuronskih mreža 2
Katedra za strojarsku automatiku
Prema pravilu učenja
UnaprijedneUnaprijedne(FeedForward)(FeedForward)
Prema pravilu učenja
( )( )WidrowHopfield (ulaz, Hopfield, izlaz)HebbAd li ( l Ad li i l )Prema protoku
signalaAdaline (ulaz, Adaline, izlaz)MadalineKohonenError-Back propagation
PovratnePovratne(F dB k)(F dB k)
p p gRecurrent Error-Back propagationBi-directional Associative Memory (BAM)ARTR di l B sis Functi n (RBF)(FeedBack)(FeedBack) Radial Basis Function (RBF)Support Vector Machines (SVM)itd.
Dubravko Majetić Neuronske mreže 26Podjela neuronskih mreža 3
Katedra za strojarsku automatiku
KLASIFIKACIJAKLASIFIKACIJA REGRESIJAREGRESIJA
Interpolacija Predikcijan = m
n < m
n > m Interpolacija
Aproksimacija
Predikcija
Dubravko Majetić Neuronske mreže 27Osnovni zadaci
n m
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m LINEARNO SEPARABILNOLINEARNO SEPARABILNO
x2
xx1
Separacijski pravciKlasa 1
Klasa 2
Dubravko Majetić Neuronske mreže 28Klasifikacija n=m lin–sep
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO
x2x2
Klasa 1
Klasa 2
Separacijska krivulja
Klasa 2
x1
Dubravko Majetić Neuronske mreže 29Klasifikacija n=m lin–nesep
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n = mn = m PREKLAPANJE KLASAPREKLAPANJE KLASA
x2
Klasa 1Klasa 1
Klasa 2
x1Separacijska krivulja
Dubravko Majetić Neuronske mreže 30Klasifikacija n=m preklapanje
Krivo klasificirano
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m LINEARNO SEPARABILNOLINEARNO SEPARABILNO
x2
Klasa 1Klasa 1
Klasa 2
Klasa 3
Klasa 4
x1Separacijski pravci
Dubravko Majetić Neuronske mreže 31Klasifikacija n<m lin–sep
p j p
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO
x2
Klasa 1Klasa 1
Klasa 2
Klasa 3
Klasa 4
x1
Separacijska krivulja
Dubravko Majetić Neuronske mreže 32Klasifikacija n<m lin–nesep
Separacijska krivulja
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n < mn < m PREKLAPANJE KLASAPREKLAPANJE KLASA
xx2
Klasa 1Klasa 1
Klasa 2
Klasa 3
Klasa 4
Separacijska krivulja
Krivo klasificirano
x1
Krivo klasificirano
Dubravko Majetić Neuronske mreže 33Klasifikacija n<m preklapanje
1
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO SEPARABILNOLINEARNO SEPARABILNO
x2x2
Klasa 1Klasa 1
Klasa 2
Separacijska ravnina
x1
x3
Dubravko Majetić Neuronske mreže 34Klasifikacija n>m lin–sep
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO
x2x2
Klasa 1Klasa 1
Klasa 2
Separacijska ploha
x1
x3
Dubravko Majetić Neuronske mreže 35Klasifikacija n>m lin–nesep
Katedra za strojarsku automatiku
KLASIFIKACIJA KLASIFIKACIJA →→ n > mn > m LINEARNO NESEPARABILNOLINEARNO NESEPARABILNO
x2x2
Klasa 1Klasa 1
Klasa 2
Separacijska ploha
K i i ix1
Krivo separirani
x3
Dubravko Majetić Neuronske mreže 36Klasifikacija n>m preklapanje
Katedra za strojarsku automatiku
INTERPOLACIJAINTERPOLACIJAINTERPOLACIJAINTERPOLACIJA
x2
x1
Interpolacijska krivulja
Dubravko Majetić Neuronske mreže 37Interpolacija
Katedra za strojarsku automatiku
APROKSIMACIJAAPROKSIMACIJAAPROKSIMACIJAAPROKSIMACIJA
x2
x1
Aproksimacijska krivulja
Dubravko Majetić Neuronske mreže 38Aproksimacija
Katedra za strojarsku automatiku
PREDIKCIJA PREDIKCIJA -- PREDVIĐANJEPREDVIĐANJE
x2
x1x1(k) x1(k+4)
Dubravko Majetić Neuronske mreže 39Predikcija
Katedra za strojarsku automatiku
INTELIGENTNIINTELIGENTNIUPRAVLJAČKI
SUSTAVIINTELIGENTNO
Dubravko Majetić Neuronske mreže 40Naslov
INTELIGENTNORAČUNALO
Katedra za strojarsku automatiku
ZVUČNIK
KAMERA
Dubravko Majetić Neuronske mreže 41Područje primjene – robotika
Katedra za strojarsku automatiku
Brza obrada slike i prepoznavanje oblika
Analiza signala i filtriranje šuma
Konverzija teksta u govor i obrnuto
Predviđanje (cijene na burzi, prognoza vremena,…)
Dijagnostika (medicina, tehnika, …)
Upravljanje i regulacijamodeliranje dinamičkih sistemaidentifikacijaadaptivno upravljanjeidentifikacija
vođenje robota i mobilnih robotai b ličk lj j k ij ik i i b liksimboličko upravljanje – konverzija numerike i simbolike
autopiloti
implementacija neizrazite logike
Dubravko Majetić Neuronske mreže 42Primjena mreža
upravljanje u realnom vremenu
Katedra za strojarsku automatiku
Naziv mreže Autori Godina Najčešća primjena Ograničenja Primjedbe
AdaptiveResonanceTheory
G. CarpenterS. Grossberg
1978 –1986
Prepoznavanje oblika(radarske i sonarske slike, glasovni zapisi).
Osjetljivost na translaciju i distorziju ulaznih podataka.
Za manji broj problema.y g p ). p .
Avalanche S. Grossberg 1967 Prepoznavanje govora, vođenje robota.
Složena promjena brzine i interpolacija
Grupa mreža –jedna mreža nedovoljna
Error-BackPropagation
P. WerbosD. Rumelhart
1974 –1985
Sinteza govora iz teksta, adaptivno vođenje robota.
Zahtjeva točne ulazno-izlazne parove.
Najraširenija primjena.
Bidirectional Sadržajno adresibilne Podaci moraju biti Associative Memory
B. Kosko 1985 Sadržajno adresibilne asocijativne memorije.
Podaci moraju biti kodirani. Najlakše se uči.
Boltzman and Caushy Machines
J. HintonJ. Hopkins
1985 –1986 Prepoznavanje oblika (sonar,
radar) Dugo vrijeme učenja.Funkcija šuma za traženje globalnog Caushy Machines H. Szu radar). minimuma.
Brain State in a Box J. Anderson 1977 Ekstrakcija podataka iz baze
podataka. Učenje u jednom koraku. Slična BAM-u.
Dubravko Majetić Neuronske mreže 43Najpoznatije mreže 1
Katedra za strojarsku automatiku
Naziv mreže Autori Godina Najčešća primjena Ograničenja Primjedbe
C l b ll t D. Mar 1969 – Upravljanje motorima Komplicirana Slična mreži Celebellatron D. MarJ. Albus
1969 1982
Upravljanje motorima robotske ruke.
Komplicirana kontrola ulaza.
Slična mreži Avalanche.
Counter Propagation R.H. Nielsen 1986 Kompresija slike,
statička analiza slike.Veliki broj neurona i veza
Kao EBP, jednostavnija i l bijPropagation statička analiza slike. neurona i veza slabija
Hopfield J. Hopfield 1982 Rekonstrukcija slike iz pojedinih isječaka.
Ne uči – težine se postavljaju unaprijed.
Implementacija velikih struktura.
MADALINE B. Widrow 1960 –1962
Adaptivni modemi, adaptivni ekvilajzeri u telefonskim centralama.
Linearna veza ulaza i izlaza.
Koristi se više od 20 godina.
Neocognitron K. Fukushima 1978 –1984 Prepoznavanje rukopisa. Izuzetno veliki broj
neurona.Vrlo složena i vrlo moćna.
Perceptron F Rosemblatt 1957 Prepoznavanje strojopisa Ne prepoznaje Najstarija, danas Perceptron F. Rosemblatt 1957 Prepoznavanje strojopisa. p p jkompleksne karaktere.
j jrijetka u primjeni.
Seff-OrganizingMap T. Kohonen 1980
Geometrijska preslikavanja(pravokutna mreža-silueta aviona)
Zahtijevasveobuhvatno učenje.
Dubravko Majetić Neuronske mreže 44Najpoznatije mreže 2
p aviona). j
Katedra za strojarsku automatiku
Naziv GodinaTehno.izrade
Broj EPBrojveza
Brojmreža
Veza/sec. Autori
Perceptron 1957 EM / E 8 512 1 1000F. RosenblattC. Wightman
Adaline / Madaline 1962 E 1 / 8 16 / 128 1 10.000 B. Widrow128
Electro-OpticalCrossbar
1984 EO 32 1000 1 100.000 D. Psaltis
R H NielsenMARK III 1985 E 8000 400.000 1 300.000
R.H. NielsenM. MyresT. Gutchow
Neural Emulation1985 E 4000 16 000 1 490 000
C. CruzProcessor
1985 E 4000 16.000 1 490.000(IBM)
Optical Resonator 1985 O 6400 1.6*107 1 160.000B. SofferY. OwechkoG D i
EP – Element procesiranjaEM – Elektromehanička tehnologija izradeE El k ičk h l ij i d
NO– nema ograničenja
G. Dunning
Dubravko Majetić Neuronske mreže 45Neuro–računala 1
E – Elektronička tehnologija izradeO – Optička tehnologija izrade
Katedra za strojarsku automatiku
Naziv GodinaTehno.izrade
Broj EPBrojveza
Brojmreža
Veza/sec. Autoriizrade veza mreža
MARK IV 1986 E 250.000 500.000 1 5.000.000R.H. NielsenM. MyresT. Gutchow
Odyssey 1986 E 8.000 250.000 1 2.000.000A. PenzR. Wiggins
Crossbar Chip 1986 E 256 64000 1 6*108 L. JakelCrossbar Chip 1986 E 256 64000 1 6 108
J.Denker
Optical NovelyFilter
1986 O 16.000 2*106 1 2*107 D. Anderson
EP El
ANZA 1987 E 30.000 5*105 NO 140.000R.H. NielsenT. Gutschow
EP – Element procesiranjaEM – Elektromehanička tehnologija izradeE – Elektronička tehnologija izradeO – Optička tehnologija izrade
Dubravko Majetić Neuronske mreže 46Neuro–računala 2
O Optička tehnologija izradeNO– nema ograničenja
Katedra za strojarsku automatiku
Naziv GodinaTehno.izrade
Broj EPBrojveza
Brojmreža
Veza/sec. Autori
Parallon 2 1987E
10.000 5.2*104NO
30.000S. BogochO Clark
Parallon 2X 1987E
91.000 3*105 NO30.000
O. ClarkI. Bason
Delta-FloatingPoint Processor
1987 E 1*106 1.1*106 No 107G.A. WorksW.L.Hicks
Point ProcessorD.R. Kasbo
ANZA Plus 1988 E 1*106 1*106 NO 6*106 R.H. NielsenT. Gutschow
EP – Element procesiranjaEM – Elektromehanička tehnologija izradeg jE – Elektronička tehnologija izradeO – Optička tehnologija izradeNO – nema ograničenja
Dubravko Majetić Neuronske mreže 47Neuro–računala 3
Katedra za strojarsku automatiku
yj1w1x dyj1w j1w
iijj xwnet jy
)( jnet
j2w2x j2w
iijj xwnet )( jnet
j2w
iijj xwnet )( jnetjj )( jj3w3x j3w iijjet )( jj3w
jj
njwnxnjwnjw jd yye
ALGORITAMALGORITAMALGORITAM
Dubravko Majetić Neuronske mreže 48Učenje mreže
UČENJAUČENJAUČENJA
Katedra za strojarsku automatiku
1d 2d 3d kd
k k k k
1O 2O 3O KO
Algoritamučenja
učenja
j j j1
BIASAlgoritam učenja
12Z 3Z iZ1Z
ZI
BIASBIAS
Dubravko Majetić Neuronske mreže 49Učenje statičke mreže
Z,d
Katedra za strojarsku automatiku
1d 2d kd Kd
k k k k
1O 2O kO KO
O1net O2net Oknet OKnet
Algoritam učenja
j j j
1
BIAS
w1211w
1
1
BA
2
2
BA
J 1
J 1
BA
Algoritam učenja
1 2 J 1A
netH1 netH2 netHJ1
Algoritamučenja
1 BIAS2Z iZ IZ
v11
v12
v21
1Z
j
Dubravko Majetić Neuronske mreže 50Učenje dinamičke mreže
i I1
Z, d
Katedra za strojarsku automatiku
Učenje mrežeUčenje mrežeRad EBPRad EBP
neuronskeneuronskemrežemreže
Rad naučene mrežeRad naučene mreže
Unaprijedna fazaUnaprijedna faza Unaprijedna fazaUnaprijedna faza
-- parametri učenja fiksniparametri učenja fiksniPovratna fazaPovratna faza parametri učenja fiksniparametri učenja fiksni-- ulazi iz skupa za testiranjeulazi iz skupa za testiranje
Povratna fazaPovratna faza
-- adaptacija parametara učenjaadaptacija parametara učenja-- ulazi i željeni izlaziulazi i željeni izlazi
Dubravko Majetić Neuronske mreže 51Rad EBP mreže
ulazi i željeni izlazi ulazi i željeni izlazi iz skupa za učenjeiz skupa za učenje
Katedra za strojarsku automatiku
Učenje po uzorku Učenje po uzorku ((StohasticStohastic / / PatternPattern))
Učenje Učenje NeuronskeNeuronske
mrežemreže
Učenje po skupuUčenje po skupu((BatchBatch))
UnaprijednaUnaprijedna faza po uzorkufaza po uzorku UnaprijednaUnaprijedna faza skupa faza skupa
Povratna faza po uzorkuPovratna faza po uzorku Povratna faza skupaPovratna faza skupaPovratna faza po uzorkuPovratna faza po uzorku
-- adaptacija parametara učenjaadaptacija parametara učenja-- ulazi i željeni izlaziulazi i željeni izlazi
-- adaptacija parametara učenjaadaptacija parametara učenja-- ulazi i željeni izlaziulazi i željeni izlazi
Dubravko Majetić Neuronske mreže 52Rad EBP mreže
ulazi i željeni izlazi ulazi i željeni izlazi iz skupa za učenjeiz skupa za učenje
ulazi i željeni izlazi ulazi i željeni izlazi iz skupa za učenjeiz skupa za učenje
Katedra za strojarsku automatiku
Skup za učenjeUlazi u mrežu Željeni izlazi iz mrežeUlazi u mrežu Željeni izlazi iz mreže
U Z1 Z2 Z3 … … … ZI D1 D2 D3 … … … DK
1 Z11 Z12 Z13 … … … Z1I D11 D12 D13 … … … D1I
2 Z21 Z22 Z23 … … … Z2I D21 D22 D23 … … … D2I
3 Z31 Z32 Z33 … … … Z3I D31 D32 D33 … … … D3I
¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦
¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦
¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦ ¦
N ZN1 ZN2 ZN3 … … … ZNI DN1 DN2 DN3 … … … DNK
U = uzorakU uzorakI = broj ulaznih neuronaK = broj izlaznih neurona
Dubravko Majetić Neuronske mreže 53Rad EBP mreže
1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenje
Katedra za strojarsku automatiku
Uzorak Unaprijedna faza Povratna fazaPočetne težine V, W
1 Z11 … Z1I O1, O2, O3 … OK D11 … D1K EV, EW
V, W
2 Z21 … Z2I O1, O2, O3 … OK D21 … D2K EV, EW
V, W
3 Z31 … Z3I O1, O2, O3 … OK D31 … D3K EV, EW
V, W
V, W
N Z2N … ZNI O1, O2, O3 … OK DN1 … DNK EV, EW
V W koraka
, W
Dubravko Majetić Neuronske mreže 54Učenje po uzorku
1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenjeV, W koraka
Katedra za strojarsku automatiku
Početne težine V, W
Uzorak Unaprijedna faza Povratna faza
1 Z11 … Z1I O1, O2, O3 … OK D11 … D1K EV1, EW1
2 Z21 … Z2I O1, O2, O3 … OK D21 … D2K EV2, EW2
3 Z31 … Z3I O1, O2, O3 … OK D31 … D3K EV3, EW3
N Z2N … ZNI O1, O2, O3 … OK DN1 … DNK EVN, EWN
V, W koraka
EV , EW
Dubravko Majetić Neuronske mreže 55Učenje po skupu
1 korak učenja = 1 prolazak kroz cijeli skup za učenje1 korak učenja = 1 prolazak kroz cijeli skup za učenje
Katedra za strojarsku automatiku
k k k k
1O 2O 3O KO K = broj izlaznih neurona Izlazni sloj
J
O1net O2net Oknet OKnet
J
Ok kj jj 1
net w y
k=1,2,...,K j=1,2,...,J
O (net ) k=1 2 K
1J 1w 11w
21w
k1w
k k OkO (net ) k=1,2,...,K
j j j1
BIASH1net H2net HJ 1net
1y 2y J 1y Jy
Sakriveni sloj
J = broj sakrivenih neurona + 1
H1net H2net HJ 1net
I
Hj ji ii 1
net v Z
j=1,2,...,J-1, i = 1,2,...,I
12Z 3Z iZ
11v12v
21v
1ZIZ
j Hjy(j) (net ) j=1,2,...,J-1
Jy 1 Bias Ulazni sloj
Dubravko Majetić Neuronske mreže 56SNN unaprijedna faza
2 3 i1ZBIAS
I = broj ulaznih neurona + 1
j
Katedra za strojarsku automatiku
N
21
2n n
n 1
1E (d O )2 Funkcija cilja Funkcija cilja
N = broj elemenata skupa za učenje (broj uzoraka)
(n 1) (n) (n)
Adaptacija učenog parametra Adaptacija učenog parametra
n = promatrani korak učenja
Težine V i W kod statičke mreže ! Težine V i W kod statičke mreže !
(n 1) (n) (n) n = promatrani korak učenja
veličina promjene parametara učenja
nova vrijednost parametra učenja
trenutna vrijednost parametra učenja
Dubravko Majetić Neuronske mreže 57SNN povratna faza - 1
nova vrijednost parametra učenja
Katedra za strojarsku automatiku
Pogrešku E() moguće je u okolišu točke aproksimirati s prva dva čl T l d člana Taylorovog reda :
E( ) E( ) E( )
TE( ) E( )
E( )E( )
gradijent pogreške gradijent pogreške
Da bi se pogreška smanjivala najvećim mogućim iznosom, treba odrediti Δza koji promjena pogreške učenja ΔE() poprima najveći negativni iznos !
E( )E( )
Promjena učenog parametra u smjeruPromjena učenog parametra u smjerunajstrmijeg pada gradijenta pogreške !najstrmijeg pada gradijenta pogreške !
koeficijent brzine učenja 410 10 najčešćenajčešće
Dubravko Majetić Neuronske mreže 58SNN povratna faza - 2
Katedra za strojarsku automatiku
( 1) ( ) E( ( )) (n 1) (n) E( (n))
Teorija nelinearnog optimiranja Teorija neuronskih mreža
Algoritam najstrmijeg pada ( l )
Klasični algoritam povratnog prostiranja (engl. Steepest Descent) pogreške
(engl. Error Back-Propagation Algorithm)
Modifikacija algoritma :
(n 1) (n) E( (n)) (n 1)
Dubravko Majetić Neuronske mreže 59SNN povratna faza - 3
momentum 0.1 1 najčešćenajčešće
Katedra za strojarsku automatiku
Promjena težina izlaznog sloja :
kj kjw (n 1) w (n) E(n)
kj kj kjw (n 1) w (n) E(n) w (n 1) kj kj kj( ) ( ) ( ) ( )
kj kj Ok j kjw (n 1) w (n) y w (n 1) Ok k kd O
Promjena težina sakrivenog sloja :mj ž g j
ji jiv (n 1) v (n) E(n)
v (n 1) v (n) E(n) v (n 1) ji ji jiv (n 1) v (n) E(n) v (n 1)
K2
ji ji j i Ok kj ji1v (n 1) v (n) (1 y )Z w v (n 1)
Dubravko Majetić Neuronske mreže 60SNN povratna faza - 4
ji ji j i Ok kj jik 1
v (n 1) v (n) (1 y )Z w v (n 1)2
Katedra za strojarsku automatiku
K = broj izlaznih neurona Izlazni slojk k k k
1O 2O kO KO
J
Ok kj jj 1
net w y
k=1,2,...,K j=1,2,...,J 21w
k1netk2net kknet kKnet
J = broj sakrivenih neurona + 1
k k OkO (net ) k=1,2,...,K
j j j 1
BIAS
11w 12w
jy
jy
Sakriveni sloj
jy
jy
I
Hj ji inet v Z j=1,2,...,J-1, i = 1,2,...,I
1
1
BA
2
2
BA
J 1
J 1
BA
H1net H2netJ 1Hnet
Hj ji ii 1 j 1,2,...,J 1, i 1,2,...,I
j 0 Hj 1 Hj 2 Hj
1 j 2 j
y (n) b net (n) b net (n 1) b net (n 2)a y (n 1) a y (n 2)
12v
11v
Z
1 j 2 j
j j Bjy (n) y (n) w (n)
y (n) (y (n)) Ulazni sloj
Dubravko Majetić Neuronske mreže 61DNN unaprijedna faza
I = broj ulaznih neurona + 1
1BIAS
2Z 3Z iZ1Z j j jy (n) (y (n)) j
Katedra za strojarsku automatiku
(n 1) (n) (n) wij
(n 1) (n) E( (n)) (n 1)
(n 1) (n) (n) wijvjka1a2(n 1) (n) E( (n)) (n 1)
E(n)∆ (n) η α∆ (n 1)
2b0b1b2∆ (n) η α∆ (n 1)
(n)
2
parametar učenja parametar učenja Promjena težina izlaznog sloja :
kj kj Ok j kjw (n 1) w (n) y w (n 1) Ok k kd O
Dubravko Majetić Neuronske mreže 62DNN povratna faza - 1
kj kj Ok j kjw (n 1) w (n) y w (n 1) Ok k kd O
Katedra za strojarsku automatiku
P j t di ičkih čl i Promjena parametara dinamičkih članova i težina skrivenog sloja :
B(z)(n) net(n)
Linearni operator vremenskog pomaka :
( )y(n) net(n)A(z)
iz net(n) net(n i) z net(n) net(n i)
1 2A(z) y(z) y(n) a y(n 1) a y(n 2) 1 2( ) y( ) y( ) y( ) y( )
0 1 2B(z) net(n) b net(n) b net(n 1) b net(n 2)
Dubravko Majetić Neuronske mreže 63DNN povratna faza - 2
Katedra za strojarsku automatiku
1y(n) 1)1) je koeficijent brojnika B(z) :
1y(n) zD (n) net(n)A(z)bi
2)2) je koeficijent nazivnika A(z) : 1y(n) zD (n) y(n)
A(z)
A(z)ai
3)3) je težina wj : jy(n) B(z)D (n) u (n)
A(z)w j
j
4)4) t ži Biy(n)
4)4) težina Biasa wJ : JwwJ
Dubravko Majetić Neuronske mreže 64DNN povratna faza - 3
Katedra za strojarsku automatiku
Najčešće su u uporabi slijedeće tri mjere točnosti algoritma učenja :
11)) SrednjaSrednja kvadratnakvadratna pogreška,pogreška, MSMS (engl(engl.. MeanMean SquareSquare error)error) ::N
2n n
1(d O )
n 1N
MS
22)) KorijenKorijen srednjesrednje kvadratnekvadratne pogreške,pogreške, RMSRMS ((englengl.. RootRoot MeanMean SquareSquare error)error) ::N
2n n
n 1(d O )
MSN
RMS
N
3)3) Normalizirani korijen srednje kvadratne pogreške, Normalizirani korijen srednje kvadratne pogreške, NRMSNRMS((englengl. . NormalizedNormalized RootRoot MeanMean SquareSquare errorerror) :) :(( gg .. mm qq ))
N2
n nn 1
(d O )
RS MS N
n
N 2d n
1 d dN
N
n1d dN
Dubravko Majetić Neuronske mreže 65NRMS
n nd d
RNRMS MS N
nn 1N n 1N
Katedra za strojarsku automatiku
Traženje globalnog minimuma ! Newton
Presjek hiperprostoraPresjek hiperprostora
NewtonMetoda najstrmijeg pada
Presjek hiperprostoraPresjek hiperprostoragreške učenjagreške učenja
Dubravko Majetić Neuronske mreže 66Globalni minimum
Katedra za strojarsku automatiku
Problem lokalnog minimuma !
greškaučenjaučenja
Dubravko Majetić Neuronske mreže 67Lokalni minimum
Globalni minimum
Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 68XOR naslov
Katedra za strojarsku automatiku
XOR PROBLEM
Z1 Z2 D
0 0 0
1 0 1 1 0 1
0 1 1 0 1 1
1 1 0
Dubravko Majetić Neuronske mreže 69XOR problem
Katedra za strojarsku automatiku
ZZ221 D=0D=0D 1D 1
XOR PROBLEM D=0D=0D=1D=1
Z1 Z2 D
0 0 0 ZZ111D=0D=0 D=1D=1
0 0 0
1 0 1 1
DD
0 1 1
D=1D=1D=1D=1
1 1 0 11
11ZZ22
ZZ11D=0D=0
D=0D=0
ZZ11
Dubravko Majetić Neuronske mreže 70XOR klasifikacija
Problem linearnoProblem linearno--neseparabilnih klasa neseparabilnih klasa
Katedra za strojarsku automatiku
IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE
11v SLOJSLOJ
1y1Z
21v
IZLAZ
12vO2y
11w
MREŽE
22v2Z
12w
1ZBIAS
BIASBv1
Bw1
TEŽINESAKRIVENOG
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
Dubravko Majetić Neuronske mreže 71XOR 2-2-1
SAKRIVENOG SLOJA - V
B2
Katedra za strojarsku automatiku
DVIJE FAZE UČENJA DVIJE FAZE UČENJA :
1) UNAPRIJEDNA FAZA ) UN JEDN F Z
2) POVRATNA FAZA
Početak učenja :random težine ili već postojeće težinep j
Dubravko Majetić Neuronske mreže 72XOR faze učenja
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
SLOJSLOJSLOJ
POČETNE TEŽINE2.0
1y11w
1Z12v
9.0
12w IZLAZ
1 12v
O2y9.0
2.0
12w IZLAZMREŽE22v
2y
2Z8.0
9.0
Bw1
BIAS
Bv1
3.00.7
TEŽINE
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
20
Dubravko Majetić Neuronske mreže 73XOR početne težine
SAKRIVENOG SLOJA - V
2.0
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
2.0UNAPRIJEDNA FAZA
1y11w
1Z12v
9.00
12wIZLAZ
12
O2y9.0
2.0
0
-0.3000 -0.1489
12
w
IZLAZMREŽE22v
2Z8.0
9.00.2000 0.0997 0.6401 0.6401
Bw1
BIAS
Bv1
3.07.0
11 O1 = 0.6401
TEŽINE
13 Z13 y
BIAS TEŽINEIZLAZNOG SLOJA - WBv2
20 ODZIV NAKON NULTOG KORAKA
Dubravko Majetić Neuronske mreže 74Odziv 0 - uzorak 1
TEŽINESAKRIVENOG
SLOJA - V
2.0 ODZIV NAKON NULTOG KORAKA
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
2.0UNAPRIJEDNA FAZA
1y11w
1Z12v
9.01
12wIZLAZ
12
vO2y
9.02.0
0
-0.1000 -0.0500
Bw1
IZLAZMREŽE22v
2Z8.0
9.0-0.7000 -0.3364 1.0127 1.0127
Bw1
1ZBIAS
BIAS
Bv1
3.07.0
11 O1 = 0.6401
O2 = 1.0127
TEŽINE
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
20
Dubravko Majetić Neuronske mreže 75Odziv 0 – uzorak 2
SAKRIVENOG SLOJA - V
2.0 ODZIV NAKON NULTOG KORAKA
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
SLOJ2.0
UNAPRIJEDNA FAZA
1y11w
1Z12v
9.00
12w IZLAZ
12
O2y9.0
2.0
1
0.6000 0.2913
12
w
IZLAZMREŽE22v 2
2Z8.0
3.01.0000 0.4621 0.2258 0.2258
Bw1
BIAS
Bv1
3.07.0
11 O1 = 0.6401
O2 = 1 0127
TEŽINESAKRIVENOG
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
20
O2 1.0127O3 = 0.2258
Dubravko Majetić Neuronske mreže 76Odziv 0 – uzorak 3
SAKRIVENOG SLOJA - V
2.0 ODZIV NAKON NULTOG KORAKA
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
2.0UNAPRIJEDNA FAZA
1y11w
1Z12v
9.01
12wIZLAZ
12
vO2y
9.02.0
1
0.8000 0.3799
Bw1
IZLAZMREŽE22v
2Z8.0
9.00.1000 0.0500 0.5790 0.5790
Bw1
1ZBIAS
BIAS
Bv1
3.07.0
11 O1 = 0.6401
O2 = 1.0127
TEŽINE
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
20
O3 = 0.2258O4 = 0.5790
Dubravko Majetić Neuronske mreže 77Odziv 0 – uzorak 4
SAKRIVENOG SLOJA - V
2.0 ODZIV NAKON NULTOG KORAKA
Katedra za strojarsku automatiku
PARAMETRI UČENJA TEŽINSKI KOEFICIJENTIPARAMETRI UČENJA = TEŽINSKI KOEFICIJENTI
Dubravko Majetić Neuronske mreže 78Postupak učenja
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
ULAZI MREŽE 21v
SLOJ2.0
UNAPRIJEDNA FAZA
1y11w
1Z12v
9.00
12w
12v
O2y9.0
2.0
0
-0.3000 -0.1489
12wIZLAZMREŽE
22v2y
2Z8.0
9.00.2000 0.0997 0.6401 0.6401
Bw1
BIAS
Bv1
3.07.0
11
TEŽINE
13 Z13 y
BIASTEŽINE
IZLAZNOG SLOJA - W
Bv2
20
Dubravko Majetić Neuronske mreže 79Naprijed – uzorak 1
SAKRIVENOG SLOJA - V
2.0
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
20ULAZI MREŽE 21v
2.0POVRATNA FAZA
1y11w
1Z12v
9.00
0
12wvO2y
9.02.0
0 -
Bw1 IZLAZ
22v2Z
8.09.0 0.6401
Bw1 IZLAZMREŽE
1ZBIAS
BIAS TEŽINE
Bv1
3.07.0
11
13 Z13 y
BIAS TEŽINEIZLAZNOG SLOJA - WBv2
2.0 ALGORITAMTEŽINE
SAKRIVENOG
Dubravko Majetić Neuronske mreže 80Nazad – uzorak 1
ALGORITAMUČENJA
SLOJA - V
Katedra za strojarsku automatiku
11v IZLAZNI SLOJ
SAKRIVENI SLOJ
ULAZNISLOJ
20ULAZI MREŽE 21v
2.0
POVRATNA FAZA
1y11w1Z
12v
9.00
0
12w22v
O2y9.0
1905.0
0 -
Bw1 IZLAZ
22v2Z
8.09064.0
B1 IZLAZMREŽE
1ZBIAS
BIAS
Bv1
2937.06360.0
11
TEŽINESAKRIVENOG
13 Z13 y
BIAS TEŽINEIZLAZNOG SLOJA - W
Bv2
2285.0 ALGORITAM
Dubravko Majetić Neuronske mreže 81Nove težine – uzorak 1
SLOJA - V UČENJA
Katedra za strojarsku automatiku
Dubravko Majetić Neuronske mreže 82RBF
Katedra za strojarsku automatiku
OOsnovnesnovne karakteristike RBF mrežakarakteristike RBF mrežaOOsnovnesnovne karakteristike RBF mrežakarakteristike RBF mreža
RBF NM su statičke, troslojne, unaprijedne (feedforward)
neuronske mreže koje služe za rješavanje regresijskih i
klasifikacijskih vrsta problema
postupak učenja odvija se u jednom koraku (inverzijom
ili pseudoinverzijom matrice učenja H )
aktivacijska funkcija neurona skrivenog sloja spada u
skupinu radijalnih baznih funkcija
radijalne bazne funkcije imaju svojstvo da su im prve
derivacije u potpunosti monotone ovo je svojstvo nužno
i j l i i č j (d H 0) za osiguranje regularnosti matrice učenja (det H > 0)
uvjet regularnosti matrice učenja H predstavlja temelj i
Dubravko Majetić Neuronske mreže 83RBF karakteristike
j g j p j j
nužan uvjet provedbe postupka učenja
Katedra za strojarsku automatiku
Radijalne bazne funkcije
dch d
2
( ) h d 1( ) 0 ch d e( ) h d
c d2 2( ) , 0
Dubravko Majetić Neuronske mreže 84Radijalne bazne funkcije
h d c d2 2( ) , 0 1 h d d( )
Katedra za strojarsku automatiku
RBF neuronske mreže zasnivaju se na klasičnom matematičkom konceptu
aproksimacije (interpolacije) kontinuirane viševarijabilne funkcije f(x)
pomoću aproksimacijske (interpolacijske) funkcije F(x)
u cilju postizanja dobrih regresijskih karakteristika potrebno je
izabrati odgovarajuću funkciju F(x) (problem reprezentacije)
i namjestiti njene parametre
F( ) h(d) i 1 Ni jj
F(x ) = h(d) c , i = 1,...,N
Dubravko Majetić Neuronske mreže 85Građa RBF
Katedra za strojarsku automatiku
(x )
(t1)1
(t2)1
(tL)1
c11(x1)i
(x2)i F1(xi)c1Mc21
(t1)2
( )
(tL)2
(x2)i+c2M
c31
(t2)2
(t2)3 (tL)3
+FM(xi)
c3M(t1)3
(t2)3 (tL)3
(xL)i cK1
(tL)K
(t1)K (t2)K
cKM
Dubravko Majetić Neuronske mreže 86Topologija RBF
Katedra za strojarsku automatiku
elementi matrice H (h(d)) dobivaju se računanjem udaljenosti
(E klidij ih M h l bi ih i d ih) i đ l t l ih(Euklidijevih, Mahalanobisovih i drugih) između elemenata ulaznih
vektora i centara neurona skrivenog sloja
F(x ) = h(d) c = h( x - t ) c = y i = 1 N i j i j j ij j
F(x ) = h(d) c = h( x - t ) c = y , i = 1,...,N
ij i j(H) = h( x - t )
onaj neuron čiji su centri najbliži vrijednostima ulaznih vektora u
i-tom koraku učenja ostvaruje ekstremnu vrijednost u matrici učenja,
što na kraju faze učenja ostavlja utjecaja na iznos težinskog faktora
svaki neuron skrivenog sloja sadrži broj centara jednak broju
neurona ulaznog sloja svaki centar je vezan uz njemu pripadajući
neuron ulaznog sloja
t k č j d ij j d k k i t i ij (i t l ij ) ilipostupak učenja odvija se u jednom koraku i to inverzijom (interpolacija) ili
pseudoinverzijom (aproksimacija) matrice učenja H
y =Hc
Dubravko Majetić Neuronske mreže 87RBF matematika
y Hc
-1 + + T -1 Tc =H y ili c =H y, H =(H H) H
Katedra za strojarsku automatiku
N -1
i i j jj=1
F(x ) = h( x - x ) c , i = 1,...,N y =H c , c =H y
Dubravko Majetić Neuronske mreže 88RBF interpolacija
Katedra za strojarsku automatiku
K + + T -1 T
i i j jj=1
F(x ) = h( x - t ) c , i = 1,...,N y =H c , c = H y, H =(H H) H
Dubravko Majetić Neuronske mreže 89RBF aproksimacija
Katedra za strojarsku automatiku
izračunaju se udaljenosti svih uzoraka skupa za učenje
od svih vektora centara radijalnih baznih funkcija (centri
neurona skrivenog sloja)neurona skrivenog sloja),
za dobivene udaljenosti izračunaju se vrijednosti radijalnih
baznih funkcija matrica H,
t lj tih (ž lj ih) i l ih ij d ti ( ) č jna temelju poznatih (željenih) izlaznih vrijednosti (y) računajuse težinski faktori c.
Dubravko Majetić Neuronske mreže 90RBF učenje
Katedra za strojarsku automatiku
izračunaju se udaljenosti svih uzoraka skupa za testiranje od svih
vektora centara radijalnih baznih funkcija (centri neuronavektora centara radijalnih baznih funkcija (centri neurona
skrivenog sloja) definiranih u fazi učenja,
za dobivene udaljenosti izračunaju se vrijednosti radijalnih
baznih funkcija matrica Hbaznih funkcija matrica H,
na temelju u fazi učenja izračunatih težinskih faktorana temelju, u fazi učenja, izračunatih težinskih faktora
izračunavaju se izlazne vrijednosti y.
Dubravko Majetić Neuronske mreže 91RBF testiranje
Katedra za strojarsku automatiku
% R B F Neural Network% for XOR problem%%%clcclearhelp rbf xorhelp rbf_xor
% ULAZNI PODACI
X=[0 00 11 01 01 1];
Dubravko Majetić Neuronske mreže 92RBF XOR 1
Katedra za strojarsku automatiku
% ŽELJENI IZLAZNI PODACI
y=[01110];
% Određivanje položaja CENTARA neurona skrivenog sloja% Određivanje položaja CENTARA neurona skrivenog sloja
% centri neurona skrivenog sloja su isti kao ulazne
% vrijednosti X --> to znači da se problem rješava
% pomoću interpolacije, tj. svaki ulazni podatak (Xij)
% vezan je za centar svog neurona u skrivenom sloju
% (broj parova ulaznih podataka = broj neurona
% skrivenog sloja)
T=X;
Dubravko Majetić Neuronske mreže 93RBF XOR 2
T X;
Katedra za strojarsku automatiku
% Računanje HAMMINGOVE UDALJENOSTI (HD)
for i=1:length(X(: 1))for i=1:length(X(:,1))
for j=1:length(T(:,1))
hdhd=0;
for k=1:length(X(1,:))
hd=hd+(X(i,k)-T(j,k)).^2;
end
HD(i,j)=hd;
H(i,j)=exp(-0.5*(hd.^2));
end
endend
% Faza UČENJA Računanje vektora TEŽINA IZLAZNOG SL0JA
Dubravko Majetić Neuronske mreže 94RBF XOR 3
c=inv(H)*y;
Katedra za strojarsku automatiku
% Faza Testiranjadisp(' Vektor ulaznih vrijednosti za testiranje: ')p( j j )test=[1 1
0 01 00 1]
for i=1:length(test(:,1))for i 1:length(test(:,1))for j=1:length(T(:,1))
hd=0;for k=1:length(test(1,:))for k=1:length(test(1,:))
hd=hd+(test(i,k)-T(j,k)).^2;endHD(i j)=hd;HD(i,j)=hd;H(i,j)=exp(-0.5*(hd.^2));
endendend
% Ispis rezultatadisp(' Rezultati ucenja: ')
Dubravko Majetić Neuronske mreže 95RBF XOR 4
disp( Rezultati ucenja: ) rezultat=H*c
Katedra za strojarsku automatiku
0 0
c1
0
xx11 +c2
0 100
xx11 +yy
c31 00
xx22 c4
0
1 1
H
1 0,6065 0,6065 0,1353
Dubravko Majetić Neuronske mreže 96RBF XOR grafički 1
Katedra za strojarsku automatiku
0 0
c1
0
xx11 +c2
0 100
xx11 +yy
c31 01
xx22 c4
1
1 1
H
1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065
Dubravko Majetić Neuronske mreže 97RBF XOR grafički 2
Katedra za strojarsku automatiku
0 0
c1
0
xx11 +c2
0 110
xx11 +yy
c31 00
xx22 c4
0
1 1
H
1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065
Dubravko Majetić Neuronske mreže 98RBF XOR grafički 3
0,6065 0,1353 1 0,6065
Katedra za strojarsku automatiku
0 0
c1
0
6,646
xx11 +c2
0 110
–6,22
xx11 +yy
c31 01–6,22
xx22 c4
1
6 646
1 1
6,646
H
1 0,6065 0,6065 0,13530,6065 1 0,1353 0,6065 1c H y
Dubravko Majetić Neuronske mreže 99RBF XOR grafički 4
0,6065 0,1353 1 0,60650,1353 0,6065 0,6065 1
c H y
Katedra za strojarsku automatiku
0 0
c1
0
6,646
xx11 +c2
0 101
–6,22
xx11 +yy
c31 01–6,22
xx22 c4
1
6 646
1 1
6,646
H H
Dubravko Majetić Neuronske mreže 100RBF XOR grafički - test
H 0,6065 1 0,1353 0,6065 y H c
Katedra za strojarsku automatiku
obje mreže imaju jednak broj slojeva,
slojevi neurona su međusobno potpuno povezani, dok neuroni
unutar slojeva nisu međusobno povezani,
ulazno i izlazni slojevi su istovjetni uz činjenicu da kod Statičkih
kih ž i l i l j ž biti đ ć li ih neuronskih mreže izlazni sloj može biti građen pomoću nelinearnih
izlaznih aktivacijskih funkcija, dok izlazni sloj RBF mreža uvijek ima
linearni karakter.linearni karakter.
Dubravko Majetić Neuronske mreže 101Sličnost RBF-SNM
Katedra za strojarsku automatiku
mreže imaju različito strukturiran skriveni sloj;
dok se kod Statičkih neuronskih mreža varijable aktivacijskih funkcija
skrivenog sloja izračunavaju na temelju množenja ulaznih signala s
težinskim koeficijentima i zatim njihova međusobnog sumiranja za svaki
neuron zasebno, kod RBF mreža se u neuronima skrivenog sloja računaju
međusobne udaljenosti (najčešće Euklidijeve udaljenosti) izmeđumeđusobne udaljenosti (najčešće Euklidijeve udaljenosti) između
elemenata ulaznih signala i centara pripadajućih neurona
na temelju različito strukturiranih skrivenih slojeva proizlazi i činjenica
da RBF mreža uči u jednom koraku, dok Statička neuronska mreža
najčešće koristi metodu iterativnog učenjanajčešće koristi metodu iterativnog učenja
RBF mreža spada u skupinu statičkih mreža, dok se perceptronske (statičke)
Dubravko Majetić Neuronske mreže 102Razlika RBF-SNM
p p p p
mreže mogu konfigurirati i dinamički