umjetna inteligencija umjetne neuronske mreže –...1 neizrazite neuronske mreže 1 umjetna...
TRANSCRIPT
1
Neizrazite neuronske mreže 1
Umjetna inteligencija
- Umjetne neuronske mreže –
Neizrazite neuronske mreže
47895/47816 UMINTELI
HG/2008-2009
Sveučilište u Zagrebu
Fakultet prometnih znanostiDiplomski studij
Neizrazite neuronske mreže 2
IZRAZITI MODEL NEURONA
n
i
ijj dI1
)( jj Iy
Aktivacijska
funkcija
j
Zbroj
opterećenih
ulaza
Ij
JEZGRA
NEURON j
yj
x1
x2
xi
wij
SINAPSE -
TEŽINE
w1j
w2j
xn
wnj DENDRITI
AKSON
ULAZNI
SIGNALI
IZLAZNI
SIGNAL
)( iijij xwd
j = 1,2, ... m
2
Neizrazite neuronske mreže 3
FUZIFIKACIJA IZRAZITOG MODELA NEURONA (1)
– Ulazni vektor x = [x1, x2, ... , xn]T Rn zadan na
intervalu [0, 1]. Ulazni neuron y = x (razdioba)
– Sinaptičke težine su zadane na intervalu [0, 1]
– Dendritički ulazi su rezultat logičkih operacija npr.,
di = xi wij
– Operacija združivanja dendritičkih ulaza, zbroj
opterećenih ulaza, je logička operacija, npr.
iji
n
iij
n
ij wxdI
11
Neizrazite neuronske mreže 4
FUZIFIKACIJA IZRAZITOG MODEL NEURONA (2)
– Neizraziti neuron predstavlja linguističku vrijednost, npr.
NISKO
– Vrijednost izlaznog signala yj u intervalu [0, 1] odgovara
stupnju pripadnosti ulaznog vektora [x1, x2, ... , xn]T
linguističkoj vrijednosti
– Neuron j poslije prijema n ulaznih signala i obrade
prenosi izračunati stupanj pripadnosti yj na ostala (m -1)
neurona neuronske mreže sastavljene od m neizrazitih
neurona
– Svojstva neizrazitog neurona zavise o dendritičkim
operacijama, operacijama združivanja i aktivacijskim
funkcijama
3
Neizrazite neuronske mreže 5
ZDRUŽIVANJA DENDRITIČKIH ULAZA
• MAX NEIZRAZITI NEURON
• Izračunavanja maksimuma
dendritičkih ulaza - logička
ILI operacija
• MIN NEIZRAZITI NEURON
• Izračunavanja minimuma
dendritičkih ulaza - logička I
operacija
iji
n
iij
n
ij wxdI
11
iji
n
iij
n
ij wxdI
11
Neizrazite neuronske mreže 6
FUNKCIJE PRIPADNOSTI KOD NEURONA
Sinaptičke vrijednosti 1,0ix
m
j
yIj uuyj
1
/)(Izlazna vrijednost
m
j
Ij uuIj
1
/)(Združene vrijednosti
1,0u
m
j
dij uudij
1
/)(Dendritičke vrijednosti
4
Neizrazite neuronske mreže 7
NEIZRAZITE RELACIJE I KOMPOZICIJE KOD NEURONA
Dendritički ulazi - kompozicija ulaznih signala i težine
ijiij wxd
ijiij dxw
Težina - neizrazita relacija (Kartezijev produkt)
Poticanje, sprečavanje - neizraziti komplement na [0, 1]
ij
ij
ij d
d
ijij dd 1poticanje
sprečavanje
Neizrazite neuronske mreže 8
DENDRITIČKI ULAZI KOD NEURONA
jIj yj
x1
x2
x3
w3j
d1j
w2j
x4
w4j
w1j
d2j
d3j
d4j
1j
2j
3j
4j
Pojačanje 1j = d1j 2j = d2j
Slabljenje 3j =1 - d3j 4j = 1 - d4j
5
Neizrazite neuronske mreže 9
FUNKCIJE ZDRUŽIVANJA I AKTIVACIJE NEURONA
Općenito funkcija združivanja: T-norma ij
n
ij TI
1
Aktivacijska funkcija
ij
n
ijjj TIy
1
Linearna aktivacijska funkcija jj Iy
ij
n
ij Ty
1
Neizrazite neuronske mreže 10
T-NORME
Logički umnožak (Minimum) 2121 ),( xxxxT
Poopćavanje operacije I na implikaciju, zaključivanje
Algebarski umnožak 2121 xxxx
Ograničeni umnožak 0)1( 2121 xxxx
“Grubi” umnožak
protivnomu
x
x
x
x
xx 1
1
0
2
1
1
2
21
6
Neizrazite neuronske mreže 11
AKSIOMI T-NORME T: [0, 1] x [0, 1] -> [0, 1]
1221 xTxxTx 1,0, 21 xx
Zamjena
00,1 TxxTx 1,0x
Izraziti I
321321 )()( xTxTxxTxTx 1,0,, 321 xxx
Pridruživanje
323121 xTxxTxondaxxako 1,0,, 321 xxx
Uređenje
Neizrazite neuronske mreže 12
S-NORME
Logički zbroj (Maksimum) 2121 ),( xxxxS
Poopćavanje operacije ILI na implikaciju, zaključivanje
Algebarski zbroj 212121 xxxxxx
Ograničeni zbroj 1)( 2121 xxxx
“Grubi” zbroj
protivnomu
x
x
x
x
xx 0
0
0
2
1
1
2
21
7
Neizrazite neuronske mreže 13
AKSIOMI S-NORME S: [0, 1] x [0, 1] -> [0, 1]
1221 xSxxSx 1,0, 21 xx
Zamjena
xSxSx 0,11 1,0x
Izraziti ILI
321321 )()( xSxSxxSxSx 1,0,, 321 xxx
Pridruživanje
323121 xSxxSxondaxxako 1,0,, 321 xxx
Uređenje
Neizrazite neuronske mreže 14
ODNOS T-NORME I S-NORME
De Morgan-ovi zakoni za neizrazite skupove
),(),( 2121 xxSxxT
),(),( 2121 xxTxxS
8
Neizrazite neuronske mreže 15
IZVEDBA NORMI NEIZRAZITIM NEURONIMA
1x
2x),(),( 2121 xxTxxSy j
jyTT
1x
2x
),( 21 xxTy j T
Linearna aktivacijska funkcija
Neizrazite neuronske mreže 16
NEIZRAZITI NEURON VRSTE I
1x
nx
jyI
Linearna aktivacijska funkcija
2xjw1
njw
jw2
ijiij wILIxd S-norma:
T-norma: )()()( 2211 njnjjj wILIxIIwILIxIwILIxy
)(1
iji
n
ij wSxTy
Sprečavanje:Općenito: ix1
9
Neizrazite neuronske mreže 17
NEIZRAZITI NEURON VRSTE ILI
1x
nx
jyILI
Linearna aktivacijska funkcija
2xjw1
njw
jw2
ijiij wIxd T-norma:
S-norma: )()()( 2211 njnjjj wIxILIILIwIxILIwIxy
)(1
iji
n
ij wTxSy
Općenito: Sprečavanje: ix1
Neizrazite neuronske mreže 18
GRANIČNI SLUČAJ NEIZRAZITIH NEURONA
0ijw ii xSx 0
1ijw 11Sxi Ulaz ne utječe na izlaz
Dodatni prilagodljivi član 00 x jj wwS 000
)(0
iji
n
ij wSxTy
)(1
iji
n
ij wSxTy
• Neuron vrste I
• Neuron vrste ILI )(0
iji
n
ij wTxSy
10
Neizrazite neuronske mreže 19
TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (1)
Ulazni sloj Unutarnji sloj Izlazni sloj
I
I
ILI
y
x1
x2
x2n
z1
zp
)(
11inli
n
ilii
n
il wSxTTwSxTz
zl
ll
p
lvTzSy
1
Neizrazite neuronske mreže 20
TROSLOJNA NEIZRAZITA NEURONSKA MREŽA (2)
Ulazni sloj Unutarnji sloj Izlazni sloj
I
y
x1
x2
x2n
z1
zp
)(
11inli
n
ilii
n
il wTxSSwTxSz
zl
ll
p
lvSzTy
1
ILI
ILI
11
Neizrazite neuronske mreže 21
MREŽNI MODEL NEIZRAZITIH PRAVILA ZAKLJUČIVANJA
n - neizrazitih ulaza
m - neizrazitih pravila
T
T
T
T T
S
y
y1
y2
ym
T ( I , min) neuron
S ( ILI, max ) neuron
x1
x n
x2
1. sloj 2. sloj 3. sloj
Neizrazite neuronske mreže 22
PODUČAVANJE NEIZRAZITE NEURONSKE MREŽE
• Promjenom težina sinaptičke veze poboljšati stupanj
podučenosti neuronske mreže
• Model sinaptičke veze
– izraziti neuron: skalarna veličina
– neizraziti neuron: dvodimenzionalna neizrazita relacija
12
Neizrazite neuronske mreže 23
PODUČAVANJE NEIZRAZITOG NEURONA (1)
x1(k)
xi(k)
xn(k)
dj(k)wij(k)
Neuron j
Aktiv.
funkcijaT
Algoritam
promjene
težine
yj(k)
-ej(k)
+tj(k)
Neizrazite neuronske mreže 24
PODUČAVANJE NEIZRAZITOG NEURONA (2)
)()()1( kwkwkw ijijij
)()()()( kyktFkeFkw jjjij
Pravilo promjene neizrazite relacije (težine) j-tog neurona
Promjena wij(k) odgovara promjeni plohe neizrazite relacije
13
Neizrazite neuronske mreže 25
OPĆI POSTUPAK UČENJA NEIZRAZITE MREŽE
Višeslojna neizrazita mreža - faktor stupnja podučenosti Q
N
k
kk txyQ1
2)(
sinapse)sinapse)
((
Q
= koeficijent učenja između 0 i 1
Neizrazite neuronske mreže 26
PRIMJER: UPRAVLJANJE VOZILOM
Vožnja vozila po sredini ravne ceste.
Opis približnog položaja i smjera vozila u odnosu na rub
ceste neizrazitim ulaznim varijablama u k-tom trenutku:
- udaljenost_od_lijevog_ruba (Lk),
- udaljenost_od_desnog_ruba (Rk),
- kut_smjera (k),
- kut_promjene_smjera (k).
Opis položaja upravljača neizrazitom izlaznom varijablom:
- kut_upravljanja (k).
14
Neizrazite neuronske mreže 27
MODELIRANJE UPRAVLJANJA VOZILOM
Ulaz
Izlaz
Neizrazite neuronske mreže 28
BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (1)
ako udaljenost_s_lijeve_strane je Ljk I
udaljenost_s_desne_strane je Rjk
onda kut_upravljanja je jk, j = 1, 2, ..., 16
Baza znanja o zadržavanju vozila na sredini ceste sadrži
16 pravila oblika:
15
Neizrazite neuronske mreže 29
BAZE NEIZRAZITOG ZNANJA O UPRAVLJANJU (2)
Baza znanja o zadržavanju vozila usporedno s rubom
ceste sadrži 9 pravila oblika:
ako kut_smjera je jk I
kut_promjene_smjera je jk
onda kut_upravljanja je jk, j = 1, 2, ..., 9
Neizrazite neuronske mreže 30
NEIZRAZITI SKUPOVI LINGUISTIČKIH VARIJABLI
ZE Približno nula
S Malo
M Srednje
L Jako
P Pozitivno
N Negativno
PS Malo pozitivno
PM Srednje pozitivno
PL Jako pozitivno
NS Malo negativno
NM Srednje negativno
NL Jako negativno
16
Neizrazite neuronske mreže 31
FUNKCIJE PRIPADNOSTI NEIZRAZITIH SKUPOVA
Udaljenost od rubaKut smjera
Kut upravljanja
Neizrazite neuronske mreže 32
NEIZRAZITA NEURONSKA MREŽA ZA UPRAVLJANJE
DF = Defuzifikacija
DF1. sloj 2. sloj
3. sloj 4. sloj
)(16
11
k
jj
NTy
)(9
12
k
jj
NTy
),( 213 yyTy ))(( 34 yNTy