ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ...

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ

ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ

ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Βακφάρης Γεώργιος Α.Ε.Μ. 3666

Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης

Θεσσαλονίκη 2003

Περιγραφή του Νευρωνικού Δικτύου

Block Diagonal Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

Full Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

CƒαW ƒαW

Περιγραφή του Νευρωνικού Δικτύου

FeedForward – Block Diagonal Recurrent Neural Network(FF-BDRNN)

BDRNN

FF

Σ

C

u

Περιγραφή του Νευρωνικού Δικτύου

Stabilizing Feedforward Neural Network (SFNN)

SFNN

W

Neural Networks( FF-BDRNN )

rs

rn

es

en

u

Περιγραφή του Νευρωνικού Δικτύου

Επαναπροσδιορισμός του Πίνακα Κατάστασης(Shadows)

Υπολογισμός του πίνακα καταστάσεων δυο φορές1. Forward pass2. Backward Pass

Έλεγχος του σφάλματος ( Shadow Error Function )

Υλοποίηση του Διαγώνιου BDRNN

Αρχιτεκτονική της BDRNN Δομής

ƒα

ƒα

z-1

z-1

x1(k+1)

x2(k+1)

s1

s2

Wx1(k)

x2(k)

Υλοποίηση του Διαγώνιου BDRNN

Forward Propagation

Backward Propagation – Τελεστές Lagrange

M

jjji

u

ujjjii kubkxwks

1,

1

, )1()1()(

όiiiu ,1,άiiu ,1

)1())(()(

,

kxksfwkx

jiaji

i

)()(

kxJ

ki

pi

)1())1(())(()()(,1 1

1

,,

kksfwckxcfkek jja

ij

No

h

N

j

u

ujihjjhbhi

όiiiu ,1,άiiu ,1

)()()( kykrke hhh

Υλοποίηση του Διαγώνιου BDRNN

Υπολογισμός της παραγώγου του σφάλματος

Update του πίνακα βαρών

kf

k

kf

k ji

ii

k

i

i

p

ji

p

wkx

kiwkx

kxJ

wJ

0 0 ,,

)()(

)()(

)(

kf

k ji

p

ji

pji tw

tkJtwtJ

tw0 ,,

, )(),(

)()(

)(

)()()(

)()1(,

2,

1,, twtP

Ktw

twtwji

p

f

jijiji

Υλοποίηση του Διαγώνιου BDRNN

Συνάρτηση Σφάλματος

→Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

TpPJE ppp ,...1,

No

jjjp psequencekykrkJ

1

2 |))()((21)(

kf

kp

fp kJ

KJ

0

)(1

Ανάλυση της Διαδικασίας των Shadows

Στάδια Υπολογισμού

1. Forward Pass2. Backward Pass3. Shadow Error Function

Ανάλυση της Διαδικασίας των Shadows

Στάδια Υπολογισμού

1. Forward Pass Αν τότε και

2. Backward Pass3. Shadow Error Function

)( jsk sisi Njkxx ,...1),( Ni ,...1

N

jj

sj

fs kxcky1

)()(

Ανάλυση της Διαδικασίας των Shadows

Στάδια Υπολογισμού

1. Forward Pass2. Backward Pass• Αν τότε • Αλλιώς

3. Shadow Error Function

)( sk ssi

ri Njjxkx ,...1),()( Ni ,...,1

1

1,

11, )())1(([)(

u

uj

M

jjjij

raji

ri kubkxfwkx

N

j

rj

sj

rs kxcy1

)(

Ανάλυση της Διαδικασίας των Shadows

Στάδια Υπολογισμού

1. Forward Pass2. Backward Pass3. Shadow Error Function

)()()( kykyke fsrss

Ανάλυση της Διαδικασίας των Shadows

Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών

0,)11ln()( 1

axxxf a

a

ww

w nnnn

,1,1

1

ww

w nnnn

,1,1

1

ww

w nnnn

1,1,

1

ww

w nnnn

1,1,

1 Nnwwwww nnnnnnnn ,...4,2,01,,11,1,

Αλγόριθμοι και Δίκτυα Ευστάθειας

Συνθήκες Ευστάθειας

Τοπική Ευστάθεια Γενική Ευστάθειαnnnn

nnnn

wwww

wwww

wwww

W

1

111

4443

3433

2221

1211

00000000

0000000000000000

2)( fi W

2))(( 2

1

max fTf WW

Αλγόριθμοι και Δίκτυα Ευστάθειας

Αλγόριθμοι και Δίκτυα Ευστάθειας

Συναρτήσεις Ευστάθειας

1. BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability)2. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική

Ευστάθεια (Free Form Global Stability)3. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική

Ευστάθεια (Free Form Local stability)

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

1,1,1

,11,12/

nnnn

nnnnn ww

wwW

1)(1))()((max2/

21

2/2/max nnT

n WWW

0.1,12

1,12 nnnn ww

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

1,1,1

,11,12/

nnnn

nnnnn ww

wwW

min2/ )det( wWn

0.1,12

1,12

min nnnn www

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

)0.1( ,12

1,12

2/ nnnndns wwfy

))(( ,12

1,12

min2/ nnnndn wwwfy

2/

1

2/

1

22 )()(21 N

i

N

iii

sis

p yryrP

0.1 iis rr

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

nnnn

nnnnn ww

wwW

,1,

,11,12/

0.12

])()][()()[(2

)(

21,,1

2,1,1

21,,1

2,1,1

,2

1,2

,12

1,12

nnnnnnnnnnnnnnnn

nnnnnnnn

wwwwwwww

wwwwA

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

nnnn

nnnnn ww

wwW

,1,

,11,12/

1,,1,1,1min

min2/ )det(

nnnnnnnn

n

wwwww

wW

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια

)1(2/ Afy dnsg

))()(( 21,,1,,1

2min2/

2 nnnnnnnndn wwwwwfy

2/

1

2/

1

2222 )()(21 N

i

N

iiii

sgi

sgp yryrP

0.12 iisg rr

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

nnnn

nnnnn ww

wwW

,1,

,11,12/

0.11.,1,1,1 nnnnnnnn wwww

1,,1,1,1min

min2/ )det(

nnnnnnnn

n

wwwww

wW

Αλγόριθμοι και Δίκτυα Ευστάθειας

BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια

0.1)( 1,,1,1,12/1 nnnnnnnndns wwwwfy

1,,11,1,1,12

,2

2/2 42 nnnnnnnnnnnndns wwwwwwfy

))()(( 21,,1,,1

2min2/

2 nnnnnnnndn wwwwwfy

2/

1

2/

1

2/

1

222222211 )()()(21 N

i

N

i

N

iiii

si

si

si

sp yryryrP

0.1221 iis

is rrr

Αλγόριθμοι και Δίκτυα Ευστάθειας

Συνάρτηση ευστάθειας ως Feedforward Δίκτυο

Σιγμοειδής

Είσοδος

1

1

wn-1,n-1

wn-1,n

-α1

ysn/2

1,1,11,11,12/ )()( nncnnnncnndns wfwwfwfy

Αλγόριθμοι και Δίκτυα Ευστάθειας

Παρατηρήσεις

1. Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης,

2. Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά

3. Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs.

4. Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN

5. Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .

Παραδείγματα Προσομοίωσης

Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step

prediction)

Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass

Παραδείγματα Προσομοίωσης

4 Block Diagonals Single input – single output (SISO) Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal

Stabilizer) Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες

22 )2()1(1)(]0.1)2()[1()2()1()()1(

kxkx

kukxkukxkxkxkx pp

ppppppp

Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)

Παραδείγματα Προσομοίωσης

• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN= -

Αριθμός Block Diagonals=4

Epochsize=50

Epochs to Converge=40000

Παραδείγματα Προσομοίωσης

• Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0

• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

Παραδείγματα Προσομοίωσης

• Προσθήκη Σταθεροποιητικού SFNN

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN=0.00001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

Παραδείγματα Προσομοίωσης

• Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης

• Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης

Παρατηρήσεις – Επιλογή των Learning Rates

Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα

βάρη Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα

να ταλαντώνει σε μια περιοχή τιμών

• Προσθήκη Σταθεροποιητικού SFNN

Παραδείγματα Προσομοίωσης

•Επίδραση των παραμέτρων εκπαίδευσης

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN=0.001

Αριθμός Block Diagonals=4

Epochsize=50

Epochs to Converge=40000

Παραδείγματα Προσομοίωσης

•Επίδραση των παραμέτρων εκπαίδευσης

Παραδείγματα Προσομοίωσης

•Επίδραση των παραμέτρων εκπαίδευσης

•Είναι εμφανής η απόκλιση από την ευσταθή περιοχή

Παραδείγματα Προσομοίωσης

•Τροποποίηση της συνάρτησης ευστάθειας

)0.1( ,12

1,12

2/ nnnndns wwfy

0.12/ nsy 0.10.1,1

21,1

2 nnnn ww

Παραδείγματα Προσομοίωσης

•Τροποποίηση της συνάρτησης ευστάθειας

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN=0.0001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

Παραδείγματα Προσομοίωσης

•Τροποποίηση της συνάρτησης ευστάθειας

Παραδείγματα Προσομοίωσης

•Τροποποίηση της συνάρτησης ευστάθειας

Σχόλια• Ομαλή κίνηση των ιδιοτιμών ,

χωρίς spikes

•Καλύτερη τοποθέτηση ,

ψηλότερα από τη μηδενική

περιοχή

Παραδείγματα Προσομοίωσης

•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016

lrSFNN=0.0001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

Παραδείγματα Προσομοίωσης

•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

Παραδείγματα Προσομοίωσης

•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%

Αριθμός Ασταθειών 16,76 26,44 28,06 31,27 33,01

Παραδείγματα Προσομοίωσης

Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών

4

1, )()1(

jj

pji

pai

p kxwfkx

059.1075.1356.0224.0463.0714.0242.0121.001.0196.0951.0076.0008.0193.0221.0024.1

}{ ,

jiwW

)()()()(1

)()()(42

32

22

12

311

kxkxkxkx

kxkxkypppp

pp

p

Παραδείγματα Προσομοίωσης

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

•Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer

Παρατήρηση•Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Σύγκριση των Stabilizers

η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.

•Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer

Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%

Αριθμός Ασταθειών 11,17 15,36 19,67 22,12 24,68

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Γενική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παραδείγματα Προσομοίωσης

•Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass

Παραδείγματα Προσομοίωσης

τ=30

Είσοδος :

Έξοδος :

Είσοδος στο FeedForward Δίκτυο :

8.0)( tx p

)30( tx p

)6( tx p

5,...,0),6( qqtx p

)(1.0)(1)(2.0)( 10 tx

txtxtx p

p

pp

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer , χωρίς παράλληλο FF

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer , με παράλληλο FF

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer με παράλληλο FF

Παραδείγματα Προσομοίωσης

•Ορθογώνιος Stabilizer με παράλληλο FF

•τα learning rates κρατήθηκαν αρκετά χαμηλά

•το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών

Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%

Αριθμός Ασταθειών 8,32 9,06 12,11 14,7 16,16

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer

Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer

Παραδείγματα Προσομοίωσης

•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer

Επίλογος - Συμπεράσματα

Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.

Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.

Επίλογος - Συμπεράσματα

Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.

Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.

Stabilizing feedforward neural network (SFNN)

Stabilizationalogorithm

ys

-rs

es

W

z-1 CB

x(k)

D1 D2 DL-1

Σ

BDRNN learning algorithm

Back Propagation Algorithm

-rn(k)

en(k)

yn(k)

u(k)

sigmoid unit

Επίλογος - Συμπεράσματα

ΤΕΛΟΣ