![Page 1: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/1.jpg)
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ
ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ
ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ
Βακφάρης Γεώργιος Α.Ε.Μ. 3666
Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης
Θεσσαλονίκη 2003
![Page 2: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/2.jpg)
Περιγραφή του Νευρωνικού Δικτύου
Block Diagonal Recurrent Neural Network
(χωρίς τους βρόχους ανάδρασης)
Full Recurrent Neural Network
(χωρίς τους βρόχους ανάδρασης)
CƒαW ƒαW
![Page 3: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/3.jpg)
Περιγραφή του Νευρωνικού Δικτύου
FeedForward – Block Diagonal Recurrent Neural Network(FF-BDRNN)
BDRNN
FF
Σ
C
u
![Page 4: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/4.jpg)
Περιγραφή του Νευρωνικού Δικτύου
Stabilizing Feedforward Neural Network (SFNN)
SFNN
W
Neural Networks( FF-BDRNN )
rs
rn
es
en
u
![Page 5: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/5.jpg)
Περιγραφή του Νευρωνικού Δικτύου
Επαναπροσδιορισμός του Πίνακα Κατάστασης(Shadows)
Υπολογισμός του πίνακα καταστάσεων δυο φορές1. Forward pass2. Backward Pass
Έλεγχος του σφάλματος ( Shadow Error Function )
![Page 6: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/6.jpg)
Υλοποίηση του Διαγώνιου BDRNN
Αρχιτεκτονική της BDRNN Δομής
ƒα
ƒα
z-1
z-1
x1(k+1)
x2(k+1)
s1
s2
Wx1(k)
x2(k)
![Page 7: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/7.jpg)
Υλοποίηση του Διαγώνιου BDRNN
Forward Propagation
Backward Propagation – Τελεστές Lagrange
M
jjji
u
ujjjii kubkxwks
1,
1
, )1()1()(
όiiiu ,1,άiiu ,1
)1())(()(
,
kxksfwkx
jiaji
i
)()(
kxJ
ki
pi
)1())1(())(()()(,1 1
1
,,
kksfwckxcfkek jja
ij
No
h
N
j
u
ujihjjhbhi
όiiiu ,1,άiiu ,1
)()()( kykrke hhh
![Page 8: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/8.jpg)
Υλοποίηση του Διαγώνιου BDRNN
Υπολογισμός της παραγώγου του σφάλματος
Update του πίνακα βαρών
kf
k
kf
k ji
ii
k
i
i
p
ji
p
wkx
kiwkx
kxJ
wJ
0 0 ,,
)()(
)()(
)(
kf
k ji
p
ji
pji tw
tkJtwtJ
tw0 ,,
, )(),(
)()(
)(
)()()(
)()1(,
2,
1,, twtP
Ktw
twtwji
p
f
jijiji
![Page 9: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/9.jpg)
Υλοποίηση του Διαγώνιου BDRNN
Συνάρτηση Σφάλματος
→Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation
TpPJE ppp ,...1,
No
jjjp psequencekykrkJ
1
2 |))()((21)(
kf
kp
fp kJ
KJ
0
)(1
![Page 10: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/10.jpg)
Ανάλυση της Διαδικασίας των Shadows
Στάδια Υπολογισμού
1. Forward Pass2. Backward Pass3. Shadow Error Function
![Page 11: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/11.jpg)
Ανάλυση της Διαδικασίας των Shadows
Στάδια Υπολογισμού
1. Forward Pass Αν τότε και
2. Backward Pass3. Shadow Error Function
)( jsk sisi Njkxx ,...1),( Ni ,...1
N
jj
sj
fs kxcky1
)()(
![Page 12: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/12.jpg)
Ανάλυση της Διαδικασίας των Shadows
Στάδια Υπολογισμού
1. Forward Pass2. Backward Pass• Αν τότε • Αλλιώς
3. Shadow Error Function
)( sk ssi
ri Njjxkx ,...1),()( Ni ,...,1
1
1,
11, )())1(([)(
u
uj
M
jjjij
raji
ri kubkxfwkx
N
j
rj
sj
rs kxcy1
)(
![Page 13: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/13.jpg)
Ανάλυση της Διαδικασίας των Shadows
Στάδια Υπολογισμού
1. Forward Pass2. Backward Pass3. Shadow Error Function
)()()( kykyke fsrss
![Page 14: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/14.jpg)
Ανάλυση της Διαδικασίας των Shadows
Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών
0,)11ln()( 1
axxxf a
a
ww
w nnnn
,1,1
1
ww
w nnnn
,1,1
1
ww
w nnnn
1,1,
1
ww
w nnnn
1,1,
1 Nnwwwww nnnnnnnn ,...4,2,01,,11,1,
![Page 15: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/15.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
Συνθήκες Ευστάθειας
Τοπική Ευστάθεια Γενική Ευστάθειαnnnn
nnnn
wwww
wwww
wwww
W
1
111
4443
3433
2221
1211
00000000
0000000000000000
2)( fi W
2))(( 2
1
max fTf WW
![Page 16: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/16.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
![Page 17: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/17.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
Συναρτήσεις Ευστάθειας
1. BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες (Scaled Orthogonal Stability)2. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική
Ευστάθεια (Free Form Global Stability)3. BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική
Ευστάθεια (Free Form Local stability)
![Page 18: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/18.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
1,1,1
,11,12/
nnnn
nnnnn ww
wwW
1)(1))()((max2/
21
2/2/max nnT
n WWW
0.1,12
1,12 nnnn ww
![Page 19: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/19.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
1,1,1
,11,12/
nnnn
nnnnn ww
wwW
min2/ )det( wWn
0.1,12
1,12
min nnnn www
![Page 20: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/20.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
)0.1( ,12
1,12
2/ nnnndns wwfy
))(( ,12
1,12
min2/ nnnndn wwwfy
2/
1
2/
1
22 )()(21 N
i
N
iii
sis
p yryrP
0.1 iis rr
![Page 21: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/21.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
nnnn
nnnnn ww
wwW
,1,
,11,12/
0.12
])()][()()[(2
)(
21,,1
2,1,1
21,,1
2,1,1
,2
1,2
,12
1,12
nnnnnnnnnnnnnnnn
nnnnnnnn
wwwwwwww
wwwwA
![Page 22: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/22.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
nnnn
nnnnn ww
wwW
,1,
,11,12/
1,,1,1,1min
min2/ )det(
nnnnnnnn
n
wwwww
wW
![Page 23: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/23.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
)1(2/ Afy dnsg
))()(( 21,,1,,1
2min2/
2 nnnnnnnndn wwwwwfy
2/
1
2/
1
2222 )()(21 N
i
N
iiii
sgi
sgp yryrP
0.12 iisg rr
![Page 24: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/24.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια
nnnn
nnnnn ww
wwW
,1,
,11,12/
0.11.,1,1,1 nnnnnnnn wwww
1,,1,1,1min
min2/ )det(
nnnnnnnn
n
wwwww
wW
![Page 25: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/25.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια
0.1)( 1,,1,1,12/1 nnnnnnnndns wwwwfy
1,,11,1,1,12
,2
2/2 42 nnnnnnnnnnnndns wwwwwwfy
))()(( 21,,1,,1
2min2/
2 nnnnnnnndn wwwwwfy
2/
1
2/
1
2/
1
222222211 )()()(21 N
i
N
i
N
iiii
si
si
si
sp yryryrP
0.1221 iis
is rrr
![Page 26: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/26.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
Συνάρτηση ευστάθειας ως Feedforward Δίκτυο
Σιγμοειδής
Είσοδος
1
1
wn-1,n-1
wn-1,n
-α1
ysn/2
1,1,11,11,12/ )()( nncnnnncnndns wfwwfwfy
![Page 27: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/27.jpg)
Αλγόριθμοι και Δίκτυα Ευστάθειας
Παρατηρήσεις
1. Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης,
2. Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά
3. Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs.
4. Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN
5. Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .
![Page 28: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/28.jpg)
Παραδείγματα Προσομοίωσης
Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step
prediction)
Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών
Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass
![Page 29: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/29.jpg)
Παραδείγματα Προσομοίωσης
4 Block Diagonals Single input – single output (SISO) Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal
Stabilizer) Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες
22 )2()1(1)(]0.1)2()[1()2()1()()1(
kxkx
kukxkukxkxkxkx pp
ppppppp
Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)
![Page 30: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/30.jpg)
Παραδείγματα Προσομοίωσης
• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016
lrSFNN= -
Αριθμός Block Diagonals=4
Epochsize=50
Epochs to Converge=40000
![Page 31: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/31.jpg)
Παραδείγματα Προσομοίωσης
• Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0
• Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας
![Page 32: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/32.jpg)
Παραδείγματα Προσομοίωσης
• Προσθήκη Σταθεροποιητικού SFNN
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016
lrSFNN=0.00001
Αριθμός Block Diagonals=4
Epochsize=100
Epochs to Converge=40000
![Page 33: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/33.jpg)
Παραδείγματα Προσομοίωσης
• Προσθήκη Σταθεροποιητικού SFNN
![Page 34: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/34.jpg)
Παραδείγματα Προσομοίωσης
• Προσθήκη Σταθεροποιητικού SFNN
![Page 35: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/35.jpg)
Παραδείγματα Προσομοίωσης
Παρατηρήσεις – Επιλογή των Learning Rates
Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα
βάρη Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα
να ταλαντώνει σε μια περιοχή τιμών
• Προσθήκη Σταθεροποιητικού SFNN
![Page 36: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/36.jpg)
Παραδείγματα Προσομοίωσης
•Επίδραση των παραμέτρων εκπαίδευσης
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016
lrSFNN=0.001
Αριθμός Block Diagonals=4
Epochsize=50
Epochs to Converge=40000
![Page 37: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/37.jpg)
Παραδείγματα Προσομοίωσης
•Επίδραση των παραμέτρων εκπαίδευσης
![Page 38: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/38.jpg)
Παραδείγματα Προσομοίωσης
•Επίδραση των παραμέτρων εκπαίδευσης
•Είναι εμφανής η απόκλιση από την ευσταθή περιοχή
![Page 39: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/39.jpg)
Παραδείγματα Προσομοίωσης
•Τροποποίηση της συνάρτησης ευστάθειας
)0.1( ,12
1,12
2/ nnnndns wwfy
0.12/ nsy 0.10.1,1
21,1
2 nnnn ww
![Page 40: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/40.jpg)
Παραδείγματα Προσομοίωσης
•Τροποποίηση της συνάρτησης ευστάθειας
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016
lrSFNN=0.0001
Αριθμός Block Diagonals=4
Epochsize=100
Epochs to Converge=40000
![Page 41: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/41.jpg)
Παραδείγματα Προσομοίωσης
•Τροποποίηση της συνάρτησης ευστάθειας
![Page 42: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/42.jpg)
Παραδείγματα Προσομοίωσης
•Τροποποίηση της συνάρτησης ευστάθειας
Σχόλια• Ομαλή κίνηση των ιδιοτιμών ,
χωρίς spikes
•Καλύτερη τοποθέτηση ,
ψηλότερα από τη μηδενική
περιοχή
![Page 43: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/43.jpg)
Παραδείγματα Προσομοίωσης
•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.0016
lrSFNN=0.0001
Αριθμός Block Diagonals=4
Epochsize=100
Epochs to Converge=40000
![Page 44: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/44.jpg)
Παραδείγματα Προσομοίωσης
•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)
![Page 45: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/45.jpg)
Παραδείγματα Προσομοίωσης
•Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)
Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%
Αριθμός Ασταθειών 16,76 26,44 28,06 31,27 33,01
![Page 46: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/46.jpg)
Παραδείγματα Προσομοίωσης
Παράδειγμα 2 : BDRNN με full recurrent πίνακα βαρών
4
1, )()1(
jj
pji
pai
p kxwfkx
059.1075.1356.0224.0463.0714.0242.0121.001.0196.0951.0076.0008.0193.0221.0024.1
}{ ,
jiwW
)()()()(1
)()()(42
32
22
12
311
kxkxkxkx
kxkxkypppp
pp
p
![Page 47: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/47.jpg)
Παραδείγματα Προσομοίωσης
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
•Ορθογώνιος Stabilizer
![Page 48: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/48.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
![Page 49: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/49.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Παρατήρηση•Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.
![Page 50: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/50.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
![Page 51: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/51.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
![Page 52: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/52.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
![Page 53: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/53.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
![Page 54: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/54.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
![Page 55: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/55.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
![Page 56: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/56.jpg)
Παραδείγματα Προσομοίωσης
•Σύγκριση των Stabilizers
η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.
•Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..
![Page 57: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/57.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
![Page 58: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/58.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
![Page 59: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/59.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer
Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%
Αριθμός Ασταθειών 11,17 15,36 19,67 22,12 24,68
![Page 60: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/60.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
![Page 61: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/61.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
![Page 62: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/62.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Γενική Ευστάθεια
![Page 63: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/63.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.032
lrSFNN=0.00001
Αριθμός Block Diagonals=2
Epochsize=48
Epochs to Converge=7000
![Page 64: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/64.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
![Page 65: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/65.jpg)
Παραδείγματα Προσομοίωσης
•Ελεύθερη Μορφή και Τοπική Ευστάθεια
![Page 66: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/66.jpg)
Παράδειγμα 3 : Διαφορική Εξίσωση MacKey - Glass
Παραδείγματα Προσομοίωσης
τ=30
Είσοδος :
Έξοδος :
Είσοδος στο FeedForward Δίκτυο :
8.0)( tx p
)30( tx p
)6( tx p
5,...,0),6( qqtx p
)(1.0)(1)(2.0)( 10 tx
txtxtx p
p
pp
![Page 67: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/67.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer , χωρίς παράλληλο FF
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
![Page 68: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/68.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer , με παράλληλο FF
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
![Page 69: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/69.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer με παράλληλο FF
![Page 70: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/70.jpg)
Παραδείγματα Προσομοίωσης
•Ορθογώνιος Stabilizer με παράλληλο FF
•τα learning rates κρατήθηκαν αρκετά χαμηλά
•το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών
Ποσοστό Αποθήκευσης 50% 20% 10% 3,30% 2%
Αριθμός Ασταθειών 8,32 9,06 12,11 14,7 16,16
![Page 71: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/71.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
![Page 72: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/72.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
![Page 73: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/73.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
![Page 74: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/74.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
Παράμετροι ΕκπαίδευσηςlrBDRNN=0.128
lrSFNN=0.00005
Αριθμός Block Diagonals=2
Epochsize=100
Epochs to Converge=20000
![Page 75: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/75.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
![Page 76: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/76.jpg)
Παραδείγματα Προσομοίωσης
•Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
![Page 77: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/77.jpg)
Επίλογος - Συμπεράσματα
Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.
Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.
![Page 78: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/78.jpg)
Επίλογος - Συμπεράσματα
Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.
Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.
![Page 79: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/79.jpg)
Stabilizing feedforward neural network (SFNN)
Stabilizationalogorithm
ys
-rs
es
W
z-1 CB
x(k)
D1 D2 DL-1
Σ
BDRNN learning algorithm
Back Propagation Algorithm
-rn(k)
en(k)
yn(k)
u(k)
sigmoid unit
Επίλογος - Συμπεράσματα
![Page 80: ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &](https://reader031.vdocuments.site/reader031/viewer/2022020921/56815e7b550346895dccffee/html5/thumbnails/80.jpg)
ΤΕΛΟΣ