slide1
Download
Skip this Video
Download Presentation
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &

Loading in 2 Seconds...

play fullscreen
1 / 80

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & - PowerPoint PPT Presentation


  • 109 Views
  • Uploaded on

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ. Αναδρομικά Νευρωνικά Δίκτυα Με Διαγώνιο Πίνακα Βαρών Και Μελέτη Ευσταθών Αλγορίθμων Εκπαίδευσης. ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &' - linus


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ

ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ

ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &

ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ

Αναδρομικά Νευρωνικά Δίκτυα Με Διαγώνιο Πίνακα Βαρών

Και

Μελέτη Ευσταθών Αλγορίθμων Εκπαίδευσης

ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Βακφάρης Γεώργιος Α.Ε.Μ. 3666

Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης

Θεσσαλονίκη 2003

slide2
Block DiagonalRecurrent

Neural Network

(χωρίς τους βρόχους ανάδρασης)

Full Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

W

ƒα

ƒα

W

C

Περιγραφή του Νευρωνικού Δικτύου
slide3
BDRNN

C

u

Σ

FF

Περιγραφή του Νευρωνικού Δικτύου

FeedForward – Block Diagonal Recurrent Neural Network

(FF-BDRNN)

slide4
SFNN

es

rs

W

Neural Networks

( FF-BDRNN )

u

en

rn

Περιγραφή του Νευρωνικού Δικτύου

Stabilizing Feedforward Neural Network

(SFNN)

slide5
Περιγραφή του Νευρωνικού Δικτύου

Επαναπροσδιορισμός του Πίνακα Κατάστασης

(Shadows)

  • Υπολογισμός του πίνακα καταστάσεων δυο φορές
      • Forward pass
      • Backward Pass
  • Έλεγχος του σφάλματος( Shadow Error Function )
bdrnn
x1(k)

W

s1

ƒα

x1(k+1)

x2(k)

s2

ƒα

x2(k+1)

z-1

z-1

Υλοποίηση του Διαγώνιου BDRNN

Αρχιτεκτονική της BDRNN Δομής

bdrnn1
Forward Propagation

Backward Propagation – Τελεστές Lagrange

Υλοποίηση του Διαγώνιου BDRNN
bdrnn3
Υλοποίηση του Διαγώνιου BDRNN
  • Συνάρτηση Σφάλματος

→Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation

shadows
Ανάλυση της Διαδικασίας των Shadows
  • Στάδια Υπολογισμού
    • Forward Pass
    • Backward Pass
    • Shadow Error Function
shadows1
Ανάλυση της Διαδικασίας των Shadows
  • Στάδια Υπολογισμού
    • Forward Pass
      • Αν τότε και
    • Backward Pass
    • Shadow Error Function
shadows2
Ανάλυση της Διαδικασίας των Shadows
  • Στάδια Υπολογισμού
    • Forward Pass
    • Backward Pass
    • Αν τότε
    • Αλλιώς
    • Shadow Error Function
shadows3
Ανάλυση της Διαδικασίας των Shadows
  • Στάδια Υπολογισμού
    • Forward Pass
    • Backward Pass
    • Shadow Error Function
shadows4
Ανάλυση της Διαδικασίας των Shadows
  • Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών
slide15
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • Συνθήκες Ευστάθειας

Τοπική Ευστάθεια Γενική Ευστάθεια

slide17
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • Συναρτήσεις Ευστάθειας
    • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

(Scaled Orthogonal Stability)

    • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική Ευστάθεια

(Free Form Global Stability)

    • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική Ευστάθεια

(Free Form Local stability)

slide18
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
slide19
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
slide20
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες
slide21
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
slide22
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
slide23
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια
slide24
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια
slide25
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια
slide26
-α1

1

wn-1,n-1

ysn/2

1

wn-1,n

Σιγμοειδής

Είσοδος

Αλγόριθμοι και Δίκτυα Ευστάθειας
  • Συνάρτηση ευστάθειας ως Feedforward Δίκτυο
slide27
Αλγόριθμοι και Δίκτυα Ευστάθειας
  • Παρατηρήσεις
    • Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης,
    • Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά
    • Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs.
    • Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN
    • Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .
slide28
Παραδείγματα Προσομοίωσης
  • Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step

prediction)

  • Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών
  • Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass
slide29
Παραδείγματα Προσομοίωσης

Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)

  • 4Block Diagonals
  • Single input – single output (SISO)
  • Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal Stabilizer)
  • Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες
slide30
Παραδείγματα Προσομοίωσης
  • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

Παράμετροι Εκπαίδευσης

lrBDRNN=0.0016

lrSFNN= -

Αριθμός Block Diagonals=4

Epochsize=50

Epochs to Converge=40000

slide31
Παραδείγματα Προσομοίωσης
  • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας
  • Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0
slide32
Παραδείγματα Προσομοίωσης
  • Προσθήκη Σταθεροποιητικού SFNN

Παράμετροι Εκπαίδευσης

lrBDRNN=0.0016

lrSFNN=0.00001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

slide33
Παραδείγματα Προσομοίωσης
  • Προσθήκη Σταθεροποιητικού SFNN
slide34
Παραδείγματα Προσομοίωσης
  • Προσθήκη Σταθεροποιητικού SFNN
slide35
Παραδείγματα Προσομοίωσης
  • Προσθήκη Σταθεροποιητικού SFNN
  • Παρατηρήσεις – Επιλογή των Learning Rates

Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι

  • Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα βάρη
  • Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα να ταλαντώνει σε μια περιοχή τιμών
slide36
Παραδείγματα Προσομοίωσης
  • Επίδραση των παραμέτρων εκπαίδευσης

Παράμετροι Εκπαίδευσης

lrBDRNN=0.0016

lrSFNN=0.001

Αριθμός Block Diagonals=4

Epochsize=50

Epochs to Converge=40000

slide37
Παραδείγματα Προσομοίωσης
  • Επίδραση των παραμέτρων εκπαίδευσης
slide38
Παραδείγματα Προσομοίωσης
  • Επίδραση των παραμέτρων εκπαίδευσης
  • Είναι εμφανής η απόκλιση από την ευσταθή περιοχή
slide39
Παραδείγματα Προσομοίωσης
  • Τροποποίηση της συνάρτησης ευστάθειας
slide40
Παραδείγματα Προσομοίωσης
  • Τροποποίηση της συνάρτησης ευστάθειας

Παράμετροι Εκπαίδευσης

lrBDRNN=0.0016

lrSFNN=0.0001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

slide41
Παραδείγματα Προσομοίωσης
  • Τροποποίηση της συνάρτησης ευστάθειας
slide42
Παραδείγματα Προσομοίωσης
  • Τροποποίηση της συνάρτησης ευστάθειας
  • Σχόλια
  • Ομαλή κίνηση των ιδιοτιμών ,
  • χωρίς spikes
  • Καλύτερη τοποθέτηση ,
  • ψηλότερα από τη μηδενική
  • περιοχή
slide43
Παραδείγματα Προσομοίωσης
  • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

Παράμετροι Εκπαίδευσης

lrBDRNN=0.0016

lrSFNN=0.0001

Αριθμός Block Diagonals=4

Epochsize=100

Epochs to Converge=40000

slide44
Παραδείγματα Προσομοίωσης
  • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)
slide45
Παραδείγματα Προσομοίωσης
  • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)
slide46
Παραδείγματα Προσομοίωσης

Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών

slide47
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide49
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer
  • Παρατήρηση
  • Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.
slide50
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide51
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια
slide52
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια
slide53
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide54
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια
slide55
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια
slide56
Παραδείγματα Προσομοίωσης
  • Σύγκριση των Stabilizers
  • η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.
  • Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..
slide57
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide60
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide61
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια
slide62
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Γενική Ευστάθεια
slide63
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια

Παράμετροι Εκπαίδευσης

lrBDRNN=0.032

lrSFNN=0.00001

Αριθμός Block Diagonals=2

Epochsize=48

Epochs to Converge=7000

slide64
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια
slide65
Παραδείγματα Προσομοίωσης
  • Ελεύθερη Μορφή και Τοπική Ευστάθεια
slide66
Παραδείγματα Προσομοίωσης

Παράδειγμα 3: Διαφορική Εξίσωση MacKey - Glass

τ=30

Είσοδος :

Έξοδος :

Είσοδος στο FeedForward Δίκτυο :

slide67
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer , χωρίς παράλληλο FF

Παράμετροι Εκπαίδευσης

lrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

slide68
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer , με παράλληλο FF

Παράμετροι Εκπαίδευσης

lrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

slide69
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer με παράλληλο FF
slide70
Παραδείγματα Προσομοίωσης
  • Ορθογώνιος Stabilizer με παράλληλο FF
  • τα learning rates κρατήθηκαν αρκετά χαμηλά
  • το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών
slide71
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer

Παράμετροι Εκπαίδευσης

lrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

slide72
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
slide73
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer
slide74
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer

Παράμετροι Εκπαίδευσης

lrBDRNN=0.128

lrSFNN=0.00005

Αριθμός Block Diagonals=2

Epochsize=100

Epochs to Converge=20000

slide75
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
slide76
Παραδείγματα Προσομοίωσης
  • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer
slide77
Επίλογος - Συμπεράσματα
  • Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.
  • Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.
slide78
Επίλογος - Συμπεράσματα
  • Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.
  • Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.
slide79
ys

es

sigmoid

unit

Stabilizing feedforward neural network (SFNN)

Stabilization

alogorithm

-rs

BDRNN learning algorithm

W

x(k)

B

z-1

C

yn(k)

en(k)

u(k)

Σ

-rn(k)

D1

D2

DL-1

Back Propagation Algorithm

Επίλογος - Συμπεράσματα

ad