ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
Download
1 / 80

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & - PowerPoint PPT Presentation


  • 105 Views
  • Uploaded on

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ. Αναδρομικά Νευρωνικά Δίκτυα Με Διαγώνιο Πίνακα Βαρών Και Μελέτη Ευσταθών Αλγορίθμων Εκπαίδευσης. ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ' - linus


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ

ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ

ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ &

ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ

Αναδρομικά Νευρωνικά Δίκτυα Με Διαγώνιο Πίνακα Βαρών

Και

Μελέτη Ευσταθών Αλγορίθμων Εκπαίδευσης

ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Βακφάρης Γεώργιος Α.Ε.Μ. 3666

Επιβλέπων Καθηγητής κ.Θεοχάρης Ιωάννης

Θεσσαλονίκη 2003


Block Diagonal ΘΕΣΣΑΛΟΝΙΚΗΣRecurrent

Neural Network

(χωρίς τους βρόχους ανάδρασης)

Full Recurrent Neural Network

(χωρίς τους βρόχους ανάδρασης)

W

ƒα

ƒα

W

C

Περιγραφή του Νευρωνικού Δικτύου


BDRNN ΘΕΣΣΑΛΟΝΙΚΗΣ

C

u

Σ

FF

Περιγραφή του Νευρωνικού Δικτύου

FeedForward – Block Diagonal Recurrent Neural Network

(FF-BDRNN)


SFNN ΘΕΣΣΑΛΟΝΙΚΗΣ

es

rs

W

Neural Networks

( FF-BDRNN )

u

en

rn

Περιγραφή του Νευρωνικού Δικτύου

Stabilizing Feedforward Neural Network

(SFNN)


Περιγραφή του Νευρωνικού Δικτύου

Επαναπροσδιορισμός του Πίνακα Κατάστασης

(Shadows)

  • Υπολογισμός του πίνακα καταστάσεων δυο φορές

    • Forward pass

    • Backward Pass

  • Έλεγχος του σφάλματος( Shadow Error Function )


  • Bdrnn

    x Δικτύου1(k)

    W

    s1

    ƒα

    x1(k+1)

    x2(k)

    s2

    ƒα

    x2(k+1)

    z-1

    z-1

    Υλοποίηση του Διαγώνιου BDRNN

    Αρχιτεκτονική της BDRNN Δομής


    Bdrnn1

    Forward Propagation Δικτύου

    Backward Propagation – Τελεστές Lagrange

    Υλοποίηση του Διαγώνιου BDRNN


    Bdrnn2

    Υπολογισμός της παραγώγου του σφάλματος

    Υλοποίηση του Διαγώνιου BDRNN

    • Update του πίνακα βαρών


    Bdrnn3
    Υλοποίηση του Διαγώνιου σφάλματοςBDRNN

    • Συνάρτηση Σφάλματος

      →Στα υπόλοιπα δίκτυα ο Αλγόριθμος Εκπαίδευσης είναι ο συμβατικός Back Propagation


    Shadows
    Ανάλυση της Διαδικασίας των σφάλματοςShadows

    • Στάδια Υπολογισμού

      • Forward Pass

      • Backward Pass

      • Shadow Error Function


    Shadows1
    Ανάλυση της Διαδικασίας των σφάλματοςShadows

    • Στάδια Υπολογισμού

      • Forward Pass

        • Αν τότε και

      • Backward Pass

      • Shadow Error Function


    Shadows2
    Ανάλυση της Διαδικασίας των σφάλματοςShadows

    • Στάδια Υπολογισμού

      • Forward Pass

      • Backward Pass

      • Αν τότε

      • Αλλιώς

      • Shadow Error Function


    Shadows3
    Ανάλυση της Διαδικασίας των σφάλματοςShadows

    • Στάδια Υπολογισμού

      • Forward Pass

      • Backward Pass

      • Shadow Error Function


    Shadows4
    Ανάλυση της Διαδικασίας των σφάλματοςShadows

    • Αντιστροφή της Σιγμοειδούς και του Πίνακα Βαρών


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • Συνθήκες Ευστάθειας

      Τοπική Ευστάθεια Γενική Ευστάθεια



    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • Συναρτήσεις Ευστάθειας

      • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες

        (Scaled Orthogonal Stability)

      • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Γενική Ευστάθεια

        (Free Form Global Stability)

      • BDRNN με Υποπίνακες Ελεύθερης Μορφής και Τοπική Ευστάθεια

        (Free Form Local stability)


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Κλιμακωτούς Ορθογώνιους Υποπίνακες


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με Ελεύθερης Μορφής Υποπίνακες και Γενική Ευστάθεια


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • BDRNN με ελεύθερης μορφής υποπίνακες και τοπική ευστάθεια


    Ευστάθειας1

    1

    wn-1,n-1

    ysn/2

    1

    wn-1,n

    Σιγμοειδής

    Είσοδος

    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • Συνάρτηση ευστάθειας ως Feedforward Δίκτυο


    Αλγόριθμοι και Δίκτυα Ευστάθειας

    • Παρατηρήσεις

      • Το SFNN χρησιμοποιεί τον Back Propagation Αλγόριθμο εκμάθησης,

      • Το FF-BDRNN εκπαιδεύεται συγκεντρώνοντας το συνολικό σφάλμα στη διάρκεια ενός epoch ,όπου τα βάρη W παραμένουν σταθερά

      • Το SFNN από την άλλη μεριά υπολογίζει το σφάλμα ευστάθειας στα μεσοδιαστήματα μεταξύ των epochs.

      • Τα βάρη W αναβαθμίζονται στο τέλος του κάθε epoch χρησιμοποιώντας τόσο τα gradients του FF-BDRNN όσο και αυτά του SFNN

      • Το SFNN δεν επιδρά στη διαδικασία εκμάθησης,αλλά αυτό που κάνει είναι να οδηγεί τα βάρη σε μια πιο ευσταθέστερη περιοχή τιμών .


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step

      prediction)

    • Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών

    • Παράδειγμα 3 : Διαφορική εξίσωση MacKey - Glass


    Παραδείγματα Προσομοίωσης Ευστάθειας

    Παράδειγμα 1 : Πρόβλεψη ενός βήματος (one step prediction)

    • 4Block Diagonals

    • Single input – single output (SISO)

    • Κλιμακωτός Ορθογώνιος Σταθεροποιητής (Scaled Orthogonal Stabilizer)

    • Feedforward Δίκτυο με ένα κρυφό στρώμα και 10 νευρώνες


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.0016

    lrSFNN= -

    Αριθμός Block Diagonals=4

    Epochsize=50

    Epochs to Converge=40000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Εκπαίδευση χωρίς τη διαδικασία Ευστάθειας

    • Η ευσταθής περιοχή βρίσκεται στο μεσοδιάστημα 0.5-1.0


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Προσθήκη Σταθεροποιητικού SFNN

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.0016

    lrSFNN=0.00001

    Αριθμός Block Diagonals=4

    Epochsize=100

    Epochs to Converge=40000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Προσθήκη Σταθεροποιητικού SFNN


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Προσθήκη Σταθεροποιητικού SFNN


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Προσθήκη Σταθεροποιητικού SFNN

    • Παρατηρήσεις – Επιλογή των Learning Rates

      Τα learning rates πρέπει να κρατούνται σε χαμηλές τιμές διότι

    • Αν αυξηθούν τότε κάθε δίκτυο ασκεί εντονότερη επίδραση στα βάρη

    • Υπάρχει κίνδυνος να οδηγηθούμε σε αστάθεια και το σύστημα να ταλαντώνει σε μια περιοχή τιμών


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επίδραση των παραμέτρων εκπαίδευσης

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.0016

    lrSFNN=0.001

    Αριθμός Block Diagonals=4

    Epochsize=50

    Epochs to Converge=40000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επίδραση των παραμέτρων εκπαίδευσης


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επίδραση των παραμέτρων εκπαίδευσης

    • Είναι εμφανής η απόκλιση από την ευσταθή περιοχή


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Τροποποίηση της συνάρτησης ευστάθειας


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Τροποποίηση της συνάρτησης ευστάθειας

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.0016

    lrSFNN=0.0001

    Αριθμός Block Diagonals=4

    Epochsize=100

    Epochs to Converge=40000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Τροποποίηση της συνάρτησης ευστάθειας


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Τροποποίηση της συνάρτησης ευστάθειας

    • Σχόλια

    • Ομαλή κίνηση των ιδιοτιμών ,

    • χωρίς spikes

    • Καλύτερη τοποθέτηση ,

    • ψηλότερα από τη μηδενική

    • περιοχή


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.0016

    lrSFNN=0.0001

    Αριθμός Block Diagonals=4

    Epochsize=100

    Epochs to Converge=40000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Επαναπροσδιορισμός του πίνακα κατάστασης (Shadows)


    Παραδείγματα Προσομοίωσης Ευστάθειας

    Παράδειγμα 2 :BDRNN με full recurrent πίνακα βαρών


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer

    • Παρατήρηση

    • Στο Σχήμα παρατηρούμε ότι οι ιδιοτιμές του ένός block diagonal κινήθηκαν προς τα κάτω και σαν εξισορρόπηση στην αντίδραση αυτήν,οι ιδιοτιμές του άλλου κινήθηκαν σε υψηλότερες τιμές..Αυτό μας κάνει να δείχνει ότι το σφάλμα ευστάθειας δεν έχει να κάνει με το κάθε block ξεχωριστά αλλά κατανέμεται εξίσου μεταξύ τους.Έτσι,μπορεί να υπολογίζεται τοπικά,αλλά το Δίκτυο βλέπει τη συνάρτηση Pp ενιαία.


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Σύγκριση των Stabilizers

    • η απόδοσή τους είναι περίπου ίδια όσον αφορά τη σύγκλιση του αλγόρίθμου,αλλά είναι πολύ διαφορετική όσον αφορά τη σύγκλιση στην ευσταθή περιοχή.

    • Καλύτερη ευστάθεια προσφέρει ο Ορθογώνιος,και μετά οι Ελεύθερης Μορφής τοπικός και γενικός αντίστοιχα..


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Γενική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.032

    lrSFNN=0.00001

    Αριθμός Block Diagonals=2

    Epochsize=48

    Epochs to Converge=7000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ελεύθερη Μορφή και Τοπική Ευστάθεια


    Παραδείγματα Προσομοίωσης Ευστάθειας

    Παράδειγμα 3: Διαφορική Εξίσωση MacKey - Glass

    τ=30

    Είσοδος :

    Έξοδος :

    Είσοδος στο FeedForward Δίκτυο :


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer , χωρίς παράλληλο FF

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.128

    lrSFNN=0.00005

    Αριθμός Block Diagonals=2

    Epochsize=100

    Epochs to Converge=20000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer , με παράλληλο FF

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.128

    lrSFNN=0.00005

    Αριθμός Block Diagonals=2

    Epochsize=100

    Epochs to Converge=20000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer με παράλληλο FF


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ορθογώνιος Stabilizer με παράλληλο FF

    • τα learning rates κρατήθηκαν αρκετά χαμηλά

    • το BDRNN συνέκλινε πολύ γρήγορα και έτσι δεν επηρέασε την έπειτα προσπάθεια σταθεροποίησης των βαρών


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.128

    lrSFNN=0.00005

    Αριθμός Block Diagonals=2

    Epochsize=100

    Epochs to Converge=20000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Global Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer

    Παράμετροι Εκπαίδευσης

    lrBDRNN=0.128

    lrSFNN=0.00005

    Αριθμός Block Diagonals=2

    Epochsize=100

    Epochs to Converge=20000


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer


    Παραδείγματα Προσομοίωσης Ευστάθειας

    • Ευστάθεια Ελεύθερης Μορφής , με Local Stabilizer


    Επίλογος - Συμπεράσματα Ευστάθειας

    • Ιδιαίτερα ο ορθογώνιος stabilizer και ο Free Form local stabilizer παρείχαν ικανοποιητική ευστάθεια στο δίκτυό μας.

    • Ο Free Form global stabilizer,λόγω της μεγαλύτερης ελευθερίας που παρέχει λειτούργησε λιγότερο αποτελεσματικά από τους άλλους δυο.


    Επίλογος - Συμπεράσματα Ευστάθειας

    • Στα δίκτυα που εξομοιώσαμε χρησιμοποιήσαμε μικρό αριθμό νευρώνων,συνήθως δύο η τέσσερα blocks . Αντίθετα για την ευσταθή σύγκλιση των αντίστοιχων δομών με πλήρης πίνακα βαρών απαιτούνται πολλοί περισσότεροι νευρώνες.

    • Ο BPTT αλγόριθμος που παρουσιάστηκε στην παρούσα εργασία στηρίχθηκε στον υπολογισμό των gradients τοπικά,σε κάθε block diagonal.


    y Ευστάθειαςs

    es

    sigmoid

    unit

    Stabilizing feedforward neural network (SFNN)

    Stabilization

    alogorithm

    -rs

    BDRNN learning algorithm

    W

    x(k)

    B

    z-1

    C

    yn(k)

    en(k)

    u(k)

    Σ

    -rn(k)

    D1

    D2

    DL-1

    Back Propagation Algorithm

    Επίλογος - Συμπεράσματα


    ΤΕΛΟΣ Ευστάθειας


    ad