1 / 30

Μεταπτυχιακή Διατριβή

Θέμα:. “ Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής ”. Βουτριαρίδης Χριστόδουλος. Επιβλέπων: Καθηγητής Β. Μέρτζιος. Μεταπτυχιακή Διατριβή. Περιεχόμενα.

lesley
Download Presentation

Μεταπτυχιακή Διατριβή

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Θέμα: “Γρήγορες τεχνικές αναγνώρισης αντικειμένων με νευρωνικά δίκτυα και εφαρμογές τους σε συστήματα ελέγχου και παραγωγής” Βουτριαρίδης Χριστόδουλος Επιβλέπων: ΚαθηγητήςΒ. Μέρτζιος Μεταπτυχιακή Διατριβή

  2. Περιεχόμενα • Γενικές πληροφορίες για τα νευρωνικά δίκτυα και τους αλγορίθμους εκπαίδευσης αυτών • Παρουσίαση των νευρωνικών δικτύων Πι – σίγμα και R.P.N. (Ridge Polynomial Networks) • Επεξεργασία εικόνας, αναπαράσταση με ομάδες (Image Block Representation IBR) • Υλοποίηση, εφαρμογή και παρουσίαση των αποτελεσμάτων.

  3. Σκοπός: Εύρεση των κατάλληλων βαρών Νευρωνικό Δίκτυο Γνωστό για την εκπαίδευση Άγνωστο Γνωστό Συνάρτηση Ενεργοποίησης Έξοδος Νευρώνα

  4. Δημιουργία του σήματος σφάλματος Συνάρτηση κόστους Back Propagation Κόμβος εξόδου Κρυμμένος νευρώνας Αλγόριθμοι εκπαίδευσης Αλγόριθμος μέσου τετραγωνικού σφάλματος Καθορίστε το βέλτιστο σύνολο βαρών για το οποίο το μέσο τετραγωνικό σφάλμα J είναι ελάχιστο

  5. Προσαρμόσιμα βάρη Αριθμός βαρών Προσαρμόσιμα βάρη Νευρωνικά Δίκτυα Ανωτέρου Βαθμού Ισχυρή απεικόνιση Μαθαίνουν πιο εύκολα σταθερές γεωμετρικές ιδιότητες Γρήγορη εκμάθηση Γρήγορα αυξανόμενος αριθμός προσαρμόσιμων βαρών. Μόνο δίκτυα πρώτου βαθμού χρησιμοποιούνται

  6. Pi - sigma δίκτυα Βασικό κίνητρο: Να βρεθεί ένα δίκτυο που να διατηρεί την ιδιότητα της γρήγορης μάθησης και της ικανότητας της αποτελεσματικής απεικόνισηςτων δικτύων ανωτέρου βαθμού με ένα επίπεδο, αποφεύγοντας ταυτόχρονα την συνδυαστική αύξηση του αριθμού των βαρών και των μονάδων επεξεργασίας που απαιτούνται. Ο όρος πι – σίγμαπροέρχεται από το γεγονός ότι αυτά τα δίκτυα χρησιμοποιούν το γινόμενο των αθροισμάτων των στοιχείων εισόδου(Product of sums) • Έχουν αυστηρά κανονική δομή • Πολύ μικρότερο αριθμό βαρών

  7. Αριθμός βαρών Αρχιτεκτονική του δικτύου

  8. Αλγόριθμοι Εκπαίδευσης Για τα PSN χρησιμοποιούνται δύο τροποποιημένες μορφές του Back Propagation • Κανόνας τυχαίας επιλογής (Randomized rule): σε κάθε βήμα ανανέωσης, επιλέγουμε τυχαία μία αθροιστική μονάδα και ανανεώνουμε μόνο το σύνολο των Ν + 1 βαρών που σχετίζονται με τις εισόδους αυτής • Ασύγχρονος κανόνας (Asynchronous rule):σε κάθε βήμα ανανέωσης, όλα τα Κ σύνολα των βαρών ανανεώνονται, αλλά με ένα ασύγχρονο τρόπο.

  9. RPN • Είναι αποδοτικό γιατί εκμεταλλεύεται πολυώνυμα μιας μεταβλητής, αντίθετα από τα συνήθη δίκτυα ανωτέρου βαθμού • Οδηγεί σε δομημένη κατασκευή • Διατηρεί την ιδιότητα της γρήγορης εκπαίδευσης • Είναι καθολικός προσεγγιστής. Ridge Polynomial Networks • Το τίμημα που έχουμε να πληρώσουμε για τη χρήση μικρότερου αριθμού βαρών σε ένα PSN είναι ότι δεν είναι ένας καθολικός προσεγγιστής (universal approximator). • Eμπειρικές μελέτες έδειξαν ότι είναι ένα πολύ καλό μοντέλο για ομαλές συναρτήσεις και δίνει καλά αποτελέσματα σε διάφορες εφαρμογές

  10. Ένα ridge πολυώνυμο είναι μία ridge συνάρτηση η οποία μπορεί να εκφραστεί ως: Θεώρημα από τους Chui και Liαποδεικνύει ότι κάθε πολυώνυμο στο μπορεί να εκφραστεί με όρους ενός ridge πολυώνυμου. Ridge Polynomials

  11. Ένα Ridge Polynomial Network(RPN) ορίζεται ως το πρώσο τροφοδότησης δίκτυο το οποίο βασίζεται στην εξίσωση Μία άγνωστη συνάρτηση f σε ένα συμπαγές σύνολο μπορεί να προσεγγιστεί από το RPN ως: Ορισμός των R.P.N. Ας σημειωθεί ότι κάθε όρος γινομένου μπορεί να αποκτηθεί από την έξοδο ενός πι – σίγμα δικτύου (PSN) με γραμμικές μονάδες εξόδου

  12. Συνάρτηση ενεργοποίησης Γραμμική έξοδος Αρχιτεκτονική του δικτύου

  13. Αφού κάθε Pi στην παρακάτω εξίσωση μπορεί να αποκτηθεί σαν την έξοδο ενός PSN βαθμού i με γραμμικές μονάδες εξόδου, ο αλγόριθμος εκπαίδευσης που αναπτύχθηκε για τα PSN μπορεί να χρησιμοποιηθεί και για τα RPN. Επιλέγουμε τα PSN που αποτελούν το RPN και να ανανεώσουμε τα βάρη τους χρησιμοποιώντας τους αντίστοιχους αλγορίθμους εκπαίδευσης. • Κανόνας τυχαίας επιλογής(Randomized rule) • Ασύγχρονος κανόνας ανανέωσης (Asynchronous Rule) Αλγόριθμοι εκπαίδευσης

  14. Μία άγνωστη συνάρτηση f προσεγγίζεται επιτυχώς από τον κατασκευαστικό αλγόριθμο μάθησης ως: Κατασκευαστικός Αλγόριθμος Μάθησης για το RPN Σε κάθε epoch μεταβάλλονται μόνο οι παράμετροι του τελευταία προστιθέμενου PSN.

  15. Εικόνα του χαρακτήρα d και οι ομάδες που έχουν εξαχθεί. Κάθε ομάδα b παριστάνεται από τις συντεταγμένες δύο απέναντι γωνιών της. Εφαρμογή του αλγορίθμουσε μια δυαδική εικόνα. Αναπαράσταση δυαδικών εικόνων με ομάδες • Ομάδα καλείται μια ορθογώνια περιοχή της εικόνας με ακμές παράλληλες προς τους άξονες που περιέχει εικονοστοιχεία της ίδιας φωτεινότητας. • Μια δυαδική εικόνα καλείται αναπαριστώμενη με ομάδες, αν αναπαριστάται από ένα σύνολο ομάδων με τη φωτεινότητα των αντικειμένων και κάθε στοιχείο της εικόνας ανήκει σε μία και μόνο μία ομάδα.

  16. Στόχος • Δημιουργία ενός γρήγορου και αποδοτικού νευρωνικού δικτύου. • Εξαγωγή χαρακτηριστικών από μία εικόνα και εφαρμογή τους στο νευρωνικό δίκτυο για ακόμα μικρότερους χρόνους εκπαίδευσης και αναγνώρισης. • Pi – sigma network (PSN), Ridge Polynomial Network(RPN) • Image Block Representation (IBR)

  17. Το RPN είναι ένα πολυπαραμέτρικό σύστημα, γεγονός που κάνει την μελέτη του πολύπλοκη και χρονοβόρα • Κατώφλι μέσου τετραγωνικού σφάλματος • Κατώφλι μέσου τετραγωνικού σφάλματος προηγούμενου epoch • Κατώφλι για νέο PSN • Ρυθμός μάθησης • Συντελεστής μείωσης κατωφλίου για νέο PSN • Συντελεστής μείωσης ρυθμού μάθησης • Αριθμός epoch. Epoch: μία παρουσίαση όλων των δειγμάτων εκπαίδευσης επιλεγμένα με τυχαία σειρά • Εμφάνιση MSE • Βαθμός εκκίνησης

  18. Κατώφλι μέσου τετραγωνικού σφάλματος Πραγματική και επιθυμητή έξοδος για ένα epoch Μέσο τετραγωνικό σφάλμα Μπάρα αναμονής για κάθε epoch

  19. Εφαρμογές Προσέγγιση συναρτήσεων

  20. Δυαδικές εικόνες (b&w) 16x16 εικονοστοιχείων. • Εξαγωγή των ομάδων τους • Τροφοδότηση του νευρωνικού δικτύου με τις συντεταγμένες των ομάδων για εκπαίδευση. • Στο διπλανό σχήμα φαίνονται οι επιθυμητές έξοδοι. Εφαρμογή σε αναγνώριση προτύπων • Αλλοίωση των χαρακτήρων, χρησιμοποιώντας την imnoise με παραμέτρους “salt & pepper” και 0,05.

  21. Έξόδος 1η, 2η.

  22. ‘Εξοδος 3η

  23. Έξοδος 4η

  24. Έξοδος 5η

  25. Συμπεράσματα • Τα αποτελέσματα και οι γραφικές παραστάσεις έδειξαν ότι τα RPN έδωσαν πολύ καλά αποτελέσματα και στην προσέγγιση συναρτήσεων, αλλά και στην αναγνώριση προτύπων. • Οι εξαγωγή των δεδομένων εισόδου με την αναπαράσταση των εικόνων με ομάδες, είναι προγραμματιστικά χρονοβόρα και επίπονη διαδικασία, μειώνει όμως αισθητά τον αριθμό των εισόδων του νευρωνικού δικτύου

  26. Προτάσεις για μελλοντικές εφαρμογές • Να γίνει ένα ολοκληρωμένο σύνολο προτύπων εκπαίδευσης με όλα τα γράμματα μικρά και κεφαλαία και πολλές τροποποιήσεις αυτών, ώστε να γίνει μία πλήρης εκπαίδευση. • Χρησιμοποίηση των ζωτικών σημείων μιας εικόνας ως είσοδο στο νευρωνικό δίκτυο • Άλλη μέθοδο εξαγωγής χαρακτηριστικών μιας εικόνας, με πιο σημαντικό σημαντικό χαρακτηριστικό την εξαγωγή σταθερού αριθμού χαρακτηριστικών από μία εικόνα. • Δημιουργία γραφικού περιβάλλοντος (GUI) για την διευκόλυνση του χρήστη

More Related