Αναγνώριση Προτύπων

1. Αναγνώριση Προτύπων

2. Η κατάρα της διαστατικότητας • Ο όρος εισήχθηκε το 1961 από τον Bellman • Αναφέρεται στο πρόβλημα της ανάλυσης δεδομένων πολλών μεταβλητών καθώς αυξάνει η διάσταση.

3. Η κατάρα της διαστατικότητας – παράδειγμα (1D) • Θεωρήστε ένα πρόβλημα αναγνώρισης προτύπων 3 κλάσεων • Μια απλή προσέγγιση: • Χωρίζουμε το χώρο σε τρεις περιοχές • Υπολογίζουμε το ποσοστό των παραδειγμάτων για κάθε περιοχή • Για κάθε νέο παράδειγμα βρίσκουμε την περιοχή του και εξετάζουμε ποια κλάση υπερτερεί στην περιοχή. • Έστω για μια διάσταση:

4. Η κατάρα της διαστατικότητας – παράδειγμα (2D) • Αποφασίζουμε ότι χρειαζόμαστε δύο χαρακτηριστικά (features) ανά διάνυσμα (feature vector) • Αποφασίζουμε επίσης να κρατήσουμε τον ίδιο βαθμό διάκρισης ανά άξονα • Αυτό σημαίνει από 3 περιοχές στο 1D 32=9 (in 2D) • Και εδώ τίθεται το ερώτημα: • Διατηρούμε ίδια πυκνότητα δειγμάτων ανά περιοχή; (αύξηση δειγμάτων) • Διατηρούμε σταθερό τον αριθμό των δειγμάτων; (μείωση πληροφορίας)

5. Η κατάρα της διαστατικότητας – παράδειγμα (2D) Σταθερή πυκνότητα Σταθερά δείγματα

6. Η κατάρα της διαστατικότητας – παράδειγμα (3D) • Αν περάσουμε σε 3-διάστατα χαρακτηριστικά, το πρόβλημα χειροτερεύει • Το πλήθος των περιοχών γίνονται 33=27 • Για σταθερή πυκνότητα το πλήθος των δειγμάτων γίνονται 81 • Για σταθερά δείγματα υπάρχουν περιοχές με μηδαμινή πληροφορία

7. Η κατάρα της διαστατικότητας - συμπεράσματα • Προφανώς η προσέγγιση να χωρίσουμε το χώρο σε ίσες περιοχές ήταν ανεπαρκής μέθοδος • Υπάρχουν μέθοδοι λιγότερο ευαίσθητες στην κατάρα της διαστικότητας • Πως αντιμετωπίζεται η κατάρα της διαστατικότητας: • Ενσωματώνοντας προηγούμενη γνώση • Συμβιβαζόμενοι στην ακρίβεια • Μειώνοντας τις διαστάσεις

8. Η κατάρα της διαστατικότητας – συμπεράσμα • Στην πραγματικότητα η κατάρα της διαστατικότητας σημαίνει ότι για δεδομένο αριθμό δειγμάτων, υπάρχει μια μέγιστη διάσταση των χαρακτηριστικών διανυσμάτων πάνω από την οποία η απόδοση του ταξινομητή μας θα μειώνεται

9. Η κατάρα της διαστατικότητας – Επιπτώσεις • Εκθετική αύξηση στον αριθμό των δειγμάτων που απαιτούνται για να διατηρηθεί η πυκνότητα των δειγμάτων (ΝD) • Εκθετική αύξηση της πολυπλοκότητας της συνάρτησης προς υπολογισμό με αυξημένη διαστατικότητα • Ενώ για μία διάσταση υπάρχουν πολλές διαθέσιμες συναρτήσεις, για συναρτήσεις πυκνότητας μεγάλων διαστάσεων μόνο η Gaussπολλών μεταβλητών είναι διαθέσιμη • Ο άνθρωπος δυσκολεύεται να καταλάβει προβλήματα με περισσότερες από 3 διαστάσεις.

10. Μείωση διαστάσεων • Ορίζουμε ως εξαγωγή χαρακτηριστικών(feature extraction) τη δημιουργία ενός υποσυνόλου χαρακτηριστικών από συνδυασμό των υπαρχουσών

11. Μείωση διαστάσεων • Ορίζουμε ως επιλογή χαρακτηριστικών (feature selection) τη διαδικασία επιλογής τω χαρακτηριστικών με την περισσότερη πληροφορία.

12. Μείωση διαστάσεων • Για την εξαγωγή χαρακτηριστικών, δεδομένου δειγματοχώρου με xiRNαναζητούμε αντιστοιχία y=f(x):RN→RMμε M<N • Τέτοια ώστε το μετασχηματισμένο διάνυσμα να διατηρεί το μεγαλύτερο μέρος της πληροφορίας • Η βέλτιστη μετατροπή δεν θα αυξάνει την πιθανότητα σφάλματος.

13. Μείωση διαστάσεων • Γενικά η ιδανική αντιστοιχία y=f(x) είναι μη γραμμική συνάρτηση • Δεν υπάρχει όμως συστηματική μέθοδος μη γραμμικών μετασχηματισμών • Για αυτό η εξαγωγή χαρακτηριστικών περιορίζεται σε γραμμικούς μετασχηματισμούς y=Wx

14. Αναπαράσταση έναντι Κατηγοριοποίησης • Η επιλογή της αντιστοιχίας κατά την εξαγωγή χαρακτηριστικών καθοδηγείται από μία αντικειμενική συνάρτηση • Ανάλογα με τα κριτήρια που χρησιμοποιούνται για την αντικειμενική συνάρτηση διακρίνουμε δυο κατηγορίες εξαγωγής χαρακτηριστικών • Αναπαράστασης σήματος: Σκοπός είναι η καλύτερη αναπαράσταση των δειγμάτων με ακρίβεια στη μικρότερη δυνατή διάσταση • Κατηγοριοποίηση: σκοπός είναι να ενισχυθεί η διακρισιμότητα μεταξύ κλάσεων στη μικρότερη δυνατή διάσταση

15. Αναπαράσταση έναντι Κατηγοριοποίησης • Στα πλαίσια της εξαγωγής διανυσμάτων, χρησιμοποιούνται οι τεχνικές: • Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis -PCA) κατάλληλη για αναπαράσταση • Γραμμική Διαχωριστική Ανάλυση (Linear Discriminant Analysis - LDA) κατάλληλη για κατηγοριοποίηση

16. PCA - Παράδειγμα

17. Ανάλυση Κυρίων Συνιστωσών - PCA • Σκοπός της PCA είναι η μείωση διαστάσεων διατηρώντας τη στατιστική διακύμανση των δειγμάτων • Θεωρήστε το Ν-διάστατο διάνυσμα x όπως αναπαρίσταται στην ορθοκανονική βάση διανυσμάτων [ϕ1| ϕ2| ... | ϕN]: • Ας υποθέσουμε ότι αναπαριστούμε το xμε μόνο Μ (Μ<Ν) από τα διανύσματα βάσης, αντικαθιστώντας τις υπόλοιπες συνιστώσες με προ-επιλεγμένες σταθερές

18. Ανάλυση Κυρίων Συνιστωσών - PCA • Η ιδανική προσέγγιση ενός τυχαίου διανύσματος xΝ από γραμμικό συνδυασμό Μ (Μ<Ν) ανεξάρτητων διανυσμάτων πετυχαίνετε με την προβολή του διανύσματος xστα ιδιοδιανύσματα που αντιστοιχούν στις μεγαλύτερες ιδιοτιμές λiτου πίνακα συνδιασποράς Σx

19. Στατιστικός Χαρακτηρισμός Τυχαίων διανυσμάτων • Μέσο διάνυσμα: • Covariance matrix – πίνακας συνδιασποράς

20. Covariance Matric – Πίνακας Συνδιασποράς • Ο πίνακας συνδιασποράς δείχνει την τάση των ζευγαριών των διαφόρων στοιχείων του διανύσματος να συν-μεταβάλλονται • Σημαντικές ιδιότητες του πίνακα είναι: • Αν τα xiκαι xkτείνουν να αυξάνουν μαζί, τότε cik>0 • Αν το xiτείνει να μειώνει όταν το xkαυξάνει, τότε cik<0 • Αν τα xiκαι xkδεν συσχετίζονται, τότε cik=0 • |cik|≤σiσk • cii = σi2 = VAR(xi)

21. Ανάλυση Κυρίων Συνιστωσών - PCA • Συνεπώς, κάνω ανάλυσηιδιοτιµώντου Σx= Ε{xxT} Σxφi= λiφi • Τα φ1, ..., φMαντιστοιχούνσελ1>... > λM • ΘέτονταςU= [φ1, ...,φΜ] y= UΤx

22. Ανάλυση Κυρίων Συνιστωσών - PCA • Ο κύριος άξονας: • έχει την µεγαλύτερη στατιστική διασπορά • περιέχει την περισσότερη πληροφορία για το σήµα • έχει το µικρότερο σφάλµα

23. Ανάλυση Κυρίων Συνιστωσών - PCA • Τα κύρια ιδιοδιανύσµατα είναι ορθογώνια • Οι κύριες συνιστώσες (ΚΣ) είναι ασυσχέτιστες • Η διασπορά της i ΚΣ είναι λi

24. PCA - Παράδειγμα • Έστω η τρισδιάστατη κατανομή Gaussμε παραμέτρους • Τα τρία ζευγάρια των κυρίων συνιστωσών είναι:

25. Γραμμική Διαχωριστική Ανάλυση – LDA Ronald A. Fisher, 1936: “Ο μηχανισμός επεξεργασίας που οικοδομήθηκε σε εφαρμογές απείρων δεδομένων, δεν είναι αρκετά ακριβής για απλά εργαστηριακά δεδομένα. Μόνο με συστηματική επιλογή προβλημάτων με λίγα δείγματα, ανάλογα με τα ιδιαίτερα χαρακτηριστικά τους, μπορούμε να έχουμε ακριβή τεστ σε πρακτικά δεδομένα.”

26. Γραμμική Διαχωριστική Ανάλυση – LDA • H Γραμμική Διαχωριστική Ανάλυση ή Linear Discriminant Analysis ή LDA είναι μια τεχνική εξαγωγής χαρακτηριστικών που έχει εφαρμοστεί επιτυχώς σε πολλά στατιστικά προβλήματα αναγνώρισης. • Σκοπός της είναι να χωρίσει δείγματα σε ομάδες μεγιστοποιώντας τη μεταξύ κλάσεων διαχωρισιμότητα και την εντός κλάσης μεταβλητότητα.

27. Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις • Σκοπός της LDA είναι να μειώσει τις διαστάσεις ενώ θα διατηρήσεις όσο το δυνατόν πιο διακριτές τις κλάσεις. • Υποθέστε το σετ δεδομένων {x(1, x(2, …, x(N} όπου N1ανήκουν στην κλάση ω1, και N2στην ω2.

28. Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις • Για να βρούμε ένα καλό διάνυσμα προβολής, πρέπει να ορίσουμε ένα διαχωριστικό μέτρο μεταξύ των προβολών • Αν χρησιμοποιήσουμε τα μέσα διανύσματα των κλάσεων στο x και y διανυσματικό χώρο, έχουμε

29. Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις • Θα μπορούσαμε να επιλέξουμε την απόσταση μεταξύ των προβολών των μέσων: • Όμως δεν λαμβάνουμε υπόψη τη διασπορά μεταξύ των κλάσεων Καλύτερη διαχωρισιμότητα Μεγαλύτερη απόσταση μέσων

30. Γραμμική Διαχωριστική Ανάλυση – LDA για δύο κλάσεις • Η λύση που πρότεινε ο Fisherείναι να βρούμε τη συνάρτηση που μεγιστοποιεί την απόσταση μεταξύ των μέσων και κανονικοποιείται από την μεταξύ τάξεων διασπορά: • Και ορίζεται ως

31. Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις • Έστω ο μεταξύ κλάσεων πίνακας διασποράς: • Και ο εντός κλάσης πίνακας διασποράς • xi,j: είναι το n-διάστατο πρότυπο jπου ανήκει στην κλάση πi • Ni: το πλήθος δειγμάτων εκπαίδευσης από την κλάση πi • g:το πλήθος των κλάσεων

32. Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις • Το μέσο δείγμα ανά κλάση η μέση διασπορά και το ολικό μέσο διάνυσμα είναι:

33. Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις • Ο κύριος στόχος της LDA είναι να βρει ένα πίνακα προβολής Pldaτων δειγμάτων που μεγιστοποιεί το λόγο της ορίζουσας του Sbπρος την ορίζουσα του Sw (κριτήριο Fischer):

34. Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις • Αποδεικνύεται ότι ο ζητούμενος πίνακας είναι η λύση της εξίσωσης:

35. Γραμμική Διαχωριστική Ανάλυση – LDA για g κλάσεις • Αν οSwείναι ένας πίνακας με διακρίνουσα, τότε το κριτήριο του Fisher μεγιστοποιείται όταν ο πίνακας Plda συνθέτετε από τα μέγιστα ιδιοδιανύσματα του πίνακα

36. PCA vs LDA

37. PCA vs LDA • Διάκριση μεταξύ 5 ειδών καφέ

38. PCA vs LDA • Διάκριση μεταξύ ειδών καφέ