ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ

ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΣΕΡΡΩΝΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ Ιανουάριος 2012 ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ Σύγκριση των μοντέλων LPC και Filter Bank αναγνώρισης ομιλίας από ανεξάρτητο ομιλητή. Επιβλέπων Καθηγητής: Δρ. Αθανασίου Μιχαήλ Σπουδάστρια: Μωυσίδου Ελπίδα

ΣΚΟΠΟΣ ΤΗΣ ΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ • Σκοπός της εργασίας είναι η σύγκριση των μοντέλων Filter Bank και LPC αναγνώριση ομιλίας από ανεξάρτητο ομιλήτη.

ΠΕΡΙΕΧΟΜΕΝΑ • Μέθοδος Filter bank και LPC-Βασική Θεωρία • Πειραματικά αποτελέσματα για 10 μονοψήφιους αριθμούς και 10 ονόματα από τις μεθόδους Filter bank και LPC • Σύγκριση αποτελεσμάτωντων μεθόδων Filter bank και LPC • Ανακεφαλαίωση συμπεράσματα

Μέθοδος Filter bank και LPC-Βασική Θεωρία Περιβάλλον CoolEdit Η κυματομορφή του σήματος που αντιστοιχεί στη λέξη «Τέσσερα»

Μέθοδος Filter bank και LPC-Βασική Θεωρία Δημιουργία frames Το αρχικό σήμα χωρίζεται σε frames Ν=240 δειγμάτων το καθένα. Ένα frame προκύπτει από τη μετατόπιση του προηγούμενου κατά M=80 δείγματα

Μεθοδος Filter bank και LPC-Βαςικη Θεωριαιδανικο ζωνοπερατο φιλτρο

Μέθοδος Filter bank και LPC-Βασική Θεωρία Σε κάθε frame εφαρμόζεται το filter bank. Το filter bank αποτελείται από Q=15 φίλτρα με εύρος συχνοτήτων 200 Hz το καθένα. Η μικρότερη συχνότητα των καναλιών είναι 200 Hz και η μεγαλύτερη 3200 Hz. Η κρουστική απόκριση κάθε φίλτρου έχει k=80 όρους Κανάλια συχνοτήτων

Μέθοδος Filter bank και LPC-Βασική Θεωρία ΔΗΜΙΟΥΡΓΙΑ ΠΡΟΤΥΠΟΥ Πρότυπο της λέξης Vectorπου αντιστοιχεί στο i frame P: Σύνολο των frames

Πρότυπο της λέξης «Αριστοτέλης» Τα πρώτα 30 διανύσματα (vectors) από τα 110 συνολικά του προτύπου που αντιστοιχεί στη λέξη «Αριστοτέλης» Οκτώβριος 2010

Πρότυπο της λέξης «Μαρία» Τα πρώτα 17 διανύσματα από τα συνολικά 61 του προτύπου που αντιστοιχεί στη λέξη «Μαρία»

Μέθοδος Filter bank και LPC-Βασική Θεωρία ΣΥΓΚΡΙΣΗ ΠΡΟΤΥΠΩΝ • Χρονική ευθυγράμμιση και απόσταση προτύπων Έστω Χ, Υ δύο πρότυπα (πίνακες) που αντιστοιχούν σε δύο διαφορετικές λέξεις και Τx, Τyοι γραμμές των πινάκων Χ και Υ αντίστοιχα. • Εφαρμογή της γραμμικής αντιστοίχησης των vectors στο χρόνο • Απόσταση μεταξύ των προτύπων Χ και Υ • Ευκλείδεια απόσταση

Μέθοδος Filter bank και LPC-Βασική Θεωρία Παράδειγμα σύγκρισης προτύπων Έστω Υ πρότυπο της λέξης «Αριστοτέλης» της 12ης βάσης y110 Έστω Χ πρότυπο της λέξης «Μαρία» της βάσης test x61

Μέθοδος Filter bank και LPC-Βασική Θεωρία • Για Τx=61 και Τy=110είναι: • Εύρεση των ζευγών ( ix , iy ) των γραμμών που θα συγκριθούν • Εύρεση της απόστασης μεταξύ των προτύπων Χ και Υ Η απόσταση αυτών των δύο προτύπων είναι: D=1.45

Μέθοδος Filter bank και LPC-Βασική Θεωρία ΜΟΝΤΕΛΟ L.P.C. ΓΙΑ ΤΗΝ ΑΝΑΓΝΩΡΙΣΗ ΦΩΝΗΣ • Παρέχει ένα καλό μοντέλο του σήματος ομιλίας. • Μαθηματικά ακριβής μέθοδος και απλή στην εφαρμογή της σε software και hardware • Αναπαράσταση του σήματος με λίγα χαρακτηριστικά – Καλύτερη συμπίεση • Μικρότερο υπολογιστικό κόστος από άλλες μεθόδους όπως Filter-bank

Μέθοδος Filter bank και LPC-Βασική Θεωρία ΜΟΝΤΕΛΟ L.P.C • Mια τιμή (sample) ενός σήματος στο χρόνο, την χρονική στιγμή n μπορεί να προσεγγισθεί ως γραμμικός συνδυασμός των ‘p’ προηγούμενων δειγμάτων • Εύρεση συντελεστών

Πειραματικά αποτελέσματα για 10 μονοψήφιους αριθμούς και 10 ονόματα από τις μεθόδους Filter bank και LPC • Ηχογραφήθηκαν οι αριθμοί 0 έως 9, σαράντα φορές ο καθένας, και ταξινομήθηκαν σε 40 αντίστοιχες βάσεις. • Η ίδια διαδικασία ηχογράφησης εφαρμόστηκε και για δέκα ονόματα. • Η ηχογράφηση έγινε από σαράντα διαφορετικούς ομιλητές. • Για την ηχογράφηση επιλέχθηκε η συχνότητα δειγματοληψίας των 8000 Hz. ΗΧΟΓΡΑΦΗΣΗ ΛΕΞΕΩΝ

Πειραματικά αποτελέσματα για 10 μονοψήφιους αριθμούς και 10 ονόματα από τις μεθόδους Filter bank και LPC Η ίδια διαδικασία επαναλαμβάνεται για την εύρεση των αποστάσεων των αριθμών της βάσης test από τους αριθμούς των άλλων 39 βάσεων που αντιστοιχούν σε 39 άτομα. Οπότε προκύπτουν συνολικά 40 διαφορετικοί πίνακες όμοιοι με τον πίνακα της προηγούμενης διαφάνειας. Από αυτούς τους πίνακες με την εφαρμογή κατάλληλου προγράμματος βρίσκονται οι αποστάσεις του προτύπου ενός αριθμού της βάσης test από τα αντίστοιχα πρότυπα των αριθμών 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 των 40 ατόμων.

Στον παρακaτω filter bank πινακα δειχνονται οι αποςταςεις του αριθμου τεςςερα της βαςης τεςςερα απο τα προτυπα των αριθμων της γενικης βαςης βα των αριθμων των ςαραντα ατομων για ευρος παραθυρου Ν=120.

Αποςταςεις του προτυπου αριθμου τεςςερα της βαςης τεςτ απο τα προτυπα των αριθμων της γενικης βαςης των αριθμων των 40 ατομων για ευρος παραθυρου Ν=120

Στον πινακαfilter bankπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «Τεςςερα» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=120.

Στον πινακαfilter bankπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «Τεςςερα» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=240.

Στον πινακα filter bankπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «Τεςςερα» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=360.

Στον πινακα LPCπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «Τεςςερα» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=240.

Στον πινακαfilter bankπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «αριςτοτελης» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=120.

Στον πινακαLPCπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «αριςτοτελης» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=240

Στον πινακα filter bankπαρουςιαζονται τα αποτελεςματα της μικροτερης αποςταςης καθως και ο μεςος ορος των δυο ,πεντε και δεκα μικροτερων αποςταςεων των προτυπων της λεξης «Τεςςερα»kai«αριςτοτελης» της βαςης test των αριθμων και ονοματων απο τα αντιςτοιχα προτυπα των γενικων βαςεων, με Ν=240kainf=4.

ΣΥΓΚΡΙΣΗ ΤΩΝ ΜΕΘΟΔΩΝ FILTER BANK ΚΑΙ LPCΣΤΗΝ ΑΝΑΓΝΩΡΙΣΗ ΤΗΣ ΛΕΞΗΣ ΤΕΣΣΕΡΑ-%ςφαλμα

ΣΥΓΚΡΙΣΗ ΤΩΝ ΜΕΘΟΔΩΝ FILTER BANK ΚΑΙ LPCΣΤΗΝ ΑΝΑΓΝΩΡΙΣΗ ΤΗΣ ΛΕΞΗΣ αριςτοτελης- %ςφαλμα

ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΤΩΝ ΜΕΘΟΔΩΝ FILTER BANK ΚΑΙ LPC ΓΙΑ ΑΡΙΘΜΟΥΣ • Ανάμεσα στις μεθόδους Filter Bank και LPC η μέθοδος που δίνει τα καλύτερα αποτελέσματα είναι η μέθοδος LPC με Ν=240 • Στη μέθοδο Filter Bank με nf=15 και nf=4 τα καλύτερα αποτελέσματα τα έχω για nf=4 και Ν=240 • Στη μέθοδο Filter Bank με nf=15 και Ν=120,Ν=240 και Ν=360 τα καλύτερα αποτελέσματα τα έχω για Ν=240

ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΤΩΝ ΜΕΘΟΔΩΝ FILTER BANK ΚΑΙ LPC ΓΙΑ ΟΝΟΜΑΤΑ • Ανάμεσα στις μεθόδους Filter Bank και LPC η μέθοδος που δίνει τα καλύτερα αποτελέσματα είναι η μέθοδος Filter Bank με Ν=240 και nf=4 • Στη μέθοδο Filter Bank με nf=15 και nf=4 τα καλύτερα αποτελέσματα τα έχω για nf=4 και Ν=240 • Στη μέθοδο Filter Bank με nf=15 και Ν=120,Ν=240 και Ν=360 τα καλύτερα αποτελέσματα τα έχω για Ν=240

Ποια βαςη εχει μεγαλυτερη αναγνωριςιμοτητα οι αριθμοι η τα ονοματα? • Την μεγαλήτερη αναγνωρισιμότητα την έχει η βάση με τα ονόματα

ΑΝΑΚΕΦΑΛΑΙΩΣΗ ΚΑΙ ΣΥΜΠΕΡΑΣΜΑΤΑ • Εφαρμόστηκε η μέθοδος filter bank και LPC για αναγνώριση ξεχωριστών λέξεων από σαράντα διαφορετικούς ομιλητές. • Ο έλεγχος των μεθόδων έγινε για δύο κατηγορίες δεδομένων αποτελούμενες από 10 αριθμούς και 10 ονόματα. • Δεν υπήρχε λανθασμένη αναγνώριση λέξης τόσο για τους αριθμούς όσο και για τα ονόματα. • Διαπιστώθηκε ότι μεγαλύτερη αναγνωρισιμότητα από την εφαρμογή αυτή είχαν οι λέξεις των ονομάτων. • Επίσης είναι φανερό πως στη μέθοδο Filter Bank τη μεγαλύτερη αναγνωρισιμότητα έχουν τα ονόματα για Ν=240, ενώ για Ν=120 και Ν=360 το ποσοστό αναγνωρισιμότητας για τους αριθμούς και τα ονόματα είναι το ίδιο.

Διαπιστώθηκε ότι οι μεθόδοι Filter bank και LPC για την αναγνώριση ξεχωριστών λέξεων από ανεξάρτητο ομιλητή είναι αποτελεσματικές. • Ακόμη σε αυτή την εργασία εφαρμόστηκαν οι μέθοδοι Filter Bankκαι LPC για τηναναγνώριση λέξεων που εκφωνήθηκαν από μια συγκεκριμένη γυναίκα. Τα πρότυπα των λέξεων αυτών συγκρίθηκαν με τα αντίστοιχα πρότυπα των λέξεων που εκφωνήθηκαν από 40 άτομα. Όμως από τα 40 αυτά άτομα μόνο 19 ήταν γυναίκες.Στη μέθοδο Filter Bankτα αποτελέσματα αναμένεται να είναι καλύτερα όσο μεγαλύτερο είναι το ποσοστό γυναικών στα 40 άτομα ενώ στη μέθοδο LPCθα είχαμε καλύτερα αποτελέσματα αν στη γενική βάση είχαμε περισσότερους άνδρες

ΠΑΡΟΥΣΙΑΣΗ ΚΑΙ ΣΥΓΚΡΙΣΗ ΚΥΜΑΤΟΜΟΡΦΩΝ ΔΙΑΦΟΡΕΤΙΚΩΝ ΛΕΞΕΩΝ Α ρι στο τέ λης Μη δ έ ν α) Κυματομορφή της λέξης «Αριστοτέλης» της 1ης βάσης των ονομάτων β) Κυματομορφή της λέξης «Μηδέν» της 1ης βάσης των αριθμών Τέ σσ ε ρ α Μα ρί α γ) Κυματομορφή της λέξης «Μαρία» της 1ης βάσης των ονομάτων δ) Κυματομορφή της λέξης «Τέσσερα» της 1ης βάσης των αριθμών

ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ