הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

הבחנה בין קולות רחרוח וקולות הלחתה של כלבים אופיר אזולאי גיל בלוך מנחה : ד"ר יזהר לבנר הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

מטרות • פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות הלחתה של כלבים. • מערכת המקבלת הקלטה של קולות הנשימה של כלב, מזהה מאורעות רחרוח ומאורעות הלחתה ומציגה את המידע. • על המערכת להתאים לכלבים שונים. • על המערכת להתאים להקלטות שונות (מיקרופון שונה, מערכת הקלטה שונה). • המערכת תהיה חסינה לרעשי רקע שונים. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

נושאים לדיון • בחירת שיטה למיצוי פרמטרים של האות. • בחירת שיטה לזיהוי תצורת רחרוח והלחתה. • מערכת איסוף מידע 'לימוד' פרמטרים אופייניים עבור כלבים שונים. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

פרויקט א - תקציר • שימוש בפונקצית אנרגיה לגילוי מאורעות. • מיצוי מקדמי AR לתיאור המעטפת הספקטרלית של האות. • שימוש ברשת נוירונים לזיהוי המאורעות. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

שינוי גישה • בחלקו השני של הפרויקט ניסינו להשתמש בטכניקה שונה בכל אחד מחלקי הפרויקט. • בנוסף ניסינו לאחד את שלב גילוי המאורעות לשלב זיהוי המאורעות ע"י שימוש בפרמטרים המאפיינים לגילוי וזיהוי גם יחד. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

מיצוי פרמטרים מהאות יצירת וקטור מאפיין (Feature Vector) זיהוי מאורעות רחרוח ומאורעות הלחתה תיאור האלגוריתם • מיצוי פרמטרים – חישוב מקדמי MFCC עבור חלונות זמן לאורך האות המוקלט. • יצירת וקטור מאפיין של מקטעי אות קצרים (שילוב מקדמי ה-MFCC של מספר חלונות עוקבים). • זיהוי שייכות הוקטורים המאפיינים של האות לקבוצת וקטורים אופייניים של מאורעות רחרוח ומאורעות הלחתה (שימוש ב Fuzzy KNN). הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

מיצוי פרמטרים Mel Frequency Cepstral Coefficients • מספר פרמטרים קטן. • הצגת ספקטרום האות על גבי סקלת התדר Mel-scale. • Mel scale - מבוססת על מחקרים רבים המראים שתגובת האוזן לתדר היא ליניארית עד לתדר של כ - KHz1, ולוגריתמית מעל לתדר זה. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

אופן חישוב מקדמי ה MFCC • התמרת פורייה (Fourier transform) ממירה את קטע האות (Windowed segment) לציר התדר, ליצירת ספקטרום האנרגיה בזמן קצר. • הספקטרום מוטל על מסננות Mel (יוצג בשקף הבא). • חשוב הלוגריתם של המקדמים. • התמרת ה DCT מפחיתה את הקורולציה בין המקדמים. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

בנק מסננים מל הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

וקטור אופייני –Event Feature vector • שילוב מקדמי ה-MFCC בעלי ההפרדה הגבוהה ביותר של מספר חלונות זמן עוקבים. שיטה זו מאפשרת לזהות שינוי במעטפת הספקטראלית של האות. יתרונות – שיטה זו מאפשרת לאתר שינוי בפרמטרים האופייניים למשך הזמן, בהנחה ששינוי זה קיים (האות אינו סטציונארי) חסרונות – שיטה זו דורשת שקצב השינוי במעטפת הספקטראלית יהיה זהה במאורעות שונים. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

זיהוי המאורעות:Fuzzy K-Nearest Neighbor • חישוב רמת שייכות הווקטור האופייני לקבוצת וקטורים אופייניים של המאורעות המבוקשים (מאורעות רחרוח ומאורעות הלחתה). • K– כל קבוצת המדגם. • מספר שווה של וקטורי לימוד עבור רחרוח והלחתה. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

Fuzzy K-Nearest Neighbor הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

הפרדה בין מקדמי ה - MFCC • מקדמי MFCC אופייניים של אותות רחרוח (באדום) ומאורעות הלחתה (בכחול). הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

פונקציית שייכות Fuzzy KNN • פונקציות שייכות של האות לקבוצת הרחרוחים (באדום) ולקבוצת ההלחתות (בכחול). הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

הפרדת המאורעות • כפי שניתן לראות בתוצאות חישוב פונקציות השייכות(Fuzzy KNN), קיים הצורך להפריד בין מאורעות סמוכים. • שימוש בפונקצית אנרגיה בזמן קצר לצורך ההפרדה. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

פונקצית אנרגיה בזמן קצר. • פונקציות השייכות (אדום-רחרוחים, כחול-הלחתות) מראה בצורה טובה שמדובר במאורעות רחרוחים. • פונקצית האנרגיה (בירוק) "גוזרת" את המאורעות הבדידים. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תהליך הלימוד • השימוש ב – Fuzzy KNN לצורך זיהוי המאורעות דורש יצירת מאגר מידע המכיל וקטורים אופייניים של מאורעות רחרוח ומאורעות הלחתה. • מאגר זה יהיה שונה עבור כלבים שונים. • יתכן ויידרש מאגר שונה עבור הקלטות שונות (שימוש בציוד שונה או התקנה שונה של הציוד על הכלב) הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תהליך הלימוד - המשך • יצירת קובץ המכיל מאורעות רחרוח בלבד וקובץ המכיל מאורעות הלחתה בלבד. • יצירת מאגר המידע: • חישוב רצף של שמונה MFCC עם חפיפה ביניהם מהתחלת כל מאורע. • מציאת אינדקסים של שני המקדמים בעלי ההפרדה הגבוהה ביותר. • יצירת שלושה וקטורי EFV לכל מאורע ע"י שרשור של 6 זוגות של מקדמי MFCC. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תהליך הזיהוי • חישוב מקדמי MFCC עם חפיפה לכל סיגנל הקלט. • יצירת הוקטורים המאפיינים לפי המקדמים בעלי ההפרדה הגבוהה ביותר כמו בשלב הלימוד. • סווג ראשוני של המאורעות ע"י אלגוריתםFuzzy KNN. • הפרדת המאורעות ע"י פונקציית האנרגייה. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תוצאות עבור מאורעות הלחתה של Ben הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תוצאות עבור מאורעות רחרוח של Ben הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תוצאות עבור מאורעות הלחתה של Rondo הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

תוצאות הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

מסקנות • האלגוריתם אינו מתאים לכל הכלבים. ישנם כלבים עם אחוז זיהוי גבוה וישנם כלבים עם אחוז זיהוי נמוך. • אחוז הזיהוי הנכון גדל עבור כלבים שמאורעות הרחרוח וההלחתה שלהם מופרדים זה מזה לפי האנרגיה שלהם ועבור אותות בעלי SNR גבוה. עבור כלבים שבהם המאורעות מרוחים ומחוברים פונקצית האנרגיה אינה מצליחה להפריד היטב בין המאורעות ולכן יש זיהוי כפול או חוסר זיהוי. • שונות מקדמי ה -MFCC עבור מאורעות רחרוח גורמת לזיהוי של רעשים מסוגים שונים כמאורעות רחרוח. • טעויות זיהוי רבות נגרמות ע"י זיהוי כפול של מאורעות כלומר עבור מאורע אחד ישנו זיהוי של יותר ממאורע אחד. • קבצי הלימוד צריכים לכלול מאורעות נקיים ומייצגים ככל האפשר ע"מ לקבל אחוז זיהוי גבוה ככל האפשר. הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

הבחנה בין קולות רחרוח וקולות הלחתה של כלבים

Presentation Transcript