Download
1 / 27
310 likes | 586 Views
פרויקט עקיבה בצבע אחרי מספר מטרות בעזרת קורלציה, מסנן קלמן, JPDAF. מגישים : אורן פסטרנאק מנחה : ד"ר גבי דוידוב לימור שגיא. על סדר היום. מטרות הפרויקט מבנה מערכת העקיבה שיטות גילוי קורלציה התאמה לצבע שיפור הסיבוכיות מסנני עקיבה מסנן קלמן מסנן JPDAF
E N D
פרויקט עקיבה בצבע אחרי מספר מטרות בעזרת קורלציה, מסנן קלמן, JPDAF מגישים: אורן פסטרנאק מנחה : ד"ר גבי דוידוב לימור שגיא
על סדר היום • מטרות הפרויקט • מבנה מערכת העקיבה • שיטות גילוי • קורלציה • התאמה לצבע • שיפור הסיבוכיות • מסנני עקיבה • מסנן קלמן • מסנן JPDAF • מימוש האלגוריתמים על סרטים צבעוניים
מטרות הפרויקט • לימוד טכניקות עקיבה שונות. • טיפול בנושא הצבע וניסיון לשלבו במערכות העקיבה. • מימוש מסנני קלמן ו-JPDAF. • צילום סרט צבעוני הכולל מספר מטרות נעות ועקיבה אחר המטרות בעזרת המסננים הנ"ל. • הפרויקט מומש בסביבת MATLAB.
מבנה מערכת העקיבהתיאור עקרוני בחירת מטרות ע"י המשתמש שיערוך המדידה הבאה בהנחת מהירות 0 סימון חלונות החיפוש חיפוש ע"י קורלציה וקבלת מספר לא ידוע של מדידות שיערוך פרמטרים באמצעות ניתוח מאורעות שיתופיים חיזוי מיקום המדידה הבאה לפי מודל תנועה מסדר 2 קביעת חלון חיפוש סביב שיערוך המדידה הבאה מסנן JPDAF
שיטות למציאת המטרה • מרכז מסה • מתאים לתמונות שחור לבן. • בתמונות צבע אין משמעות למושג מסה. קורלציה • חיפוש מטרה ע"י תמונת רפרנס. • בכל פריים נבדקת התאמה בין תמונת הרפרנס לחלקים בפריים. • מתקבלת מטריצת קורלציה מתוכה נבחר הערך המקסימאלי. • בהמשך נראה התאמה של נוסחת הקורלציה לתמונת צבע.
טיפול בצבע – מודל RGB • במודל RGB צבע מיוצג ע"י 3 משתנים בעלי ערך בין 0 ל-255 המיצגים את ערכי צבעי הבסיס אדום ירוק וכחול. • תמונת צבע מיוצגת ע"י מטריצה3D : n,mמשתני מקום ו c=1,2,3 מגדיר צבעי RGB • הרחבנו את נוסחת הקורלציה ל3D:
בעיות עם פונקצית הקורלציה ופתרונן • סיבוכיות זמן ריצה גבוהה • כל צעד בחיפוש דורש סכימה ע"פ מטריצה 3D. • הוספנו פרמטר של גודל צעד שמותאם לגודל הרפרנס ולחלון החיפוש. בצורה זו הקטנו את מספר הצעדים הדרוש בכל חיפוש. • גודל הצעד נבדק אמפירית ונבחר גודל שנותן trade off מספק בין דיוק הפונק' לבין הסיבוכיות.
בעיות עם פונקצית הקורלציה ופתרונן • ערכי קורלציה גבוהים מדי בתמונות צבע אמיתיות • בתמונות שחור לבן מתגברים על הבעיה הנ"ל ע"י סף בינאריזציה והמרת התמונה לתמונה בינארית. • עבור מודל הצבע ניסינו למצוא טיפול דומה. • נסיון א': קביעת ערך סף ובינאריזציה עבור כל צבע בדומה לתמונות שחור לבן • בעיה בהבחנה בין צבעים המורכבים משילוב של צבעי היסוד. • הצבע הכתום והצהוב למשל מורכבים ממשקלים שונים של אדום וירוק. בבינאריזציה השפעת היחסים בין המשקלים מתבטלת. • שינוי סף נותן הפרדה בין צבעים מסוימים, אבל פוגע בצבעים אחרים. • נסיון ב': קביעת רמות קונטיזציה • ע"י בניית פונקציה rgb_quant.m קיבלנו חלוקה למספר רמות קונטיזציה. • חלוקה זו נותנת הפרדה טובה בין צבעים וערכי קורלציה הפרושים טוב יותר. • מספר הרמות נקבע בצורה אמפירית כך שנתן ערכים טובים עבור מגוון תמונות צבע.
הדגמת פעולת הקוונטיזציה • זהו המפתח להצלחת פעולת הקורלציה בצבע.
בעיה בעקיבה ע"י קורלציה :הסתרות • חיפוש המטרה מתבצע בתוך חלון חיפוש ולא ע"פ כל הפריים. מיקום חלון החיפוש מתעדכן בפריים הבא לפי תוצאת הקורלציה. • כאשר המטרה מוסתרת, פונק' הקורלציה נותנת מיקום לא נכון והחלון חיפוש לא מתעדכן לערך הנכון.
פתרון: מסנן קלמן • מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה. • מודל המערכת: משוואות תנועה מסדר שני
משוואות המסנן P –קוואריאנס וקטור המצב (בהינתן המדידות) - שערוך מיטבי של ווקטור המצב • מסנן קלמן נידון בהרחבה בעבודות קודמות לכן לא נרחיב לגביו
פתרון: מסנן קלמן • מסנן קלמן נותן חיזוי של מיקום המטרה בפריים הבא. • כאשר המטרה מוסתרת, פונ' הקורלציה מחזירה את מרכז חלון החיפוש ורוב משקל העקיבה וקידום חלון החיפוש הבא ניתן באמצעות שיערוך המסנן. • שיפור נוסף לטיפול בהסתרות: חלון חיפוש מתנפח • כאשר המטרה מוסתרת מגדילים את החלון בו מחפשים את המטרה.
ריבוי מטרות • כאשר העקיבה היא אחרי מספר מטרות לכל מטרה יש חלון חיפוש משלה. • חלון חיפוש של מטרה מסוימת יכול להכיל מטרה אחרת. במקרה זה פונ' הקורלציה יכולה להחזיר מספר מדידות. • בשיטת הקורלציה ומסנן קלמן, הזיהוי של מטרה בתוך חלון חיפוש נעשה לפי: Strongest Neighbour Standard Filter (SNSF).כלומר, המדידה שנותנת קורלציה הכי גבוהה עם תמונת הרפרנס נבחרת כמדידה המתאימה.
ריבוי מטרות – מסנן JPDAF • Joint Probabilistic Data Association Filter • מסנן JPDAF מניח מספר מטרות ומביא בחשבון את כל המדידות התקפות בכל פריים. • אלגוריתם JPDAF: • קבלת מספר מדידות מפונק' הקורלציה עבור כל מטרה. • יצירת "מאורעות שיוך סבירים": כל המאורעות האפשריים המשייכים מטרה מסוימת למדידה מסוימת. • נתינת משקל הסתברותי לכל מאורע ע"ס מודל התנועה של כל מטרה. • שיערוך מיקומה של כל מטרה לפי המשקלים ההסתברותיים. • חיזוי מיקום המטרה בפריים הבא לפי משוואות המצב כפי שנעשה במסנן קלמן.
מדידה 1 מדידה 2 מדידה 3 מדידה 4 מימוש אלגוריתם JPDAF • הרחבת פונ' הקורלציה כך שתחזיר מספר מדידות • חיפוש מקסימות לוקליות של מטריצת הקורלציה. • החזרת כל המדידות שמעל ערך סף הנקבע האופן דינאמי ביחס למקסימום הגלובאלי. • יצירת מטריצת תיקוף אשר תכיל את המידע המתאר אילו מדידות נמצאות בתוך חלון החיפוש של כל מטרה • דוגמה: • שורה מייצגת מדידה. עמודה מייצגת מטרה. עמודה 0 מייצגת מדידת שווא.
מדידה 1 מדידה 2 מדידה 3 מדידה 4 מימוש אלגוריתם JPDAF • יצירת מאורעות השיוך הסבירים: • כל מטרה נובעת לכל היותר ממדידה אחת וכל מדידה שייכת ללא יותר ממטרה אחת. • בכל שורה יש למקם 1 בודד. • בכל עמודה יש למקם לכל היותר 1 בודד מלבד עמודה 0 המייצגת מדידה שקרית. • יצירת מאורעות השיוך הסבירים ע"י פונק' רקורסיבית בשיטת backtracking הנותנת את כל הקומבינציות האפשריות עבור מספר מדידות שאינו ידוע מראש. • דוגמה למאורע אפשרי: הערה: מאורע זה בהכרח אינו המאורע הנכון ולכן אמור לקבל משקל הסתברותי נמוך.
מימוש אלגוריתם JPDAF • חישוב המשקל ההסתברותי של כל מאורע נעשה ע"י • האם למטרה j משויכת מדידה כלשהי. האם למדידה i משויכת מטרה כלשהי. מספר המדידות השקריות במאורע. הסתברות שהמטרה t אותרה (נקבע לפי ערך הקורלציה) . נפח אזור התקפות (חלונות החיפוש). קורדינטות המדידה הנוכחית. מידול הפילוג של מיקום המטרה האמיתית
מימוש אלגוריתם JPDAF • שיערוך מיקומה הנוכחי של כל מטרהj לפי • הוא שיערוך וקטור המצב של מטרה j בהינתן שמדידה i שייכת למטרה זו כפי שנעשה במסנן קלמן. • הוא ההסתברות לכך שהמדידה i שייכת למטרה j. • כלומר סכום כל המאורעות השיתופיים בהם מדידה i משויכת למטרה j מוכפלים בהסתברות כל מאורע. • חיזוי מיקום המטרה בפריים הבא נעשה ע"י קידום משוואות המצב כפי שנעשה במסנן קלמן, ע"ס .
שלבי עבודה על סרט צבע • קבלת מיקום המטרות מהמשתמש
שלבי עבודה על סרט צבע • קביעת חלון חיפוש סביב כל מטרה
שלבי עבודה על סרט צבע • עקיבה אחרי המטרות בעזרת אלגוריתם JPDAF • במידה ומטרה יוצאת מהפריים, חלון החיפוש שלה קטן (ברוחב או בגובה). כאשר החלון קטן מאחוז מסוים מגודלו המקורי, מכריזים על המטרה כנעלמת.
מימוש העקיבה בסרט צבע שונה • הטיפול בסרט זה זהה לטיפול בסרט הקודם מלבד השוני בתמונות הרפרנס וצבע חלונות החיפוש, כלומר הקוד גנרי ואמור לעבוד עם סרטי מקור שונים (במגבלת מודל התנועה).
הצעות להמשך • טיפול בפגיעה בקירות והחזרה: התאמת סדר המודל. • טיפול בפרספקטיבה: כאשר הכדור קרוב יותר למצלמה הוא נראה גדול יותר וכן מהיר יותר. • טיפול בהארה לא אחידה. אפשרי ע"י עדכון תמונת רפרנס או שילוב של מודל הצבע HSV המכיל מידע על עצמת ההארה.
The Tnd אפשר להתפזר...
