עקיבה אחר מספר מטרות בשיטות מרכז מסה, קורלציה ומסנן קלמן בזמן אמת

1. הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGYהפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה עקיבה אחר מספר מטרות בשיטות מרכז מסה, קורלציה ומסנן קלמן בזמן אמת מגישים: רועי גולן יהונתן גולדמן מנחה: ד"ר גבי דוידוב אביב תשס"ו

2. מבוא עיקרי המצגת • מבוא: • תיאור כללי • מושגים בסיסיים בעקיבה • תיאור אבני הבניין בהם השתמשנו: • בינאריזציה – אלגוריתם Otsu • קורלציה יעילה לחיפוש • מסנן קלמן • סינון צל • תיאור מכונת המצבים • סיכום: • ביצועי זמן אמת • סיכום ורעיונות להמשך • תודות

3. מבוא תיאור כללי • מטרת הפרוייקט היא עקיבה בזמן אמת • תיאור כללי של סביבת העבודה: • מצלמת Fire-Wire המחוברת למרכז תקרת החדר, סטטית • רזולוציה של 640x480, 30 פריימים בשניה, 256 רמות אפור • מחשב PC רגיל עליו מתבצע העיבוד • העקיבה התבצעה אחר מכונית על שלט, עקרונית ניתן לעקוב אחר כל עצם הכהה יותר מהרקע • משמעויות עיקריות: • מגבלת זמן ריצה (מימוש בשפת C) • "החיים האמיתיים" גם מבחינת איכות הקלט (איכות תמונה, הבהובים, צל)

4. מבוא מושגים בסיסיים בעקיבה מחזור עקיבה (פריים בודד): חיזוי מדידה עיבוד והצגה • מדידה • מטרתה למצוא את המטרה אחריה עוקבים • קיימות שתי שיטות בסיסיות: • מרכז מסה (נדרשת בינאריזציה) • קרוס קורלציה • חיזוי • מטרתו להגדיר את חלון החיפוש • מתבצע ע"י מסנן קלמן כעת נעבור להצגת מרכיבי המערכת

5. המטרה: מציאת ערך סף של רמת אפור, כך שנפריד בין המטרה לרקע • עד היום השתמשו בסף קבוע: (ממוצע ושונות התמונה) • הבעיה: רקע משתנה וצל המקשים על ההפרדה, תלות בגודל חלון החיפוש תאור אבני הבניין בינאריזציה - אלגוריתם Otsu רקע עקרון פעולה • האלגוריתם מוצא סף המביא למינימום את השונות בתוך שתי הקבוצות בחלון החיפוש • המשמעות: יצירת קבוצות הומוגניות בנפרד או, לחלופין, שונות ככל האפשר זו מזו

6. תאור אבני הבניין הנחות מוצא • בתמונה אכן יש שני ריכוזים להיסטוגרמה • תאורה אחידה הנקלטת במצלמה יתרונות • בתנאי שהנחות המוצא מתקיימות, אינו רגיש לגודל החלון • מוצא סף אופטימלי ולא שרירותי • כשהוא טועה, הוא טועה בגדול... חסרונות • בתנאים מציאותיים, הנחות המוצא בד"כ לא מתקיימות • כשהוא טועה, הוא טועה בגדול... • ניתן להתגבר על חסרונות אלה ע"י שימוש בסף הרגיל כאשר יש חריגה

7. תאור אבני הבניין קורלציה יעילה לחיפוש קורלציה רגילה לחיפוש • אנו מחשבים קרוס קורלציה בין תמונת ייחוס השמורה מהעבר ובין התמונה הנוכחית • החישוב מתבצע במספר מוגדר של נק' סביב המקום החזוי של המטרה • נקודת התורפה העיקרית היא סיבוכיות החישוב: תמונת יחוס נקודות חישוב הקורלציה גובה - h אורך - w מס' צעדים לגובה - M מס' צעדים לאורך - N

8. תאור אבני הבניין 4/4 לחיפוש • תמונת הייחוס מפוצלת ל-4 רבעים • עבור כל רבע, מתבצע חיפוש רק באיזור הרלוונטי עבורו • שטח הסריקה לא משתנה • הסיבוכיות כעת: כלומר בערך 25% מהסיבוכיות של קורלציה רגילה עבור חיפוש

9. תאור אבני הבניין חזאי קלמן מוטיבציה • הגדרת אזור חיפוש המטרה • התמודדות עם הסתרה מלאה • עקיבה בתנאי מדידה רועשת תיאור כללי (הוצג רבות בעבר) • תיאור המערכת במרחב המצב: • שני שלבי פעולה: • חיזוי (time update) • עדכון מדידה (measurement update)

10. תאור אבני הבניין הדגמה לתכונות המסנן:

11. תאור אבני הבניין סינון צל רקע • התמודדות עם בעית הסרט הגולמי ומבט-העל • הכרחי עבור בינאריזציה טובה

12. תאור אבני הבניין תוצאות

13. מכונת המצבים מכונת המצבים מוטיבציה • הבטחת עקיבה איכותית ומדויקת • עמידה באילוצי הזמן ע"י ניצול מיטבי של הכלים השונים תאור מחזור העקיבה

14. מכונת המצבים מכונת המצבים מיועדת לנצל ידע מוקדם כדי לשפר את ביצועי המערכת מבנה פנימי השוואה בין מידע קודם על המטרה לבין המדידה • שתי שיטות להשוואה: קורלציה וייצוג פרמטרי (כמות הפיקסלים, ממוצע) • הבסיס לקבלת החלטות של מכונת המצבים • ספים שונים עבור תרחישים שונים

15. מכונת המצבים עקיבה מלאה • הנחות יסוד – מטרה גלויה, ידע עדכני על המטרה • שימוש במרכז מסה למדידת מיקומה • במצב כשלון ההשוואה – ננסה שיטה אחרת הסתרה חלקית • הנחות יסוד – מטרה לא גלויה, ידע לא עדכני על המטרה • שימוש בקורלציה 4/4 לחיפוש ולהסתרה • ספי השוואה נמוכים יותר בין המטרה החשודה לבין המטרה הקיימת הסתרה מלאה • הנחת יסוד – אין מטרה... • מחכים שתהיה מספיק מסה, שתעיד על כך שהמטרה יוצאת מהסתרה • התבססות על חזאי הקלמן סרטים לדוגמה...

16. סיכום ביצועי זמן אמת • הניתוח אינו כללי אלא מתייחס לסרט מסוים • הדרישה: שלא נחרוג מזמן המחזור מסקנות • בד"כ רוב הזמן נותר פנוי • פער זמנים גדול בין זמן ממוצע למחמיר – הוכחה ליעילות מכונת המצבים

17. סיכום מסקנות • בממוצע, עומדים בדרישות • יעילות מכונת המצבים: • להדביק חריגות • מטרה גדולה סטטית בכל מקרה, מגבלת הזמן נגרמה מסיבה חיצונית

18. סיכום סיכום ורעיונות להמשך • מערכת העקיבה שמומשה בפרוייקט מאפשרת עקיבה אחר מספר מטרות בזמן אמת, ובכך משיגה את מטרת הפרוייקט • המימוש בשפת C כולל שימוש בספרית -OpenCV, קוד פתוח לראיה ממוחשבת • ניתן להעלות מספר כיוונים להמשך התקדמות: • סגמנטציה מתוחכמת יותר (שלא תדרוש מטרה כהה מהרקע) • רכישה בצירי המטרה • השוואת מטרות: • התאמת תמונות בשיטה אחרת • התאמה פרמטרית (קשור לשיפור הצירים) • שימוש במסננים כדי להתמודד עם מטרות סרק ורעש • מידול תנועה פחות קשיח

19. תודה למנחה ד"ר גבי דוידוב, ולצוות המעבדה קובי ואורלי! אנחנו נהנינו, מקווים שגם אתם...