עקיבת וידיאו אחרי מספר מטרות באוויר

1. הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGYהפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה עקיבת וידיאו אחרי מספר מטרות באוויר שם המנחה: ד"ר גבי דוידוב מבצעות: ליהי שילה יעל בקרמן

2. מוטיבציה

3. מבנה המצגת • הצגת הבעיה • התמודדות ופתרון • אלגוריתם העקיבה • תרחיש הפרוייקט • סיכום ומסקנות

4. הצגת הבעיה • עקיבת וידאו אחר מספר מטרות באוויר תוך התמודדות עם:

5. התמודדות עם "תנאי שטח" • מצבי יום ולילה - בתמונה ביום קיים יותר מידע הטמון בצבע, בעוד בלילה גווני אפור • רקע משתנה- צבע הרקע משתנה כתלות בזווית הצילום, איכות הצילום, ושמש פתרון- איכון מטרות בעזרת ערך סף משתנה

6. התמודדות עם "תנאי שטח"-המשך • הסתרות עננים פתרון- מנגנון הסתרה (מסנן קלמן) וערך סף משתנה • פגיעה מהשמש פתרון- זיהוי פיקסלים בהירים בקרבת האובייקטים שנפגעו והוספתם למטרה ?

7. התמודדות עם "תנאי שטח"-המשך • איכות סירטון- • תזוזת מצלמה פתרון-אפקט תיקון על ידי מיקום יחסי • רעש רקע פתרון- הושקעו שעות רבות בפיתוח פונקציית עיבוד תמונה

8. התמודדות עם מאפייני והתנהגות המטרה • דינמיקה חריפה מרובת קפיצות פתרון- שילוב בין שימוש במסנן ובעיבוד תמונה (תיקון מיקום מטרה ע"י ענ"ת) • יציאת המטרה מהפריים פתרון-העוקב יחכה במקום האחרון לפני היציאה מהפריים ותתבצע סריקה על כל הפריים. (יתבצע כאשר המטרה כעת בהסתרה ובפריים הקודם הייתה קרובה לשפת הפריים)

9. התמודדות עם מאפייני והתנהגות המטרה- המשך • שינוי גודל וצורת המטרה פתרון- חלון חיפוש אדפטיבי • שובלים נלווים פתרון- הפרדה בינם לבין המטרה ע"י ניצול מאפייני הצבע וצורתם הגאומטרית • ריבוי מטרות דומות פתרון- יצירת מטריצת תיקוף ושימוש במסנן JPDAF

10. So… How does it work? עיבוד ראשוני אתחול פרמטרים רכישת מטרות עיבוד תמונה קבלת תמונה בינארית קורלציה בתוך חלון חיפוש לא סריקת הפריים לחיפוש מטרה נוספת ושיוך מטרות לפי NN כל המטרות נמצאו כן לא בניית מטריצת תיקוף מטרה אחת כן תיקון מיקום מטרה ע"י ענ"ת שערוך מקום ע"י מסנן kalman שערוך מקום ע"י מסנן JPDAF חידוש מסנן kalman חידוש מסנן JPDAF עידכון פרמטרים עדכון המטרות סביבת העבודה הינה Matlab

11. ניתוח פריים ראשוני • קבלת פרמטרים מהמשתמש- • ערך סף ראשוני לכל אלמנט צבע • ממדי המטרה כולל גאומטריה • מספר מטרות בפריים הראשון • עיבוד תמונה לקבלת תמונה בינארית ראשונה • איתחול פרמטרים של המסננים • יצירה עבור כל מטרה – • תמונת רפרנס עדכנית • גבולות חלון חיפוש • חיווי סטאטוס המטרה (הסתרה, יציאה מפריים) • סימון המטרה על הפריים הראשון

12. עיבוד תמונה לקבלת תמונה בינארית 1. הבלטת המטרות מהרקע – imbothat יצירת רקע אחיד ע"י פעולות הרחבה והפחתה של המטרות הנקבעות לפי אלמנט הבניה 2. יצירת מסיכה עבור כל אחד מאלמנטי הצבע RGB ע"י שימוש בחיתוך סף משתנה עבור התמונה הנ"ל • 3. יצירת מסיכה אחת משולבת • מילוי אובייקטים imfill • ניקוי אובייקטים קטנים bwareaopen • חיבור אובייקטים קרובים bwmorph

13. עיבוד תמונה - המשך 5."הלבשת" המסיכות אחת על השניה – הוספת "פיקסלים בהירים" הנמצאים ברדיוס הקטן מעשרה פיקסלים מהאובייקטים במסיכה המקורית. 4. יצירת מסיכה נוספת עבור האזורים הבהירים בתמונה ע"י מעבר למרחב צבע HSV 6. יצירת תמונה בינארית ותמונה מתוייגת bwlabel- סינון אובייקטים שאינם מאופיינים כמטרותע"י מאפיינים גיאומטרים Regionprops וניקוי כמקודם

14. קורלציה בתוך חלון חיפוש • שימוש בפונקציית ספירלה (spiral) - חיסכון בסיבוכיות • עבור מטרה אחת- בחירת מטרה על ידי קורלציה מקסימלית עבור מספר מטרות- בחירת מקסימות לוקליות ממטריצת הקורלציה, אשר ערכן מעל 0.6 • רכישת מטרות - בנק תמונות רפרנס תמונת רפרנס חלון חיפוש

15. חיפוש "מטרות תועות" • התמודדות עם דינמיקה חריפה הגורמת לאיבוד מיקום המטרה • בדיקה האם נמצאו מדידות שונות לכל המטרות והאם מספר האובייקטים בפריים קטן או שווה למספר המדידות • במידה ולא, שיוך מדידות לאובייקטים ע"י שימוש בפונקציית "תיקון ענ"ת". • עבור כל האובייקטים שלא שוייכו – בדיקת קורלציה בינם לבין המטרות שעבורן לא נמצאו מדידות ובמידה ונמצאה התאמה מספקת, שיוך המדידה למטרה הנ"ל. • עדכון חיווי סטאטוס מטרה – • ביטול חיווי "הסתרה" • חיווי "מטרה לא נמצאה ע"י המסנן"

16. Kalman Filter • ממדל את המערכת לפימשוואות מצב: כאשר הנחנו • פרמטרי המסנן - הפרמטרים נבחרו לאחר ניסוי וטעיה, ותקפים גם עבורJPDAF • בהסתרה-ניתן למסנן "אור ירוק" להמשך חיזוי בכיוון התנועה- קידום חלון החיפוש הבא ניתן באמצעות שיערוך המסנן.

17. מסנן JPDAF • יצירת מטריצת תיקוף- מטריצת 0'ים ו-1'ים, כאשר 1 מייצג מדידה אשר נמצאת בחלון חיפוש של מטרה. מטרת דמה מטרה 1 מטרה 2 מטרה 3 מטרה 2 מדידות מטרה 3 מטרה 1 מדידות קרובות מאוד (מתחת לאורך אלכסון המטוס) יאוחדו למדידה אחת

18. מטרה 2 מסנן JPDAF- המשך מטרה 3 מטרה 1 • שיוך מדידות למטרות לפי סבירות, תחת ההנחות- • כל מטרה נובעת לכל היותר ממדידה אחת • כל מדידה שייכת ללא יותר ממטרה אחת בכל שורה ועמודה- 1 אחד, לא תקף למטרת הדמה • חישוב על הקומבינציות האפשריות למצב בפריים • מטריצת תיקוף אשר מתארת מאורע לא סביר, תקבל סבירות נמוכה בהמשך האלגוריתם מטרת דמה מטרה 1 מטרה 2 מטרה 3 מדידות

19. מסנן JPDAF- המשך • בחירת מטריצת התיקוף בעלת ההסתברות הגבוהה ביותר • שיערוך מיקום נוכחי של כל מטרה- עידכון וקטור המצב. • חיזוי מיקום המטרה בפריים הבא- חידוש וקטור המצב. מאורע סופי- מטרה 2 מטרה 3 מטרה 1

20. פונקציית תיקון ענ"ת תיקון מיקום המטרה שנחזתה ע"י שיוכה לאובייקט הקרוב אליה ביותר • שימוש בפקודה Bwdist לשיוך נכון של המטרות • קבלת דיוק טוב יותר במיקום המטרות + +

21. עידכון פרמטרים ומטרות • עידכון בנק תמונות רפרנס • עידכון ממדי תמונות הרפרנס • עידכון מרכז מסה של מטרות • בכל פריים מחדש מתרחש חישוב ערך סף משתנה (לכל תמונת רפרנס)-

22. תרחיש הפרוייקט

23. סיכום • הוצגה בעיית העקיבה אחר מספר מטוסים • תואר אלגוריתם העקיבה על כל שלביו • הוסברו דרכי ההתמודדות עם הבעיות ויחודייות הפרוייקט • מוצה המידע החבוי בתמונה צבעונית למציאת המטרות ולעקיבה אופטימלית • עקיבה אחר מטרות בארבעה סרטים שונים בעלי תנאים שונים/קיצוניים הושלמה בהצלחה!

24. מסקנות • יש צורך בעיבוד מקדים של הפריים לקבלת מטרה ברורה ועקיבה טובה • פונקציית עיבוד התמונה בעלת סיבוכיות גבוהה • יש צורך לעדכן את בנק המטרות בכל פריים לקבלת עקיבה מדוייקת יותר • לכל "תנאי שטח" בעייתי, יש צורך בבניית מסיכה המאפיינת אותו • שימוש בפרמטרים אדפטיביים, כדוגמת ערך סף, הינו חובה לטיפול בדנימקה חריפה, המשתנה משמעותית מפריים לפריים • כאשר המטרה ניתנת להבלטה באופן חד משמעי, שימוש במרכז מסה מהיר ויעיל יותר משימוש בקורלציה ומסנן קלמן • שימושים במאפיינים הגאומטרים של המטרה מייעל את העקיבה

25. כיווני המשך • יצירת אלגוריתם עקיבה יחיד המתמודד עם כל התרחישים. • זיהוי מטרות אוטומטי ע"י גילוי תנועה. • עקיבה אחר מספר מטרות שונות. • שינוי פרמטרי מסנן הקלמן R,Qלאדפטיביים • טיפול בהשתנות מהירה של חזות המטרה. • זיהוי הצטלבות של מספר מטרות. • מיצוי המידע מהקורלציה לשיפור העקיבה. • הורדת סיבוכיות

26. תודה על ההקשבה!!!

27. טכניקות עקיבה • מרכז מסה • מתאים לתמונות שחור לבן • סיבוכיות נמוכה • לא מתאים לריבוי מטרות binary com

28. טכניקות עקיבה- המשך • קורלציה • מציאת התאמה בין תמונת רפרנס וחלון חיפוש בפריים • התאמה לצבע ושימוש במסכות לכל רכיב צבע • סיבוכיות גבוהה

29. טכניקות עקיבה- המשך • מסנן קלמן • המשערך האופטימלי של מערכת המתוארת במרחב מצב, תחת הנחת הרעשים הגאוסיים • שיערוך וקטור המצב של המטרה בהינתן המדידות • חיזוי מיקום המטרה • נידון בהרחבה בפרוייקטים קודמים

30. טכניקות עקיבה- המשךJPDAF • PDAF -מטרה אחת ומספר מדידות. • JPDAF - מספר מטרות ומספר מדידות. - שיוך מדידה למטרה בהסתברות מדידות מטרה 2 מטרה 3 מטרה 1

31. מרחבי צבע • בפרוייקט נעשה שימוש בשני מרחבי צבע עיקריים- • 1) RBG- ניתן לייצג כל צבע על ידי קומבינציה לינארית של הצבעים כחול, ירוק ואדום. • שימושי להבלטת מטרות מהרקע

32. מרחבי צבע- המשך • 2) (Hue Saturation Value)HSV- כל קואורדינטה מייצגת תכונה של הצבע המבוקש (מקבלת ערכים בין 0 ל1): • שימושי להתמודדות עם בהירות השמש גוון בהירות רוויה

33. שיטות מורפולגיות לעיבוד תמונה • חיתוך סף – מעבר לתמונה בינארית • Bwlabel - הפרדת התמונה לאובייקטים וסימונם • Regionprops – מאפיינים גיאומטריים של האובייקט • And many many more… • שימושי למציאת המדידות השונות וזיהויין כמטרה th bwlabel

34. מושגים בסיסים - יישור קו • מדידות – תוצאת הקורלציה בחלון החיפוש המניב אוסף מיקומים פוטנציאלים להימצאות המטרה • מטרה – מדידה שנבחרה בעלת סבירות הגבוהה ביותר להיות המטרה המבוקשת • אובייקט – אוסף פיקסלים שתוייגו בתמונה הבינארית כמקשה אחת • חלון חיפוש – מסגרת סביב המקום שחזה המסנן למיקום המטרה • פריים – כל סרט מורכב מאוסף תמונות הנקראות פריימים