התאמת תמונות Template matching

1. התאמת תמונותTemplate matching תרגול 7

2. התאמת תמונות – תיאור הבעיה • רוצים למצוא באופן אוטומטי היכן מופיעה תמונה א' בתוך תמונה ב' (תמונה ב' גדולה יותר). • נרצה גם לדעת אם היא לא מופיע כלל.

3. התאמת תמונות – ניסוח פורמלי של הבעיה תמונת היחוס , נקראת Template (אותה מחפשים): התמונה בה מתבצע החיפוש: נחפש פרמטרי הזזה u,vכך שהתמונה: תהיה דומה במובן מסוים לתמונה:

4. מודל התנועה של התמונה התמונה בה מחפשים תמונת יחוס - Template v u תמונות דומות? במודל של הזזה בלבד, נחפש את פרמטרי ההזזה u,vשעבורם התמונות יהיו דומות ככל האפשר. ניתן להרחיב למודלים כלליים יותר של תנועה כמו: הזזה וסיבוב, הזזה סיבוב ו- scaling , affineוכו' ... כאן נעסוק רק במודל הפשוט של הזזה בלבד.

5. התאמת תמונות על ידי חיפוש • עבור על ערכי u,vהאפשריים: u=0..N-n , v=0..M-m • עבור כל u,vמדוד את מידת ההתאמה בין התמונה: • לבין התמונה: כאשר: • זכור את u,vהנותנים את ההתאמה הטובה ביותר. אפשרות אחרת: כל u,vשעבורם ההתאמה טובה יותר מסף מסוים מהווים התאמה (יכולות להיות אפס, אחת או יותר).

6. מדידת ההתאמה בין תמונות • נתונות שתי תמונות: • נותר לנו להגדיר כיצד נמדוד את הקרבה ביניהן. • נסמן זאת בעזרת פונקציה f: • או באופן כללי:

7. מדידת ההתאמה בין תמונות – התאמה מושלמת ההתאמה מוגדרת בכל המקומות שבהם f(I1,I2)=1 דרישה להתאמה מושלמת של רמות האפור בכל הפיקסלים. זו גישה נאיבית שאינה עובדת באופן מעשי. לא תגלה במקרים מעשיים שום דבר. רעש קטן ביותר גורם לאי התאמה.

8. מדידת ההתאמה בין תמונות לפי שגיאה ריבועית ההתאמה מוגדרת בכל המקומות שבהם f(I1,I2)<=Tolוגם מינימום מקומי. המינימום של fהוא כאשר שתי התמונות זהות (ואז f=0). אין דרישה להתאמה מושלמת של רמות האפור בכל הפיקסלים, מלבד במקרה Tol=0שבו חוזרים למעשה לשיטה הקודמת. מענישה בחומרה על אי התאמות גדולות, לכן רגישה לרעש Salt & Pepper רגישה לשינויים ברמת התאורה. לדוגמא אם נצלם את אותה התמונה בדיוק (כשהמצלמה נמצאת על חצובה) בצהריים ובערב.

9. מדידת ההתאמה בין תמונות לפי ערך מוחלט של השגיאה ההתאמה מוגדרת בכל המקומות שבהם f(I1,I2)<=Tolוגם מינימום מקומי. מענישה פחות בחומרה על אי התאמות גדולות לעומת השגיאה הריבועית. רגישה לשינויים ברמת התאורה.

10. מדידת ההתאמה בין תמונות לפי קורלציה מנורמלת נסתכל לרגע על התמונות המותאמות כוקטורים פרוסים:p,q ב- Matlabניתן לבצע זאת על ידי: p=I1(:); q=I2(:); כעת נסתכל על המכפלה הפנימית בין שני הוקטורים: כלומר המכפלה הפנימית שווה למכפלת הגדלים של הוקטורים כפול קוסינוס הזווית ביניהם. הקורלציה המנורמלת מודדת את הערך המחלט של קוסינוס הזווית בין שני הוקטורים:

11. קורלציה מנורמלת - המשך אם נחזור מהפרישה הוקטורית לתמונה המקורית, קיבלנו שהקורלציה המנורמלת כמדד לטיב ההתאמה בין תמונות: התחום של מדד הטיב: ההתאמה מוגדרת בכל המקומות שבהם f(I1,I2)>=Tolוגם מכסימום מקומי. המכסימום של fהוא כאשר שתי התמונות זהות עד כדי הכפלה בקבוע ואז f=1. פחות רגישה לשינויים בתאורה, אם המודל של שינוי תאורה הוא של הכפלת רמות האפור בקבוע אזי טיב ההתאמה לפי קורלציה מנורמלת אינו משתנה. ניתן להימנע מחלוקה בנורמה של ה- Templateמכיוון שהיא קבועה.

12. קורלציה מנורמלת עם חיסור ממוצע לפעמים מעוניינים גם באינוורינטיות להזזה של רמות האפור: הפעם אנו מחסירים את רמות האפור הממוצעות: ההתאמה מוגדרת בכל המקומות שבהם f(I1,I2)>=Tolוגם מכסימום מקומי. המכסימום של fהוא כאשר שתי התמונות זהות עד כדי הוספת קבוע ו\או הכפלה בקבוע ואז f=1. לא רגיש למודל של שינוי תאורה המתבטא בטרנספורמציה אפינית של רמות האפור. צריך להוסיף Epsilonלמכנה. ניתן להימנע מחלוקה בנורמה של ה- Template

13. דוגמא

14. קריטריון שגיאה ריבועית תמונה של השגיאה הריבועית ב- u,v ערך מינימלי ב- x=300 ; y=45

15. קריטריון קורלציה מנורמלת תמונה של הקורלציה מנורמלת ב- u,v ערך מכסימלי ב- x=300 ; y=45

16. קורלציה מנורמלת עם חיסור ממוצע קורלציה מנורמלת עם חיסור ממוצע ב- u,v ערך מכסימלי ב- x=300 ; y=45 המכסימום חד יותר!

17. קורלציה מנורמלת עם חיסור ממוצעחלוקת רמות האפור פי 2 קורלציה מנורמלת עם חיסור ממוצע ב- u,v ערך מכסימלי ב- x=300 ; y=45 תמונת ייחוס "חשוכה" יותר: מוכפלת פי 0.5 תמונת המקור לא השתנתה. אין שינוי בקריטריון !

18. דוגמאות לשימושים של Template matching • גילוי אותיות במסמך (OCR). בהינתן תמונה סרוקה של text (מספר למשל), זהה כל אות או מספר (לכל אחת שמורה בזיכרון תמונה לייחוס) והפוך למסמך ASCII • עקיבה אחר פרטים נעים בוידאו. הייחוס נלקח בתמונה ברגע מסוים ומחפשים התאמות בתמונות הבאות. • מציאת איזור מסוים בתמונת לווין לפי תמונת ייחוס.

19. דוגמא לעקיבה אחר Features בוידאו התאמה לפי קריטריון קורלציה מנורמלת עם חיסור ממוצע