FAsT
This presentation is the property of its rightful owner.
Sponsored Links
1 / 32

FAsT -Match : Fast Affine Template Matching PowerPoint PPT Presentation


  • 130 Views
  • Uploaded on
  • Presentation posted in: General

FAsT -Match : Fast Affine Template Matching. מאת : שמעון קורמן, גלעד צור, דניאל רייכמן ושי אבידן אוניברסיטת ת"א ומכון וייצמן CVPR 2013. יהונתן גולדמן. FAsT -Match presentation, Simon Korman et. al., CVPR 2013. על מה נדבר?. המטרה למה זה טוב? עבודות קודמות האתגרים והשיטה ניסויים ותוצאות

Download Presentation

FAsT -Match : Fast Affine Template Matching

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Fast match fast affine template matching

FAsT-Match:Fast Affine Template Matching

  • מאת: שמעון קורמן, גלעד צור, דניאל רייכמן ושי אבידן

  • אוניברסיטת ת"א ומכון וייצמן

  • CVPR 2013

  • יהונתן גולדמן

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • על מה נדבר?

  • המטרה

  • למה זה טוב?

  • עבודות קודמות

  • האתגרים והשיטה

  • ניסויים ותוצאות

  • סיכום - הטוב, הרע ולהבא

  • טוב ורע באופן הכתיבה


Fast match fast affine template matching

  • למצוא את הטרנס' האפינית הטובה ביותר בין זוג תמונות

  • המטרה:

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • למה זה טוב? (1) - התמצאות

Ultra-wide Baseline Facade Matching for Geo-Localization, MayankBansalet. al., ECCV 2012 workshop


Fast match fast affine template matching

  • למה זה טוב? (2) - שחזור תלת-מימדי

Piecewise planar scene reconstruction and optimization for multi-view stereo, Hyojin Kimet. al., ACCV 2012


Fast match fast affine template matching

  • למה זה טוב? (3) - עקיבה

Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite, Andreas Geiger et. al., CVPR 2012


Fast match fast affine template matching

  • מציאת טרנספורמציה בין זוג תמונות

  • עבודות קודמות:

  • Parametric OF (Lucas Kanade)

Lucas, Kanade “An iterative image registration technique with an application to stereo vision” [ICAI 1981]

Baker, Matthews “Lucas-Kanade20 years on: A unifying framework” [IJCV 04]

  • חסרונות יחסיים:

  • תלות בתנאי התחלה

  • רגישות למינימום מקומי

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • מציאת טרנספורמציה בין זוג תמונות

  • עבודות קודמות:

  • Template Matching

  • בהתחלה טופלו רק הזזות

  • יש מאמרים שמטפלים גם בסיבוב ו-scale (4 ד"ח)

  • חסרונות יחסיים:

  • מודל חלקי - לא אפיני מלא

  • ככל שיש יותר ד"ח, זמן הריצה גדל והאלג' מסתבך

“Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms” [Ouyang, Tombari, Mattoccia, Di Stefano, Cham, TPAMI 2012]

“Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast” [Kim, Araujo 2007]

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • מציאת טרנספורמציה בין זוג תמונות

  • עבודות קודמות:

  • חיפוש במרחב עיוותים צפוף

  • חסרונות יחסיים:

  • ממזערים מרחק במרחב הפרמטרים ולא בתמונה

  • זמן ריצה?

  • A Globally Optimal Data-Driven Approach for Image Distortion Estimation, Tian and Narasimhanet. al., IJCV 2012


Fast match fast affine template matching

  • מציאת טרנספורמציה בין זוג תמונות

  • עבודות קודמות:

  • Feature-Based (ASIFT by Morel & Yu)

  • חסרונות יחסיים:

  • גודל ה-patch צריך להיות מספיק גדול

  • נדרשים מספיק מאפיינים ייחודיים

  • ASIFT: A New Framework for Fully Affine Invariant Image Comprasion, GM Morel and G. Yu, SIAM v.2 p.438-469, 2009


Fast match fast affine template matching

  • השיטה המוצעת - עקרון פעולה

  • במילה אחת - פשוט:

Transformation space

(e.g. affine)

  • בשתי מלים - לא פשוט:

  • המון טרנס' אפשריות - חייבים קירוב יעיל

  • איך דוגמים את המרחב ביעילות ומבטיחים שגיאה חסומה?

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - עקרון פעולה

  • בונים רשת טרנס' מייצגותתלוי פרמטר שגיאת קירוב:

  • בודקים רק את הטרנס' המייצגות ובוחרים בקרובה ביותר לתמונה

  • המרחק הוא SAD, מקורב:

SAD=

  • הרעיון המרכזי: קירבה בין הטרנס' חוסמת הבדלי SAD (חלקות)

  • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • רשת הטרנס'

T

<δn1

Tnet

  • הגדרת קירבה עבור סף :

  • FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • רשת הטרנס'

  • חסם המרחק בין הטרנס' גוזר חסם על שגיאת ה-SAD:

Total Variation

  • זה המפתח לשיטה


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • חסם על ה-SAD

  • TVj≥

  • פיקסל k

  • מה-patch

  • Tnet

  • פיקסל j

  • מה-patch

  • T

  • ערך הפיקסל

  • ה-i בתמונה

  • הפרש של

  • פיקסל אחד:


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • חסם על ה-SAD

  • TVj≥

  • פיקסל k

  • מה-patch

  • Tnet

  • פיקסל j

  • מה-patch

  • T

  • ערך הפיקסל

  • ה-i בתמונה

  • הפרש של

  • פיקסל אחד:


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • חסם על ה-SAD

  • TVk≥

  • TVj≥

  • הזזה של פיקסלים

  • חסומה ע"י סכום הפרשי

  • הפיקסלים - TV:

  • פיקסל k

  • מה-patch

  • Tnet

  • פיקסל j

  • מה-patch

  • T

  • ערך הפיקסל

  • ה-i בתמונה

  • הפרש של

  • שני פיקסלים:


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • SAD

  • חסם על ה-SAD

  • הסבר נוסף:

  • רשת הטרנס' הדגומה

δn1

  • הטרנס' הקרובה

  • ביותר לאופט' -

  • חסם על השגיאה

  • הטרנס' הטובה

  • ביותר ברשת

  • הטרנס'

  • הנכונה

  • עבור תמונות חלקות, ה-SAD לא יכול להשתנות הרבה עבור טרנס' קרובות, מכאן חסם על שגיאת הרשת:

  • לכן הפתרון שנמצא יהיה גם הוא מספיק קרוב ( )

  • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • חישוב SAD מקורב

  • הקירוב מתבצע ע"י בדיקה רק על חלק מהפיקסלים:

  • לכל טרנס' בודקים על כמה סטים אקראיים של נק'

  • לכל דגימה מנרמלים את רמות האפור, לשיפור עמידותלהבדלים פוטומטריים

  • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • הקטנת ספי השגיאה בהדרגה

  • לסף שגיאה אופייני עדיין יש ברשת יותר מדי טרנס'

  • מה עושים? B&B

  • מודל שנלמד מהרבה תמונות:

δ1n1

  • SAD

TClosest

T*

TOpt

  • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • השיטה המוצעת - פירוט

  • הקטנת ספי השגיאה בהדרגה

  • לסף שגיאה אופייני עדיין יש ברשת יותר מדי טרנס'

  • מה עושים? B&B

  • מודל שנלמד מהרבה תמונות:

δ2n1

  • SAD

  • רשת הטרנס' הדגומה

  • Based on FAsT-Match presentation, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי ראשון: גזירת patch מתמונה

  • בדיקת ביצועים ע"י בחינת שגיאת השטח החופף:

  • בדיקה על תמונות מ-PASCAL, טרנס' אקראיות (200 לכל גודל)

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי ראשון: גזירת patch מתמונה

  • הוספת רעש, טשטוש ודחיסת jpeg (סף הצלחה 20%)

  • ההשוואה בעייתית - הפלטים לא זהים

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי ראשון: גזירת patch מתמונה

  • דוגמאות

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי ראשון: גזירת patch מתמונה

  • דוגמאות

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי ראשון: גזירת patch מתמונה

  • דוגמאות - כשלונות

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי שני: סט Mikoalyciz et. al.

  • 8 סטים של 6 תמונות המתארים מגוון סוגי עיוותים

  • 50 ניסויים על templates אקראיים בגודל 10%-50%

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי שני: סט Mikoalyciz et. al.

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • ניסויים

  • ניסוי שלישי: תמונות מהעולם האמיתי - תמונות מבנים מציריך

  • עיוותים מעבר למודל האפיני

  • דוגמאות לכשלונות

  • סתם נכשל

  • חצי מוסתר

  • לא מישור

  • FAsT-Match, Simon Korman et. al., CVPR 2013


Fast match fast affine template matching

  • סיכום

  • דיוק מוגבל (רזולוצית הדגימה)

  • יתקשה בתמונות לא חלקות (טקסטורות)

  • קושי כשהמידע החשוב דליל

  • פונק' מרחק פשוטה: רגישות למידע דליל ולהסתרות חלקיות

  • האלג' האמיתי הראשוןל-template matchingאפיני

  • הבטחת שגיאה חסומה

  • מהיר מאוד, יחסית לאתגר

  • מנצל היטב את תכונת החלקות של תמונות

  • רעיונות לשיפור ושכלול

  • הפעלת OF פרמטרי לאחר סיום הריצה לשיפור הדיוק

  • שימוש במדד דמיון עמיד כדי לצמצם מרחב הטרנס' (ASIFT)

  • פיתוח שיטה דומה להומוגרפיות מלאות או לצורות 3D


Fast match fast affine template matching

  • טוב ורע בכתיבת המאמר

  • פיתוח האלגוריתם מסורבל מעט

  • פרטים משמעותיים חסרים, כולל הוכחות או משתנים שלא מוגדרים

  • תמונות והסברים חזותיים לא מספקים

  • היה מעניין להשוות לשיטה של Tian ו-Narasimhan

  • רעיון חדשני ויצירתי

  • עקרון הפעולה מוסבר היטב

  • חסרונות האלגוריתם מפורטים

  • הרבה ניסויים ודוגמאות


Fast match fast affine template matching

תודה רבה

על ההקשבה

שאלות?


  • Login