מגישה: מרינה פורטנוב מנחה : אריה נחמני

1. הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGYהפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה כתיבת ממשק משתמש לרגיסטרציה של תמונות מגישה: מרינה פורטנוב מנחה:אריהנחמני סמסטר: חורף תשע"ב

2. מבנה המצגת • הצגת הבעיה • הצגת הפתרון הנבחר • תאור והסבר האלגוריתם • מסך ה-GUI • מטריצת הטרנספורמציה • תוצאות הרגיסטרציה מפעולות שונות של הGUI • סיכום ומסקנות • כיווני המשך

3. הצגת הבעיה • רגיסטרציה עוסקת במציאת טרנספורמציה (התאמה) בין שתי תמנות כאשר התמונה השנייה עברה דפורמציה מסויימת יחסית לתמונה הראשונה. הדפורמציה יכולה להיות קשיחה (כגון תזוזה או סיבוב), שינוי בסקאלה או כל טרנספורמציה גמישה. • לכל אחת מהדפורמציות קיימים אלגוריתמים רבים, אך השימוש בהם אינו נח משום שצורות הקלט והפלט שאלגוריתמים אלו נותנים קשים לשימוש ישיר.

4. הצגת הפתרון הנבחר לבעיה • בפרוייקט זה נבנה ממשק גרפי למשתמש (GUI) ב- MATLABאשר תפקידו לעזור בהשוואה ופיתוח שלאלגוריתמים חדשים של רגיסטרציה. • הפתרון המוצע נותן את תוצאת הטרנספורמציה האפינית של 2 תמונות המשלבת: סיבוב, סקאלה והזזה ואת התוצאה הסופית על התמונה המעוותת. • האלגוריתמים שמומשו הם על בסיס המאמר: FAIR: Flexible Algorithms for Image Registration- Software and Apps By: Jan Modersitzki

5. תאור אלגוריתם השימוש בממשק לרגיסטרציה הרצת הקובץ FAIRstartup.m ביצוע הרגיסטרציה הרצת הפונקצייהRegprocessing.m קליטת שתי תמונות בבלוק דרך imload.m פונקצייה זו מוסיפה לרשימת התיקיות של ה MATLAB פונקציות עזר שבהן נעשה שימוש למימוש חלק מהאלגוריתמים הפונקציה נמצאת בתיקייה שנקראת #FAIR

6. תאור אלגוריתם השימוש בממשק לרגיסטרציה הרצת הקובץ FAIRstartup.m ביצוע הרגיסטרציה הרצת הפונקצייהRegprocessing.m קליטת שתי תמונות בבלוק דרך imload.m • פונקציה זו טוענת 2 תמונות לGUI • אחת תהיה התמונה המקורית אליה מבצעים את ההשוואה, נקרא לה תמונת ה Reference או בקיצור R ובעברית: תמונת המקור • התמונה השנייה תהיה התמונה המעוותת, נקרא לה תמונת ה-Template או בקיצור T ובעברית: תמונת התבנית

7. קליטת שתי תמונות בבלוק דרך imload.m

8. קליטת שתי תמונות בבלוק דרך imload.m Template Reference

9. תאור אלגוריתם השימוש בממשק לרגיסטרציה הרצת הקובץ FAIRstartup.m ביצוע הרגיסטרציה הרצת הפונקצייהRegprocessing.m קליטת שתי תמונות בבלוק דרך imload.m

10. GUI מסך ה- בחירת תמונת המקור לטרנספורמציה הכנסת אחוז מסויים מתמונת הרפרנס לתמונת התבנית מטריצת טרנספורמציה בחירת תמונת התבנית לטרנספורמציה אפשור הגבלת "מקומיות" שינוי הגבלת המקומיות – זווית סיבוב והזזה כפתור עזרה לאלגוריתם הנבחר

11. GUI מסך ה- בחירת סוג הטרנספורמציה לרגיסטרציה בחירת תת הסוג של הטרנספורמציה לפי סוג המדידה של המרחק

12. GUI מסך ה- בחירת מספר נקודות ההשוואה לביצוע סיבוב בלבד בחירת מספר נקודות ההשוואה לביצוע הרגיסטרציה: סיבוב, הזזה וסקאלה

13. בחירת פרמטרים ידנית- GUIה-מסך סרגל לבחירת הזווית בה רוצים לסובב את התמונה נגד כיוון השעון 2סרגלים להזזה של התמונה הדו מימדית בשני הצירים X וY 2סרגל ל"ניפוח" התמונה בציר X ובציר Y לפי בחירה

14. מטריצת הטרנספורמציה

15. מטריצת הטרנספורמציה • מטריצת סיבוב • מטריצת הזזה • מטריצת סקאלה מטריצת הטרנספורמציה הסופית תהיה מכפלת שלושת המטריצות הנ"ל

16. תאור אלגוריתם השימוש בממשק לרגיסטרציה הרצת הקובץ FAIRstartup.m ביצוע הרגיסטרציה הרצת הפונקצייהRegprocessing.m קליטת שתי תמונות בבלוק דרך imload.m

17. ביצוע הרגיסטרציה

18. תוצאות הרגיסטרציה מפעולות שונות של הGUI הזזה • מציאת הזזה אופטימלית בעזרת אלגוריתם • Normalized 2-D cross-correlation

19. הזזה(עם הגבלת מקומיות) • מציאת הזזה אופטימלית בעזרת אלגוריתם • Sum of Squared Differences(SSD) • הגבלה של הזזה מקסימאלית של • 10 פיקסל לכל כיוון

20. סיבוב • מציאת זוית סיבוב אופטימלית בעזרת אלגוריתם • Sum of Squared Differences(SSD)

21. סיבוב (עם הגבלת זווית) • מציאת זוית סיבוב אופטימלית בעזרת אלגוריתם • Sum of Squared Differences(SSD) • הגבלה של סיבוב בזווית מקסימאלית של 17 מעלות

22. סקאלה • מציאת הגודל (נפח) האופטימלי בעזרת אלגוריתם • Normalized Cross-Correlation(NCC)

23. נפעיל את אלגוריתמי מציאת הטרנספורמציה (סיבוב+הזזה+סקאלה), ונקבל את התוצאות הבאות – תמונה מתקבלת + המטריצה מציאת הרגיסטרציה האידיאלית SSD NCC NGF

24. נראה את פעולת Morph template Image כדי לראות את הדימיון בין התמונה אחרי הרגיסטרציה של התבנית ותמונת המקור מציאת הרגיסטרציה האידיאלית

25. נפעיל את אלגוריתמי מציאת הטרנספורמציה (סיבוב+הזזה+סקאלה), ונקבל את התוצאות הבאות – התמונה המתקבלת + מטריצת התוצאה תוצאות הרגיסטרציה על דוגמא נוספת • עבור מספר נקודות ההשוואה: 15 SSD NCC NGF

26. תוצאות הרגיסטרציה על דוגמא נוספת • עבור מספר נקודות ההשוואה: 150 עבור סיבוב והזזה • התוצאה שהתקבלה מדוייקת יותר מ15 נקודות השוואה • למטריצת הטרנספורמציה נוספה הזזה שלא הייתה קיימת קודם עבור כל אחד מהאלגוריתמים SSD NCC NGF

27. ממשק הוספת אלגוריתמים אחד היתרונות הבולטים של הממשק המוצע הוא האפשרות להוסיף אלגורימי רגיסטרציה נוספים במספר צעדים פשוטים ע"י שימוש בכלי "Preprocessing setup" הגדרת פרמטרים של הרגיסטרציה הוספת סוג חדש הוספת תת-סוג חדש בחירת קובץ מטלב להרצה

28. סיכום ומסקנות • בעבודה זו הצגתי GUI אוניברסלי אשר יעזור בהשוואה ופיתוח של אלגוריתמים חדשים של רגיסטרציה, בחרתי לממש 3 אלגוריתמים המראים את פעולת הGUI. • היתרונות הבולטים של ה-GUI הוא בשינוי נח של הפרמטרים, ובאפשרות להוסיף אלגוריתמים חדשים בקלות רבה ללא צורך להכנס לקוד של הGUI עצמו • התוצאה עבור כל אלגוריתם היא מציאת הטרנספורמציה האפינית של 2 תמונות: סיבוב, סקאלהוהזזה , והצגת תוצאת הטרנספורמציה הטובה ביותר כמטריצה 3*3 ואת התמונה עם הדפורמציה אחרי הרגיסטרציה • הGUI נותן אפשרות נוספות ביניהן: מציאת טרנספורמציה ידנית, הכנסת אחוז מסויים מתמונת הרפרנס לתמונת התבנית לצרכי השוואה,בחירת מספר נקודות ההשוואה בפעולת הרגיסטרציה , צימצום שטח החיפוש של אלגוריתם הרגיסטרציה ע"י הגבלת זווית הסיבוב או מרחק ההזזה לערך מסויים.

29. כיווני המשך ניתן לשקול מס' שיפורים של הGUI הקיים: • שיפור האלגוריתמים כך שהתוצאה הסופית של תמונת התבנית תהיה כמה שיותר דומה לתמונת המקור. • להוסיף פונקציות נוספות המתאימות לביצוע רגיסטרציה.

30. תודה רבה ברצוני להביע תודה למר אריה נחמני על עזרתו, הכוונתו והלימוד לאורך הפרויקט, וכן תודה לצוות המעבדה לבקרה ורובוטיקה מר קובי כוחי וגברת אורלי וויגדרזון.

31. שאלות?