A Non- parametric Multi- Scale Statistical Model for Natural Images

1. A Non-parametric Multi-ScaleStatistical Model for Natural Images J. S. De Bonet and P. Viola מוצג ע"י: אלכסנדר גלמן ואיתי אברהם

2. מה יהיה לנו היום? • כמה תזכורות • הצגת הבעייה • הצגת שיטה לפיתרון • שימושים נוספים לשיטה המוצעת

3. תזכורת – סינתזה של טקסטורות נרצה לקחת תמונה קטנה ולייצר בעזרתה תמונה גדולה:

4. שיטות ליצירת טקסטורות שיטה טריוויאלית – ריצוף:

5. השיטה של Heeger & Bergen • שימוש ב steerable pyramids • התאמת היסטוגרמות

6. השיטה של Heeger & Bergen טובה עבור תמונות פשוטות ללא צורה מורכבת:

7. השיטה של Heeger & Bergen גרועה עבור תמונות עם צורות מורכבות:

8. הגדרה - מהי סינתזה טובה? • התוצאה צריכה להיות דומה למקור • התצואה צריכה להיות שונה מהמקור • לא ניתן להבחין בהעתקות • צריכה להיראות כתוצר של אותו תהליך סטוכסטי

9. דוגמאות לכישלונות דגימה רנדומלית של פיקסלים: צבעים זהים, אך אין מבנים

10. דוגמאות לכישלונות דגימה רנדומית של תדרים המבנים בצורה המקורית אינם משתמרים

11. מסקנה כדי ליצור תמונה טובה יש: • לשמור על הצבעים בתמונה המקורית • לשמור על השילוב בין תדרים נמוכים לגבוהים

12. השיטה של De Bonet • ערכים בתדרים גבוהים תלויים בתדרים הנמוכים • החל מרזולוציה כלשהי לא ניתן להבדיל בין הפריטים בתמונה

13. יצירת פירמידת ניתוח • נפרק את התמונה לפירמידה של תדרים (לפלסיאן) • נקבל מידע עבור כל רמה של תדרים בנפרד מהתדרים האחרים • לכל פיקסל בתמונה יהיה ווקטור של התדרים שלו

14. דוגמא לווקטורי תדרים M 0

15. חיזוק על ידי אילוצים • לפלסיאן לא מספיק חזק • נרצה גם לזהות כיווניות ושפות ארוכות • נשתמש ב wavelets כדי לאפיין כל פיקסל

16. תזכורת wavelets פירוק תמונה לתדרים מקבלים מידע על כיוון

17. Multi-Scale wavelets שימוש ב wavelets נותן ערכים מרובים לכל פיקסל נקבל מידע על כיוון מאפשר בחירה טובה יותר

18. פילטרים אחרים במקרה הזה Gabor דומה ל: steerable pyramid אילוצים חזקים מידי לא טובים

19. דוגמא לווקטורי תדרים M 0

20. ווקטור הורים - הגדרה פורמלית • בהינתן סט פילטרים: נגדיר תגובה מקומית בנק' (x,y): • ווקטור ההורים המתקבל יהיה:

21. בניית פירמידת סינתזה • נבנה פירמידה שתייצג את התמונה החדשה • כל רמה תבנה על סמך ערכים בפירמידת הניתוח • כל פיקסל לא תלוי בשכנים שלו • כל פיקסל תלוי בהורים שלו

22. איך נבחר פיקסל? • נסתכל על ווקטור ההורים שלו • נחפש ווקטורים דומים בתמונה המקורית • נבחר באופן הסתברותי אחיד

23. דוגמא 2x2 64x64

24. דוגמא המשך

25. דוגמאות לתוצאות

26. דוגמאות לתוצאות

27. דוגמאות לתוצאות

28. כיצד קביעת הסף משפיעה על התוצאות?

29. סף שונה – תוצאה שונה

30. סף שונה – תוצאה שונה

31. דוגמא לכישלון

32. סיכום השיטה • שימוש בפירמידה של רזולוציות • אפשרות לקבל מידע נוסף על ידי שימוש בפילטרים כיווניים • מציאת כל פיקסל בנפרד כתלות בערך ברזולוציות נמוכות • מודל הסתברותי – תוצאות שונות בכל הרצה

33. שימושים נוספים • זיהוי עצמים

34. זיהוי עצמים • נרצה לדעת האם שתי תמונות מייצגות את אותו האובייקט • נשתמש בהסתברות • נשווה בין הסתברויות של היסטוגרמות

35. Parzen window density • בהינתן תת קבוצה של ווקטורי הורים, מאפשר לבצע אקסטרפולציה לכל ווקטורי ההורים • מוגדר באופן הבא: • כאשר R מחזירה ערכים מקסימלים כאשר הווקטורים דומים.

36. מציאת ההסתברויות הופעה של ערך ברזולוציה גבוהה תלויה בהופעה של ערך ברזולוציה נמוכה

37. מציאת הסתברות מותנת את ההסתברויות המותנות נמצא ע"י התבוננות בקבוצת מדגם של ווקטורי הורים: ושימוש ביחס בין חלונות Parzen:

38. Flexible Histogram • דומה להיסטוגרמה רגילה • כל עמודה מייצגת ווקטור הורים • גובה העמודה הוא ההסתברות שווקטור יופיע בתמונה

39. Cross Entropy תמונת מקור Cross Entropy תמונת בדיקה

40. Kullback-Liebler divergence • שיטה למציאת שוני בין שתי התפלגויות. • מוגדר על ידי הנוסחא:

41. דוגמא • ניצור תמונה חדשה באופן הבא: • כל פיקסל יהיה לבן בהסתברות של 0.75 ושחור אחרת. • כעת ניקח שתי תמונות אשר נוצרו על ידי תהליך זה. • תמונה 1: ישנם 75 פיקסלים לבנים ו-25 שחורים • תמונה 2: ישנם 100 פיקסלים לבנים

42. המשך דוגמא בתמונה הראשונה ההסתברות לפיקסלים לבנים היא 0.75. ההסתברות האמיתית לפיקסלים לבנים היא גם כן 0.75 התאמה מושלמת

43. המשך דוגמא בתמונה השניה ההסתברות לפיקסלים לבנים היא 1.0. ההסתברות האמיתית לפיקסלים לבנים נשארת 0.75 התאמה חלקית

44. סיכום הדוגמא ראינו שבעזרת cross entropy אנחנו יכולים לזהות כי התמונה הראשונה אופיינית יותר לתהליך היוצר. זאת למרות שההסתברות ליצירת התמונה השנייה גבוהה יותר, מול לתמונה הראשונה.

45. תזכורת • זיהוי עצמים

46. איך עובד? • ניקח שתי קבוצות של תמונות: • תמונות של האובייקט • תמונות של הסביבה • לכל אוסף תמונות נבנה מודל • נקבע סף ל- cross entropy • מתחת לסף: בקבוצה, מעל: לא בקבוצה • בהינתן תמונה חדשה נוכל לקטלג

47. דוגמא: זיהוי פרצופים • קבוצה של פרצופים: • קבוצה של אובייקטים שאינם פרצופים:

48. תוצאות ניתן לראות כי התוצאות מתקרבות ל (1,0)

49. שימושים נוספים • סגמנטציה:

50. סגמנטציה • עובד בדומה לזיהוי עצמים • יכול להבדיל בין פריטים שהעין לא מסוגלת • שימושים רפואיים וצבאיים