1 / 55

A Non- parametric Multi- Scale Statistical Model for Natural Images

A Non- parametric Multi- Scale Statistical Model for Natural Images. J. S. De Bonet and P. Viola. מוצג ע"י: אלכסנדר גלמן ואיתי אברהם. מה יהיה לנו היום?. כמה תזכורות הצגת הבעייה הצגת שיטה לפיתרון שימושים נוספים לשיטה המוצעת. תזכורת – סינתזה של טקסטורות.

tashya-mckay
Download Presentation

A Non- parametric Multi- Scale Statistical Model for Natural Images

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. A Non-parametric Multi-ScaleStatistical Model for Natural Images J. S. De Bonet and P. Viola מוצג ע"י: אלכסנדר גלמן ואיתי אברהם

  2. מה יהיה לנו היום? • כמה תזכורות • הצגת הבעייה • הצגת שיטה לפיתרון • שימושים נוספים לשיטה המוצעת

  3. תזכורת – סינתזה של טקסטורות נרצה לקחת תמונה קטנה ולייצר בעזרתה תמונה גדולה:

  4. שיטות ליצירת טקסטורות שיטה טריוויאלית – ריצוף:

  5. השיטה של Heeger & Bergen • שימוש ב steerable pyramids • התאמת היסטוגרמות

  6. השיטה של Heeger & Bergen טובה עבור תמונות פשוטות ללא צורה מורכבת:

  7. השיטה של Heeger & Bergen גרועה עבור תמונות עם צורות מורכבות:

  8. הגדרה - מהי סינתזה טובה? • התוצאה צריכה להיות דומה למקור • התצואה צריכה להיות שונה מהמקור • לא ניתן להבחין בהעתקות • צריכה להיראות כתוצר של אותו תהליך סטוכסטי

  9. דוגמאות לכישלונות דגימה רנדומלית של פיקסלים: צבעים זהים, אך אין מבנים

  10. דוגמאות לכישלונות דגימה רנדומית של תדרים המבנים בצורה המקורית אינם משתמרים

  11. מסקנה כדי ליצור תמונה טובה יש: • לשמור על הצבעים בתמונה המקורית • לשמור על השילוב בין תדרים נמוכים לגבוהים

  12. השיטה של De Bonet • ערכים בתדרים גבוהים תלויים בתדרים הנמוכים • החל מרזולוציה כלשהי לא ניתן להבדיל בין הפריטים בתמונה

  13. יצירת פירמידת ניתוח • נפרק את התמונה לפירמידה של תדרים (לפלסיאן) • נקבל מידע עבור כל רמה של תדרים בנפרד מהתדרים האחרים • לכל פיקסל בתמונה יהיה ווקטור של התדרים שלו

  14. דוגמא לווקטורי תדרים M 0

  15. חיזוק על ידי אילוצים • לפלסיאן לא מספיק חזק • נרצה גם לזהות כיווניות ושפות ארוכות • נשתמש ב wavelets כדי לאפיין כל פיקסל

  16. תזכורת wavelets פירוק תמונה לתדרים מקבלים מידע על כיוון

  17. Multi-Scale wavelets שימוש ב wavelets נותן ערכים מרובים לכל פיקסל נקבל מידע על כיוון מאפשר בחירה טובה יותר

  18. פילטרים אחרים במקרה הזה Gabor דומה ל: steerable pyramid אילוצים חזקים מידי לא טובים

  19. דוגמא לווקטורי תדרים M 0

  20. ווקטור הורים - הגדרה פורמלית • בהינתן סט פילטרים: נגדיר תגובה מקומית בנק' (x,y): • ווקטור ההורים המתקבל יהיה:

  21. בניית פירמידת סינתזה • נבנה פירמידה שתייצג את התמונה החדשה • כל רמה תבנה על סמך ערכים בפירמידת הניתוח • כל פיקסל לא תלוי בשכנים שלו • כל פיקסל תלוי בהורים שלו

  22. איך נבחר פיקסל? • נסתכל על ווקטור ההורים שלו • נחפש ווקטורים דומים בתמונה המקורית • נבחר באופן הסתברותי אחיד

  23. דוגמא 2x2 64x64

  24. דוגמא המשך

  25. דוגמאות לתוצאות

  26. דוגמאות לתוצאות

  27. דוגמאות לתוצאות

  28. כיצד קביעת הסף משפיעה על התוצאות?

  29. סף שונה – תוצאה שונה

  30. סף שונה – תוצאה שונה

  31. דוגמא לכישלון

  32. סיכום השיטה • שימוש בפירמידה של רזולוציות • אפשרות לקבל מידע נוסף על ידי שימוש בפילטרים כיווניים • מציאת כל פיקסל בנפרד כתלות בערך ברזולוציות נמוכות • מודל הסתברותי – תוצאות שונות בכל הרצה

  33. שימושים נוספים • זיהוי עצמים

  34. זיהוי עצמים • נרצה לדעת האם שתי תמונות מייצגות את אותו האובייקט • נשתמש בהסתברות • נשווה בין הסתברויות של היסטוגרמות

  35. Parzen window density • בהינתן תת קבוצה של ווקטורי הורים, מאפשר לבצע אקסטרפולציה לכל ווקטורי ההורים • מוגדר באופן הבא: • כאשר R מחזירה ערכים מקסימלים כאשר הווקטורים דומים.

  36. מציאת ההסתברויות הופעה של ערך ברזולוציה גבוהה תלויה בהופעה של ערך ברזולוציה נמוכה

  37. מציאת הסתברות מותנת את ההסתברויות המותנות נמצא ע"י התבוננות בקבוצת מדגם של ווקטורי הורים: ושימוש ביחס בין חלונות Parzen:

  38. Flexible Histogram • דומה להיסטוגרמה רגילה • כל עמודה מייצגת ווקטור הורים • גובה העמודה הוא ההסתברות שווקטור יופיע בתמונה

  39. Cross Entropy תמונת מקור Cross Entropy תמונת בדיקה

  40. Kullback-Liebler divergence • שיטה למציאת שוני בין שתי התפלגויות. • מוגדר על ידי הנוסחא:

  41. דוגמא • ניצור תמונה חדשה באופן הבא: • כל פיקסל יהיה לבן בהסתברות של 0.75 ושחור אחרת. • כעת ניקח שתי תמונות אשר נוצרו על ידי תהליך זה. • תמונה 1: ישנם 75 פיקסלים לבנים ו-25 שחורים • תמונה 2: ישנם 100 פיקסלים לבנים

  42. המשך דוגמא בתמונה הראשונה ההסתברות לפיקסלים לבנים היא 0.75. ההסתברות האמיתית לפיקסלים לבנים היא גם כן 0.75 התאמה מושלמת

  43. המשך דוגמא בתמונה השניה ההסתברות לפיקסלים לבנים היא 1.0. ההסתברות האמיתית לפיקסלים לבנים נשארת 0.75 התאמה חלקית

  44. סיכום הדוגמא ראינו שבעזרת cross entropy אנחנו יכולים לזהות כי התמונה הראשונה אופיינית יותר לתהליך היוצר. זאת למרות שההסתברות ליצירת התמונה השנייה גבוהה יותר, מול לתמונה הראשונה.

  45. תזכורת • זיהוי עצמים

  46. איך עובד? • ניקח שתי קבוצות של תמונות: • תמונות של האובייקט • תמונות של הסביבה • לכל אוסף תמונות נבנה מודל • נקבע סף ל- cross entropy • מתחת לסף: בקבוצה, מעל: לא בקבוצה • בהינתן תמונה חדשה נוכל לקטלג

  47. דוגמא: זיהוי פרצופים • קבוצה של פרצופים: • קבוצה של אובייקטים שאינם פרצופים:

  48. תוצאות ניתן לראות כי התוצאות מתקרבות ל (1,0)

  49. שימושים נוספים • סגמנטציה:

  50. סגמנטציה • עובד בדומה לזיהוי עצמים • יכול להבדיל בין פריטים שהעין לא מסוגלת • שימושים רפואיים וצבאיים

More Related