Navigation in Image Space

1. Navigation in Image Space מאת: - חגית לטה - אריאל טוניק מרצה: חגית הל-אור

2. ראשי פרקים : * מוטיבציה * חזרה על מושגים : חתימה , EMD * הצגת תמונות במרחב ע”י MDS * Navigation * Design Gallery Interface

3. מוטיבציה : • הצגת תמונה ע”י מערכות Image Retrieval מסורתיות: • * הצגת תוצאות השאילתא ברשימה.

4. חסרונות: 1) הצגת המרחק בין התמונות המוחזרות לשאילתא ואי-הצגת המרחקים ביניהם. 2) חוסר התמצאות במאגר התמונות. פתרון: Adaptive Image Embedding - שיבוץ תמונה במרחב עלפי התכונות שלה .

5. “One picture is worth a thousand words” Fred R.Barnard “If a picture is worth a thousand words ,a picture of an Image Database is worth a whole book” Carlo Tomasi

6. הצגה לפי MDS:

7. יתרונות: 1) קבלת מושג כללי על תוכן מאגר התמונות. 2) הצגת שוני בין כל תמונה ותמונה. 3) תמונות רבות יוצגו מבלי ללכוד את תשומת ליבו של המשתמש. 4) Zoom and Browsing.

8. איך הצגה כזאת נוצרת? * כיצד ניתן להציג תמונה לפי הצבע ? * כיצד נמדוד מרחק בין תמונות לפי הצגת הצבע ? * כיצד נתן לסדר קבוצת תמונות, כך שהתמונות הדומות יופיעו אחת ליד השניה ?

9. חזרה קצרה על מושגים: הצגת תמונה לפי צבע - Signatures: הגדרה: הצגה קומפקטית של אינפורמצית הצבע בתמונה. מייצגת קבוצת נקודות שכל אחת מייצגת הקבצים של צבעים דומים. -מייצג הקבץ. -משקל, מספר הפיקסלים השייכים להקבץ.

10. EMD- Earth Movers Distance הגדרה : המרחק בין שתי חתימות שמוגדר להיות מינימוםסכום “העבודה” הדרושה להעביר חתימה אחת לחתימהאחרת.

11. הצגת תמונות במרחב ע”י MDS: *MDS - זוהי דרך להציג את כל מאגר התמונות, או חלק ממנו, שמוחזר כתשובה לשאילתא במרחב ה n-מימדי. *MDSממקם את התמונות במרחב בעזרת EMD שחישב את המרחקים בין חתימות של כל תמונה ותמונה.

12. תרשים: חישוב EMD MDS

13. * בMDSמיוצגים כל המרחקים בין תמונה ותמונה. ( n-תמונות -מרחקים). * הגדרת MDS:בהנתן n תמונות עם שוני ביניהם, טכניקת MDSמחשבת את מיקום הנקודות במרחב אוקלידי ( d=2 או d=3) , כך שהמרחקים האוקלידיים בין הנקודות ב תואמים את המרחקים המקוריים בין התמונות בצורה הטובה ככל האפשר.

14. כיצד נידע אם ה MDS מייצג נאמנה את המרחקים בין הנקודות? * STRESS נותן מספר לא שלילי המצביע עד כמה טוב המרחקים נשמרים ב MDS. * STRESS=0מצביע על התאמה מלאה בין המרחקים.

16. זמני חישוב הצגת MDS: החישובים נעשו על גבי מעבד 250Mhz

17. חישוב MDSבעזרת מאפיינים אחרים : חישוב MDSיכול להתבצע בעזרת מאפיינים אחרים, כגון טקסטורה, צורה וכו’. דוגמאות לפי טקסטורה: נראה דוגמאות לשימוש ב MDS להמחיש את מדדי השונויות לטקסטורות הומוגניות.

18. MDS Display Dissimilarity Matrix

19. MDS Display Dissimilarity Matrix

20. MDS Display Dissimilarity Matrix

21. Visualization in 3 Dimentions *MDSיכול להיות מחושב בכל מספר של מימדים, למרות שרק 2 או 3 מימדים הם שימושיים למטרת ההצבה. 500 תמונות בהצגת MDS במישור התלת מימדי.

22. זוית הצגה שונה

23. y צהוב כחול x z בהירות

24. התמקדות על תמונות של מידברים.

25. יתרון הצגה ב 3 מימדים: * גמישות בהצגת התמונה. חסרונות הצגה ב 3 מימדים: * זמני חישוב גדולים יותר. * קשיים בהבנת התמונה הגלובלית של המאגר.

26. בהמשך… נרחיב את טכניקות ההצגה על מנת להרשות גלישה ברורה ואינטואיטיבית דרך אוספי תמונות למטרת Image Retrieval .

27. Navigation “We are not lost.We are locationally challenged” John M. Ford מושג ה Navigation בעולם ה Image Retrieval זו האפשרות שלנו “לנווט” בתוך מאגר התמונות העומד לרשותנו, במטרה להגיע לתמונה או תמונות שמחפשים.

28. Navigation במערכות המסורתיות: אפשרות להמשך Navigationאיטראטיבי, אך בעיתי. בהנתן שאילתא כללית ראשונית, יש שתי אפשרויות לא מושלמות: 1) החזרת כמות גדולה של תמונות . 2) החזרת כמות קטנה של תמונות .

29. בשיטה מבוססת MDS : * בשאילתא כללית, מתאפשר מושג כללי על מאגר התמונות ה עומד לרשותנו. * דיוק ראשוני קטן (שאילתא כללית) -יתרון. * Zoom In לאיזור ההתעניינות.

30. חיפוש כללי MDS בחירת איזור התעניינות Refinment מציאת התמונה שחיפשנו

31. חשוב להדגיש... * בכל MDSחדש, גורמי ההשתנות על הצירים משתנים. * קבוצת התמונות ב MDS החדש אינה בהכרח תת-קבוצה של ה MDS הישן.

32. כיצד מתבצע ה Refinement (עידון)? *בוחרים k תמונות באיזור ההתענינות החדש. *שילוב של תכונות דומיננטיות של ה signatures ליצירת שאילתא חדשה. *נייצג את ה clusters של כל התמונות כנקודות במרחב. *דחיית clusters שמיוצגים ע”י פחות מ תמונות. *כל cluster ב signature החדש מקבל כמשקל את החציון של משקלי הנקודות באותו cluster. *נירמול ה signature.

35. דוגמא 2:

37. שימושים של השיטה: Navigation in Space of Police Mugshots: מאפיין התמונה: צירוף לינארי של משקלי התכונות. מרחק בין תמונות: הפרש המאפיינים.

38. מין צבע עור הערה: הצירים לא הוגדרו מראש, המערכת מגלה אותם.

39. מבנה גוף גיל

40. A Demonstration System

41. Demo -מפתחות: * Color Sketch:Query Input * Query Result : רשימת תמונות מסודרות לפי השוני מהשאילתא. * MDS Map : רשימת תמונות מסודרות לפי השוני ביניהם. אפשרויות שה Demo נותן : 1) חיפוש רנדומאלי. 2) Query by sketch 3) Query by example 4) Query by refinment

42. מחפשים מטוסים בשמיים.

45. לסיכום… אם נציג את התמונות במרחב לפי המרחקים בין כל תמונה ותמונה, ההצגה הינה יותר אינטואיטיבית למשתמש.וזה העקרון המאפשר לנו Navigation מהיר ויעיל. עבודה לעתיד: הצירי ההשתנות ב MDSנתגלו על ידי המערכת.יהיה יעיל ויותר שימושי אם יהיה למשתמש את האפשרות לקבוע אותם.

46. Design Gallery Interfaces * DG Interfaceעוזרת לנו להתגבר על הרבה בעיות של גרפיקה ועיצוב ממוחשב, שבו מעורבים תהליכים של קביעת וכיוונון של פרמטרים התחלתיים. * בהנתן לנו סצינה מסוימת , תהליך של ה DGיוצר לנו מאגר תמונות, בעזרת פרמטרים ההתחלתיים.

47. יתרונות השיטה: * יצירת מאגר התמונות מתבצעת כ Preprocess. * ייצוג התוצאה בממשקים ידידותיים למשתמש.

48. חלוקת תפקידים במערכת: קביעת מאפיינים למערכת System creator יצירת מאגר התמונות והצגתן המחשב Browsing וNavigation המשתמש

49. דוגמאות Light Selection And Placement מטרה: נרצה לקבל אפקטים שונים של אור על אותה סצנה. מבנה ה Input vector: יכיל בין היתר: - מיקום האור - סוג האור - כיוון האור

50. Arrangment: ע”י היררכיה בעץ מאוזן מלא, בו התמונות הדומות נמצאות יחד בקבוצה. רמה 1 רמה 2 רמה 3