בניית ממשק למחשב המבוסס על פוזיציות של כף-יד בכפפה צבעונית

1. בניית ממשק למחשב המבוסס על פוזיציות של כף-ידבכפפה צבעונית נובמבר 2004 מגישים: נוימן ליאור גלוזמן אלכס מנחה: מר טודטפלד ארי

2. מטרות הפרוייקט מטרה ראשית פיתוח ממשק מחשב חדש מבוסס מצלמה,אשר מצלמת את כף ידו של המשתמש. כף היד נמצאת בתוך כפפה שעליה סמנים צבעוניים המשמשים לזיהוי. • מטרות ביניים • בניית כלי עבודה שיאפשרו עבודה נוחה בפיתוח הממשק • זיהוי מגוון רחב של פוזיציות של כף היד • בניית ישום שידגים את השימוש בממשק

3. תיאור פיסי של המערכת • כפפה עם סמנים צבעוניים המודבקים עליה. • מצלמה צבעונית הצופה כלפי מטה, מותקנת על עמדה מתאימה. • כרטיס ללכידת תמונות – Rio frame grabber • מראה המיועדת לתת אפשרות לזיהוי מגוון רחב יותר של פוזיציות • בריסטול - לצמצום כמות הפרעות הרקע- לצמצום כיולים דינאמיים אוטומטיים של המצלמה

4. חלון מאגר פוזיציות חלון וידאו לפני ואחרי עיבוד חלון בדיקת פוזיציות ב-Real-time

5. מאגר הפוזיציות המזוהות in point right low hi in point in two top point top idle top fist top two top pick right

6. מאגר הפוזיציות המזוהות המשך top point left in pick hi in idle in click

7. סידור הצבעים על הכפפה בחרנו 5 צבעים אליהם התייחסנו במבט מלמעלה בנוסף לכך התייחסנו ל- 2 צבעים במראה(כחול וסגול). זיהוי הפוזיציות יתבסס על שני שלבים:סינון על פי נוכחות צבעיםסינון על פי מדידת מרחקים בין צבעים

8. זיהוי המבוסס על נוכחות צבעים שיטת ה- Good/Bad colors • Good colors אלו הצבעים שחייבים להופיע על המסך לשם זיהוי פוזיציה מסוימת. • Bad colors אלו הצבעים שאם יופיעו הפוזיציה לא תזוהה. • Screen colors אלו הצבעים שמופיעים בפועל על המסך. פסילת פוזיציה מתבצעת באחד מהתנאים הללו- (G and S ≠ G) או (B and S ≠ 0) מוטיבציה ?

9. שתי תמונות דומות, עם הרכב-צבעים לא זהה שאיפה: בשתי התמונות יזוהה אותו מצב ←צורך בפונקציונאליות של Don’t-Care ←שיטת ה-Good/Bad colors

10. המרחקמחוץ לתחום המרחקמחוץ לתחום המרחק בתחום המותר ideal (normalized) Ideal - Tol Ideal + Tol זיהוי המבוסס על מרחקים בין צבעים • בחרנו 6 מרחקים אליהם התייחסנו - 5 מרחקים במבט מלמעלה - מרחק אחד במבט מן המראה • הנוסחה לחישוב ובדיקת המרחק ה-i כלומר המרחק מתאים אם הפרשו מהמרחק הצפוי נמצא ב"שרוול" המותר

11. האם צבע הפיקסלמתאים לאחד הצבעים שאנו מחפשים ? • על פי הצבענעדכן את.... • סכום שיעורי ה-x • סכום שיעורי ה-y • מספר הפיקסליםבצבע זה (x, y, Color) חילוץ מאפיינים מן התמונה (1) עבור כל פיקסל בתמונה... כן בסיום המעבר על כל הפיקסלים בתמונה – לכל צבע נצברו שלושה סכומים

12. ? חילוץ מאפיינים מן התמונה (2) לכל צבע בנפרד... לכל צבע... • סכום שיעורי ה-x • סכום שיעורי ה-y • מספר הפיקסליםבצבע זה - לא הצבע איננו קיים בתמונה כן חישובמרכזימסה * חישובימרחקים * http://www.csc.calpoly.edu/~aywang/ATR/Centroid.c

13. מציאת מרכזי מסה של צבעי הסמנים דגימה של כל גודל התמונה תמונה סינון פוזיציותעם מטריצת-מרחקים שונה מהדגום סינון פוזיציות עם הֶרְכֵּב -צבעים שונה מהדגום זהה: פוזיציה שעברה סינון דיאגרמת בלוקים פתרון נאיבי • כל פוזיציה מוגדרת ע"י: • הצבעים הנראים בה ממבט המצלמה • מטריצת מרחקים של כל הצבעים הנראים (סימטרית)

14. מציאת מרכזי מסה של צבעי הסמנים דגימה של כל גודל התמונה תמונה סינון פוזיציות עם הֶרְכֵּב -צבעים שונה מהדגום סינון פוזיציות עם מטריצת-מרחקים שונה מהדגום זהה פוזיציה שעברה סינון פתרון נאיבי - בעיות • תאורה משתנה← זיהוי צבעים בעייתי ← חישוב מרכזי-מסה בעייתי • המצלמה מבצעת איזון לבן אוטומטי ((AWB←כנ"ל • רעש ברחבי התמונה, הרבה רעש בשוליים ← חישוב מרכזי-מסה בעייתי • מטריצת המרחקים גדולה שלא לצורך – עבור 7 צבעים מטריצה 7x7 מכילה רק 21 מדידות שונות מתוך 49 האיברים במטריצה. כמו כן כנראה שמתוך 21 המדידות רק חלק נחוצות ← סיבוך העבודה

15. מציאת מרכזי מסה של צבעי הסמנים דגימה של כל גודל התמונה תמונה סינון פוזיציות עם הֶרְכֵּב -צבעים שונה מהדגום סינון פוזיציות עם מטריצת-מרחקים שונה מהדגום זהה פוזיציה שעברה סינון פתרון נאיבי - בעיות (המשך) • רזוליציית הדגימה - 384 x 288 פיקסלים ← עיבוד התמונה מתבצע על כל נקודה מבין 2,760,000 נקודות בקירוב ← עיבוד ארוך ← תגובה איטית יחסית • עבודה במקומות שונים - גובה מצלמה משתנה←מדידה לא עקבית של מרחקים • אמביוולנטיות - יתכן שיותר מפוזיציה אחת תתאים (כלומר תעבור את הסינון)

16. פתרון בעיית תאורה משתנהובעיית איזון-לבן-אוטומטי של המצלמה הצעות לפתרון • המרה מ- RGB ל- HSV השפעת עוצמת ההארה בחדר הוקטנה – עדיין קיימת! • בדיקת אפשרות של איזון הופכי למצלמה* הרעיון נגנז – דרוש מחקר נוסף ויידרשו סריקות נוספות על פני התמונה השפעה על ביצועים • ביצועי Gamma-Correction לתמונה המצולמת (כל הפיקסלים מועלים באותה החזקה, המעריך קרוב ל-1) שימושי במקרים מסוימים, במעבדה לא נזקקנו לתיקון. מפאת עלות הביצועים ניתן לנטרל את המסנן לחלוטין. • שימוש ברקע לבן לתמונה המצולמת פשוט, זול, עובד תמיד... http://www.betterdigitalonline.com/HTML%20Files/whitebalance.htmlhttp://www.pmdo.com/download/OV7620.pdf

17. פתרון בעיות רעש בתמונהבאופן כללי התמונה במישור HSVרועשת • חיתוך בסף של התמונה במרחב HSV  ניתן לבצע מס' חיתוכים-בסף על פי צבעי הסמנים – מחייב בחירה רובסטית של הצבעים וכן ניסוי וטעייה. בנוסף יידרשו כיולים. • קטימת מעט משולי התמונה, שנתגלו כרועשים במיוחד.  אזורי השוליים אינם בעלי חשיבות מכרעת – הרעש מחוסל עם שיפורבביצועים הצעות לפתרון

18. פתרון בעיית עקביות במדידת מרחקים הצעה לפתרון • נרמול כל המדידות ע"י פקטור הניתן לכיול בזמן אמת  במידה שמעוניינים לשנות את גובה המצלמה מספיק כיול בודד

19. 0 11 12 14 17 21 2611 0 13 15 18 22 2712 13 0 16 19 23 2814 15 16 0 20 24 2917 18 19 20 0 25 3021 22 23 24 25 0 3126 27 28 29 30 31 0 0 11 12 14 17 21 26110 13 15 18 22 2712 130 16 19 23 2814 15 160 20 24 2917 18 19 200 25 3021 22 23 24 250 3126 27 28 29 30 310 0 11 12 14 17 21 26110 13 15 18 22 2712130 16 19 23 2814 15 160 20 24 2917 1819200 25 3021 22 23 24250 3126 2728 2930 310 פתרון בעיית מטריצת המרחקים הצעה לפתרון בחירת המרחקים הנחוצים בלבד צמצמנו את מספר המרחקים הנשמרים והנבדקים מכ-49 לכ-6 או פחות, בהתאם לצורך. ישנן פוזיציות שלא זקוקות לכל 6 המרחקים כלל.

20. פתרון בעיית תגובה איטית (1) העיבוד המקדים מתרחש לכל פיקסל שנדגם חוק Amdahl מנחה אותנו להאיץ את הפעולות השכיחות: מועמד טוב לשיפור • האצת ההמרה המקורית*ל-:HSV חישוב בשלמים בלבד • מדידת FPS כל מס' שניות: אינדיקציה על תהליכי עיבוד "יקרים" • אפשרות לנטרול מראש של תהליכי עיבוד בלתי נחוצים • אפשרות לקטימת שוליים רחבים יותר(מעבר לנדרש לצורך סינון רעשים) * http://research.compaq.com/SRC/m3sources/html/color/src/Color.m3.html#ToHSV

21. פתרון בעיית תגובה איטית (2) הצעות לפתרון Down-Sampling • דילוג על כל פיקסל שני בכל אחד משני הצירים – מתקבלת דגימה קרטזית בצפיפות מרחבית נמוכה פי 4 • דילוג על כל אלכסון שני בתמונה – מתקבלת דגימה בשריג אלכסוני בצפיפות מרחבית נמוכה פי 2

22. Trade-Off? שיפור בביצועים ירידה ברובסטיות בזיהוי צבעים ומרכזים שתי הדרכים פשוטות למימוש! בחרנו בדרך הראשונה (דילוג על כל פיקסל שני בכל אחד משני מהצירים) פתרון בעיית תגובה איטית (3) מסתבר שהאלגוריתם לא סובל במיוחד מהירידה ברובסטיות,לעומת זאת השיפור בביצועים מורגש

23. פתרון בעיית ריבוי פוזיציות מתאימות תזכורת הבעיה מתעוררת רק עבור הפוזיציות שעברו סינון לפי הרכב-הצבעים והמרחקים ! הצעה לפתרון • הגדרת מדד להתאמה של פוזיציה; בחירה של זו הממקסמת את המדד המדד שנבחר הוא מינימום השגיאה המוחלטת: (ה-tolerances אינם משחקים כאן תפקיד)

24. מעבר מ RGBל HSV.אפשרות לתיקון gamma דגימה מדוללת- רבע מהנקודות תמונהעל רקע לבן קטימת שוליים וחיתוך בסף נרמול מרחק בין המצלמה לכפפה מציאת מרכזי מסה של צבעי הסמנים סינון פוזיציותעם וקטור-מרחקים שונה מהדגום,שימוש בtolerance סינון פוזיציות עםהֶרְכֵּב-צבעים שונה מהדגום. צבעים טובים/רעים זהה את כל הפוזיציות שעברו סינוןומתוכן את זו עםמינימום השגיאה דיאגרמת בלוקים סיכום הפתרון שנבחר

25. משחק-הדגמה תמצית הרעיון • נבנה משחק קטן של זיהוי פוזיציות • עד ליצירת המשחק מנוע הזיהוי הפיקתוצאות רק עבור המסך • כעת מנוע הזיהוי משמש כשרת עבור המשחק • המנוע יכול לשרת "לקוחות"נוספים

26. תוצאות • זיהוי מוצלח של 14 פוזיציות • הוכחת כדאיות של שימוש במראה • המע' לא נבדקה בפועל עם משתמשים נוספים, אך ניתן לכייל את המערכת לכל משתמש • זיהוי בזמן-אמת ובקצב מקסימלי במגבלות החומרה • קיים Trade-Off בין רגישות לבעיות תאורה לבין מס' הצבעים על הכפפה • יצרנו מעין סביבת עבודה עבור החומרה הנתונה, בה ניתן לעשות שימוש גם בעתיד

27. רעיונות להמשך... רעיונות להמשך/הרחבת הפרויקט • הכנסת אלמנט של למידה למערכת • זיהוי תנועה = התייחסות לזמני-מעבר בין פוזיציות, הוספת "זיכרון" לזיהוי • מעבר לחישוב של מרחקים יחסיים במקום המרחקים האבסולוטיים הקיימים ובמקום נרמול מרחקים. • החלפת פונקצית המרחק האוקלידי בפונקציה אחרת של נקודות - מאפשר עלייה לממדים גבוהים יותר של הקלט: -על מנת לשפר את הזיהוי -על מנת לתמוך בחילוץ נתונים נוספים מהתמונה • הוספת תיעוד בפורמט UML. כיצד ניתן להשתמש בעבודה שנעשתה ? • מסך וידאו – ממשק שימושי, בעיקר (ולא רק) אם מדובר ב-HSV. • התוכנה כולה יכולה לשמש לזיהוי/מעקב אחר עצמים צבעוניים, למשל: זיהוי קיום של עצמים בתמונה, התקרבות/התנגשות וכד'

28. ת ו ד ה ! לארי קובי ואורלי נהנינו...