KFB - Gives eyes to the Blind

1. KFB - Gives eyes to the Blind מהנדסי פרוייקט: • גל דלל • צחי שימקין מנחה פרוייקט: • קובי כוחי טכניון, מכון טכנולוגי לישראל הפקולטה להנדסת חשמל

2. Quick Overview • פרויקט זה מציג את ה- KFB(Kinect For the Blind). מכשיר המתכונן ומיועד לסייע לעיוורים להליכה בחיי היומיום. • המוצר הינו standalone ומיועד כך שיזהה מכשולים על ידי סריקת תמונת עומקהמתקבלת ממכשיר הקינקט. • המכשיר נישא ע"י רצועה שמולבשת על אזור המותנים של המשתמש ובהפעלה קלה ופשוטה נותן לעיוור אינדיקציה לגבי כל 'מכשול' הנמצא מולו.

3. Why they need us • בישראל לבדה ישנם 23 אלף עיוורים המצטרפים לקהילה של מיליוני עיוורים ברחבי העולם. • יש דרישה וצורך הולכים וגוברים ליצירת פתרונות טכנולוגיים אשר ייתנו מענה לצורך של עיוור לנווט את דרכו באופן עצמאי בסביבה לא מוכרת. • הפתרונות הקיימים היום בשוק אינם מספקיםצורך זה במלואו.

4. Project Objectives • תכנן מוצר אוטונומי (standalone) אשר יוכל להכווין אדם עיוור במהלך הליכה הן בתוך מבנים והן ברחוב. • בנית המוצר כך שיהיה זול, קל לנשיאה (אינו מצריך אחיזה ממושכת ביד) ופשוט לתפעול עצמאי. • בניית אלגוריתמים רובוסטים אשר יהיו יעילים מספיק ובעלי מהימנות מספקת לתת למשתמש את תחושת הביטחון הנדרשת במוצר.

5. Similar Projects נעשו מספר פרויקטים קודמים שמטרתם לסייע לעיוורים: • 2 מצלמות RGBכחיישנים + חגורת רטט הצלבת מידע בין 2 מצלמות לקבלת מימד עומק והכוונת העיוור בעזרת חגורת רטט הממוקמת באזור המותניים. • Eadept – רישות רחובות מבוסס GPS מיפוי הרחובות וניווט בעזרת התקן GPS • מצלמת קינקט כחיישן + מחשב + חגורת מנועי רטט • חיישני סונר מחוברים למיקרו-בקר + מחשב כף יד + חגורת רטט

6. Device Components Overview • מצלמת קינקט + ספק כוח הקינקט מורכב ממקרן אינפרא אדום ושני חיישני CMOS בקצב 30 הרץ– הראשון מקלט להחזר ה-IR u והשני מתפקד כמצלמת RGB. בנוסף קיים מערך מיקרופונים בקצב דגימה של 16 קילוהרץ.מכשיר הקינקט מוגבל בזווית הפתיחה (57 מעלות לרוחב, 43 לגובה) ובטווח העצמים אשר את מרחקם הוא יכול לחזות במדוייק • מחשב נייד pc2 מותקן מערכת הפעלה windows. דור חדש זה של מחשבים הושק לראשונה בשנת 2007 ומיוצר ע"י חברת CompuLab הישראלית. • מכשיר smartphone מותקן מערכת הפעלה android. מכשיר האנדרואיד תפקידו לשמש ככוח העיבוד המרכזי, לב המערכת. • אוזניות

7. So how does it work ?

8. So how does it work ? Data transfer: Kinect to PC2 Raw Data Running client application Captures image

9. So how does it work ? Client application Input: Process raw data, generate depth matrix Run navigation algorithms Generate strings from algorithm results raw data

10. So how does it work ? Data transfer: PC2 to Android machine String output Client application Server application

11. So how does it work ? Server Application Input: Process string Determine instruction according to string Generate sound instructions string

12. So how does it work ? Data transfer: Android Machine to Ears Sound output Generate guiding instructions from string Play sound to user

13. So how does it work ? Full Path

14. The System’s Heart – Navigation Algorithms • בבסיסה של המערכת עומדים אלגוריתמי הנווט. • אלגוריתמים אלו מקבלים מידע גולמי של תמונת העומק של הסביבה הקרובה למשתמש. מטרתם, ע"י ניתוחים אלגוריתמים מתימטיים, היא לעבד מידע זה ולשלוח סיגנלים שניתן לייצר מהם הנחיות תנועה. • ככל שהאלגוריתמים יהיו טובים יותר כך המערכת תהיה מהימנה יותר ושימושית יותר • במסגרת הפרוייקט הראשון תכננו את האלגוריתמים הבאים:

15. Navigation by Shortest Distance – Stereo Beeps • מחלק את המטריצה לשני חלקים • באופן מקבילי מחשב את הערך המינימלי של כל חלק • מייצר לכל אוזן אות שמע נפרד ובלתי תלוי באוזן השניה • ההכוונה נעשת בעזרת צפצוף • הערך המועבר קובע את עוצמת הצפצוף ותדירותו

16. Hallway Navigation • מחלק את המטריצה לשלושה חלקים • באופן מקבילי מחשב את הערך הממוצע של כל חלק • מכווין את המשתמש ללכת לכוון המרחק הגדול ביותר • ההכוונה נעשת ע"י פקודות קוליות.

17. Android GUI • ממשק אפליקציית ה-server על מכשיר האנדרואיד:

18. Summary 1 • בפרוייקט זה הצגנו אבטיפוס המשלב מספר אלמנטים לכדי מוצר אינטגרלי לצרכי ניווט עיוורים שהינו בעל פוטנציאל לעמוד בדרישות השוק. • יתרונותיו של המוצר הסופי הינם שהוא נייד, קל יחסית לנשיאה, פשוט לתפעול וזול יחסית לחלופות שלו. האלמנטים המשולבים במוצר: מצלמת קינקט, מחשב pc2, מכשיר אנדרואיד ואוזניות הינם מוצרים נפוצים בבתים רבים וזמינים לקניה בשוק הרחב במחירים סבירים.

19. Summary 2 – What did we learn? • במהלך הפרוייקט התנסינו בעבודה עם סביבות טכנולוגיה חדשות: • OpenNIfor Kinect • התנסות עם פונקציות mex בסביבת matlab אשר נכתבו תחת פרוייקט ה open NI. (לאחר שאופציה זו נלמדה ונבחנה, הוחלט לעבור לעבודה עם סביבת פיתוח אחרת) Java Development: • למידת הסיפריות של openNI עבור Java וכתיבת אפליקציה אשר קוראת את המידע הגולמי מה-Kinect וממירה אותו למטריצת עומק שנוח לעבוד איתה. • למידת סיפריות ה TCP-IPעבור Java וכתיבת מודול תקשורת בין אפליקצית Java על מחשב ברשת לבין Smartphoneבסביבת אנדרואיד. החיבוריות בין הsmartphone למחשב יכולה להתבצע גם דרך רשת אלחוטית. • למידת סביבת הפיתוח של Android ויצירת אפליקציה Multi-threaded במכשיר ה-Android אשר גם מעבירה אודיו למשתמש

20. Future Development • בניית אלגוריתמים חזקים יותר המסוגלים לבצע עיבוד מתקדם של המידע המתקבל ממצלמת הקינקט ולהעביר יותר אינפורמציה למשתמש. • עיבוד מידע תוך שימוש בערוצי מידע נוספים מתוך מצלמת הקינקט: עיבוד תמונות צבע ועיבוד קול. כמו כן אפשרות לשימוש בחיישני התנועה המתוחכמים במכשירי הAndroid וזיהוי פקודות קוליות במכשיר • בחינת ומימוש צורת העברת האינפורמציה האידיאלית למשתמש. בחינה של דרכי העברת אינפורמציה נוספות פרט לאוזניות. • בחינת האפשרות לחיבור מצלמת הקינקט ישירות לsmartphone תוך הוצאת מחשב ה pc2 מהמערכת. תהליך זה יתאפשר כאשר יתוכנתו דרייברים מתאימים.

21. Questions?