חווית משתמש חכמה למערכות ניידות ביטחוניות

1. חווית משתמש חכמה למערכות ניידות ביטחוניות • ערן אהרונסון • מכללה האקדמית להנדסה אפקה בתל-אביב • ACMiX – Afeka Center Mobile Intelligent Experience

2. ACMiX – Afeka Center Mobile Intelligent Experience חלק ממכללת אפקה ניהול משותף של ערן אהרונסון וטליה פורת מרכז מחקר ופתוח ייחודי לדור הבא של מכשירים ניידים שילוב של יכולות טכנולוגיה ופתוח של מערכות ניידות חכמות ביחד עם ממשקים חכמים והתמקדות במשתמש

3. Mobile Intelligent Experience Human Decision making Cognition Emotions Desires … Small screen Movement input/output Applications … Intelligent Tech. NUI LBS Prediction … Mobile

4. נושאים • ממשק משתמש טבעי – NUI • קול, מגע, מחוות • אתגרים במערכות ניידות • אתגרים במערכות ביטחוניות • ממשק משתמש חכם

5. אבולוציה של סיבוכיות

6. זיהוי דיבור • טכנולוגית זיהוי קול (אלגוריתמים) • לא תלויה בדובר (HMM) • עובדת ברעש (רחוב, מכונית, מסיבה...) • תמיכה בשפות • ממשק משתמש • אינטגרציה • זמן חיים – מגבלות CPU • עלות – השפעה על חומרה

7. מנוע זיהוי דיבור - מבנה Acoustic Models Feature Extraction Confidence Measure Search Algorithm Speech Signal 1. /jh ao r jh/ 2. /d eh n ih s/ George (96%) Text to Phoneme Address Book 1. George 2. Dennis

8. זיהוי דיבור - מציאות

9. ממשק מגע התחיל ממסכי מגע ניידות – ממשק עט אייפון – הכל בנגיעה טאבלטים אנדרואיד ושובה של העט

10. מחוות (GESTURES)

11. תנועות עיניים ?

12. ניידות ומולטי-מודאליטי (NUI) • ריבוי ממשקים אנושיים • מקשים – חיוג, קלט (9T), ניווט • עט – ניווט, בחירה, קלט כתב יד • יד - מחוות • מיקרופון– דיבור, פיקוד, חיוג, הכתבה • רמקול – דיבור, מוזיקה, צלצולים, משוב • מסך – טקסט, תמונות • מצלמה– תמונות, שיחת ועידה, OCR, משחקים • תרחישים שונים לכל ממשק • תרחישים שונים לכל סביבה • פגישה, רחוב, מכונית, ידיים עמוסות ועוד • תמיכה טובה בטכנולוגיה האפשרית

13. עולם נייד שונה מ PC

14. העולם הצבאי שונה מהאזרחי

15. אתגרים בממשק משתמש • מסך קטן • פונט • הצגת מידע • לא רואים • היד מסתירה • שמאליים? • חספוס מול שקיפות • לא PC...

16. תכנון וביצוע (VKB כמשל)

17. ממשק קולי - לא כל-כך פשוט ... • דיבור: • לאן? • מתי? • אפשרויות • הנחיה קולית? • אינדיקציה? • איפה היד? • המון אופציות • איפה להתחיל?

18. ממשק קול - שלבים

19. ממשק קולי – חיוג מול שיחה?

20. ממשק קולי – לאן מדברים? • איפה המיקרופון?

21. ממשק קולי – מתי מדברים? • הודעה קולית • מכניס ל"אווירה" • הודעה כתובה • מצב הקלטה • אופציות • מה קורה ברעש?

22. מערכות צבאיות ניידות • מבוססות יותר ויותר על ציוד "אזרחי" • טלפונים חכמים • טאבלטים • ממשק מגע • זיהוי קול • OPEN SOURCE

23. IPAD קרבי

24. קשיים נוספים במערכות צבאיות ניידות דרישות עמידות התמקדות במשימה תנאי הפעלה / רעש עומס באינפורמציה / קוגניטיבי לבוש הלוחם / קסדה / כפפות סביבה – לילה / חום

25. זיהוי קול צבאי • רעש • רכב, מטוס • ירי • אנשים מסביב • שפה שונה • NINER לעומת NINE • קודים צבאיים • מיקרופון קרוב • נשימות • שינוי קול כפונקציה של G

26. מגע במערכות צבאיות משטח מגע לא נקי כפפות תנועות ברכב השתקפויות / שמש רגישות לשריטות הפעלה עיוורת

27. עומס משימתי הרבה נתונים שמירה על שקט ידיים תפוסות אזור תצוגה מוגבל מה להציג? מתי?

28. נגיעה אחת חכמה

29. Intuitive User Interfaces One Touch in action (Android)

30. סיכום ממשקים חכמים מגיעים גם למערכות צבאיות המשך טבעי של המגמה בשוק האזרחי תוספת של אתגרים נוספים רבים – שפה, רעש, תאורה, עומס ועוד פתרון כולל – חוכמה בממשק וחבור ל NUI

31. I now pronounce you Chuck & Larry