1 / 22

פיתוח טכנולוגיות בסיס לדור הבא של יישומי וידאו בתלת-מימד

פיתוח טכנולוגיות בסיס לדור הבא של יישומי וידאו בתלת-מימד. עומק. רקע. מקורות וידאו וחיישנים שונים המאפשרים קבלת מידע תלת-מימדי הופכים לזמינים בכל תחום של חיינו הצורך להבין את הסצינה בצורה אוטומטית הולך וגובר, במגוון תחומים

mandy
Download Presentation

פיתוח טכנולוגיות בסיס לדור הבא של יישומי וידאו בתלת-מימד

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. פיתוח טכנולוגיות בסיס לדור הבא שליישומי וידאו בתלת-מימד עומק

  2. רקע • מקורות וידאו וחיישנים שונים המאפשרים קבלת מידע תלת-מימדי הופכים לזמינים בכל תחום של חיינו • הצורך להבין את הסצינה בצורה אוטומטית הולך וגובר, במגוון תחומים • עלות החיישנים ויכולות החישוב דלות הספק נהיו זולות וזמינות – פותח תחומים ושווקים חדשים לטכנולוגיה • נדרש לפתח יכולות לניתוח והבנה של ממד העומק

  3. פוטנציאל עסקי מקיף • תעבורה • חקלאות • אבטחה • רפואה (דימות, טיפולית) • מידע עסקי מבוסס וידאו • ביטחוני • תפעול • רובוטיקה וכלים בלתי מאויישים • פנאי (משחקים, ספורט)

  4. ישראל – יתרון יחסי • למדינת ישראל ידע ויכולות מתקדמות בתחום התלת-מימד(למשל PrimeSense, 3DV, Inuitive, Omek, Magna, Cognitens) • האקדמיה בישראל נמצאת בחזית המחקר העולמי בתחום • חברות וגופי מחקר רבים ברחבי העולם משקיעים רבות ומתקדמים בתחום בצעדי ענק (למשל Perceptual Computingשל אינטל, קינקט של מיקרוסופט, מחקרים במכונים ואקדמיה, ועוד)

  5. החזון פיתוח יכולות ראיה ממוחשבת להפקת תובנות ממידע עומק של הסצנה המרחבית והעצמים בה, תוך שימוש בסנסורים קיימים.

  6. יעדי המאגד • פיתוח יכולות הבנת סצנה והאובייקטים הכלולים בה תוך שימוש במידע עומק במערכות מבוססות וידאו. • שיפור ביכולת ניתוח התנהגויות מורכבות של אובייקטים • הפקת מידע עומק, בנוסף למידע חזותי, במערכות ווידאו קיימות.

  7. היזמים במאגד פרופ' אהוד ריבלין

  8. פוטנציאל מגוון נוסף למאגד חקלאות NUI חברות נוספות במגוון תחומים: חברות שכבר הביעו ענין: • פוטנציאל למאגד בינוני-גדול שמקיף חברות רבות

  9. תרומת האקדמיה • לאקדמיה בארץ בכורה עולמית בנושאי ראייה ממוחשבת ולמידה חישובית. • המוסדות האקדמיים יתרמו תשתית מתמטית ואלגוריתמית ואבני בנין בסיסיות שבעזרתן תוכלנה החברות התעשייתיות לפתח פתרונות. • טכניון, פרופ' ריבלין – חילוץ תלת מימדמוידיאו, ניתוח התנהגות • מכון ויצמן, פרופ' בצרי - אלגוריתמים לשחזור תלת-מימדי ולזיהוי חלקי-עצם סמנטיים בוידאו • IDC, פרופ' הל-אור – ניתוח התנהגות, indexing • אוניברסיטת חיפה, פרופ' שמשוני – שחזור תלת-מימד עמיד, אחזור מידע תלת מימדי • האוניברסיטה העברית, פרופ' וינשל - ניתוח רגשות מהבעות פנים ומחוות גוף gestures)) ע"ס וידאו או תמונות של מצלמות תלת מימדיות

  10. פערים טכנולוגיים ונושאי מו"פ למאגד • זיהוי ומיפוי עומק בסצנה בתנאים שונים: פנים/חוץ, רמות תאורה שונות, טווחים שונים, סביבה קשיחה / דינמית / צפופה • תיוג ואחזור ווידאו הכולל מידע עומק • היתוך מידע D3 ו- D2 • הוספת סמנטיקה לוידאו / מודלים D3 • סיווג אובייקטים, מתארים מבוססי עומק, מתארים המשלבים עומק וצבע • מיפוי מרחב ע"י חיישנים שונים מזוויות שונות, טיפול בבעיות הנובעות מחפיפה • עקיבה ומיקום אובייקטים במרחב • ניתוח התנהגות ברמות גירעון שונות: מתנועת אצבעות ועד להתנהגות של קבוצת אנשים

  11. יישומים אפשריים לתוצרי מאגד - ורינט • בתחום המודיעין העסקי, שואפת ורינט לספק מידע מקיף על תנועת הלקוחות והתנהגותם במתחם כולו. נשתמש במידע עומק בנוסף לצבע לצורך הבנת הרקע, הפרדה בין אנשים לרקע, העקיבה בתוך מצלמה ובין מצלמות ומיקום הלקוחות במתחם • בתהליך ניתוח תורים אנו נתקלים בצפיפות, הסתרות חלקיות והתנהגות מסובכת. מידע עומק, בנוסף לצבע, יקל על הפרדה בין אנשים ובין אנשים לאובייקטים אחרים • ניתוח התנהגות: • ניטור תנועות של עובדי קופה – מניעת גניבות • ניטור תנועות ידיים בכספומט – ATM Tampering • ניתוח התנהגות חשודה במערכות Safe City

  12. יישומים אפשריים לתוצרי מאגד - רפאל • לשימוש במידע תלת מימד תרומה חשובה ביישומי התמצאות, מיפוי, ניווט, והבנת סצנה • בעולם הביטחוני יש צורך לספק מידע זה באופן עדכני ובזמן אמת, וכן למצוא גישות יעילות למצות ממנו תובנות • נושאי עניין: • שחזור תלת מימד מוידיאו בזמן אמת • שחזור מבנה של עצמים נעים גם כשהמצלמה בתנועה • היתוך מידע 3D לעדכון ושיפור מודלים • שחזור תלת מימד מחיישנים אקטיביים • שחזור מידע תלת מימדי מוידיאו indoor(למשל לטובת ניווט ללא GPS)

  13. יישומים אפשריים לתוצרי מאגד - HTS • מידע תלת ממדי מאפשר הבנת צורת אובייקט באופן מדויק וחיוני לצורך סיווג אמין של רכבים. סיווג יצרן ומודל הרכב שימושי מאוד למגוון יישומים רחב כגון התרעה על רכבים גנובים, מידע פרסומי ועסקי, כלי חיפוש יעיל עבור משטרות ועוד. • עבור יישומים של נמלים כגון זיהוי ומעקב אחר מכולות, היכולת לזהות את מיקום המכולה במרחב התלת ממדי (כאשר הוא נישא מהמנוף לספינה ולהפך) מאפשרת צילום ופיענוח מדויקים יותר של פרטי המכולה.

  14. מחקרים אפשריים במסגרת המאגד - ורינט • מודל רקע משולב עומק ומידע חזותי • הצורך: הבנת מבנה הזירה (רצפה, הסתרות אפשריות), מיקוד קשב • הפער: מודל רקע מבוסס מידע חזותי בלבד אינו מאפשר הבנה של מבנה הזירה ואינו מאפשר לבודד חפצים בעלי צבע דומה אך מרחק שונה • מתארים מבוססי עומק ומידע נוסף לסווג אובייקטים והעברה בין מצלמות • הצורך: סיווג אובייקטים שאינם קשיחים, בפרט אנשים • הפער: אלגוריתמים המשתמשים במתארים מבוססי מידע חזותי בלבד מגיעים לאחוזי סיווג נמוכים ברבים ממאגרי הנתונים הציבוריים ומושפעים מאד מהרקע • השגת מידע עומק בזווית רחבה (כמעט fisheye) • הצורך:חסכון במספר המצלמות ובצורך להעביר מידע ביניהן • הפער: לא קיימות מצלמות עומק מסחריות לזווית רחבה,

  15. מחקרים אפשריים במסגרת המאגד -ורינט • ניתוח התנהגות ברזולוציה גבוהה (ידיים) ונמוכה יותר (גוף מלא) • הצורך: זיהוי התנהגויות בכלל והתנהגויות חריגות בפרט • הפער: מודלים לניתוח התנהגות מתאפיינים בעלות חישוב גבוהה. שימוש במידע עומק קיים ואף במודלים משוחזרים ממידע כזה מאפשר הקלה משמעותית בעומס החישוב. • קריאת עומק באזורי חפיפה בין מצלמות עומק אקטיביות • הצורך: כיסוי שטח • הפער: מצלמות אקטיביות מאירות את הזירה ומניחות ידע על האור הנקלט. בכך הן מפריעות זו לזו בקריאת העומק באזורי החפיפה. • עומק בתנאי תאורה משתנים • הצורך: מצלמות פנים המושפעות מאד מתנאי חוץ (למשל מצלמה מול דלתות חוץ) • הפער: התמודדות עם איכות משתנה של קריאת עומק

  16. מחקרים אפשריים במסגרת המאגד - רפאל • שחזור תלת מימד מוידיאו בזמן אמת • הצורך: במערכות המשמשות לניתוח ולקבלת החלטות יש צורך בהפקת נתונים ובשחזור זמן אמת. • הפער: האלגוריתמיקה הנדרשת ליצירת תלת מימד הינה עתירה בחישובים, תוצאה מכך שחזור תלת מימד מתבצע באופליין ודורש מחשבים עוצמתיים במיוחד. • תחום פעילות: יצור נתוני תלת מימד • שחזור מבנה של עצמים נעים (קשיחים/לא קשיחים) גם כשהמצלמה בתנועה • הצורך:השימוש כיום בפלטפורמות צילום ניידות הופך לזמין יותר ויותר (טלפונים ניידים, רחפנים, רובוטים, רכבים אוטונומיים,..). פלטפורמות אלו מספקות וידיאו המופק תוך כדי תנועת הפלטפורמה. • פער: הגישה המקובלת לשחזור תלת מימד מניחה את אחת מהאפשרויות הבאות:  שהעצמים סטטיים והמצלמה בתנועה או שהעצם בתנועה והמצלמה סטטית (אך לא ששני הדברים קורים בו זמנית). • תחום פעילות: יצור נתוני תלת מימד

  17. מחקרים אפשריים במסגרת המאגד - רפאל • היתוך מידע D3 לעדכון ושיפור מודלים D3 • הצורך: במקרים רבים קיים כבר מידע תלת מימדי עבור סצנה נתונה, אך לא כולו עדכני ויש צורך לעדכן חלקים ממנו. • הפער: היכולת להבין אילו חלקים במודל השתנו והיכולת להתך אותם בצורה מדוייקת עם המידע התלת-ממדי העדכני. • תחום פעילות: יצור נתוני תלת מימד + קבלת נתוני תלת מימד כבסיס • שימוש במידע תלת מימדי indoor  מוידיאו או מחיישנים אקטיביים (למשל לטובת ניווט ללא GPS) • הצורך:בתרחישי indoor כאשר נדרשת התמצאות, לא ניתן לעשות שימוש ב-GPS, במקרים כאלו ניתן להשתמש במידע תלת מימדי לטובת התמצאות וניווט. • הפער: היכולת להפיק ולפענח את המידע התלת-מימדי במהירות וביעילות בצורה שתאפשר התמצאות בתרחישי indoor. • תחום פעילות: יצור נתוני תלת מימד + קבלת נתוני תלת מימד כבסיס

  18. מחקרים אפשריים במסגרת המאגד - HTS • הפקת מודל תלת ממדי של רכב לצורך סיווג • הצורך:זיהוי סוגי רכבים • הפער:כיום ניתן לזהות באופן חלקי בלבד עפ"י סמל לוגו. שיטה זו מושפעת מאוד מתנאי תאורה וזויות צילום. מידע תלת מימדי של צורת הרכב ישפר משמעותית את אמינות הזיהוי ויאפשר חיתוך של מידע זה עם מידע חזותי. • ניתוח תנועה של רכבים לצורך התרעה על אירועים (מהירות, עומס, תאונות ועוד) • הצורך:שיפור יכולות ניטור ובטיחות • הפער:הבנת מיקום וצורת הרכב והפרדתו מרכבים אחרים ע"י צילום דו ממדי מוגבלת בעיקר בשל הקושי להפריד בין הרכב לבין הצל שהוא יוצר על הכביש או צל שנוצר ע"י רכבים בנתיב סמוך.

  19. מחקרים אפשריים במסגרת המאגד - HTS • איכון מדויק ועקיבה אחר עצמים באוויר, בזמן אמת ובמרחב של עשרות מטרים (מכולות בנמל) • הצורך:זיהוי מיקום ואוריינטציה של מכולות • הפער:דו- מימד אינו מאפשר לקבל ממד עומק החיוני לאיכון מדוייק של המכולה באוויר בזמן אמת.

  20. קווים משותפים למחקר • קווים / מחקרים משותפים לחברות: • יצירת עומק ממידע וידאו בסביבה מרובת מצלמות • שחזור מבנה תלת ממדי מתוך מספר מבטים ו/או מידע עומק ממצלמות אקטיביות • מתארים (descriptors) מבוססי עומק • הבנת מיקום תלת ממדי של אובייקטים סטטיים ונעים • שחזור מבנה תלת ממדי של אובייקטים נעים • הפקת צורה תלת ממדית של עצמים

  21. סיכום • תחום רחב ועמוק, בעל פוטנציאל עסקי עולמי רב • מגוון רחב של חברות ושל ישומים • מובילות עולמית ישראלית – שימור ושיפור

  22. תודה

More Related