1 / 45

人機介面 : 課程簡介 Human Computer Interaction

人機介面 : 課程簡介 Human Computer Interaction. 開課 單位 : 政大資科系 授課 教師 : 廖文宏 whliao@gmail.com. 教學目標. 介紹人機介面最新技術，並將 藉由數項人機 互動 技術之原理簡介與 實作 演練 ， 強化 修課 同學之核心能力 。 四大教學模組： 人機互動基礎概念 以視覺 為 基礎的人機互動 實體運算互動系統 高階 嵌入式平台應 用. 課程模組. 模組 A ：人機互動基礎 概念 介紹人機互動與 使用者體驗的 基本概念 。 透過實際體驗 的方式，讓學生熟悉新型的人機 介面 。

scarlet-shaffer
Download Presentation

人機介面 : 課程簡介 Human Computer Interaction

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 人機介面: 課程簡介Human Computer Interaction 開課單位: 政大資科系 授課教師: 廖文宏 whliao@gmail.com

  2. 教學目標 • 介紹人機介面最新技術，並將藉由數項人機互動技術之原理簡介與實作演練，強化修課同學之核心能力。 • 四大教學模組： • 人機互動基礎概念 • 以視覺為基礎的人機互動 • 實體運算互動系統 • 高階嵌入式平台應用

  3. 課程模組 • 模組A：人機互動基礎概念 • 介紹人機互動與使用者體驗的基本概念。 • 透過實際體驗的方式，讓學生熟悉新型的人機介面。 • 介紹新型態的人機介面技術 • 模組B：以視覺為基礎的人機互動。 • 介紹基於電腦視覺技術的人機互動模式。 • 透過實作與應用展示，強化修習同學之基礎能力。 • 模組C：實體運算互動系統(Physical Computing) • 介紹實體運算的概念及互動裝置之應用。 • 透過Arduino平台，動手開發基於實體運算的互動裝置。 • 模組D：高階嵌入式平台應用 • 介紹高階嵌入式平台之應用。 • 選定Android系統，介紹其架構與開發工具，並藉由實作與展示提升修課同學之實務經驗。

  4. 模組A：人機互動基礎概念 • 教學目標:介紹人機互動與使用者體驗的基本概念，除回顧人機互動發展歷程與重要里程碑，及簡要說明人類的視覺與記憶系統外，更強調透過實際體驗的方式，讓學生熟悉新型的人機介面，如體感操控裝置、多點觸控、語音介面、手寫辨識、手勢辨識、視覺軌跡介面等，並以使用者角度評估這些介面的優缺點，以作為後續模組進行特定人機互動介面開發的基礎。

  5. 單元主題 • 人機互動概念簡介 • 人機互動發展歷程 • 視覺與記憶系統 • 各式人機介面探討

  6. 模組B：以視覺為基礎的人機互動 • 教學目標:介紹基於電腦視覺技術的人機互動模式，包含動作偵測、光流追蹤、人臉偵測、手勢辨識與視覺軌跡介面，除簡介其運作原理外，並透過實作與應用展示，強化修習同學之基礎能力。

  7. 單元主題 • 電腦視覺基礎概念 • OpenCV簡介 • 手勢辨識 • 視覺軌跡介面(eye tracking) • 基於Kinect+ OpenCV 之人機互動

  8. 模組C：實體運算互動系統 • 教學目標:介紹實體運算的概念及互動裝置之應用，除介紹感測裝置的基本原理，也將透過Arduino平台，搭配Processing語言，教導同學如何動手製作與開發基於實體運算的互動裝置。

  9. 單元主題 • 實體運算簡介 • 感測裝置 • Arduino平台簡介 • Processing 語言 • 專題製作與展示

  10. 模組D：高階嵌入式平台應用 • 教學目標:介紹高階嵌入式平台之應用，選定Android系統，介紹其架構與開發工具，以適地性服務(location-based service,LBS)與OSC協定為例，藉由實作與展示，提升修課同學之實務經驗。

  11. 單元主題 • 智慧型手機平台簡介 • Android 架構 • Android 平台應用程式開發 • 適地性服務 • OSC協定 • 專題製作與展示。

  12. 實習課程設計 • 1. 第一次接觸體感裝置 • 2. 自己做手寫辨識 • 3. 用OpenCV玩人機介面 • 4. OpenCV + Kinect於 人機介面應用 • 5. Arduino基礎應用 • 6. Arduino高階感測器應用 • 7. Android 初階入門 • 8. Android 人機介面的進階應用

  13. 課程實驗所需設備

  14. 實驗課程 • 模組A：人機互動基礎概念 • 人機互動發展歷程 • 視覺與記憶系統與各式人機介面探討 • 輔助實驗： • 1. 第一次接觸體感裝置 • 2. 自己做手寫辨識 • 模組B：以視覺為基礎的人機互動 • 電腦視覺基礎概念 • OpenCV簡介 • 人臉偵測與表情識別 • 手勢辨識與視覺軌跡介面 • 輔助實驗： • 3. 用OpenCV玩人機介面 • 4. OpenCV+ Kinect於 人機介面應用 • 模組D：高階嵌入式平台應用 • 智慧型手機平台簡介 • Android 架構 • Android 平台應用程式開發 • 專題製作與展示 • 輔助實驗： • 7. Android 初階入門 • 8. Android 人機介面的進階應用 • 模組C：實體運算互動系統 (Physical Computing) • 實體運算簡介 • 各種感測裝置 • Arduino平台簡介 • 專題製作與展示 • 輔助實驗： • 5. Arduino基礎應用 • 6. Arduino高階感測器應用

  15. 1. 第一次接觸體感裝置(一)

  16. 1. 第一次接觸體感裝置(二)

  17. 2. 自己做手寫辨識(一) Result :Ｘ Result :Array $1 Unistroke Recognition in JavaScript

  18. 2. 自己做手寫辨識(二) • Step 1: Resample the Point Path • Step 2: Rotate Once Based on the “Indicative Angle • Step 3: Scale and Translate • Step 4: Find the Optimal Angle for the Best Score

  19. 3. 用OpenCV 玩人機介面(一)

  20. 3. 用OpenCV 玩人機介面(二)

  21. 4. 基於OpenCV+ Kinect之人機介面(一) Powerful Sensor Powerful Library Diverse Application

  22. 4. 基於OpenCV+ Kinect之人機介面 (二)

  23. 5. Arduino基礎應用(一)

  24. 5. Arduino基礎應用(二)

  25. 6. Arduino高階感測器應用

  26. 7. Android 初階入門

  27. 8. Android 人機介面的進階應用 Interactive Interface Powerful Platform Fascinating Application

  28. 修課規定及須知 • 須有電腦程式語言基礎 (Java, C. C++) 。 • Arduino部分會用到一些簡單的電路接線。 • 評分以各實驗之作業與期末專題為主。 • 實驗份量頗重，上課時僅講解原理與重要步驟或流程，細節部分須於課後自行動手實作。 • 儀器設備請妥善保管。 • 若干開發平台由於版本變動頻繁，請務必確認平台之相容性。

  29. 關於未來人機介面的一些想像(一) • Microsoft in 2019 • 關鍵人機互動技術: 手寫辨識、機器翻譯、觸控介面、擴增實境、可撓式顯示裝置等。

  30. 關於未來人機介面的一些想像(二) • MicrosoftProductivity Future Vision • 關鍵人機互動技術:圖形與文字辨識、觸控螢幕、擴增實境、語音辨識、資料視覺化等。

  31. 關於未來人機介面的一些想像(三) • Nokia Future Vision • 關鍵人機互動技術:視線軌跡(gaze-based UI)、擴增實境、觸感介面(Haptic UI) 、3D音效

  32. 關於未來人機介面的一些想像(四) • Sixth SenseTechnology by PranavMistry :虛實整合的互動體驗 • 關鍵人機互動技術:手勢辨識( gesture recognition),物件追蹤與定位、微投影裝置、擴增實境

  33. 關於未來人機介面的一些想像(五) • A day made of class • 顯示技術

  34. 更多展示影片 • Gaze-based UI • Brain-computer interface • Pen-based UI • Multi-touch UI • Gesture-based UI • Tangible UI • Muscle-computer interface

  35. Gazed-based UI • VIPL video • 包含以下影片 • 以視覺軌跡為基礎的瀏覽器 • 能紀錄視覺焦點之相片瀏覽程式 • 互動式媒體 • 井字遊戲等。

  36.  Brain Computer Interface • BBCI Pinball Video • NeuroSkyMindSet

  37. Pen-based UI • Swype • $1 Gesture Recognizer  on Mobile Phone

  38. Multi-touch UI • Multi-touch table at NCCU • Microsoft Surface • Microsoft Surface 2.0 • Apple Multi-touch trackpad

  39. Gesture-based UI • Sign language: Sign Language Recognition • Body gesture: Microsoft Project Natal • Hand gesture: Toshiba Gesture Interface Demo

  40. Tangible UI • Multi-Display Map Touring with Tangible Widget • 故宮雍正展互動桌(一) • DEMO VIDEO 轉盤  • TUIC: Enabling Tangible Interaction on Capacitive Multi-touch Displays

  41. Muscle Computer Interface • Video Figure from UIST 2009 paper on Muscle-Computer Interfaces (wmv, 30MB) • Papers • Making Muscle-Computer Interfaces More PracticalT. Scott Saponas , Desney Tan , Dan Morris , Jim Turner and James A. Landay , Conference on Human Factors in Computing Systems, 2010. CHI Note (PDF) • Enhancing Input On and Above the Interactive Surface with Muscle SensingHrvojeBenko , T. Scott Saponas , Dan Morris and Desney Tan , ACM International Conference on Interactive Tabletops and Surfaces, 2009. Full Paper (PDF)

  42. 習題 • 請至網路上搜尋未來人機介面技術之相關資訊，並找出其中使用之關鍵技術。 • 思考問題: • 哪些技術目前已經達實用階段? • 哪些技術仍待開發或改善? • 技術的瓶頸何在?

  43. 參考資料 • Human-Computer Interaction Resources : HCI Bibliography • Interaction Design: Beyond Human-Computer Interaction, 3rd edition. • Designing the User Interface: Strategies for Effective Human-Computer Interaction, 5th Edition. • The Design of Everyday Things

  44. 相關研討會 • 詳細列表:請參閱http://hcibib.org/hci-sites/CONFERENCES.html • 重要會議: • ACMCHI(since 1983):SIGCHI Conference on Human Factors in Computing Systems • UIST (since 1986):User Interface Software Technology (Conference) • MobileHCI(since 1998): www.mobilehci.org/

  45. 國外大學相關課程 • U.C. Berkeley CS 160 • Stanford University CS 147 • Carnegie Mellon University HCI Institute Courses • University of Washington (Seattle) CSE 440

More Related