人机自然交互技术

1. 人机自然交互技术

2. 提纲 • 人机交互概述 • 定义，内涵与外延 • 研究内容 • 历史、现状 • 人机自然交互技术 • 我的工作

3. HCI是什么？ • 用户：我又错了？ • 用户必须不断地适应计算机，而不是相反！

4. 人机交互 • 定义（ACM, 1992） • Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them. • 一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科

5. HCI简化模型 显示信息 控制信息

6. HCI 目标 • 使得用户在完成任务时，能够达到 • 安全性(Safely) • 有效性(effectively) • 高效率(Efficiently) • 愉悦感(Enjoyably) • 高可用性(Usability)

7. 高可用性(Usability) • 易于学习如何使用 • Ease of learning，free of training • 用户可高速执行任务 • High speed of user task performance • 低的用户错误率 • Low user error rate • 用户的主观满意度 • Subjective user satisfaction • 对用户持久的吸引力 • User retention over time

8. HCI主要研究内容(ACM 1992)

9. HCI研究内容 • N 人机交互的本质 • N1 人机交互(元-)模型 • U 计算机的应用及情景 • U1 人类社会组织和工作 • U2 应用领域 • U3 人机适应(Fit and Adaptation) • H 人类特征 • H1 人类信息处理 • H2 语言，通信与交互 • H3 工效学(Ergonomics )

10. HCI研究内容(续) • C 计算机系统和界面构建 • C1 输入和输出设备 • C2 对话技术 • C3 对话风格Genre • C4 计算机图形学 • C5 对话架构(Architecture) • D 开发过程 • D1 设计方法 • D2 实施技术 • D3 评估技巧 • D4 实例系统和案例研究 • P 项目展示和测试

11. 面向文档的应用 文字处理，文档格式化，插图，电子表格，超文本 面向通信的应用 email, 视频会议,电话/声音信息系统 设计开发环境类 开发环境，CAD/CAM 在线帮助和指南 多媒体信息亭 连续控制系统 过程控制系统，虚拟现实系统，仿真器，座舱，视频游戏 嵌入式系统 复印机，电梯，消费电子，家用电器(TVs, VCRs, 微波炉.) U2 HCI应用领域

12. U3 人机适应 • 实现人机适应的可变化技术手段 • 自适应系统的本质，适应冗余系统的错误本质，用户对例程改进的经验发现，成功系统的关键点 • 系统选择：系统采用理论 • 系统适应：定制与裁剪技术 • 用户选择：用户和系统特性的兼容性 • 用户适应：易学习，训练方法（在线指南），与系统设计的关系 • 用户指导：帮助技术，文档，错误处理技术

13. H1 人类信息处理 • 认知机理模型 • 符号主义，连接主义，工程模型 • 诸多认知过程的现象和理论 • 记忆，知觉，运动技巧，注意和警惕，问题求解，学习和技巧获得，动机等 • 用户的概念模型 • 用户行为模型 • 人类的多样性（包括残障人士）

14. C1输入和输出设备 • 输入设备 • 特定设备的结构，性能特性，残障人专用设备，手写，手势，语音输入，眼动跟踪，其他设备（如脑电扫描设备，3D扫描仪，其他测量生物信号的设备） • 输出设备 • 特定设备的结构，向量式设备，光栅设备，帧缓存，图像存储，事件处理，残障人专用设备，声音和语音输出，3D显示器，运动等等 • 输入输出设备特性 • 重量，便携性，带宽，感觉模态 • 虚拟显示设备

15. C2 对话技术 • 对话输入 • 输入目的类型(如选择，具体参数指定，连续控制） • 输入技术 • 键盘技术 (e.g, commands, menus) • 基于鼠标的技术 (e.g., 选择) • 基于pen的技术(e.g., 字符识别，手势等) • 基于语音的技术 • 对话输出 • 输出目的 • 如：传达精确信息，信息摘要，过程展示，信息可视化 • 输出技术 • 滚动条显示，窗口，动画，鱼眼显示，画中画等 • 屏幕布局问题 • 焦点，杂乱，视觉逻辑

16. C2 对话技术(续) • 对话交互技术 • 对话种类和技术 • 文字技术，表格填充，菜单选择，图标和直接操作，自然语言等 • 对话中的导航和指向，错误管理 • 多媒体和非图形对话 • 语音输入/输出，语音信箱，视频信箱，主动文档，视频磁盘 • 智能代理，AI • 多人对话

17. HCI简史 D4 实例系统和案例研究

18. Why History? • 读史使人明智 • 理解我们从哪里走过来的，有助于指明我们继续前进的方向！Understanding where you’ve come from can help a lot in figuring out where you’re going. • 领域知识意味着对其历史的准确评价！Knowledge of an area implies an appreciation of its history.

19. HCI范式(Paradigms) • 里程碑式的理论框架或科学世界观 • 如物理学上的亚里士多德时代、牛顿时代、爱因斯坦时代 • 对HCI历史的理解，可以通过对计算机应用范式变迁的认识来完成 • HCI的历史，基本上就是计算机发展的历史！

20. 计算机的诞生 • 回溯 • 数字计算机的概念在18世纪提出 • 在20世纪40年代技术上称为现实 • 早期模拟计算机 • 1943年1月: Mark I，自动顺序控制计算机在美国研制成功，被用来为美国海军计算弹道火力表 • 1943年12月: Alan Turing参与设计制造的最早的可编程计算机Colossus在英国推出，目的是为了破译德国的密码，每秒能翻译大约5000个字符

21. ENIAC，1946 • 开始研制于1943年，完成于1946年2月15日 • Electronic Numerical Integrator And Computer电子数字积分计算机——第一台真正意义上的数字电子计算机 • 占地面积170平方米，30个操作台，约相当于10间普通房间的大小，重达30吨，耗电量150千瓦，造价48万美 元。它使用18000个电子管，70000个电阻，10000个电容，1500个继电器，6000多个开关 • 每秒执行5000次加法或400次乘法，是继电器计算机的1000倍、手工计算的20万倍 • 负责人是John W. Mauchly和J. Presper Eckert

22. ENIAC • 用途：计算弹道和氢弹的研制。

23. P1: V.Bush & Memex 1945 • 促成了美国NSF, ARPA等的创立 • “As We May Think”– 1945年 • Memex device理论模型/概念 • 能够存储所有记录、文章和通信 • 内存巨大 • 按索引, 关键词, 相互参照获取信息 • 相互连接管理(提出的概念非常类似于Hypertext)

24. Memex 1945

25. P2: J.R. Licklider • 心理学家计算机科学家 • 1960年, 发表了 “人机共生”(“man-computer symbiosis”)的论文 • 计算机如何更好的帮助人做事情 • 1962年，J.C.R.Licklider和W.Clark发表论文《On－Line Man Computer Communication》，讨论分布式社交行为的全球网络概念 • Batch processing  time-sharing • Internet 先驱人物之一

26. P3: I.Sutherland & SketchPad 1963 • SketchPad “编程”系统 • 信息论先驱Shannon的学生 • 1963 PhD thesis at MIT • 1988 Turing Award • 可以通过使用手持物体（如光笔）直接在显示屏幕上创建图形图像。可视的图样随即被存入计算机内存，它们可以被重新调用，并同其他数据一样可以进行后期的处理。 • CAD先驱，后期致力于设计头盔式3D显示器（1967年开始）

27. P3: Ivan Sutherland • Sketchpad是第一个可以在显示屏幕上直接构造图形图像的系统，不用再通过键盘向计算机输入代码和公式 • 更具革命性的是，它考虑到了在显示屏幕上作某些改动后，存储在计算机中的信息可以被改变和更新。 • Sketchpad开创了计算机辅助设计的一个新领域，即我们所熟知的CAD

28. 新的范式：Video Display Units • 视频显示部件VDU • Sutherland’s Sketchpad是里程碑式的系统 • 计算机从此可以用于信息可视化和数据操作 • 之前：主要用于数据计算

29. P4: Douglas Engelbart • 道格拉斯·恩格尔巴特——“人机交互” 大师 • 因发明鼠标而闻名，鼠标最初的名字：显示系统的X-Y位置指示器（1963~1965）

30. P4: Douglas Engelbart • 鼠标器只不过是他所有成果中的一个小发明。但他提出的那些气魄辉宏的计算机理论却远远不及他发明的鼠标器广为世人所知晓 • 发明涉及视窗、文字处理系统、在线呼叫集成系统、共享屏幕的远程会议、超媒体、电脑交互输入设备、群件，层次超文本, 多媒体, 鼠标 • 20世纪60年代初，他就发表了一篇题为《放大人类智力》(Augmenting the Human Intellect)的文章，提出了把计算机作为人类智慧放大器的观点 • 1997年，ACM图灵奖

31. P5: Alan Kay • 最早的图形用户界面(GUI)电脑Alto • 在施乐PARC，与同事构建了Alto,成为Macintosh和Windows的先驱 • 2003年度图灵奖得主(for OOP) • 发明了“Object Oriented”这个术语，第一个完全面向对象的动态计算机程序设计语言Smalltalk的发明者 • Smalltalk源自Alan Kay “使用一组独立的互相通信的对象来解决问题”的思想，它可以说是目前主流语言C++，Java和C#的前身。 • 1972年，他来到施乐PARC，开始将Smalltalk作为一种儿童教育工具

32. P5: Alan Kay • 个人计算之父 • 1968年，提出Dynabook设想 • “Notebook sized computer loaded with multimedia and can store everything” • 将是一款如同书籍般，既为可携式且具互动功能的多媒体个人式电脑，它的主要规格如下：1.  大小如A4纸张之易携带；    2.  显示器的解析度必须优于报纸文字；    3.  必须具有声音输入的功能且易操作；    4.  必须能够网路化和作无线通讯    

33. 新的范式：个人计算 • 因易于使用而更强大 • 小而强大的计算机器为个人用户而做 • 互联和分时的重要性 • 先驱者 • Kay’s Dynabook，1968年 • IBM PC，1970年代 • 文本和命令方式

34. 具有GUI的PC • Xerox PARC - mid 1970’s • Alto • Bravo WYSIWYG 文本编辑. • BravoX Microsoft Word的祖先. • Laurel 电子邮件. • Neptune 磁盘文件管理. • Press 文件打印. • Sil 画图程序.

35. Xerox Star - 1981 • 第一台为商务应用设计的商用PC • 具有了桌面电脑的主要特征 • Pointing, WYSIWYG, high degree of consistency and simplicity • 采用了可用性工程方法 • 有原型设计和分析 • 好用性测试，迭代式的改进

36. Xerox Star • 天才的概念，商业失败 • $15k cost • Closed architecture • Lacking key functionality

37. 1981 IBM PC • 1981年8月12日，IBM正式发布了历史上第一台PC，从此人类就进入了个人电脑时代！IBM PC改变了我们的生活和工作方式 • IBM PC之父：埃斯特利奇，13人小组

38. Apple Lisa - 1982 • Based on ideas of Star • 更加个人化，而不全是办公工具 • LisaWrite: 字处理 • LisaCalc: 表格 • LisaGraph: 图形 • LisaList: 规划管理工具 • LisaProject: 项目计划 • LisaDraw: 绘图程序 • LisaTerminal: 现代通信软件 • 失败

39. Apple Macintosh - 1984 • 并非先驱，但非常聪明的拷贝 • Not trailblazer, smart copier • 优点 • Aggressive pricing - $2500 • 界面友好 • 支持第三方应用 • 高质量图像和激光打印 • 高质量的应用系统，MacWrite、MacDraw • 新的应用：Pagemaker，Word， Excel

40. 新的HCI范式：WIMP • Windows, Icons, Menus, Pointers • 并行操作 • Can do several things simultaneously • 图形用户界面 • 实例 • Xerox Alto, Star; early Apples

41. P6: Ben Shneiderman • Dr. Shneiderman 的著作有《软件心理学：计算机和信息系统中的人类要素》，1980 • 发明了直接操作DM (Direct Manipulation)概念 • 在1983年首次设计了选中条目点击转到另一页的方法 • 创立并任马里兰大学HCI实验室主任

42. 新的范式：直接操作Direct Manipulation • 直接操作的特点 • 对象可见 • 渐进动作和快速反馈 • 可逆性鼓励探索 • 使用动作代替语言 • 对动作进行句法修正 • WYSIWYG—What You See Is What You Get.

43. P7: Donald A. Norman • 20世纪60年代他就是一流的认知心理学家，是认知科学的开拓者之一，发展了HCI应用科学，涉及到认知学、工程和设计，在HCI方面做出了大量创造性的成就，提出的“以人为中心的设计”概念。 • “Design of Everyday Things” • 已成了设计人员的必备，以人为本，可用性、易用性，还有情感影响，新的理念指导着很多的设计 • 《Emotional Design: Why we love (or hate) everyday things》情感化设计 • 强调情感在产品设计中的重要作用

44. 新的范式：多模态用户界面 • 模态是人类交流的通道 • 不仅仅是感官 • 例如：语音（听觉通道）和唇读（ 视觉通道） • 多模态融合 • 多通道同时使用共同协作完成输入/输出功能

45. P8: Ted Nelson • Hypertext（超文本）, hypermedia（超媒体）等概念的(合作)提出者

46. 新的范式：Hypertext • WWW，1993 • 超文本 • 将信息看作互联的节点，而不是线性流 • Think of information not as linear flow but as interconnected nodes • 源头 • Nelson’s hypertext • Bush’s MEMEX • 非线性的浏览结构 • Non-linear browsing structure

47. P9: Mark Weiser • 提出普适计算是21世纪的计算模式 • Mark Weiser于1988年在Xerox PARC的计算机科学实验室首次提出了这个概念 • 无处不在的计算描述了具有丰富计算资源和通信能力的人和环境之间关系的场景，能够在需要的何时何地都可以提供信息和服务，这个环境与人们逐渐地融合在一起。使得计算机“Invisible”， “最好的仆人是看不见的仆人” • 还提出了”宁静技术calm technology”的概念 • 充分利用人体丰富多彩的感知和动作器官，以及人们与日常物理世界打交道时所形成的自然交互技能来获得计算机提供的服务

48. 人机自然交互技术 • HCI简史——人适应计算机的历史！ • 1960年代一70年代：键盘，字符界面 • 1980年代一90年代：鼠标，图形界面 • 目前 • 仍然以鼠标，图形界面为主，书写、听觉等为辅 • 未来——计算机适应人的未来！ • 到2015年左右，我们会如何使用计算机？ • 下一代自然人机界面会是什么？ • 需要大家的想象力！

49. 人机自然交互技术 人们对于现存的人机交互方式并不满足，因为人与人的交互不是通过人手操作来实现的，而是通过听觉与视觉以语言、表情、手势和体势进行的。人们期望新一代的人机交互能像人与人交互那样自然、准确和快捷。于是在20世纪90年代人机交互的研究进到了多模态的阶段，称为人机自然交互(Human-Computer Nature Interaction,HCNI或Human-Machine Nature Interaction, HMNI)。 人机自然交互与前几代人机交互的方式有本质上的差别，这是一种人机交互的革命，是摆脱人手操作，赋予机器以智能，通过听觉和视觉通道来实现的新一代交互方式。 人机自然交互的基本特征是只动嘴不动手，赋予计算机听觉与视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。

50. 人机自然交互技术 • 主要功能 • 识别交互对象，即知道在与谁对话，以称为说话人识别，这可以由视觉和听觉信息通道获取的知识中进行识别和判断； • 要理解对话的内容，以便执行人发出的指令，或回答人提出的问题，这是主要由听觉信息通道获取知识，但由于语言本身是双模态的，由视觉信息通道获取的唇动知识对某些语音识别是非常重要的； • 要理解对方的情感状态，这对于理解对方的对话内容、思想、意图都是非常重要的； • 要能对说话人进行定位与跟踪，仿如人与人交流时，总是注视对方，看对方的眼神，多人会话还能区分说话人，并注视着说话人。