﹒ 游泽清 ﹒

1. — 多媒体（画面）设计理论 设计多媒体教材的理论基础 ﹒游泽清 ﹒

2. 如何设计多媒体教材? 多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) 多媒体（画面）设计理论 （Multimedia design theory ） 这是从两个不同角度 看待同一个问题！ （国外） （国内）

3. 多媒体教材 要适应学习者的 认知需求 多媒体教材 是用画面语言 写成的 学习者 画面语言 设计多媒体教材 多媒体（画面）设计理论 多媒体学习认知理论 多媒体学习(认知心理学） 多媒体设计(画面语言学）

4. 学习者 画面语言 设计多媒体教材 多媒体（画面）设计理论 多媒体学习认知理论 接轨 • 这一讲先介绍“多媒体（画面）设计理论” • （针对国外的理论） • 下一讲比较国内外两理论的“同”和“异” • （旨在与国外接轨！）

5. 多媒体（画面）设计理论 Multimedia design theory 专业术语 “多媒体”的出现，是有时代背景的。 • 我们对“多媒体”的认识

6. 多媒体（画面）设计理论 Multimedia design theory 既然出现了“新语言”， 就有必要创建 “新的语言体系”。 • 我们对“多媒体”的认识 • 提出“多媒体画面语言”的概念

7. 多媒体（画面）设计理论 Multimedia design theory 一种描述新语言体系的理论，由此形成新语言的语法规则 • 我们对“多媒体”的认识 • 提出“多媒体画面语言”的概念 • 创建“多媒体画面设计理论”

8. 多媒体（画面）设计理论 Multimedia design theory “画面语言学”也和文字语言学一样，包括语构、语义、语用三部分。 • 我们对“多媒体”的认识 • 提出“多媒体画面语言”的概念 • 创建“多媒体画面设计理论” • 形成“多媒体画面语言学”

9. 专业术语“多媒体” 是怎么提出来的？ （一） 认识“多媒体”

10. 专业术语“多媒体”的出现和演变 • 20世纪80年代及以前，——“交互式视频” • （ IV， Interactive Video） 电视、录像领域：数字化（1982年2月CCIR601建议）； 计算机领域： 图形化 (微软：Windows取代DOS)

11. 专业术语“多媒体”的出现和演变 • 20世纪80年代及以前，——“交互式视频” （ IV） • 20世纪90年代，——“多媒体计算机” • （ MPC ，Multimedia Personal Computer） 1990年10月，美国微软公司发起组建的多媒体 个人计算机市场协会（MPC Marketing Council）: MPC = PC + 音霸卡 + CD-ROM驱动器

12. 专业术语“多媒体”的出现和演变 • 20世纪80年代及以前，——“交互式视频” （ IV） • 20世纪90年代，——“多媒体计算机” （ MPC ） • 21世纪 ——“信息家电” （ ３C一体化，Computer，Consumer，Communication） 计算机、通讯和家电领域的 媒体、设备、技术之间的界限正在淡化， 它们的业务正在合并

13. 从“多媒体” 演变中得出的结论 • 20世纪80年代及以前，——“交互式视频” （ IV） • 20世纪90年代，——“多媒体计算机” （ MPC ） （ ３C） • 21世纪 ——“信息家电” “多媒体”是信息时代出现的一个专业术语： 电影、幻灯—广播、电视、录像—计算机、多媒体 （电信网、广播电视网、互联网）

14. 从“多媒体” 演变中得出的结论 • 20世纪80年代及以前，——“交互式视频” （ IV） • 20世纪90年代，——“多媒体计算机” （ MPC ） （ ３C） • 21世纪 ——“信息家电” 多媒体的“多（Multi）”， 是指（计算机、视频、通信）多个领域的媒体 有机地融为一体。

15. 专业术语“多媒体”的定义 “多媒体”是指（计算机、通讯和家电）三个领域， 在四个方面（媒体、设备、技术和业务）的有机结合。 “多媒体”是指 （计算机、电视）两个领域的媒体有机结合， 并且具有交互功能。 多媒体技术领域的定义（广义）： 多媒体艺术领域的定义（狭义）：

16. 专业术语“多媒体”的定义 强调交互 功能的意义? “多媒体”是指（计算机、通讯和家电）三个领域， 在四个方面（媒体、设备、技术和业务）的有机结合。 “多媒体”是指 （计算机、电视）两个领域的媒体有机结合， 并且具有交互功能。 多媒体技术领域的定义（广义）： 多媒体艺术领域的定义（狭义）：

17. 对“多媒体”定义的讨论 凸显信息化教材 与传统教材区别！ 强调信息时代背景的重大意义： 书刊报纸 的呈现特点 计算机、多媒体、网络、电影、 幻灯、 电视的呈现特点 基于纸介质 基于屏幕 采用文、图媒体元素 采用的元素： 图、文、动、声、色 靠空间扩容 靠时间扩容 (版面、页数) (编辑、交互功能)

18. 对“多媒体”定义的讨论 由此可见， 书本教材和多媒体教材的区别 从“多媒体学习”角度看不出来， 但是从“多媒体语言”角度凸显出来了！ 强调信息时代背景的重大意义： 书刊报纸 的呈现特点 计算机、多媒体、网络、电影、 幻灯、 电视的呈现特点 基于纸介质 基于屏幕 采用文、图媒体元素 采用的元素： 图、文、动、声 靠空间扩容 靠时间扩容 (版面、页数) (编辑、交互功能)

19. 学习者 画面语言 由此可见， 书本教材和多媒体教材的区别 从“多媒体学习”角度看不出来， 但是从“多媒体语言”角度凸显出来了！ 设计多媒体教材 多媒体（画面）设计理论 多媒体学习认知理论

20. 说明 1 关于“多媒体”的定义 不能用“文”（Words）加“图”（Pictures）定义的理由： 1 没法区分纸质呈现与屏幕呈现的本质差别 （二者呈现教学内容的机理是不同的！） Multimedia Definition: Presening both Words (such as spoken text or printed text) and Pictures (such as illustrations, photos, animation,or video)

21. 说明 1 仅考虑 认知规律 是看不出来的！ 关于“多媒体”的定义 不能用“文”（Words）加“图”（Pictures）定义的理由： 1 没法区分纸质呈现与屏幕呈现的本质差别 2 没法凸显画面语言与文字语言的本质差别 画面语言是一种与文字语言完全不同的新的语言类型， 它靠“形”表义，即由许多构图元素（叫“基本元素”） 在画面上的衍变（变化、布局、配合） 来传递信息内容或 视听觉美感。

22. 说明 2 关于“多媒体画面”的中英文用法 由于英文中没有“画面”一词，通常有2种用法： 1 媒体有时可直译为该媒体的画面。 如 animation （动画画面） television （电视画面） Multimedia （多媒体画面） 因此，多媒体画面设计 Multimedia Design 多媒体画面语言 Multimedia Language 多媒体画面语言学 Multimedia Linguistics

23. 说明 关于“多媒体画面”的中英文用法 由于英文中没有“画面”一词，通常有2种用法： 2 用呈现（presentation）表示“在画面上呈现”。 如 static presentation （静止画面） dynamic presentation （运动画面） Multimediapresentation （多媒体画面） 设计多媒体画面 To Designing Multimedia presentation 因此，

24. （二 ）提出“多媒体画面语言”的理由 不止是一种呈现形式， 而是一种新的语言体系

25. 为什么要提出“多媒体画面语言”？ • 美术、影视领域已用过“画面语言” 意指通过静态、动态的图像或人物 传递信息内容和视听觉美感（区别于文字语言！）

26. 为什么要提出“多媒体画面语言”？ • 美术、影视领域已用过“画面语言” • 文字语言已不能胜任表现多媒体教学内容 如麦耶教授就已经意识到， 需要在文字语言以外去寻找表现教学内容的形式。

27. 为什么要提出“多媒体画面语言”？ 他在看到了计算机作图能力时自问道： “It may be useful to ask whether it is time to expand instructional message beyond the purely verbal.” • 美术、影视领域已用过“画面语言” • 文字语言已不能胜任表现多媒体教学内容 如麦耶教授就已经意识到， 需要在文字语言以外去寻找表现教学内容的形式。

28. 为什么要提出“多媒体画面语言”？ • 美术、影视领域已用过“画面语言” • 文字语言已不能胜任表现多媒体教学内容 • 明确出现了一种新的语言，等于明确了新的研究方向 新的研究课题： “多媒体画面语言”的 呈现特点、 结构体系、 运用规则

29. “多媒体画面语言”的呈现特点 知识结构和知识内容是靠语言元素的“形”表达的 知识结构和知识内容是在一个屏幕上， 分时呈现的 以形表义： 分时呈现：

30. 语言元素：形态、色彩（属性）、 文本、解说、运动 表义方式： （知识内容） 1 通过语言元素在画面上的变化、布置、配合 2 通过交互功能调出相应的画面，分时呈现 （知识结构） 各画面在呈现形式上的 “大同小异” 案例：讲授传动机构的课件 凸轮 连杆 齿轮

31. （三 ）创建“多媒体画面设计理论” （Multimedia design theory ） 形成多媒体画面语言的结构体系

32. 创建新理论的两个假设 • 假设1: 画面艺术与画面语言具有同构性 （将“画面语言”和“画面艺术”分别视为两个系统） 画面语言满足的条件 画面艺术满足的条件 足够数量和类型词汇 足够数量和类型构图元 素 遵循（语法、句法）规则 遵循艺术规则 在信息交流场合形成共识 在艺术欣赏场合形成共识 （用于传递知识信息） （用于传递视觉美感）

33. 创建新理论的两个假设 • 假设1:画面艺术与画面语言具有同构性 （将“画面语言”和“画面艺术”分别视为两个系统） 1 “多媒体画面艺术”与“多媒体画面语言”通用； 2 可以将“多媒体画面设计规则” 视为“多媒体画面艺术规则”，或者 视为“多媒体画面语言的语法规则”； 3 设计多媒体教材时，内容设计遵循认知规律， 呈现设计遵循认艺术规则.

34. 创建新理论的两个假设 • 假设2:知觉中 “新质”是由画面上视觉要素决定的 视觉要素 (Visual essences ) ： 构图的基本元素（elements）或上述的语言元素 在画面上的衍变 （如形态、色彩、文本、解说、运动等元素在画面上的 变化、布置、配合) 新质(Gestalt Value): 人在知觉时常借用自己的知识或经验，因此人在 知觉中的视觉效果一般大于刺激之和。 “ 新质”是指视觉效果与产生知觉的全部刺激之差

35. 创建新理论的两个假设 • 假设2:知觉中 “新质”是由画面上视觉要素决定的 因此设计多媒体教材时，如果按照艺术规则来 衍变画面上的基本元素（即规范视觉要素）， 则这些衍变一定会在知觉中产生视觉效果的“亮点” ！ 按照假设1，“亮点” 应包括两个方面： 或者有利于学习者的学习 （认知方面)； 或者美化了学习知识的环境（艺术方面）

36. 形： 多媒体画面设计理论 “画面语言”的特点——“形” 图形、字形（视觉）、解说（听觉） • 形（音）与义的关系 • 形的属性（色彩、肌理、材质） • 形的空间（形与形之间的配合、主从关系）

37. 多媒体画面设计理论 动： “画面语言”的特点——“动” 时间分割方案 • 呈现书本教材可用许多页面， • 呈现多媒体教材只有一个屏幕，只能分时呈现！ • 编辑、交互功能（菜单、热区、超链接）实现

38. 多媒体画面设计理论 引入“动静”和“形义（或音义）”两个参数 定义动态、静态 和 形象、抽象4类媒体： 动态媒体（如图像、解说）： 媒体表达的意义存在于基本元素的运动、变化之中。 不同的运动、变化代表不同的意义，停止变化则无法表达意义； 静态媒体（如图形、文本）： 意义的表达与基本元素的运动无关。运动并非表义的需要， 而是出于认知或审美的需求; 形象媒体（如图像、图形）： 意义的表达与形有关，以形传义； 抽象媒体（如文本、解说）： 意义的表达与形、音无关，形（音）和义是分离的。

39. 多媒体画面设计理论 引入“动静”和“形义（或音义）”两个参数 words Pictures 据此划分媒体呈现艺术的四类媒体： 静止画面（图）：指静态、形象媒体； 运动画面（像）：指动态、形象媒体； 文本 （文）: 指静态、抽象媒体； 解说 （声): 指动态、抽象媒体。 （photos、 graphs） (Video 、Animation) （on screen text） (spoken text ）

40. 多媒体画面设计理论 借鉴计算机的设计思路，分“理论”和“接口”两个层面 理论层面：对四类媒体的界定是统一的 （维持“多媒体画面艺术理论”的统一） 基本元素: (客观上)呈现在画面上， (主观上)对视（听）觉形成刺激 的所有元素；

41. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 理论层面：对四类媒体的界定是统一的 （维持“多媒体画面艺术理论”的统一） 视（听）觉要素: (客观上)基本元素在画面上的衍变， (主观上)这些衍变在视（听）觉效果中产生了“新质”

42. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 理论层面：对四类媒体的界定是统一的 （维持“多媒体画面艺术理论”的统一） 艺术规则： (客观上)规范基本元素的衍变（即视听觉要素）， (主观上)这些衍变产生了视（听）觉效果的 “亮点”

43. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 接口层面：分别按传统艺术对四类媒体的界定细化 （旨在与传统艺术接轨） 基本元素: （再按“形、音义”参数细化） 静止画面（图）： 图形、属性（色彩）、空间（背景） 运动画面（像）： 运动镜头、景别组接及软制作件等技术手段 字形、属性、背景、运动、字义 文本（文）： 语音（音色、语调等）、音义、关系 解说（声）：

44. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 接口层面：分别按传统艺术对四类媒体的界定细化 （旨在与传统艺术接轨） 视（听）觉要素 （先按“动静”参数细化） 静态呈现 画面上基本元素（形态、属性、背景）的 变化、布局、搭配； 动态呈现 在产生运动（变化）技术手段中运用的技巧。

45. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 接口层面：分别按传统艺术对四类媒体的界定细化 （旨在与传统艺术接轨） 视（听）觉要素 （再按“形、音义”参数细化） 静止画面（图）： 图形（属性、背景）在画面上的变化、布局、搭配 运动画面（像）： 在运动镜头、景别组接等技术手段中运用的技巧

46. 多媒体画面设计理论 按照计算机的设计思路，分“理论”和“接口”两个层面 接口层面：分别按传统艺术对四类媒体的界定细化 （旨在与传统艺术接轨） 视（听）觉要素 （再按“形、音义”参数细化） 文本（文）： 呈现字形（属性、背景）变化、布局、搭配 呈现字形（属性、背景）变化技巧。运用字义技巧 (静态) (动态) 解说（声）： 语音（音色、背景音乐等）变化、配合技巧 运用音义的技巧

47. 多媒体画面艺术规则（8个方面） • “理论”中提炼 • 将传统艺术延伸 媒体 呈现 画面 组接 “突出主体（或主题）”、 “媒体匹配”、 “变化—统一” 基本规则 背景 属性 文字 语言 “背景” “色彩” 配套规则 “文本易读性” “解说配合” 功能运用规则 “交互功能”

48. 结论 两个参数 多媒体 画面艺术 理论 四类媒体 三个界定 两个层面 画面语构学 理论是“土壤”，语构学是长在土壤里的“根”！ 核心： 视觉要素 = “新质”

49. （四 ）创建“多媒体画面语言学” （Linguistics for Multimedia ） 探讨多媒体画面语言的运用规则

50. 多媒体画面语言学 “多媒体画面语言学”包括 • 画面语构学 • 画面语义学 • 画面语用学