多媒体计算机技术 Multimedia Computing Technology

多媒体计算机技术Multimedia Computing Technology 主讲教师：吴渝 Instructor: Wu Yu 重庆邮电学院计算机学院 E-mail: wuyu@cqupt.edu.cn 2006.3

课程目标 • 理论 • 掌握多媒体技术基础和原理 • 应用 • 掌握常用多媒体系统与工具的使用 • 研究 • 广泛涉猎多媒体技术领域的研究概况和最新进展，并针对某具体技术进行研究性学习重庆邮电学院研究生课程

教学内容 • 教学内容的不同视角 • 概论与原理、技术及应用 • 按媒体类型：文本、声音、图像、视频 • 软件与硬件、单机与网络 • 传统技术、新一代多媒体技术 • 内容划分 • 概述篇、音频篇、图像篇、视频篇、网络篇、应用系统篇、新技术篇重庆邮电学院研究生课程

教学形式与要求 • 教师讲授（课堂） • 研究性学习（自学和讨论） • 充分调研的基础上选择专题深入学习 • 写作专题报告一篇 • 课堂讨论：ppt演示文档 • 实验（课后进行，课堂验收） • 分组完成实验并进行课堂专题汇报 • 要求研究性学习环节中的选题和实验一致重庆邮电学院研究生课程

实验内容 • 分组实验：每人必须完成至少一项组内任务 • 音频组 • 声音编辑处理、流媒体中的语音技术 • 图形图像组 • 图像编辑处理：Photoshop • 网络动画：Flash • 视频组 • 视频编辑处理：Adobe Premiere • 网络组 • 多媒体网站：Dreamweaver • 流媒体：网络电台或电视 • 自由自选实验组 • 说明：软件工具不限重庆邮电学院研究生课程

学习参考 • 参考教材 • Fundamentals of Multimedia, 多媒体技术教程，机械工业出版社 • 《多媒体技术基础》，林福宗，清华大学出版社 • Multimedia Fundamentals, Prentice Hall • Multimedia: Computing, Communication and Application, PRENTICE HALL，清华影印，1997年 • http://www.china-pub.com 重庆邮电学院研究生课程

网上学习资源 • 各大搜索引擎：各种学习资源 • Google http://www.google.com • 北大天网 http://e.pku.edu.cn • 专业的网上全文数据库：期刊文献 • Citeseer：http://citeseer.ist.psu.edu/cis • 维普中文期刊库 • 其它收费期刊库：学校订购 • 教育网站和学习论坛：技术方案 • 网上图书馆：书籍 • 超星、国家图书馆 • 多媒体技术专业网站 • 比如流媒体重庆邮电学院研究生课程

课程考核 • 采用堂下考查方式，按等级计分 • 考查试卷内容 • 专题报告1份（doc文件） • 实验报告1份（doc文件） • 堂上演示文档1份（ppt格式） • 其它多媒体作品附件和代码 • 要求：打包为一个文档，在规定时间内提交重庆邮电学院研究生课程

多媒体技术 概述篇第一部分

第一节多媒体技术的概念 • 媒体的概念和种类 • 多媒体的定义和特征 • 多媒体计算机 • 超媒体与各种标记语言重庆邮电学院研究生课程

1. 媒体的概念 • 媒体的概念Medium • Medium: "Thing in the middle “，here means to distribute and present information • 汉语词典：媒介,手段。如:传播媒体;教学媒体;视听媒体;印刷媒体 • 计算机领域：承载信息的载体，信息传递和存储的最基本的技术和手段 • 媒体在计算机领域中的两种含义 • 存储信息的实体：磁带、磁盘、光盘等 • 信息的载体：数字、文字、声音、图形和图像等重庆邮电学院研究生课程

Media data • Media affect human computer interaction • The mantra of multimedia users • Speaking is faster than writing • Listening is easier than reading • Showing is easier than describing 重庆邮电学院研究生课程

Media Types CCITT规定 International Telephone and Telegraph Consultative Committee,国际电话与电报顾问委员会 • The Perception Medium 感觉 • The Representation Medium 表示 • The Presentation Medium 显示 • The Storage Medium 存储 • The Transmission Medium 传输 • The Info. Exchange Medium 信息交换重庆邮电学院研究生课程

媒体的种类 • 感觉媒体 • 通过人的五官感受到的，如语音、声音、音乐等；图形、图像、动画、视频等；触觉、嗅觉等； • 表示媒体 • 信息的存在形式和表现形式，以编码等形式来描述信息，定义了信息的基本特征 • 如文本（ASCII码）、声音、图形、图像、视频等 • 显示媒体 • 输出设备：显示器、打印机、扬声器等 • 输入设备：键盘、摄像头、鼠标、扫描仪等重庆邮电学院研究生课程

媒体的种类 • 存储媒体 • 存储数据的物理设备，如软盘、硬盘、光盘、磁带等 • 传输媒体 • 传输数据的物理设备，包括光纤、双绞线、同轴电缆等 • 信息交换媒体 • Which information carrier will be used for information exchange between different places? • Direct transmission using computer networks • Combined use of storage and transmission media (e.g. electronic mail). 重庆邮电学院研究生课程

2. 多媒体的定义 • 多媒体（Multimedia） • 融合两种以上媒体的人机交互式信息交流和传播媒体 • 多媒体计算机技术 • 计算机综合处理文本、图像、图形、音频和视频等多种媒体信息，集成为一个具有交互性的系统。 • 说明： • 多媒体是信息交流和传播媒体 • 多媒体是人机交互式媒体 • 多媒体是以数字形式而不是模拟形式存储和传输的 • 传播信息的媒体种类很多，如文字、声音、电视、图形、图像、动画等重庆邮电学院研究生课程

multimedia systems • Multimedia: The integrated generation,manipulation, presentation, storage and communication of discrete and continuous media computer networks graphics/ image proc. 多媒体系统 operating systems databases file systems 重庆邮电学院研究生课程

时间/空间属性 基于时间的连续声音运动图像动画基于空间的离散静止图像文本图形来源从显示世界捕获通过计算机合成多媒体的类型 • 文本、声音、图形、图像、动画（运动图形）、视频（运动图像）等 • 思考：还有别的类型吗？重庆邮电学院研究生课程

Dependence of Media • Time-independent media • Text • Graphics • Discrete media • Time-dependent media • Audio • Video • Animation • Continuous media • Interdependant media • Multimedia 重庆邮电学院研究生课程

问题任何类型信息的结合都可以被称作多媒体吗 ? 在专业上使用多媒体这一术语时，通常包含至少文本、图形、图像中的一个，和音频或视频的信息这两方面。 Best examples are continuous media (e.g.,animations, audio, and video) 重庆邮电学院研究生课程

Sound • Midi • Uncompressed (Raw) Sound File • Compressed Sound File • Streamed Audio • CD Audio • DAT(Digital Audio Type) 数字录音带重庆邮电学院研究生课程

Images and Graphics • Digital Representation of Images • Picture Elements - Pixels • Image Resolution - The Information Contained in the Image (i.e. Size of the image in Pixels) 重庆邮电学院研究生课程

Video and Animation • Animation: Normally it is a collection of drawings done using a scripting language. • Video: • Perception of Color and Movement; 感知 • Different Technologies: • NTSC • PAL • HDTV 重庆邮电学院研究生课程

65% 20% 3% 10% 2% 视觉听觉味觉触觉嗅觉多媒体的特征 • 信息载体的多样性（多维化） • 人类对信息的接受和产生主要在五个感觉空间内，即视觉、听觉、触觉、嗅觉和味觉，其中前三者占了95%以上的信息量 • 计算机以及与之相类似的一系列设备，都远远没有达到人类的水平，必须把人类的信息进行变形之后才能使用重庆邮电学院研究生课程

多媒体的特征 • 交互性 • 交互可以增加对信息的注意力和理解，延长信息保留的时间 • 当交互性引入时，活动本身作为一种媒体便介入了信息转变为知识的过程 • 不同层次的交互 • 初级交互：提取信息，从数据库中检索素材 • 中级交互：使用户介入在信息过程中，如改变信息 • 高级应用：虚拟现实技术，完全进入到一个与信息环境一体化的虚拟信息空间重庆邮电学院研究生课程

多媒体的特征 • 集成性 • 信息集成 • 包含信息的多通道统一获取，多媒体信息的统一存储与组织，多媒体表现合成等各方面。 • 设备集成 • 硬件：具有能处理多媒体信息的高速及并行的CPU 系统、大容量的存储，适合多媒体多通道的输入输出能力及外设、宽带的通信网络接口 • 软件：有集成一体化的多媒体操作系统、适合于多媒体信息管理和使用的软件系统和创作工具、高效的各类应用软件等 • 在网络的支持下，集成构造出支持广泛信息应用的信息系统重庆邮电学院研究生课程

Multimedia: Not Your Ordinary Data • Multimedia is different from traditional digital data: • High data volume • Continuous streaming • Several related streams • Quality of services 重庆邮电学院研究生课程

多媒体处理的目的 • To enable transparent and augmented use of multimedia resources across a wide range of networks and devices. • 使能跨越各种不同网络和设备,透明地强化地使用多媒体资源重庆邮电学院研究生课程

3. 多媒体计算机（MPC） • 多媒体计算机硬件 • 普通计算机硬件，存储设备 • 多媒体（声音、视频）输入输出和处理设备 • 多媒体通信传输设备 • 代表性的多媒体硬件系统 • 多媒体专用机 • 世界上第一台MPC系统Amiga，1985年，Commodore公司 • CD－I交互式多媒体系统，1986年，Philips和Sony公司 • DVI数字视频交互系统，1989年，IBM和Intel公司 • 多媒体板卡：声卡、压缩卡、视频捕获卡、电视卡等 • 多媒体外设：扫描仪、数字相机、摄像机、打印机、传真机等 • 多媒体处理芯片：信号压缩解压芯片、FM音乐合成芯片等重庆邮电学院研究生课程

多媒体计算机（MPC） • 多媒体计算机的软件组成 • 多媒体软件的特点：运行于某种多媒体操作系统中；具有高度的集成性和良好的交互性 • 分为四个层次： • 多媒体操作系统: 管理动态画面和控制声像设备。专用或扩展 • 数据准备准备工具：采集多媒体数据，如声音录制及编辑、图形图像扫描软件、视频采集软件、动画生成软件等 • 多媒体创作工具：建立多媒体应用的软件工具。可分为基于描述语言、基于流程图、基于时间轴的创作工具三类 • 多媒体应用光盘重庆邮电学院研究生课程

多媒体信息系统的技术挑战 • Sheer volume of data • Need to manage huge volumes of data • Timing requirements • among components of data computation and communication. • Must work internally with given timing constraints - real-time performance is required. • Integration requirements • need to process traditional media (text, images) as well as continuous media (audio/video). • Media are not always independent of each other - synchronization among the media may be required. 重庆邮电学院研究生课程

多媒体信息大容量说明 重庆邮电学院研究生课程

多媒体系统的评价 • Combination of media • continuous and discrete. • Levels of media-independence • some media types (audio/video) may be tightly coupled, others may not. • Computer supported integration • timing, spatial and semantic synchronization • Communication capability 重庆邮电学院研究生课程

多媒体的信息管理 • 多媒体信息的数据量大、种类繁多、不规则，每种媒体间差别明显，又具有种种信息上的关联 • 处理大规模多媒体数据的途径: • 扩展关系型数据库，多媒体数据库 • 建立面向对象的数据库 • 超媒体（HyperMedia）系统重庆邮电学院研究生课程

4. 超媒体 • 超媒体（hypermedia） • 以Web系统为基础，把多媒体（图形、图像、声音、动画、视频等）的相关内容通过链接组织在一起。 • 超文本（hypertext） • 把文本的相关内容通过链接组织在一起重庆邮电学院研究生课程

标记语言：（*ML）Markup Language • 标准通用标记语言（SGML） • 该标准定义独立于平台和应用的文本文档的形式、索引和链接，为用户提供一种类似于语法的机制，用来定义文档的结构和知识文档结构的标签 • 超文本标记语言（HTML） • 从SGML导出，是其一个子集。定义文档的格式、组成和链接关系。 • 虚拟现实造型语言（VRML） • 描述网络上三维交互环境的文件格式。（HTML是二维世界） • 扩展标记语言XML • 是HTML的补充，数据处理功能强大重庆邮电学院研究生课程

HTML • 网上出版的“母语” ，所需要表达的信息按某种规则写成HTML文件，通过的浏览器来识别，并将这些HTML“翻译”成可以识别的信息：网页。 • 主要功能：编写在线文档，通过超链接检索其它的相关信息，通过表单级脚本语言实现交互性 • 是一种纯文本格式的文件，可以用Notepad等文本编辑工具来手工编写，也可用Dreamweaver，FrontPage等可视化的网页编辑工具自动生成重庆邮电学院研究生课程

DHTML：Dynamic HTML • 基于HTML，再辅以文件对象模型(DOM)和脚本语言(如JavaScript，VBSscript)可以达到使网页动起来的效果 • 严格来说DHTML并不是什么新技术或新标准的简称，只不过是一些现有网页相关技术与标准的一个整合。通过它，用户可以用一种新的方式来创建网页 DHTML=HTML4.0+浏览器对象模型结构＋CSS＋Script 重庆邮电学院研究生课程

VRML（Virtual Reality Modeling Language） • 虚拟现实建模语言VRML是HTML的3D模拟，VRML提供了6＋1度的移动空间，你可以沿着三个方向移动，也可以沿着三个方位旋转，同时还可以建立其它3D空间的超链接 • VRML文件是虚拟空间的文本描述，它也是一个文本文件，以.wrl为扩展名，也可由能够生成三维空间的工具可视化的生成（如3D Studio MAX） • IE，Netscape Navigator只要是3.0以上版本均可以安装用于浏览VRML文件的插件，IE5.0自带了一个叫做MicroSoft VRML Viewer的工具重庆邮电学院研究生课程

XML（eXtensible Markup Language） • 扩展标记语言是HTML的补充，并不是HTML的升级替代版 • XML是用来描述数据的，而HTML则是用来解决如何显示数据的，也就是说它们之间是合作的 • 它与HTML及VRML一样也是文本文件，以.xml为扩展名 • XML数据处理能力很强大，因此自从XML规格于1996年底被提出后，就一直成为网络上处理电子商务、数据仓库、数据交换、多媒体传输、化学及其他专业领域应用程序的主要解决方案。因此XML也得到了广泛的支持重庆邮电学院研究生课程

计算机 通信大众传播邮政 0/1 印刷材料电报报纸 Text 电话广播中文计算机网电影图形,图像声音电视 ISDN 影像视频 HDTV 信息高速多媒体化过程数字化过程 ITV MPC 多媒体信息系统第二节为什么要多媒体？ • 多媒体是技术和应用发展的必然重庆邮电学院研究生课程

为什么要多媒体 • 多媒体改善了人类信息的交流 • 用户及计算机交流的四种方式，每一种信息的表示和传递都各有不同 • 机－机，人－机，机－人，人－人（经由计算机） • 机－机 • 计算机之间通信是一门已经得到充分发展的学科，包括通过网络传送数据，存储数据以备后续的检索等。虽然已经开发了许多关于图像、声音的信息交换标准，但不同标准、不同程序和不同类型计算机之间的交流仍很困难 • 多媒体数据对实时性、网络带宽和存储空间上有较大要求重庆邮电学院研究生课程

为什么要多媒体 • 多媒体改善了人类信息的交流 • 人－机，机－人 • 人与计算机之间的交互必须考虑两者的局限性 • 为了使计算机发挥应有作用，必须遵循“可计算”的三个条件，即能用形式化的方法描述这个问题，能找到一个算法解决它，以及能以一个合理的复杂度在计算机上实现 • 为了使用计算机，必须把人的思维翻译为串行计算机的机器指令，这种翻译过程是繁琐和机械的，技巧性很强 • 用户接口工作会成为一个系统或一次研究成败的关键部分。多媒体的出现，将会在这个方面起重要作用重庆邮电学院研究生课程

为什么要多媒体 • 多媒体改善了人类信息的交流 • 人－人（经由计算机） • 计算机起着高效信息传递媒介的作用，不必理解人与人交流通信中的全部内容，但需要计算机帮助人们有效地组织和表达信息 • 计算机将支持更多地人与人交流的应用：从医学会诊、学术讨论的协同性工作，到私人通信、可视电话等个人间信息的交互 • 如果计算机能够理解信息的含义，将显著地改变计算机所支持地人与人之间地交互方式，使之达到一个更高的水平，如自动语言翻译重庆邮电学院研究生课程

问题在用户及计算机交流的四种方式中，你认为未来发展应加强哪一种？重庆邮电学院研究生课程

为什么要多媒体 • 多媒体缩短了人类传递信息的路径 • 文本、图像、声音等多媒体信息都是人类获取和传递信息极为重要的渠道 • 多媒体技术使得信息的包装可以随意改变，根据需求选择最好的信息包装形式，这也是改善交流的重要方面 • 娱乐生活等需要 • 数字电视、3G（多媒体短信、手机电视）等重庆邮电学院研究生课程

计算机 0，1 文本图象图形声音视频 MPC 多媒体时代通信邮政电报电话数字网 ISDN 信息高速大众传媒报纸广播电影电视 HDTV ITV 第三节多媒体技术的发展历程重庆邮电学院研究生课程

启蒙发展阶段 • 1984年，美国Apple公司创造了图形用户界面（GUI），引入鼠标（Mouse）； • 1985年，Microsoft 公司推出多任务的图形操作环境 windows； • 1985年，美国Commodore 公司推出世界上第一台多媒体计算机 Amiga，配备图形、音响、视频三个专用处理芯片； • 1986年，Philips 和 Sony 两家公司联合推出CD-I，公布了CD-ROM光盘数据格式；重庆邮电学院研究生课程

标准化阶段 • 20世纪90年代，多媒体技术从以研发为重心转移到以应用为重心 • 1990年10月，微软提出MPC1.0标准； • 1993年，IBM, Intel 等公司组成MPMC，发布MPC2.0； • 1995年6月，MPMC 发布MPC3.0 • 此后，多媒体功能成为PC机的基本功能，MPC标准不再发布。重庆邮电学院研究生课程

多媒体个人计算机性能标准 • MPC-3 • RAM：8MB • 中央处理器：75MHz Pentium，同等级X86 • 硬盘容量：540MB • CD-ROM：600KB/s，最大寻址时间200ms，CD-XA • 声音卡：16bit数字声音，Wavetable(波表)，MIDI • 显示器：640×480，65536色，视频播放 352×240 30f/s(352×288 25f/s) 15bit/pixel • 输入输出端口：MIDI I/O，摇杆端口，串并联端口重庆邮电学院研究生课程

多媒体计算机技术 Multimedia Computing Technology