多媒体技术基础及应用

1. 多媒体技术基础及应用 广西医科大学 公共卫生学院计算机网络应用教研室 广西医科大学公共卫生学院计算机网络应用教研室

2. 参考教材 广西医科大学公共卫生学院计算机网络应用教研室

3. 考核方式 听课率 按时上课，有事按规定请假。 考试 平时×30％+考试成绩×70％ 保证你的付出与成绩成正比 广西医科大学公共卫生学院计算机网络应用教研室

4. 内容提要 第1章 多媒体技术概述 1.1 基本概念 1.2 多媒体系统的关键技术 1.3 多媒体计算机系统的组成 广西医科大学公共卫生学院计算机网络应用教研室

5. 学习目标 第1章 多媒体技术概述 理解多媒体、多媒体技术的概念 明确多媒体中的主要元素及其特点 了解多媒体的关键特性以及这些特性之间的关系 了解多媒体的关键技术、主要应用领域和发展方向 掌握多媒体系统的组成结构及多媒体个人计算机的技术标准和配置 了解多媒体计算机常用存储设备 广西医科大学公共卫生学院计算机网络应用教研室

6. 1.1 基本概念1.1.1 媒体、多媒体和多媒体技术 1. 媒体（承载信息的载体） 在计算机行业里，媒体(medium)有两种含义：其一是指传播信息的载体，如语言、文字、图像、视频、音频等等；其二是指存贮信息的载体，如ROM、RAM、磁带、磁盘、光盘等，目前，主要的载体有CD-ROM、VCD、网页等。 广西医科大学公共卫生学院计算机网络应用教研室

7. 1.1.1 媒体、多媒体和多媒体技术 2. 多媒体 多媒体（Multimedia）是指文本、图形、图像、音频、动画和视频等多种传播信息媒体的组合。 多：多种媒体表现，多种设备、多种学科； 媒：媒介； 体：综合、集成一体化。 广西医科大学信息中心

8. 1.1.1 媒体、多媒体和多媒体技术 3. 多媒体技术 多媒体技术（Multimedia Technology）是利用计算机对文本、图形、图像、声音、动画、视频等多种信息综合处理、建立逻辑关系和人机交互作用的技术。 广西医科大学信息中心

9. 文本 图形 图像 动画 音频 视频 1.1.2 常见媒体元素 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成，主要有：文本、图形、图像、动画、音频和视频6种。 广西医科大学公共卫生学院计算机网络应用教研室

10. 1.1.2 常见媒体元素 • 文本 文本分为非格式化文本文件和格式化文本文件。 非格式化文本文件：只有文本信息没有其他任何有关格式信息的文件，又称为纯文本文件。如“.TXT ”文件。 格式化文本文件：带有各种文本排版信息等格式信息的文本文件。如“.DOC ”文件。 广西医科大学公共卫生学院计算机网络应用教研室

11. 1.1.2 常见媒体元素 • 图形 图形（Graphic）一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。 图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。 在图形文件中只记录生成图的算法和图上的某些特征点，因此也称矢量图。 广西医科大学公共卫生学院计算机网络应用教研室

12. 1.1.2 常见媒体元素 • 图形 例如:line(xl，y1，x2，y2，color)、 circle(x，y, r，color) 分别是画线、画圆的指令。 通过读取指令并将其转换为屏幕上所显示的形状和颜色，而生成图形的软件通常称为绘图软件。 图形的最大优点在于可以分别控制处理图中的各个部分，如在屏幕上移动、旋转、放大、缩小、扭曲而不失真，不同的部分还可在屏幕上重叠并保持各自的特性。 广西医科大学公共卫生学院计算机网络应用教研室

13. 1.1.2 常见媒体元素 • 图形 用于产生和编辑矢量图形的程序通常称为“ draw ”程序。 微机上常用的矢量图形文件有： “.3DS”（用于 3D 造型）、“.DXF”（用于CAD）、“.WMF”（用于桌面出版）等等。 由于图形只保存算法和特征点，因此占用的存储空间很小。但显示时需经过重新计算，因而显示速度相对慢些。 广西医科大学公共卫生学院计算机网络应用教研室

14. 1.1.2 常见媒体元素 • 图像 图像（Image）是指由由扫描仪、摄像机等输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。 静止的图像是一个矩阵，阵列中的数字用来描述构成图像的各个点（称为像素点 pixel ）的强度与颜色等信息。这种图像也称为位图（ bit-mapped picture ）。 用于生成和编辑位图图像的程序通常称为“paint”程序。 广西医科大学公共卫生学院计算机网络应用教研室

15. 1.1.2 常见媒体元素 数字图像在计算机上以位图(bitmap)的形式存在,位图是一个矩形点阵，其中每一点称为像素(pixel)，像素是数字图像中的基本单位。一幅分辨率为m×n大小的图像，是由m×n个明暗度不等的像素组成的。 数字图像中各个像素所具有的明暗程度由灰度值(gray level)所标识。一般将白色的灰度值定义为255，黑色灰度值定义为0，而由黑到白之间的明暗度均匀地划分为256个等级。 广西医科大学公共卫生学院计算机网络应用教研室

16. 1.1.2 常见媒体元素 对于黑白图像，每个像素用一个字节数据来表示，而在彩色图像中，每个像素需用三个字节数据来表述。彩色图像可以分解成红(R)、绿(G)、蓝(B)三个单色图像，任何一种颜色都可以由这三种颜色混合构成。在图像处理中，彩色图像的处理通常是通过对其三个单色图像分别处理而得到的。（255，0，0） （0，255，0） 广西医科大学公共卫生学院计算机网络应用教研室

17. 1.1.2 常见媒体元素 • 分辨率（单位dpi，点／英寸 ） • 分辨率用于衡量图像细节的表现能力 • 图像分辨率是指单位图像线性尺寸中水平方向和垂直方向的像素个数；屏幕分辨率是指显示器上每单位长度显示的像素或点的数量。 • 图像量化位数 • 指图像中每个像素点记录颜色所用二进制数的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数，也就是一个像素点可以表现多少种色彩。 • 如：2色图像 量化位数：1 （21） 黑：0 白：18色图像 量化位数：3（23）16色图像 量化位数：4（24）256色图像 量化位数：8 （28）手机的65536色 量化位数为16位（216） 广西医科大学公共卫生学院计算机网络应用教研室

18. 1.1.2 常见媒体元素 单色图象的灰度用一位来存储颜色信息，1位=1/8字节，图像大小（字节）=120*120*1/8=1.7k 256色要占用8位，也就是一字节。（2^8=256） 16色是4位，占半字节。（2^4=16） 图像大小（字节）=分辨率*占用位数/8 （占用位数即灰度位数，常说的16/32位色） 例1:一幅800×600像素、256色的图像。 例2：一幅1024×768像素的24位彩色图像。 广西医科大学公共卫生学院计算机网络应用教研室

19. 1.1.2 常见媒体元素 • 音频 声音信号，即相应于人类听觉可感知范围内的频率。多媒体中使用的是数字化音频。话语、音乐以及各种动物和自然界发出的各种声音。 数字音频（Audio）可分为波形声音、语音和音乐。 波形声音实际上已经包含了所有的声音形式，它可以将任何声音都进行采样量化，相应的文件格式是WAV 文件或VOC文件。 语音也是一种波形，所以和波形声音的文件格式相同。 音乐是符号化了的声音，乐谱可转变为符号媒体形式。对应的文件格式是MID 或CMF 文件。 广西医科大学公共卫生学院计算机网络应用教研室

20. 1.1.2 常见媒体元素 • 动画 动画是活动的画面，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续。 19世纪20年代，英国科学家发现了人眼的“视觉暂留”现象（物体被移动后其形象在人眼视网膜上还可有约1秒的停留），揭示了连续分解的动作在快速闪现时产生活动影像的原理。 广西医科大学公共卫生学院计算机网络应用教研室

21. 1.1.2 常见媒体元素 • 动画类型： 帧动画是由一幅幅位图组成的连续的画面，就如电影胶片或视频画面一样要分别设计每屏显示的画面。 造型动画是对每一个运动的物体分别进行设计，赋予每个动元一些特征，然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。 存储动画的文件格式有FLC、MOV等 广西医科大学公共卫生学院计算机网络应用教研室

22. 1.1.2 常见媒体元素 视频 视频是由一幅幅单独的画面序列（帧frame）组成 ，这些画面以一定的速率（fps）连续地投射在屏幕上，使观察者具有图像连续运动的感觉。根据视觉暂留原理，当连续相互关联的图像（一般把静止的画面称为图像）快速变化时（每秒10帧以上，通常取每秒24帧），人眼看到的这个图像变化的过程就是视频。 视频文件的存储格式有AVI、MPG、MOV等。 广西医科大学公共卫生学院计算机网络应用教研室

23. 1.1.3 媒体类型 • 根据CCITT（国际电信联盟）的定义，媒体有五种类型： • 感觉媒体 • 表示媒体 • 显示媒体 • 存储媒体 • 传输媒体 广西医科大学公共卫生学院计算机网络应用教研室

24. 1.1.3 媒体类型 感觉媒体：是指能直接作用于人的感官，使人能产生感觉的一种媒体。（视觉、听觉、触觉） 表示媒体：是为了加工、处理和传输感觉媒体而人为地研究、构造出来的媒体。（图形、图像、声音、文字、动画、视频） 显示媒体：是用于通信中使电信号和感觉媒体之间产生转换用的媒体。它又分输入显示媒体（摄像机、扫描仪、键盘鼠标）和输出显示媒体（显示器、打印机、扬声器）。 广西医科大学公共卫生学院计算机网络应用教研室

25. 1.1.3 媒体类型 存储媒体：用来存放表示媒体，以便使用计算机对它们进行加工处理。（磁盘、磁带、光盘） 传输媒体：将表示媒体从一处传送到另一处的物理载体。（双绞线，同轴电缆、光纤） 通常狭义的媒体指的是表示媒体。 广西医科大学公共卫生学院计算机网络应用教研室

26. 1.1.3 媒体类型 • 根据与时间的关系可以将媒体划分为： • 静态媒体：信息的再现与时间无关，如文本、图形、图像等。 • 连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。 广西医科大学公共卫生学院计算机网络应用教研室

27. 1.1.4 多媒体技术基本特性 • 多样性 • 交互性 • 集成性 • 实时性 广西医科大学公共卫生学院计算机网络应用教研室

28. 1.1.4 多媒体技术基本特性 多样性：相对于计算机而言的，即指处理的信息媒体的多样性； 交互性：是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段； 集成性：是指以计算机为中心综合处理多种信息媒体，它包括信息媒体的集成和处理这些媒体的设备的集成。 实时性：声音、动态图像（视频）随时间变化。 广西医科大学公共卫生学院计算机网络应用教研室

29. 1.2 多媒体系统的关键技术1.2.1 多媒体数据压缩技术 图像、动画、视频和音频等数字化后数据量是非常大的。 如一幅640X480分辨率的真彩色图像，数据量约为7.37Mbit。 如果是视频(运动图像)，要以每秒30帧的速度播放，则视频信号的传输速度为221．2Mbit／s。如果存放于650MB光盘中，只能播出约23秒钟。 数字化处理的关键问题－数据压缩 广西医科大学公共卫生学院计算机网络应用教研室

30. 1.2.2 多媒体网络通信技术 多媒体网络通信技术是多媒体计算机技术和通信技术结合的产物，它将计算机的交互性、通信的分布性和广播电视的真实性融为一体。 多媒体系统通过通信网络传送文本、图形、图像、动画、音频和视频等信息。不同的媒体元素对通信网络要求不同，如：语音和视频有较强的实时性要求，多媒体通信的发展要求有适合于传输多媒体信息的通信网。 万维网（WWW）是在因特网上运行的全球性分布式信息系统。 广西医科大学公共卫生学院计算机网络应用教研室

31. 1.2.3 多媒体存储技术 利用数据压缩技术，在一张CD-ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像。 多媒体的音频、视频、图像等信息虽经过压缩处理，但仍需相当大的存储空间。信息存储装置大致可以分为磁、光两大阵营。磁存储系统有硬盘、移动硬盘、U盘；光存储系统由光盘驱动器和光盘组成。光盘按照读写限制可分为只读光盘、只写一次光盘和可擦写光盘三种。按照物理格式可分为ＣＤ和ＤＶＤ两种。 广西医科大学公共卫生学院计算机网络应用教研室

32. 1.2.4 多媒体计算机专用芯片技术 • 在现有的计算机系统中，如何处理音频 和视频信号？ • 大多数具有多媒体处理能力的计算机采用专用的音频和视频处理芯片。 • 专用芯片不仅集成度高，能大大提高处理速度，而且有利于产品的标准化。 广西医科大学公共卫生学院计算机网络应用教研室

33. 1.2.4 多媒体计算机专用芯片技术 • 多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；另一种是可编程的数字信号处理器（DSP）芯片。 • 第一批固定功能的芯片目标瞄准了图像数据的压缩处理。C-Cube公司生产的MPEG解压缩芯片被广泛地应用于VCD播放机中。 广西医科大学公共卫生学院计算机网络应用教研室

34. 1.2.5多媒体输入/输出技术 多媒体输入/输出技术涉及各种媒体外设以及相关的接口技术，包括： • 媒体变换技术 • 媒体识别技术 • 媒体理解技术 • 媒体综合技术 广西医科大学公共卫生学院计算机网络应用教研室

35. 1.2.5多媒体输入/输出技术 • 媒体变换技术是指改变媒体的表现形式。如当前广泛使用的视频卡、音频卡（声卡）都属媒体变换设备。 • 媒体识别技术是对信息进行一对一的映像过程。例如，语音识别技术和触摸屏技术等。 广西医科大学公共卫生学院计算机网络应用教研室

36. 1.2.5多媒体输入/输出技术 • 媒体理解技术是对信息进行更进一步的分析处理和理解信息内容。如自然语言理解、图像理解、模式识别等技术。 • 媒体综合技术是把低维信息表示映像成高维的模式空间的过程。例如语音合成器就可以把语音的内部表示综合为声音输出。 广西医科大学公共卫生学院计算机网络应用教研室

37. 1.2.6 多媒体系统软件技术 多媒体软件技术主要包括以下四个 方面的内容： 多媒体操作系统 多媒体数据库技术 超文本/超媒体技术 多媒体应用开发技术 广西医科大学公共卫生学院计算机网络应用教研室

38. 1.2.6 多媒体系统软件技术 多媒体操作系统 多媒体操作系统是多媒体软件的核心。它负责多媒体环境下多任务的调度、保证音频、视频同步控制以及信息处理的实时性，提供多媒体信息的各种基本操作和管理；具有对设备的相对独立性与可扩展性。 广西医科大学公共卫生学院计算机网络应用教研室

39. 1.2.6 多媒体系统软件技术 多媒体数据库技术 多媒体信息是结构型的，致使传统 的关系数据库已不适用于多媒体的信息管理，需要从下面四个方面研究数据库： 1).多媒体数据模型 2).媒体数据压缩和解压缩的模式 3).多媒体数据管理及存取方法 4).用户界面 广西医科大学公共卫生学院计算机网络应用教研室

40. 1.2.6 多媒体系统软件技术 超文本/超媒体技术 超文本是一种新颖的文本信息管理技术，它提供的方法是建立各种媒体信息之间的网状链接结构，这种结构由节点组成。 对超文本进行管理使用的系统称为超文本系统。也即浏览器，或称为导航图。若超文本中的节点的数据不仅可以是文本，还可以是图像、动画、音频、视频，则称为超媒体。 广西医科大学公共卫生学院计算机网络应用教研室

41. 1.2.6 多媒体系统软件技术 多媒体应用开发技术 多媒体应用的开发会使一些采用不同解决问题方法的人集中到一起，包括计算机开发人员、音乐创作人员，图像艺术家等，他们的工作方法以及思考问题的方法都将是完全不同的。 广西医科大学公共卫生学院计算机网络应用教研室

42. 1.2.7 虚拟现实技术 虚拟现实的定义可归纳为：利用计算机技术生成的一个逼真的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。 虚拟现实技术是在众多相关技术上发展起来的一个高度集成的技术，是计算机软硬件技术、传感技术、机器人技术、人工智能及心理学等飞速发展的结晶。 广西医科大学公共卫生学院计算机网络应用教研室

43. 1.2.7 虚拟现实技术 虚拟现实技术的主要特征： 多感知性（Multi-Sensory）——所谓多感知是指除了一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至包括味觉感知、嗅觉感知等。 浸没感（Immersion）——又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。 广西医科大学公共卫生学院计算机网络应用教研室

44. 1.2.7 虚拟现实技术 虚拟现实技术的主要特征： 交互性（Interactivity）——指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。 构想性（Imagination）——强调虚拟现实技术应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。 广西医科大学公共卫生学院计算机网络应用教研室

45. 1.2.7 虚拟现实技术 图像显示设备是用于产生立体视觉效果的关键外设，目前常见的产品包括光阀眼镜、三维投影仪和头盔显示器等。其他外设主要用于实现与虚拟现实的交互功能，包括数据手套、三维鼠标、运动跟踪器、力反馈装置、语音识别与合成系统等等。 虚拟现实技术的应用已走进军事和航空航天领域、工业、建筑设计、教育培训、文化娱乐等方面。汽车冲撞试验、旅游景点宣传、虚拟游戏。 广西医科大学公共卫生学院计算机网络应用教研室

46. 1.2.8 多媒体数据库技术 • 研究多媒体信息的特征、建立多媒体数据模型； • 有效地组织和管理多媒体信息； • 多媒体信息的检索和统计。 广西医科大学公共卫生学院计算机网络应用教研室

47. 多媒体技术概要 计算机 0，1 文 本 图象图形 声音 视频 MPC 多媒体时代 通 信 邮 政 电 报 电 话 数字网 ISDN 信息高速 大众传媒 报 纸 广 播 电 影 电 视 HDTV ITV 广西医科大学公共卫生学院计算机网络应用教研室

48. 多媒体作品的制作过程 开发一个内容丰富的多媒体作品是一项复杂的系统工程，类似于创作一部电视或电影作品。一般情况下，一个多媒体作品的开发需要有设计人员、程序编写人员、多媒体素材制作人员等几部分人来合作完成。 ※ 多媒体作品开发的一般过程 ※　　 虽然根据不同目标开发的多媒体作品，功能不同，表现方式也不相同，但开发流程一般都要经过需求分析、规划设计、素材的采集与加工、作品的集成、测试、发布和评价几个阶段。 广西医科大学公共卫生学院计算机网络应用教研室

49. 多媒体作品的制作过程 广西医科大学公共卫生学院计算机网络应用教研室

50. 1.3多媒体计算机系统的组成 1.3.1 MPC系统简介 多媒体个人计算机( Multimedia PC)是在现有PC机基础上加上一些硬件板卡及相应软件使其具有综合 处理声、文、图信息的功能。 MPC = PC＋CD-ROM＋声卡 ＋显示卡＋多媒体操作系统 广西医科大学公共卫生学院计算机网络应用教研室