Download
1 / 131
1.31k likes | 1.45k Views
多媒体技术基础. 第一章 绪论 第二章 媒体与媒体技术 第三章 多媒体数据压缩技术 第四章 多媒体硬件基础 第五章 多媒体软件平台 第六章 多媒体编程技术 第七章 多媒体通信网络技术 第八章 多媒体信息管理技术 第九章 多模态人机交互技术 第十章 分布式多媒体处理技术 第十一章 多媒体应用. 第一章 绪论. 本章内容 多媒体的含义；（重点） 多媒体技术的主要特征； 多媒体技术的产生和发展； 多媒体技术的应用； 多媒体技术研究的主要内容。（重点）. 1.1多媒体的基本概念. 一、多媒体和多媒体技术的含义（理解）
E N D
第一章 绪论 第二章 媒体与媒体技术 第三章 多媒体数据压缩技术 第四章 多媒体硬件基础 第五章 多媒体软件平台 第六章 多媒体编程技术 第七章 多媒体通信网络技术 第八章 多媒体信息管理技术 第九章 多模态人机交互技术 第十章 分布式多媒体处理技术 第十一章 多媒体应用
第一章 绪论 本章内容 多媒体的含义；（重点） 多媒体技术的主要特征； 多媒体技术的产生和发展； 多媒体技术的应用； 多媒体技术研究的主要内容。（重点）
1.1多媒体的基本概念 一、多媒体和多媒体技术的含义（理解） 媒体在计算机领域有两种含义： 一是指存储信息的实体，如磁盘等，中文常译为煤质；二是指传递信息的载体，如数字、文字、声音、图形、图像等，中文常译为媒介。 多媒体技术中的媒体指后者。
通常，媒体被分为以下五种类型 感觉媒体：指直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。 如：语言、音乐、自然界的各种声音、各种图形、动画或文本等。 表示媒体：指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。 如语言编码、电报码、条形码等。
显示媒体：指用于通信中使电信号和感觉媒体之间产生转换的媒体， 如：输入输出设备、键盘、鼠标器、显示器、打印机等。 存储媒体：指用于存放某种媒体的媒体，如纸张、磁盘、光盘等。 传输媒体：指用于传输某种媒体的媒体。如电话线、电缆、光纤等。 多媒体就是多种媒体的综合？
多媒体是指能够同时获取、处理、编辑、存储和展示两种以上不同信息媒体的技术，这些信息包括文字、声音、图形、图像、动画与视频等。从这个意义中可以看到，我们常说的多媒体最终归结为一种技术。不是指媒体本身，而主要是指处理和应用它的一整套技术。因此，多媒体实际上常被当作多媒体技术的同一语。多媒体是指能够同时获取、处理、编辑、存储和展示两种以上不同信息媒体的技术，这些信息包括文字、声音、图形、图像、动画与视频等。从这个意义中可以看到，我们常说的多媒体最终归结为一种技术。不是指媒体本身，而主要是指处理和应用它的一整套技术。因此，多媒体实际上常被当作多媒体技术的同一语。
多媒体技术的定义： 计算机综合处理文本、图形、图象、音频与视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。
二、多媒体技术的特性（了解） 多媒体技术的特性主要包括信息载体的多样化、集成性和交互性三个方面，这是多媒体的主要特征。此外还有非循序性、非纸张输出等。
信息载体的多样化 信息载体的多样化是相对于计算机而言的，指的就是信息媒体的多样化。把计算机所能处理的信息空间范围扩展和放大，而不再局限于数值、文本或特定的图形或图像
多媒体的集成性 多媒体的集成性应该说是在系统级的一次飞跃。早期多媒体中的各项技术都可单一使用，但很难有大的作为，因为他们是单一、零散的。多媒体的集成性主要表现在两个方面，几多媒体信息媒体的集成和处理这些媒体的设备的集成。
多媒体的交互性 多媒体的交互性将向用户提供更加有效的控制和使用信息的手段，同时也为应用开辟了更加广阔的领域。
总之，多媒体最显著的特点是具有媒体的多样性、集成性和交互性。从这个角度就可判断什么是多媒体。如电视等不具备交互性所以不是多媒体。
1.2多媒体技术的产生与发展 计算机中信息的表达最初只能用二进制数0、1表示，它的目的纯粹为了计算。后来引入ASCII码等，计算机的功能才逐渐增强。 起源于20世纪80年代初期 90年代得到了迅猛的发展
1.3多媒体技术的应用 多媒体技术的应用极为广泛。 教育与培训、办公自动化、电子出版、影视创作、旅游与地图、家庭应用、商业、新闻出版、电视会议、广告宣传等
1.4 多媒体技术研究的内容 多媒体的研究一般分为两个主要的方面 一是多媒体技术，主要关心基本技术层面的内容；二是多媒体系统，主要重心在多媒体系统的构成与实现。还有专门研究多媒体创作与表现的，则更多的属于艺术的范畴。我们这门课主要强调第一点。
一、多媒体技术的基础 媒体是传播信息的载体，需要研究媒体的性质与相应的处理方法，对于每种媒体的采集、存储、传输和处理就是多媒体技术的首要工作。 多媒体的另一个技术基础是数据压缩。基于时间的媒体，特别是高质量的视频数据媒体，其数据量非常大，不压缩难以在计算机上实现。 本书的第2章第3章分别介绍媒体的基本特性和多媒体数据压缩编码的基本方法
二、多媒体硬件平台技术 大容量的光盘，声音卡，图形显示卡等。计算机CPU也加入了多媒体与通信的指令体系，扫描仪、彩色打印机、数码相机等。 第4章将介绍多媒体的基本硬件设备。
三、多媒体软件技术 操作系统：基于时间媒体的处理就是最关键的环节。对连续性的媒体来说，多媒体操作系统必须支持时间上的实现要求等，支持系统资源的合理分配等。 多媒体的素材采集和制作技术 多媒体创作工具或编辑软件 第5章和第6章将介绍多媒体软件技术和多媒体编程技术。
四、多媒体信息管理技术 信息机数据管理式信息系统的核心问题之一。第8章将介绍多媒体软件技术和多媒体编程技术。 五、多媒体界面设计与人-机交互技术 第9章介绍多媒体界面设计和人机交互技术 六、多媒体通信与分布应用技术 第7章、第10章和第11章介绍
第二章 媒体与媒体技术 本章内容 媒体的种类及特点（重点） 视觉媒体技术（重点） 听觉媒体技术（重点） 触觉媒体技术
2.1媒体的种类和特点 一、媒体的种类 媒体有感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体。在多媒体技术中研究的媒体主要指的是表示媒体。（指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。 ）
主要的表示媒体有以下三种： 视觉类媒体 听觉类媒体 触觉类媒体
1、视觉类媒体 (1)位图图像（bitmap） (2)图形（graphics） (3)符号（也包括文字和文本）由于符号是人类创造出来表示某种含义的，所以它与使用者的知识有关，是比图形更高级的抽象 (4)视频(video） (5)动画（animation） (6)其他（如用图形表示的某种数据曲线）
2、听觉类媒体 (1)波形声音（wave）自然界的所有声音的拷贝，是声音数字化的基础。 (2)语音（voice）也表现为波形声音，有内在的含义。 (3)音乐（music）更规范，是符号化的声音。
3、触觉类媒体 (1)指点 (2)位置跟踪（为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。） (3)力反馈与运动反馈（这与跟踪正好相反，是系统向参与者反馈的运动及力的信息，）
二、媒体的性质和特点 1、各种媒体具有不同的性质和特点 从信息表达考虑，媒体数据具有以下四个性质： (1)媒体是有格式的（按格式解释才有确定的含义） (2)不同的媒体表达信息的特点和程度不同（越接近原始媒体，信息量越大；越是抽象，信息量越小但越精确） (3)媒体之间可以相互转换（但可能丢失部分原始信息，或增加一些伪信息） (4)媒体之间的关系也具有丰富的信息
2、媒体具有空间性质 两种解释：第一种空间意义是指表现空间，尤其是指显示空间的安排，其中包括每种可视媒体在显示器上的显示位置，显示形式，先后关系等。对于声音媒体则安排在听觉空间中表现，并确定与那些可视媒体同步。第二种空间意义是把环境中各种表达信息的媒体按相互的空间关系进行组织，全面整体的反映信息的空间结构，而不仅仅是零散的信息片断。这种空间实际上是由系统通过显示器和其他设备给出一个观察世界的窗口。且将环境的媒体信息进行空间组织，反映出媒体信息的空间结构。
3、媒体的时间性质 两种含义，一是表现所需的时间，这是所有媒体都需要的。对于图像、文字等静态媒体来说，它至少需要一定的表现时间，接收者也需要一定的接收时间去接收理解他。对于声音来说没有时间也就没有声音。声音总是完全依赖于时间的变化。二是时间关系，与媒体的空间关系一样，媒体的时间也可包含媒体在时间坐标上的相互关系。还有同步、实时等许多方面。
4、媒体的语义 在获得媒体的语义的过程中，抽象起着十分重要的作用。这种抽象是复杂的，而且与任务有关，通常包含若干抽象层，每个抽象层都包含与具体的任务和问题与相关的模型。从接近具体感官的信息表示层到接近符号的信息表示层，信息的抽象程度递增，而数据量则递减。语义就是在从感官数据到符号数据的抽象过程中逐步形成的。例如：对文本来说，文本的语义关键是人对语言的理解。
5、媒体结合的影响 多媒体的作用很大程度上是媒体之间结合产生的影响。虚拟空间。 从信息理解的角度来讲，多媒体的结合是有利于信息接收和理解的。例如： 理解 视觉 听觉 触觉 83% 11% 3% 记忆驻留 2小时后 72小时后 谈话方式 70% 10% 观看方式 72% 20 结合 85% 65%
2.2听觉媒体技术 一、声音的性质 可听声也叫音频（20HZ～20KHZ） （1）随时间变化的连续媒体也称连续性时基类媒体。 （2）声音有三个要素，音调、音强和音色。音调与声波的频率有关，频率高则音调高；音强又称响度，与声波的振幅成正比；音色与波形的形状有关，它是由混入基因的泛音所决定的
（3）声音具有连续谱特性 在一定时间内，声音信号可以分成周期信号和非周期信号两类，离散谱和连续谱。 （4）声音有方向感 声音是以声波的形式进行传播的，由于人能够判别出声音到达左右耳的时差和强度，所以可以判别声音的来源方向。 （5）音色与失真特性 不同的人和不同的乐器在发出相同的基频和音高的声音时听者对他的感觉并不完全相同，即音色不同，其原因是组成这些声音的其他频率分量大小不同。
二、数字音频的主要技术参数 分为：波形声音、语音和音乐三种 波形声音：包含所有的声音形式，相应的文件格式是WAV或VOC。 语音：也是一种波形。 音乐：是符号化的声音，格式是MID,MP3或CMF文件。 音频信息增强了人们对其他媒体所表达的信息的理解。
通常，声音用一种模拟的连续波形表示。波形描述了空气的振动，波形的最高点与基线间的距离为振幅，波形中两个连续波峰间的距离称为周期，波形频率由1秒内出现的周期数决定，若每秒1000个周期，则频率为1kHz。通过采样可将声音的模拟信号数字化，采样值可重新生成原始波形。通常，声音用一种模拟的连续波形表示。波形描述了空气的振动，波形的最高点与基线间的距离为振幅，波形中两个连续波峰间的距离称为周期，波形频率由1秒内出现的周期数决定，若每秒1000个周期，则频率为1kHz。通过采样可将声音的模拟信号数字化，采样值可重新生成原始波形。
计算机音频技术主要包括声音的采集，数字化，压缩/解压缩以及声音的播放。影响数字声音波形质量的主要因素有三个： （1）采样频率。波形被等分的份数，份数越多，质量越好。 （2）采样精度。8位A/D转换器，可把采样信号分为256等份，16位A/D转换器，则可分为65536份。 （3）通道数。单声道、立体声。
三、音频的数字化与再现 对音频信号的处理，首先应考虑他对时序性要求很高。其次最好是立体声最后，语音还带有情感和意愿。 音频处理应考虑以下三点： （1）人与计算机通信，也就是计算机接收音频信号，包括饮品获取、语音的识别和理解。 （2）计算机与人通信，也就是计算机输出音频，包括音乐合成、语音合成、声音的定位以及音频视频的同步。
（3）人-计算机-人通信，也就是人通过网络与异地的人通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输等。（3）人-计算机-人通信，也就是人通过网络与异地的人通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输等。
在计算机中声音信号是用一系列的数字表示的，称为数字音频。 声音在时间和幅度上是连续的；而数字表示声音是一个数据序列，在时间上是断续的。把模拟声音变成数字声音时，需要每隔一个时间间隔在模拟声音波形上取一个幅度值，称为采样，这个时间间隔称为采样周期。某一幅度内的电压用一个数字表示，称为量化。把声音数据写成计算机的数据格式成为编码。
输出声音时，将离散的数字转变成连续的波形，只要采样频率足够高恢复出来的声音就与原始声音没有什么差别。标准的采样频率有11.025kHz，22.05kHz，44.1kHz。 每个采样点的比特数量就是采样点的测量的精度。一般有8位和16位两种 双声道（立体声）。 声音的数据量=（采样频率*每个采样为数*声道数）/8 （B/s）
四、声音的符号化 对声音的抽象化（即符号化）表示包括两种类型，一种是音乐、一种是语音。 音乐可以完全符号化。 语音与文字其实是一一对应的，波形声音也可表现和记录语音，他是否是语音取决于听者的理解。对语音的符号化表示实际上就是对语音的识别，将语音转变为字符。反之，就是将文字合成为语音。
五、数字音乐国际标准MIDI和MP3 1、电子乐器数字接口：MIDI MIDI音频与波形音频完全不同，他不对声波进行采样、量化与编码，而是将电子乐器键盘的演奏信息（包括键名、力度、时间长度等）记录下来。这些信息称为MIDI消息，是乐谱的一种数字式描述。对应与一段音乐的MIDI文件不记录人和声音信息，而只是包含一系列产生音乐的MIDI消息。播放时只需从中读出MIDI消息，产生所需的声音波形，经放大处理即可。
半小时的立体声16位高品质音乐，不压缩需300M；若用MIDI只需200k。 对MIDI的编辑也很灵活，用户可以自由的改变音调、音色等属性，直到找到自己想要的效果。 1988年MIDI制造商协会正式颁布MIDI技术规范，作为数字式音乐的国际标准。规定每种MIDI装置由一个接收器和一个发送器组成。规定MIDI键盘为128键。在MIDI接收器中有16个通道，它可以向声音合成器传送16路不同的声音等。
2、MP3数码音乐 MP3的全称是MPEG-1 Layer3音频文件 压缩比是：10：1~12：1 一分钟的CD音质音乐，未经压缩需要10M的存储空间，压缩后只需1M左右。
2.3 视觉媒体技术 计算机的图形、图像均为视觉媒体 表示方式：位图表示、矢量表示、曲线表示（动态图像）、符号表示 一、图形、图像文件格式 DIB、BMP、PCX、TIFF等
二、位图 又称点阵图，是一种写实的手法。 能够忠实地记录图像中每一个象素的颜色和位置 三、矢量图
四、矢量图与位图的比较 1、概念上： 矢量图（图形）一般指计算机绘制的画面，如直线、圆、圆弧、任意曲线和图表等 图像是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面。
2、存储容量大小 图像是由一些排成行列的像素组成的，在计算机中的存储格式有BMP、TIF、GIFD等。一般数据量比较大。除了可以表达真实的相片，也可以表现复杂绘画的某些细节，具有灵活和富于创造力等特点。在打印输出和放大时，容易发生失真。
图形也称矢量图文件中只记录生成图的算法和图上的某些特征点，容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图、美术字等。常用的矢量图文件有3DS（用于3D造型）、DXF（用于CAD）、WMF（用于桌面出版）等。图形只保存算法和特征点，相对于位图的大数据量来说，它占用的存储空间也比较小。但是显示速度没有图像快，打印输出和放大时，质量较高不会发生很大失真。
