第二讲

1. 第二讲 MTI 多媒体技术 XIDIAN 数字声音及MIDI简介

2. 主要内容 • 声音本质与听觉特性 • 声音质量的度量 • 声音信号数字化 • 音乐的基础知识 • 电子音乐合成技术 • 电子乐器数字接口（MIDI）

3. 声音的本质 声音是携带信息的极其重要的媒体（20％） 声音是通过空气传播的一种连续的波，叫声波，也具有反射、折射和衍射现象。 声音信号是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。 带宽为20Hz－20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。 声音是时基类媒体。

4. 声音的分类 • 波形声音 • 语音 80－3400Hz • 音乐

5. 声音的听觉特性 • 音调、音强、音色为声音的三要素。 • 音强（响度）取决于声音的幅度。 • 音调取决于声音的频率。 • 音色是由混入基音的泛音所决定的。 • 声音的方向感

6. 声音质量的度量 • 声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。 信噪比（SNR）、主观平均判分法（MOS）。

7. 声音信号数字化 • 声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。 • 声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化。

8. 声音信号数字化 • 采样（sampling）：将声音信号在时间上离散化，即每隔相等的一段时间抽取一个信号样本。

9. 声音信号数字化 • 量化（quantization）：将连续的信号幅度离散化。如果幅度的划分是等间隔的，称为线性量化，否则为非线性量化。 电压范围 量化(dec) 编码(bin) 0.5 ~ 0.7 3 011 0.3 ~ 0.5 2 010 0.1 ~ 0.3 1 001 -0.1 ~ 0.1 0 000 -0.3 ~ -0.1 -1 111 -0.5 ~ -0.3 -2 110 -0.7 ~ -0.5 -3 101 -0.9 ~ -0.7 -4 100

10. 声音信号数字化 • 采样频率 奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。 fs >=2fmax 话音信号最高频率约为3.4kHz，所以采样频率取为8kHz。

11. 声音信号数字化 • 采样精度 每个声音样本的数字化位数反映了声音波形幅度的采样精度。

12. 音乐 • 音乐起初是与巫术和宗教活动联系在一起的，舜作“韶”、禹作“大夏”、武王作“大武”，“乐”被孔夫子列为“六艺”之一 。后来，音乐从宗教中渐渐脱离出来，成为一种独立的艺术。 • 以小提琴为例，当它的A弦振动时，并不仅仅是整根弦在振动，这根弦的二分之一、三分之一、四分之一、五分之一……处都在振动着。于是，整根弦的振动产生了最主要的频率，我们称之为基音，而弦长的二分之一、三分之一、四分之一等处的振动则产生了一些次要的频率，我们称之为泛音。 • 如果一个物体振动所发出的泛音为基音的整数倍，这个音就会具有清晰可辨的音高，我们称之为乐音，如钢琴，小提琴等发出的都是乐音；如果泛音是基音的非整数倍，这个音就不具备清晰可辨的音高，我们称之为噪音，如汽车发动机、计算机风扇等发出的都是噪音。

13. 音乐的四要素 • 音高：由基音的频率决定。即“哆”“唻”“咪”等音符。 • 响度：由声波的振幅决定。 • 音色：由基音与泛音的比例、泛音的分布、泛音随时间的衰减变化决定。不同发音源（乐器）的材质、形状不同，其泛音的排列组合也不同，也就构成了这一物体特殊的音色。 • 时值：乐音振动的持续时间，即节奏。

14. 电子音乐合成 • 使用电子元器件（计算机）生成音乐的技术称为电子音乐合成。电子音乐合成器又称为“魔音琴”。 • 电子音乐合成方法分为两大类： 模拟合成法： • 减法合成 • 加法合成 数字合成法： • FM频率调制合成 • 音乐样本合成

15. 频率调制（FM）合成法 • 数字式频率调制合成法，简称为FM合成法。 • FM电子合成器先由震荡器产生一个载波作为基音，然后再产生若干个调制波带着许多泛音加在载波之上，您可以对这个组合加以任意调整，然后加上典型的声音包络线（ADSR），再通过数控滤波器和数控放大器送往数字/模拟转换器，从而形成最后的音响。 • 由于一个物体不可能总是一成不变的振动，所以它的频率和振幅都会随着时间的改变而改变，并最终趋于静止。我们把一声音的发展过程分为四个阶段，分别是触发、衰减、保持和消失。这四个阶段我们统称为“包络” 。包络的发生时间，也决定了一个乐音的时值。

16. 频率调制（FM）合成法 FM声音合成器的工作原理 由以下五部分组成： • 数字载波器 • 调制器 • 声音包络发生器 • 数字运算器 • 模数转换器 从理论上讲，FM合成方法可以产生任何乐音，但是，这种“物理课式”的合成方法合成出来的声音不够真实。

17. 乐音样本合成法 • 乐音样本合成法是把真实乐器发出的声音以数字的形式记录下来，播放时再加以调整、修饰和放大，生成各种音阶的音符。 • 乐音样本通常放在ROM芯片上，播放时以查表的方式给出，所以这种合成器又叫做波表（wave table）合成器。

18. 乐音样本合成法 Wavetable合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数，产生的声音质量比FM合成方法产生的声音质量要高。 Wavetable合成器的工作原理

19. Wavetable合成器的衡量标准 波表库容量 音调数（复音数） 音色数 特殊效果

20. 软件波表与DLS • 软件波表，故名思义就是用软件来模拟硬件波表合成器，它的原理跟硬件波表完全一样，只不过硬波表是把乐器的波形存放到ROM里，在需要的时候直接调用；而软波表是把乐器的波形存到硬盘上的某一个文件里，在需要的时候通过CPU运算调用。所以，软波表会占用比较多的CPU资源。著名的软波表有YAMAHA公司的S-YXG系列和ROLAND公司的VSC系列，还有韩国COWON公司的JET-MIDI。 • 由于硬波表价格难以令大众接受并且不易升级，于是就有了价格便宜的DLS（Downloadable Sound Modules）波表合成技术，这是个介于硬波表和软波表之间的东西。虽然它能把波表存储在硬盘上，使用时再调入内存然后通过声卡上的专用音效芯片来处理。

21. 电子乐器数字接口（MIDI） • 电子乐器数字接口（musical instrument digital interface, MIDI）是用于在音乐合成器、电子乐器、音序器和计算机之间交换音乐信息的一种标准协议。从80年代初问世至今，MIDI经历了长时间的发展，现已成为电脑音乐的代名词。

22. 电子乐器数字接口（MIDI） • MIDI实质上是由MIDI控制器（或MIDI文件）产生的指示电子音乐合成器要做什么、怎么做（如演奏某个音符、加大音量、生成音响效果）的一套标准指令。MIDI不是声音信号，在MIDI电缆上传送的不是声音，而是动作指令。

23. 电子乐器数字接口（MIDI） • 由于MIDI只是记录音乐信息的数字代码，所以生成的文件比较小，便于传播，也便于编辑修改 。 • MIDI音乐常作为背景音乐。 • 与Mp3、Wav等音频格式不同的是MIDI的播放质量很大程度上取决于硬件或软件的音源环境，也就是说同样的MIDI文件在不同的电脑上可能有非常明显的效果差别，究其原因是因为它们调用的波表音色库不一样 。

24. MIDI的物理接口标准 各个MIDI设备通过专用的串行电缆(MIDI线)连接， 并以 31.25 kbps（每字节10位） 的速度传送着数字音乐信息。 MIDI Thru Out In

25. MIDI设备的连接 不妨把MIDI理解成一种局域网，网络的各个部分通过专用的串行电缆(MIDI线)连接，并以 31.25 kbps的速度传送着数字音乐信息。

26. MIDI的通道概念 单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。MIDI键盘可设置在这16个通道中的任何一个，MIDI合成器可以被设置在指定的通道上接受。

27. 三个标准 由于早期的MIDI设备在乐器的音色排列上没有统一的标准，造成不同型号的设备回放同一首乐曲时也会出现音色偏差。为了弥补这一不足，便出现了GS、GM和XG这类音色排列方式的标准。 GS排在第一位是由于它最早出台，并且是由业界大名鼎鼎的ROLAND公司制定并推出的。ROLAND是日本非常出名的电子乐器厂商，其生产开发的电子键盘、MIDI音源以及软波表都享有盛誉。所以GS颇具权威性，它完整的定义了128种乐器的统一排列方式，并规定了MIDI设备的最大复音数不可少于24个等详尽的规范。 GM标准则是在GS的基础上，加以适当简化而成的。由于它比较符合众多中小厂商的口味，成为了业界广泛接受的标准。 在电子乐器方面唯一可与ROLAND相匹敌的YAMAHA公司也不甘示弱，于94年推出自己的标准——XG。与GM、GS相比XG提供了更为强劲的功能和一流的扩展能力，并且完全兼容以上两大标准。而且凭借YAMAHA公司在电脑声卡方面的优势，使得XG在PC上有着广阔的用户群。

28. 结束 MTI XIDIAN