1 / 71

语音编码

语音编码. 陈虎. 声音概述. 声音是携带信息的重要媒体 音乐和解说使静态图像更加丰富多彩、音乐和视频的同步使视频图像更具真实性 传统计算机与人交互是通过键盘和显示器，人们通过键盘或鼠标输入，通过视觉接收信息。多媒体计算机为计算机增加音频通道，采用人们最熟悉、最习惯的方式与计算机交换信息 为计算机装上 “ 耳朵 ” （麦克风），让计算机听懂、理解人们的讲话－－语音识别 为计算机安上嘴巴和乐器（扬声器），让计算机能够讲话和奏乐－－语音和音乐合成. 声音概述. 声音是听觉器官对声波的感知，而声波是通过空气或其他媒体传播的连续振动

javier
Download Presentation

语音编码

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 语音编码 陈虎

  2. 声音概述 • 声音是携带信息的重要媒体 • 音乐和解说使静态图像更加丰富多彩、音乐和视频的同步使视频图像更具真实性 • 传统计算机与人交互是通过键盘和显示器，人们通过键盘或鼠标输入，通过视觉接收信息。多媒体计算机为计算机增加音频通道，采用人们最熟悉、最习惯的方式与计算机交换信息 • 为计算机装上“耳朵”（麦克风），让计算机听懂、理解人们的讲话－－语音识别 • 为计算机安上嘴巴和乐器（扬声器），让计算机能够讲话和奏乐－－语音和音乐合成

  3. 声音概述 • 声音是听觉器官对声波的感知，而声波是通过空气或其他媒体传播的连续振动 • 声音的强弱体现在声波压力的大小上，音调的高低体现在声音的频率上 • 声音用电表示时，声音信号在时间和幅度上都是连 续的模拟信号，如图3-1所示 • 声波具有普通波所具有的特性，例如反射 、折射和衍射等

  4. 声音概述 • 人的听觉器官能感知的声音频率大约是20~20kHz，在这种频率范围里感知的声音幅度大约在0~120dB • 语音信号（speech）：人说话的信号频率通常为300~3400Hz • 亚音信号（subsonic）：小于20Hz的信号 • 超声波信号（ultrasonic）：高于20KHz的信号

  5. 声音概述 • 在组合声音信号的一系列分量信号音波中，最低频的音波称为基音，其余音波称为泛音 • 声音的三要素：音调、音色、音强 • 音调（音高）：取决于基频的高低。直观感受：“唱不上去了”，“跑调了” • 音色：是由混入基音的泛音所决定的，如果中高泛音丰富音色就明亮，反之音色就暗淡。不同的乐器、不同人的语音音色不同 • 音强（响度）：取决于声音的幅度（分贝）

  6. 声音的数字化 • 模拟音频：时间和幅度上都是连续的 • 模拟磁性录音技术，受电磁性能影响较大 • 数字音频：时间和幅度上都是离散的 • 计算机、数字CD、数字磁带（DAT） A/D转换 模拟音频 数字音频

  7. 声音的数字化 • 采样（sampling）：时间上的离散化 • 量化（quantization）：幅度上的离散化

  8. 声音的数字化 • 采样定理（Nyquist theory） • 奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音 • 人类听觉的频率范围大约为：20~20kHz，为保证不失真，采样频率应在40kHz左右 • 常用的采样频率有：8kHz, 11.025kHz, 22.05kHz, 16kHz, 37.8kHz, 44.1kHz, 48kHz fs >= 2fmax

  9. 声音的数字化 • 采样精度： 度量声音波形幅度的精确程度，用每个声音样本的 位数(即bps)表示，例如每个声音样本用16位表示，测得的声音样本值是在 [0～65535]范围里的数，它的精度是1/65536 • 例如每个声音样本用16位表示，测得的声音样本值是在 [0～65535]范围里的数，它的精度是1/65536 • 精度是在模拟信号数字化过程中度量模拟信号的最小单 位，因此也称量化阶(quantization step size) • 0～1 V的电压用256个数表示，量化阶等于1/256 V

  10. 电压范围 量化 编码 0.5 ~ 0.7 3 011 0.3 ~ 0.5 2 010 0.1 ~ 0.3 1 001 -0.1 ~ 0.1 0 000 -0.3 ~ -0.1 -1 111 -0.5 ~ -0.3 -2 110 -0.7 ~ -0.5 -3 101 -0.9 ~ -0.7 -4 100 声音的数字化 • 样本位数的大小影响到声音的质量，位数越多，声 音质量越高，所需存储空间也越多；位数越少，声 音质量就越低，所需存储空间也越少 8位：256个量化级（0～255） 16位：65 536个量化级 16位量化级足以表示从人耳刚刚听得见的极细微的声音到感觉难以忍受的巨大噪声这样大的声音范围

  11. 声音的数字化 • 采样精度的另一种表示方法是信号噪声比， 简称为信噪比 • 其中，Vsignal表示信号电压，Vnoise表示量化噪声电压(模拟信号的采样值和与它最接近的数 字数值之间的差值)，SNR的单位为分贝(db)

  12. 声音编码 • 声音信号经过数字化以后将产生大量的数据。为了降低存储和传输成本，有必要对数字音频数据进行压缩编码 • 如：CD音频数据（未经压缩）： 数据率：44.1×1000×16×2 = 1.41M bit/s 1小时CD音频的数据量约为635M • 音频编码的可能性 • 声音信号中包含大量的冗余信息

  13. 声音编码 • 从信息保持角度讲，只有当信源本身具有冗余度（redundancy），才能对其进行压缩 • 时、频域信息的冗余 • 如幅度的非均匀分布、样本间的相关等等 • 人的听觉感知机理 • 语音最终是给人听的，要避免做“即使记录了，人耳也听不见”的无用功

  14. 声音编码 • 编码算法的评价 • 声音的清晰度和自然度难以度量，评价十分困难 • 具有重要意义 • 评价的主要依据 • 音频质量 • 数据率 • 计算复杂度 • 音频编码目标 • 低码率、短延时、高质量

  15. 声音编码 • 音频质量评价方法分为两类： • 客观测量法：信噪比（SNR） • 主观测量法：主观平均判分法（mean opinion score, MOS），一般采用5分制

  16. 语音的形成原理 • 肺中的空气受到挤压形成气流，气流通过声门（声带）沿着声道（由咽、喉、口腔等组成）释放出去，就形成了话音。 • 气流、声门可以等效为一个激励源，声道可以等效为一个时变滤波器（共振峰）。 • 话音信号具有很强的相关性（长期相关、短期相关）。

  17. 语音的分类 • 浊音（voiced sounds）：声道打开，声带在先打开后关闭，气流经过使声带要发生张驰振动，变为准周期振动气流。浊音的激励源被等效为准周期的脉冲信号。 • 清音（unvoiced sounds）：声带不振动，而在某处保持收缩，气流在声道里收缩后高速通过产生湍流，再经过主声道（咽、口腔）的调整最终形成清音。清音的激励源被等效为一种白噪声信号。 • 爆破音（plosive sounds）：声道关闭之后产生压缩空气然后突然打开声道所发出的声音。

  18. 语音技术的研究热点 • 话音压缩编码（Speech Coding） • 话音识别（Speech Recognition） • 文本话音转换（Text To Speech）

  19. 语音编译码器 A/D 话音 编码 信道 编码 信道 D/A 话音 译码 信道 译码

  20. 衡量语音编码器的参数 • 数据输出速率 • 延迟时间 • 话音质量 • 价格（实现代价）

  21. 语音质量等级划分 • 广播质量：带宽为7000Hz的高质量话音 • 长途电话质量：带宽为3400Hz，信噪比为30db，有失真 • 通信质量：完全可以听懂，但和长途电话质量相比有明显的失真。 • 合成质量：80％－90％的可懂度，听起来象机器讲话，失去了讲话者的特征

  22. 语音编码器的分类 • 语音编码的分类 • 基于数据的统计特性进行编码 • 波形编码：目标是使重建语音波形保持原波形的形状，如PCM、DPCM、APCM、ADPCM等算法。 • 特点：音质好、但数据率较大 • 基于声学参数进行参数编码 • 音源编码：目标是使重建音频保持原音频特性，如LPC • 特点：数据率低、质量差、保密性好（军事） • 混合编码 • 将波形编码和音源编码很好的结合起来，如CELPC • 特点：在较低的码率上得到较高的音质

  23. 语音编码器的对比 • 三种编译码器的话音质量和数据率的关系

  24. 语音信号的冗余度 • 幅度非均匀分布 • 样本之间的相关性 • 周期之间的相关性 • 基音之间的相关性 • 静止系数（话音间隙） • 长期相关性（long term correlation）

  25. PCM • PCM是pulse code modulation的缩写 • 概念上最简单、理论上最完善、最早研制成功、使 用最为广泛、数据量最大的编码系统

  26. PCM • 图中输入是模拟信号，输出是PCM样本。 • 防失真滤波器：低通滤波器，用来滤除声音频带以 外的信号 • 波形编码器：可理解为采样器 • 量化器：可理解为“量化阶大小(step-size)”生成器或 者称为“量化间隔”生成器 • PCM实际上是模拟信号数字化 • 模拟声音数字化的两个步骤： • 第一步是采样，就是每隔一段时间间隔读一次声音 的幅度 • 第二步是量化，就是把采样得到的声音信号幅度转 换成数字值

  27. PCM时分多路复用  • PCM编码早期主要用于话音通信中的多路复用 • 时分多路复用是在同一条通信线路上使用不同时段 “同时”传送多个独立信号的通信方法 • 时分多路复用的核心思想是将时间分成等间隔的时 段，为每对用户指定一个时间间隔，每个间隔传输 信号的一部分 • 例如，话音信号的采样频率f＝8000 Hz/s，它的采样 周期＝125 s，这个时间称为1帧(frame)。在这个时 间里可容纳的话路数有两种规格24路制 • 30路制

  28. PCM时分多路复用 • 24路制的重要参数如下： • 每秒钟传送8000帧，每帧 125μs • 12帧组成1复帧(用于同步)。 • 每帧由24个时间片(信道)和1 位同步位组成 • 每个信道每次传送8位代码， 1帧有24 ×8 ＋1＝193位(位) • 数据传输率R＝8000×193＝ 1544 kb/s • 每一个话路的数据传输率＝ 8000×8=64 kb/s

  29. PCM时分多路复用 • 30路制的重要参数如下： • 每秒钟传送8000帧，每帧125s • 16帧组成1复帧(用于同步) • 每帧由32个时间片(信道)组成 • 每个信道每次传送8位代码 • 数据传输率：R＝8000×32×8＝2048 kb/s • 每一个话路的数据传输率＝8000×8=64 kb/s • 线路利用率 • 使用时分多路复用技术时，由于当信道无数据传输 时仍给那个信道分配时间槽，因此线路利用率较低 • 为解决这个问题，开发了统计时分多路复用技术 (statistical time division multiplexing, STDM)。STDM 是按照每个传输信道的传输需要来分配时间间隔的 时分多路复用技术，可提高传输线路的效率

  30. PCM时分多路复用 • 数字通信线路的数据传输率 • 为反映PCM信号复用的复杂程度，通常用“群(group)”这个术 语来表示，也称为数字网络的等级 • 传输容量由一次群(基群)的30路(或24路)，增加到二次群的120 路(或96路)，三次群的480路(或384路)，…… • 下图表示二次复用的示意图。图中的N表示话路数，无论N＝ 30还是N＝24，每个信道的数据率都是64 kb/s，经过一次复用 后的数据率就变成2048 kb/s(N＝30)或1544 kb/s(N＝24) • 在数字通信中在北美，具有1544 kb/s数据率的线路叫做“T1远距离数字通信线 路”，提供这种数据率的服务级别称为T1等级 • 在欧洲，具有2048 kb/s数据率的线路叫做“E1远距离数字通信线 路”，提供这种数据率的服务级别称为E1等级 • T1/E1，T2/E2，T3/E3，T4/E4和T5/E5的数据传输率

  31. PCM时分多路复用

  32. PCM时分多路复用 • T1/E1，T2/E2，T3/E3，T4/E4和T5/E5的数据传输率

  33. 增量调制 • △调制(delta modulation，DM)，是一种预测编码技术 • 对实际的采样信号与预测的采样信号之差的极性进行编码。 如果实际的采样信号与预测的采样信号之差的极性为“正”，则 用“1”表示；相反则用“0”表示，或者相反 • 由于DM编码只须用1位对话音信号进行编码，所以DM编码系 统又称为“1位系统” • 比较：PCM是对每个采样信号的整个幅度进行量化编码

  34. 增量调制

  35. 自适应增量调制 • 根据输入信号斜率的变化自动调整量化阶Δ的大 小，以使斜率过载和粒状噪声都减到最小。 • 在检测到斜率过载时开始增大量化阶Δ，而在输入 信号的斜率减小时降低量化阶Δ • 例如，宋(Song)在1971描述的ADM技术中提出：每当输出 不变时量化阶增大50%；每当输出值改变时，量化阶减小 50% • 又如，由格林弗基斯(Greefkes)在1970年提出的连续可变斜 率增量调制(CVSD)的基本方法是：如果连续可变斜率增量 调制器的输出连续出现三个相同值时，量化阶加一个大的 增量，反之，就加一个小的增量。

  36. 自适应增量调制 • Motorola公司于20世界80年代初期开发了实现CVSD 算法的集成电路芯片， • 如MC3417/MC3517用于一般的数字通信，MC3418/MC3518用于数字电话。 MC3417/MC3418用于民用，MC3517/MC3518用于 军用

  37. APCM • 中文术语为自适应脉冲编码调制，adaptive pulse code modulation的缩写 • 根据输入信号幅度大小来改变量化阶大小的一种 波形编码技术 • 自适应 • 瞬时自适应，即量化阶的大小每隔几个样本就改变 • 音节自适应，即量化阶的大小在较长时间里发生变化

  38. APCM • 前向自适应(forward adaptation)：根据未量化的样本值的均 方根值来估算输入信号的电平，以此来确定量化阶的大 小，并对其电平进行编码作为边信息(side information)传送 到接收端

  39. APCM • 后向自适应(backward adaptation)：从量化器刚输出的过去 样本中提取量化阶信息。由于后向自适应能在发收两端自 动生成量化阶，所以它不需要传送边信息

  40. DPCM • 中文术语为差分脉冲编码调制， differential pulse code modulation的缩写 • 利用样本与样本之间存在的信息冗余来进行编码的一种数 据压缩技术 • 基本思想：根据过去的样本去估算下一个样本信号的幅度 大小，这个值称为预测值，然后对实际信号值与预测值之 差进行量化编码，从而就减少了表示每个样本信号的位数

  41. DPCM • 它与脉冲编码调制(PCM)不同的是，PCM是直接对采样信 号进行量化编码，而DPCM是对实际信号值与预测值之差 进行量化编码，存储或者传送的是差值而不是幅度绝对 值，这就降低了传送或存储的数据量 • 可适应大范围变化的输入信号

  42. 量化阶 DPCM编码器 产生误差 xk ek e’k 量化器 - 逆量化器 e’’k x’’k x’k 预测器 自适应预测

  43. DPCM译码器 e’k e’’k x’k 逆量化器 x’’k 预测器

  44. 预测方程式 • 线性预测： • 如果ai是常数，则为时不变线性预测，否则为自适应线性预测 • 最简单的预测方程：

  45. 最简单的DPCM

  46. 自适应差分脉冲编码调制 • ADPCM的中文术语为自适应差分脉冲编码调制 • adaptive difference pulse code modulation的缩写 • 综合了APCM的自适应特性和DPCM系统的差分特 性，是一种性能比较好的波形编码技术 • 它的核心想法是： • 利用自适应的思想改变量化阶的大小，即使用小的量化阶 (step-size)去编码小的差值，使用大的量化阶去编码大的差值 • 使用过去的样本值估算下一个输入样本的预测值，使实际 样本值和预测值之间的差值总是最小

  47. 自适应差分脉冲编码调制 • 接收端的译码器使用与发送端相同的算法，利用传 送来的信号来确定量化器和逆量化器中的量化阶大 小，并且用它来预测下一个接收信号的预测值

  48. 子带编码(sub-band coding，SBC) • 用一组带通滤波器(band-pass filter，BPF)把输入声 音信号的频带分成若干个连续的频段，每个频段称 为子带。对每个子带中的声音信号采用单独的编码 方案去编码 • 在信道上传送时，将每个子带的代码复合在一起； 在接收端译码时，将每个子带的代码单独译码，然 后把它们组合起来，还原成原来的声音信号

  49. 子带编码(sub-band coding，SBC) • 好处有两个 • 可对每个子带信号分别进行自适应控制，量化阶的大小可 按照每个子带的能量电平加以调节。具有较高能量电平的 子带用大的量化阶去量化，以减少总的量化噪声 •  可根据每个子带信号在感觉上的重要性，对每个子带分配 不同的位数，用来表示每个样本值。 例如，在低频子带中，为了保护音调就要求用较小的量化阶、较多的量化级数，即分配较多的位数来表示样本值。而话音中的摩擦音和类似噪声的声音，通常出现在高频子带中，对它分配较少的位数。

  50. 子带编码(sub-band coding，SBC) 图中的编码/译码器可 以采用ADPCM，APCM或PCM

More Related