第 3 章 数字编码 3.1 信源编码 3.2 信道容量 3.3 差错控制编码 3.4 几种差错控制编码简介 3.5 数字压缩编码

1. 第3章 数字编码 3.1 信源编码 3.2 信道容量 3.3 差错控制编码 3.4 几种差错控制编码简介 3.5 数字压缩编码

2. 3.1 信源编码 • 3.1.1 信息的度量 • 3.1.2 离散信源编码 • 3.1.3 模拟信源编码

3. 3.1.1 信息的度量 • 一．离散信源的信息度量 • 信源发出的消息由于具有不确定性而具有信息量，消息的不确定度越高，其相应的信息量就越大 • 设信源发出消息Xi的概率为p(i)，则I(Xi)=log[1/p(i)]就是消息Xi提供的自信息量。 • I(Xi)只表示了一个具体消息Xi所具有的不肯定程度，但不能表示Xi所属信源的总体不肯定度 • 定义信源的平均信息量就是信源X输出一个消息所提供的平均信息量，也叫做信源熵。 • 显然，具有n个独立符号的信源在各个符号等概率分布时，信源的熵HN(x)最大，为log2N。

4. 如果信道没有噪声干扰，则发送消息Xi就必然收到Yi，即收到消息yi后即可确定发送为xi。如果信道没有噪声干扰，则发送消息Xi就必然收到Yi，即收到消息yi后即可确定发送为xi。 • 当信道中有干扰时，收到消息yi后不能完全确定发送的一定就是xi。 • 对无扰信道而言，H(x/y)=0 • 有扰信道的H(x/y)≠0 • 在无干扰情况下，收信者从信源收到的每个消息中得到的平均信息量等于信源的不肯定度H(x)；当信道存在于扰时，收信者得到的平均信息量将小于H(x)。

5. 3.1.2 离散信源编码 • 离散信源的编码通过尽量使消息符号等概率出现或出现概率接近，使信源的平均信息量提高。 • 具体地说，就是将出现概率大的消息符号编成位数少的短码、而出现概率小的符号编成长码。 • 比较常用的编码法有香农—范诺编码（Shannon—Fano）和霍夫曼编码（Huffman）， • 香农一范诺编码法具体方法及步骤： • ①首先把各个消息按其出现概率的大小，由大到小重新排列； • ②将这个重排的概率序列分成两组，每组的概率之和尽可能接近或相等。然后，再对每一组又进行同样的分组，仍然使分成的相应两组概率之和尽可能相等，这时就得到四个分组了。如此继续进行下去，直至每个消息都被单独分割出来为止。 • ③对每一次划分出的第一组的消息分配一个0，第二组消息则分配一个1。最后，每个消息的二元编码就由它分得的所有的0、1序列给定。

7. 3.2 信道容量 • 3.2.1 信道容量 • 3.2.2 香农公式

8. 3.2.1 信道容量 • 一．信道容量——信道可能达到的最大传信率，用符号C表示 • 实际信源的符号之间往往存在相关性且不等概分布，使信源熵远远低于上述理想情况的数值。因此，要想使信源输出的信号具有较大的信息量，必须在其送入信道前再进行编码，使信源的熵速率接近信道容量，即使信源和信道相匹配。

9. 3.2.2．香农公式 • 1. 平均功率受限的高斯白噪声信道，当输入信号为高斯分布时，在一定带宽的信道上，单位时间内能够无差错地传递的最大信息量为Wlog2(1+P/N)。 • 2．信道容量C与信道带宽W和信号噪声功率比P/N有关，W或P/N愈大，C就愈大。 • 3．对于平均功率受限的信道，高斯白噪声的危害最大，因为此时噪声的熵最大，所以信道容量C=[Ht(y)－Ht(n)]max最小.

10. 3.3 差错控制编码 • 3.3.1 差错控制编码的概念 • 3.3.2 差错控制技术

11. 3.3.1 差错控制编码的概念 • 一．误码控制基本原理 • 为了能使接收端判断传送来的信息是否有误，发送端在传送数据之前增加了一些相关的信息；如果还要能够纠正错误的话，则需要增加更多的信息。当没有错误出现时，这些信息完全是多余的；但一旦发生误码，即可利用被传数据与相关信息之间的特定关系来发现/纠正错误，这就是差错控制编码的基本原理。 • 换句话说，为了使信源编码输出的代码具有检错和纠错能力，发信端按一定规则在信源编码的基础上，增加一些冗余码元(又称监督码)，使这些监督码与被传信息码之间有一定的关系，这就是差错控制编码。在接收端，根据信息码与监督码的特定关系，实现检/纠错，输出原信息码元，这就是差错控制译码(或解码)。

12. 3.3.2 差错控制技术 • 一．差错控制方式 • 常见差错控制编码的工作方式有前向纠错（FEC）、检错重发（ARQ）、混合纠错（HEC）三种。 • 检错重发（ARQ） • 其消息一方面通过前向信道送至接收端，同时也送至缓存器存储。接收端对接收信息进行译码和检错，如果没有发现错误，则将该译码信息输出；如果检测到错误，则触发重发指令从反向信道向发送端发出请求重发指令和错误码组编号，同时停止输出。发信端收到该请求后，立即重发发生传输差错的那部分已发信息，直到接收端正确接收为止。显然，ARQ方式发送的是检错码。 • (2)前向纠错FEC • FEC发信端采用具有一定纠错能力的纠错码规则将信码编码后发送出去，使接收端在收到信码后不仅能发现错码，还能够纠正错码。 • （3）混合纠错 • 混合纠错法在发生少量差错时利用纠错码的纠错能力在接收端进行自动纠正，当差错较严重、超出纠错码的纠正能力时，再向发信端发出重发请求。

13. 二.差错控制编码分类 • 按照误码控制的不同功能： 检错码、纠错码和纠删码 • 按照信息码元与附加监督码元间的检验关系： 线性码与非线性码 • 按照信息码元与监督附加码之间的约束方式： 分组码与卷积码 • 按照信息码元在编码之后是否保持原来的形式： 系统码与非系统码

14. 三．有关误码控制编码的几个基本概念 • 信息码元与监督码元 • 许用码组与禁用码组 • 码重与码距 • 最小码距与信道编码的检纠错能力的关系

15. 四．差错控制码 常见的差错控制码基本上都属于代数码，即码组中添加的监督码元和信息码元之间是按照一定的代数关系来进行约束的。按照码组的结构，可以把抗干扰编码分为分组码和卷积码。

16. 3.4 几种差错控制编码简介 • 3.4.1 奇偶监督码 • 3.4.2行列监督码 • 3.4.3线性分组码 • 3.4.4 卷积码 • 3.4.5 编码交织

17. 3.4.1 奇偶监督码 • 奇偶校验码也称奇偶监督码，是一种最简单的线性分组检错编码。它把信源编码后的信息数据分成等长码组，在每个信息码组后加入一位监督码元作为相应的奇偶检验位，使得生成的新码组中含1的码元个数为偶数(称为偶校验码)或奇数(称为奇校验码)。 • 如果传输过程中任何一个码组发生奇数位错误，则收到码组所含码元1的个数必然不再符合奇偶校验规律，使接收端籍此发现误码。 • 码组传输过程中出现偶数个错误时，奇偶校验码是无法检测到的，而且它也不能发现连续多位突发性误码的情况，检错能力有限。

18. 行列监督码 行列监督码是二维的奇偶监督码，又称为矩阵码，可 以克服奇偶监督码不能发现偶数个差错的缺点，还可 以纠正一定的突发差错。 • 行列监督码基本原理与简单奇偶监督码相似，只是它的每个码元都要受到纵、横两次监督。 • 这样，当某一行(或某一列)出现偶数个差错时，该行(或该列)虽不能发现，但只要差错所在的列(或行)，没有同时出现偶数个差错，则这种差错仍然可以被发现。 • 矩阵码发现错码的能力是十分强的，而且它的编码效率也高于简单奇偶监督码。

19. 线性分组码 线性分组码一般用符号(n,k)表示，其信息码元与监督 码元之间的关系可用一组线性方程来描述，且监督码 元仅由本码组的信息码元决定。其中，k是码组中信 息码元的数目，n是编码后码组的总长度，编码效率 η=k/n。 • 线性分组码的任意两个许用码组相加后（指按位模2相加），所得编码仍是许用码组。 • 每一个线性分组码都唯一对应一个特定线性方程组。

20. 卷积码 • 一．卷积码原理和数学表示： • 卷积码的每个(n，k）码段（也称子码，通常较短）内的n个码元不仅与该码段内的信息元有关，还与前面m’段内的信息元有关。

21. 二、卷积码的编码实现

22. 1. 串行编码电路

23. 2．Ⅰ型编码电路

25. 3．Ⅱ型编码电路

26. 3.4.5 编码交织 • 一．编码交织的原理和作用 • 大部分信道纠错编码仅在检测和校正单个差错和不太长的差错串时才有效，而对于陆地移动通信和数据存储等变参信道上，经常出现的成串连续错误或突发性错误却无法恢复。为此，人们考虑把一片连续的突发错误变为分散的随机错误，即把一条消息中的相继比特以非相继方式发送，使成串差错变成单个或长度很短的错误，再利用信道编码的纠错功能，即可纠正差错、正确恢复原消息。这就是交织技术，它在移动通信系统中被广泛采用。 • 交织器按交织方式可分为交织深度固定的交织器（如分组交织器和卷积交织器）和交织深度不断变化的随机交织器；按交织对象可分为码元交织器和码段交织器，这里主要讨论的是交织深度固定的码段交织器。

27. 1．交织的基本原理

28. 三、卷积交织 • 四．GSM系交织统中的信号

30. 3.5 数字压缩编码 • 3.5.1 压缩编码的概念 • 3.5.2 几种压缩编码法 • 3.5.3 MPEG标准

31. 3.5.1 压缩编码的概念 一．数据压缩 •  数字信号有很多优点，但当模拟信号数字化后,其信号所占频带将大大加宽。如一路6MHz的普通电视信号在数字化后，其数码率将高达167Mbps，带宽达80MHz左右。这一带宽变化将使数字信号失去实用价值，为此，必须使用数字压缩技术解决上述情况。实际中，线性数字压缩技术很好地完成了这一任务，使压缩后信号所占频带大大低于原始模拟信号的频带。可以说，数字压缩编码技术是数字信号实用化的关键技术之一。 • 常见数字压缩技术主要是数据通信系统中用于静止图像压缩的JPEG、活动图像压缩的MPEG，以及有线电视网中用于会议电视系统的H.261数字压缩技术。

32. 二．数据压缩编码分类 1．从信息论角度出发，可分为无损压缩和有损压缩两大类： • (1)无损压缩 • 也叫冗余度压缩，压缩前后其信息保持编码或熵编码，即压缩解码后的图像和压缩编码前的图像严格相同，没有失真，从数学上讲是一种可逆运算。 • (2)有损压缩 • 也叫信息量压缩法，这是一种失真度编码或熵压缩编码，即它压缩解码后的图像和原始图像是有差别的，允许有一定的失真。

33. 2．从压缩编码算法原理上，可以把数据压缩分类为无损、有损、混合压缩编码三类。2．从压缩编码算法原理上，可以把数据压缩分类为无损、有损、混合压缩编码三类。 • 常见的无损压缩编码主要有霍夫曼编码、算术编码、行程编码、Lempel zev编码等。 • 有损压缩编码主要有预测编码DPCM、频率域法（如正交变换编码、子带编码等）、空间域法（如统计分块编码等）、模型法（如分形编码、模型基编码等）、基于重要性的编码法（如滤波、子采样、矢量量化等）。 • 混合编码主要有JBIG、H261、JPEG、MPEG等。

34. 三．数据压缩编码法的指标 • 衡量数据压缩编码法的主要技术指标如下： • (1)压缩比：越高越好。目前各种技术的压缩比可以从几倍到几十倍乃至几千倍； • (2)压缩与解压缩速度：越快越好。一般来说，压缩算法越简单，硬件实现越容易，压缩与解压缩速度越快； • (3)解压缩的图像质量：解压后的图像与原是图像越相似越好，它通常与压缩/解压缩算法、系统硬件有关。

35. 3.5.2 几种压缩编码法 一.莫尔斯码 • 莫尔斯码就是电报码，它的编码思路是现代数字编码中信源编码的参照。莫尔斯码分别用短/长码表示经常出现/不常出现的字母，成功的减小了编码后的传码率，被延用至今。 • 如电视信号经差分脉冲编码DPCM后，其前后像素幅度差值小的概率大，而差值大的概率小。利用莫尔斯码的编码思想，用短码表示概率大的信号，而用长码来代表概率小的信号，达到了压缩码率的目的。

36. 二.差值脉冲编码DPCM • 图像信号很多时候是由面积较大的图像块(如蓝天、大地等)组成。虽然每个像块的幅度不同，但像块内部大部分区域的样值幅度是很接近或相同的，只有像块的轮廓部分图像的幅度值可能会有较大的跳跃，但他们只占整幅图像的很小一部分。从信号传输的角度来看，各帧信号之间幅度值相同的概率就更大了，静止图像相邻两帧之间相应位置上的像素甚至完全一样。 • 差分脉冲编码（DPCM）考虑信号幅度样值中的相关性，即前面的幅度样值中包含有后面样值的大部分信息，利用前面的幅度样值来对后面的幅度样值进行编码，大大降低了信号编码的位数，使信息传输的比特率也随之减小。

37. 三.预测编码 • 预测编码利用像素的相关性，可进一步减小差值。如果差值编码中小幅度信号出现概率增加，由于这种信号对应的编码长度较大，系统形成的总数码率就会进一步减小。 • 因此，如果我们既利用信号前后样值之间的相关性，也利用其它各行、帧像素之间的相关性，必然可以使当前样值的预测值与当前样值更接近，这自然会导致小幅度的差值信号数量增加，总数码率就会进一步减小，这就是预测编码降低数码率的思路和方法。

38. 四.离散余弦变换 • 离散余弦变换(Discrete Cosine Transform)简称DCT，它利用数学理中连续实对称函数的傅里叶变换只含有余弦项的结论，对信号进行压缩编码变换。 • DCT在先将整个需要压缩的信号如图像分成N×N个像素块，然后对N×N像素块逐一进行DCT变换，从发送端将这些变换系数发送出去。接收端收到这些DCT变换系数后，通过反离散余弦变换即可得到发送样值，最后还原原始图像或声音等信号。

39. 五.霍夫曼编码 • 霍夫曼编码是可变字长编码(VLC)的一种。Huffman于1952年提出这种编码法，即完全依据字符出现概率来构造异字头的平均长度最短的码字。 •  霍夫曼编码的具体方法如下： • ① 将信源各个消息按其出现的概率大小以降序排列； • ② 把排列后的两个最小概率对应的消息分成一组，给其中大的（或小的）一个消息分配0，另一个分配1，然后求出它们的概率和，并把这个新得到的概率与其他尚未处理过的概率再次按由大到小的顺序重新排成一个新序列； • ③ 反复重复步骤②，直到所有的概率都已经被联合处理过为止。 • 从图的左边开始，沿着从这个消息为出发点的路线一直走到最右边，将遇到的二元数字依次由最低写到最高位所得的二元数字序列，就是最佳的二元代码。

40. 3.5.3 MPEG标准 • 一．JPEG标准 • JPEG是Joint Photographic Experts Group的缩写，主要用于计算机静止图像的压缩，在用于活动图像时，其算法仅限于帧内。采用JPEG标准可以得到不同压缩比的图像，在图像质量有保证的前提下，可以将每个像素的24bit信息量减到1bit甚至更小。 • JPEG标准所依据的压缩算法理论是离散余弦变换DCT和可变长编码。JPEG的关键技术有变换编码、量化、差分编码、霍夫曼编码等。 • JPEG算法利用单帧内的空间相关性，减小信号空间的冗余度，这种方式属于前面所说的帧内编码。

41. 二.MPEG标准 • 1．MPEG标准简介 • MPEG(Moving Picture Expert Group)中文含义即“运动图像专家组”，是专门制定多媒体领域内的国际标准的一个组织。该组织成立于1988年，由全世界大约300名多媒体技术专家组成，包括MPEG视频、MPEG音频和MPEG系统（视音频同步）三个部分。现在，一般用MPEG表示对数字存储媒介、电视广播、通信等运动图像和伴音给出的一种通用编码方法。 • MPEG压缩标准主要针对运动图像，其基本方法是在单位时间内采集并保存第一帧信息，然后就只存储其余帧相对于第一帧发生变化的部分，以达到压缩的目的。MPEG标准可实现帧间压缩，压缩率比较高，平均压缩比可达50：1。

42. 2．MPEG标准系列 • MPEG压缩标准包括MPEG-1、2、4等。 • MPEG-1(ISO/IEC 11172)是MPEG组织于1992年提出的第一个具有广泛影响的多媒体国际标准，全称“基于数字存储媒体运动图像和声音的压缩标准”。从这个名称不难想象，MPEG-1主要着眼于解决多媒体的存储问题。正是由于MPEG-1的成功制定，以VCD和MP3为代表的MPEG-1产品才在世界范围内得以迅速普及。 • MPEG-1用于传输1．5Mbps数据速率的数字存储媒体运动图像及其伴音编码，经MPEG-1标准压缩后，视频数据压缩率为（1：100～1：200），音频压缩率为1：6.5。 • MPEG-1提供每秒30帧352*240分辨率的图像，具有接近家用视频制式（VHS）录像带的质量。 • MPEG-1允许超过70分钟的高质量的视频和音频存储在一张CD-ROM盘上。 • VCD采用的就是MPEG-1标准，该标准是一个面向家庭电视质量级的视频、音频压缩标准。

43. 继MPEG-1的成功定制之后，MPEG组织于1996年又推出了旨在解决多媒体传输问题的MPEG-2标准。 • MPEG-2全称“通用的图像和声音压缩标准”，其最为引人注目的产品就是数字电视机顶盒与DVD。 • MPEG-2主要针对高清晰度电视（HDTV）的需要，传输速率10Mbps，有每秒30帧704*480的分辨率，播放速度是MPEG-1的四倍，兼容MPEG-1，适用于1.5-60Mbps甚至更高的编码范围。MPEG-2适用于高要求的广播和娱乐应用程序，如DSS卫星广播和DVD，MPEG-2是家用视频制式（VHS）录像带分辨率的两倍。

44. MPEG-4于1991年5月首次提出，1993年7月正式启动，经历了长达6年的研究与讨论，于1999年1月公布了ISO的MPEG-4于1991年5月首次提出，1993年7月正式启动，经历了长达6年的研究与讨论，于1999年1月公布了ISO的 • MPEG-4标准（视频和音频对象的压缩，ISO/IEC14496）的第一版，并在1999年12月公布了此标准的第二版。 • MPEG-4标准是超低码率运动图像和语言的压缩标准，用于传输速率低于64Mbps的实时图像，在覆盖低频带的同时向高频带发展。 • 较之前两个标准，MPEG一4为多媒体数据压缩提供了—个更为广阔的平台。它更多定义的是一种格式、一种架构，而不是具体的算法。它可以将各种各样的多媒体技术充分用进来，包括压缩本身的一些工具、算法，也包括图像合成、语音合成等技术。 • MPEG-4的最大创新在于赋予用户针对应用建立系统的能力，而不是仅仅使用面向应用的固定标准。 • 此外，MPEG-4还集成了尽可能多的数据类型，以实现各种传输媒体都支持的内容交互的表达方法。 • 借助于MPEG-4，我们第一次有可能建立个性化的视听系统。

45. 目前，MPEG组织的MPEG-7标准，即“多媒体描述接口”标准是为了解决多媒体内容的检索问题。通过这个标准，MPEG希望对以各种形式存储的多媒体结构有一个合理的描述，使用户可以方便地根据内容访问多媒体信息。目前，MPEG组织的MPEG-7标准，即“多媒体描述接口”标准是为了解决多媒体内容的检索问题。通过这个标准，MPEG希望对以各种形式存储的多媒体结构有一个合理的描述，使用户可以方便地根据内容访问多媒体信息。 • 在MPEG-7体系下，用户可以更加自由地访问媒体。 • 与此同时，正式名为“多媒体框架”的MPEG-21标准也于2000年6月开始启动，其具体内容正在制订过程中。 • 总之，随着MPEG组织的不断努力，多媒体信息技术的日趋成熟，广大用户会日益感受到新技术和新标准给大家带来的种种方便和实惠。