第 6 章信道编码

第6章信道编码 • 6.1 信道编码概述－6.1.1 信道模型－6.1.2 信道疑义度和平均互信息－6.1.3 错误概率和译码规则－6.1.4 错误概率与编码方法－6.1.5 抗干扰信道编码定理及逆定理－6.1.6 检错与纠错的基本原理 • 6.2 二元线性码－6.2.1 有限域上的线性空间－6.2.2 线性码的生成矩阵与校验矩阵－6.2.3 线性码的汉明重量和系统码－6.2.4 线性码的编码－6.2.5 线性码的译码

第6章信道编码 • 6.3 循环码－6.3.1 数学基础知识－6.3.2 循环码及其生成多项式－6.3.3 循环码的校验多项式－6.3.4 循环码的编码－6.3.5 循环码的译码－6.3.6 循环冗余校验码 • 6.4 限失真编码定理

[学习目标] （1）理解和掌握信道编码的基本原理；（2）理解抗干扰信道编码定理；（3）理解和掌握二元线性码的编码和译码；（4）理解和掌握循环码的编码和译码；（5）理解限失真编码定理。

信道 X Y 6.1 信道编码概述 6.1.1 信道模型 1．离散信道的数学模型 • 根据信道的统计特性即条件概率P(y|x) 的不同，离散信道可以分为三种情况：（1）无干扰信道（2）有干扰无记忆信道（3）有干扰有记忆信道输出信号输入信号条件概率反映信道的统计特性图6.1 离散信道模型

P(bj |ai) 图6.2 单符号离散信道 6.1 信道编码概述 6.1.1 信道模型 2．单符号离散信道的数学模型 • 单符号离散信道的输入变量为X，取值于{a1, a2, …,ar}，输出变量为Y，取值于{b1, b2, …, bs}，并有条件概率(信道的传递概率) ：P(y|x)= P(y=bj|x=ai) = P(bj |ai) (i=1,2,···,r；j=1,2, ···, s) • 模型：

b1 b2··· bs P(b1|a1) P(b2|a1) ··· P(bs|a1) P(b1|a2) P(b1|a2) ··· P(bs|a2) P(b1|a2) P(b1|a2) ··· P(bs|a2) a1 a2 a3 … … … … 6.1 信道编码概述 • 一般离散单符号信道的传递概率可用以下形式的矩阵来表示：并满足式。

6.1 信道编码概述 • 定义6.1已知发送符号 ai ，通过信道传输接收到的符号为 bj 的概率 P(bj|ai)称为前向概率。已知信道输出端接收到的符号为 bj，而发送符号为 ai 的概率P(ai|bj)称为后向概率。 • 有时，也把 P(ai)称为输入符号的先验概率(即在接收到一个输出符号以前输入符号的概率)，而对应地把 P(ai|bj)称为输入符号的后验概率(即在接收到一个输出符号以后输入符号的概率)。

6.1 信道编码概述 一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为 P(x=ai,y=bj)=P(aibj)，则有 (2) (3) 后验概率与先验概率之间的关系：

6.1 信道编码概述 6.1.2 信道疑义度和平均互信息 1. 信道疑义度 • 信道输入信号X 的熵 • H(X) 是在接收到输出Y 以前，关于输入X的先验不确定的度量，称为先验熵。 • 如果信道中无干扰（噪声），接收到传送过来的符号后就消除了对发送符号的先验不确定性。 • 但一般信道中有干扰存在，接收到输出Y 对发送的是什么符号仍有不确定性。

6.1 信道编码概述 6.1.2 信道疑义度和平均互信息 • 没有接收到输出Y 时，已知输入X的概率分布为P(x)；而接收到输出符号y=bj 后，输入符号的概率分布发生了变化，变后验概率分布P(x|bj)。 • 定义6.2 接收到输出符号 y=bj 后，关于X的平均不确定性为：称 H(X|bj) 为接收到输出符号为 bj 后关于X 的后验熵。后验熵是当信道接收端接收到输出符号bj后，关于输入符号的信息测度。

6.1 信道编码概述 • 将后验熵对随机变量Y求期望，得条件熵为这个条件熵称为信道疑义度。

6.1 信道编码概述 • 信道疑义度(条件熵) • 信息疑义度表示在输出端收到输出变量Y 的符号后，对于输入端的变量X尚存在的平均不确定性(即存在疑义)。 • 这个对X 尚存在的不确定性是由干扰(噪声)引起的。 • 如果是一一对应信道，那么接收到输出Y 后，对X 的不确定性将完全消除，则信道疑义度 H(X|Y)=0。

6.1 信道编码概述 2.平均互信息 • 定义6.3称 I(X;Y)= H(X)-H(X|Y) 为X和Y之间的平均互信息。 • 平均互信息表示接收到输出符号Y 后平均每个符号获得的关于输入变量X 的信息量。 • 经过推算得出：其中X是输入随机变量，Y是输出随机变量 • 平均互信息是互信息（即接收到输出符号y 后输入符号x 获得的信息量）的统计平均值，所以永远不会取负值。

6.1 信道编码概述 6.1.3 错误概率和译码规则 1．错误概率与信道统计特性有关 • 信道的统计特性可由信道的传递矩阵来描述。 • 当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。 2．错误概率与译码规则有关 • 通信过程一般并不是在信道输出端就结束了，还要经过译码过程(或判决过程)才到达消息的终端。 • 译码过程和译码规则对系统的错误概率影响很大。

6.1 信道编码概述 6.1.3 错误概率和译码规则 3．译码规则 • 定义6.4(译码规则)设离散单符号信道的输入符号集为A={ai}，i＝1,2,···,r ；输出符号集为B={bj}， j＝1,2,···,s。定义译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个惟一的输入符号ai与其对应(单值函数)，即 F(bj)= ai ( i＝1,2,···, r；j＝1,2, ···, s ) • 见例6.2

b1b2b3 6.1 信道编码概述 6.1.3 错误概率和译码规则 3．译码规则例 6.2有一离散单符号信道，信道矩阵为： • 根据这个信道矩阵，设计两种不同的译码规则： • 由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs 种译码规则可供选择。

6.1 信道编码概述 6.1.3 错误概率和译码规则 • 两种主要的译码准则 (1)最大后验概率准则 • 在确定择码规则F(bj)=ai 后，若信道输出端接收到的符号为bj，则一定译为ai ，如果发送端发送的是ai ，就为正确译码；如果发送的不是ai ，就为错误译码。那么，收到符号bj 时择码的条件正确概率为： • 令P(e|bj)为条件错误概率，其中e表示除了F(bj)=ai 以外的所有输入符号的集合。条件错误概率与条件正确概率之间存在关系：

6.1 信道编码概述 6.1.3 错误概率和译码规则 • 两种主要的译码准则 (1)最大后验概率准则 • 定义6.5称条件错误概率对Y空间的平均值为平均错误概率。 • 平均错误概率表示经过译码后平均接收到一个符号所产生的错误大小。 • 根据式 P(e|bj)= 1-P[F(bj)|bj] 为了使P(e|bj)为最小，应选择P[F(bj)|bj]为最大。

6.1 信道编码概述 6.1.3 错误概率和译码规则 • 两种主要的译码准则 (1)最大后验概率准则 • 定义6.6 选择译码函数并使之满足条件这种译码准则称为“最大后验概率准则”或“最小错误概率规则”。 • 如果采用最大后验概率译码准则，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，此时信道错误概率就能最小。

6.1 信道编码概述 6.1.3 错误概率和译码规则 • 两种主要的译码准则 (1)最大后验概率准则 • 已知信道的传递概率 P(bj| ai) 与输入符号的先验概率 P(ai)，可以写成： • 一般，这样，最大后验概率准则也可表示为：选择译码函数使满足

6.1 信道编码概述 6.1.3 错误概率和译码规则 • 两种主要的译码准则 (2) 极大似然译码准则 • 定义6.7 选择译码函数使满足这种译码准则称为极大似然译码准则。 • 根据极大似然译码准则，收到符号bj后，应译成信道矩阵的第 j 列中最大的元素所对应的信源符号。 • 在输入符号等概率时，极大似然译码准则与最大后验概率译码准则是等价的。

6.1 信道编码概述 6.1.3 错误概率和译码规则 4．计算平均错误概率 • 根据译码准则，平均错误概率为 • 求和号表示对输入符号集A中除F(bj)=a*以外的所有元素求和，也可以写成 • 而平均正确概率为

6.1 信道编码概述 6.1.3 错误概率和译码规则 4．计算平均错误概率 • 平均错误概率是在联合概率矩阵 [P(ai)P(bj|ai)] 中先求每列除去 F(bj)=a* 所对应的P(a*bj) 以外所有元素之和，然后再对各列求和。 • 也可以在矩阵 [P(ai)P(bj|ai)] 中先对每行求和，除去译码规则F(bj)=a* 所对应的 P(aibj) (j=1,···,r) ，然后再对各行求和。因此，平均错误概率还可以写成 • 其中是输入符号ai传输所引起的错误概率。

6.1 信道编码概述 6.1.3 错误概率和译码规则 4．计算平均错误概率 • 如果先验概率 P(ai) 是等概率的， P(ai) =1/r，则得上式表明，在等先验概率分布情况下，译码错误概率可用信道矩阵中的元素 P(bj|ai) 求和来表示。求和是除去每列对应于 F(bj)=a* 的那一项后，求矩阵中其余元素之和。 • 例 6.3（课本P183）

6.1 信道编码概述 6.1.4 错误概率与编码方法 • 在如图6.6所示的二元对称信道中，若选择极大似然译码准则进行译码，使 F(b1=0)=(a1=0)， F(b2=1)=(a2=1) 则总的平均错误概率（假设输入是等概率分布）为： PE =0.01=10-2 • 对于一般数据传输系统来说(例如数字通信，数据传输)，这个错误概率已经相当大了。 • 实际经验告诉人们，只要在发送端把消息重复发几遍，就可使接收端接收消息时错误减小，从而提高通信的可靠性。

6.1 信道编码概述 6.1.4 错误概率与编码方法重复编码 • 在发送端把消息重复发几遍，可使接收端接收消息时错误减少，从而提高通信的可靠性。 • 举例：在二元对称信道中，当发送符号0时，不是只发一个0而是连续发三个0；同样，发送符号1时也连续发送三个1。于是信道输入端有两个码字000和111。 • 但在输出端，由于信道干扰的作用，各个码元都可能发生错误，因此有8个可能的输出序列。这种信道可以看成是三次无记忆扩展信道。其输入是在8个可能出现的二元序列中选两个作为符号，而输出端这8个可能的输出符号都是接收序列。

二元对称信道 的三次扩展信道 b1 b2 b3 b4 b5 b6 b7 b8 简单的重复编码：信道矩阵为：根据极大似然译码规则(假设输入是等概率的)，可得简单重复编码的译码函数为：译码后的错误概率为：

6.1 信道编码概述 • 若重复更多次 n＝5, 7, ··· 可以进一步降低错误概率，可算得可见，当n 很大时，使PE 很小是可能的。但这里带来了一个新问题，当n 很大时，信息传输率就会降低很多。 • 把编码后的信息传输率(也称码率)表示为：此处M是输入信息(符号)的个数，logM 表示消息集在等概率条件下每个消息 (符号)携带的平均信息量(比特)，n 是编码后码字的长度(码元的个数)。

6.1 信道编码概述 6.1.4 错误概率与编码方法 • 如果在扩展信道的输入端把8个可能作为消息的二元序列都作为消息，M＝8，则每个消息携带的平均信息量就是logM＝log8＝3比特，而传递一个消息所需的符号数仍为三个二元码符号，则就提高到1比特／码符号。 • 现在，采用的译码规则是规定接收端8个输出符号序列j与ai一一对应。这样，只要符号序列中有一个码元符号发生错误就会变成其他所用的码字，使输出译码出现错误。只有符号序列中每个符号都不发生错误才能正确传输。所以得到正确传输的概率为，于是错误概率为 • 这时PE 反比单符号信道传输的PE 大三倍。

6.1 信道编码概述 6.1.4 错误概率与编码方法 • 由此可得：在一个二元信道的n次无记忆扩展信道中，输入端有2n个符号序列可以作为消息。如果选出其中的M个作为消息传递，则M越大，PE 和R也越大；M越小，PE和R也越小。 • 若在三次无记忆扩展信道中，取M＝4，取如下4个符号序列作为消息：M=4 第I种选法 M=4 第II种选法用极大似然译码规则，求得第Ⅰ种选法的错误概率为第II种选法的错误概率为可见，错误概率与编码方法有很大关系。

6.1 信道编码概述 6.1.4 错误概率与编码方法 • 若信道输入端所选取的消息数不变，仍取M＝4，而增加码字长度，即增大n，取n＝5。这时信道为二元对称信道的五次无记忆扩展信道。这个信道输入端可有25＝32 个不同的二元序列，选取其中4个作为发送消息。这时信息传输率为错误译码概率为 • 因此增大n，并适当增大M，选取合适的编码方法，既能使PE 降低，又能使信息传输率不减少。

6.1 信道编码概述 6.1.5 抗干扰信道编码定理及逆定理定理6.1 有噪信道编码定理设离散无记忆信道 [X, P(y|x), Y]， P(y|x) 为信道传递概率，其信道容量为 C。当信息传输率 R<C 时，只要码长 n 足够长，总可以在输入的符号集中找到2nR个码字组成的一组码和相应的译码规则，使译码的错误概率任意小 (Pe→0)。信道容量C是平均互信息量的最大值其单位是“比特/符号”。

6.1 信道编码概述 6.1.5 抗干扰信道编码定理及逆定理定理6.2 有噪信道编码定理逆定理设离散无记忆信道 [X, P(y|x), Y]，其信道容量为 C。当信息传输率 R>C 时，则无论码长 n 多长，均找不到一种编码2nR ，使译码错误概率任意小。 • 定理6.1和定理6.2统称香农第二定理。

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 • 语法信息编码：在信息处理过程中，为了保持数据的正确性应对信息进行编码使其具有检错纠错能力。 • 基本思想：引入剩余度，在传输的信息码元后增加一些多余的码元，以使信息损失或错误后仍能在接收端恢复。 • 二元数字信息就是由二元数域F2={0,1}中的数字0与1组成的数组或向量。 • 二元数域F2={0,1}的异或运算： • F2的加法运算：0+0=0， 0+1=1， 1+0=1， 1+1=0 • F2的乘法运算：0·0= 0·1=1·0=0， 1·1=1

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 • 为了使原信息能正确地传送到接收方，可以在信息传送前进行一次抗干扰编码，再传送抗干扰编码后的数字信息。 • 抗干扰编码有检错编码与纠错编码。 • 检错编码是检查有无错误发生的编码。 • 纠错编码是能纠正已发生错误的编码。 • 下面介绍两个简单的检错编码的例子。

6.1 信道编码概述 • 例6.4 (奇偶校验码)设原信息是长为5的二元向量c=(c0, c1, c2, c3, c4) ，在传送前编码为： • 其中求和在F2中进行，因此(c)的6个分量之和为0。传送 (c)，设收到向量是 r=(r0, r1, r2, r3, r4, r5)。如果，则在传送过程中一定发生了错误，可能是0错成1，也可能是1错成 0，且有奇数个分量发生了错误。但如果，则传送过程可能没有发生错误，也可能发生了偶数个错误。 • 如果技术上能保证在传送过程中至多发生一个错误，接收方就可以查出有无错误发生。这种检错编码叫做奇偶校验码。

6.1 信道编码概述 • 例6.5 (汉明校验码) 在被编码信息中加入m个奇偶校验位，让它们分布在码字的 20,21,···,2m-1位，从而将 k 位被编码信息均匀拉长到 k+m =2m-1位，就得到了汉明校验码。 • 在汉明校验码中，每个码元（包括校验位）的位置按从右向左的顺序从1开始编号，其编号可以表示为2的最小幂之和，如1=20，2=21，3=20+21，4=22，…。 • 这样，就确定了该码元由哪些校验位来校验；反之，也就确定了每个校验位校验哪些码元（数据位）。

6.1 信道编码概述 • 以m=4为例，码字最长为15位，被编码信息最长为11位。设4个校验位为：P4P3P2P1 ， • 原信息位为：D10D9D8D7D6D5D4D3D2D1D0 ， • 汉明校验码为：H15H14H13H12H11H10H9H8H7H6H5H4H3H2H1 ， • 汉明校验码分别按如下位置放置11个信息位和4个校验位： D10D9D8D7D6D5D4P4D3D2D1P3D0P2P1。

6.1 信道编码概述 P1 = H1 = D0+D1+D3+D4+D6+D8+D10 P2 = H2 = D0+D2+D3+D5+D6+D9+D10 P3 = H4 = D1+D2+D3+D7+D8+D9+D10 P4 = H8 = D4+D5+D6+D7+D8+D9+D10

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 • 定义6.8设原信息集合是F2上k 维向量组成的向量空间Vk， s 是到的一个单射，n>k 则称的全体象 C = s() 为码，C 中的每一个n 维向量为码字，码字的分量称为码元。 • 当任一码字在传送过程中有不多于t 个错误发生时，如果收信方可以检查出有无错误发生，则称这个码C 是可以检查t 个差错的检错码，并称 s 为检错编码； • 如果收信方可以从收到的字正确译出发信方发送的码字，则称码C是可以纠正t个差错的纠错码，并称 s 为纠错编码。 • 称 k 为信息长度，n 为码长，为码C 的信息率。 • 一般地，信息率越高，检错或纠错的能力就越大。

s： | 6.1 信道编码概述 6.1.6 检错与纠错的基本原理在例6.4中，就是一个从到的能检一个差错的检错编码，而且 C = s( ) 。

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 • 定义6.9设X=(x1,x2,…,xn)，Y=(y1,y2,…,yn)，xiF2，yiF2，i=1,…,n，称X 和Y 对应分量不相等的分量个数为X 和Y 的汉明(Hamming)距离，记为d(X, Y)。 • 定理6.3 设 X 和Y 是长为 n 的二元码字，则（1）0≤d(X, Y)≤ n（非负且有界性）（2）d(X, Y)=0 当且仅当 X=Y（自反性）（3）d(X, Y)=d(Y, X)（对称性）（4） d(X, Z) ≤d(X, Y)+ d(Y,Z) （三角不等式）

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 [证明] 由定义6.9可知，(1)(2)(3)显然成立。只需证(4)。 • ①若X=Z，则 d(X, Z)=0，而d(X, Y)≥0, d(Y, Z) ≥ 0，故 d(X, Z)≤d(X, Y)+ d(Y, Z)。 • ②当X≠Z时，对其分量，若xi≠zi，一定有xi≠yi或 yi≠zi，这时，d(xi, zi)=1, d(xi, yi)与d(yi, zi) 中肯定有一个为1，故 d(xi, zi)=d(xi, yi)+d(yi, zi)；若xi＝zi，则 d(xi, zi)=0，而 d(xi,yi)与d(yi, zi) 都≥ 0，故 d(xizi) ≤d(xi, yi)+ d(yi, zi)；由定义6.9有 d(X, Z)≤d(X, Y)+ d(Y, Z)。证毕。

6.1 信道编码概述 • 在二元对称信道中，最小汉明距离译码准则等于极大似然译码准则。 • 设收到字A，在所有码字中，如果c是与A的汉明距离最小的码字，即c是发生传送错误分量个数最少的码字而成为A的，从而在所有码字中，c是前向传送概率最大而成为A的码字，因此按极大似然译码准则，应将A译为c，即将A译成与A的汉明距离最小的码字。 • 例6. 6 设码C=(0000,0011,1000,1100,0001,1001)，在二元对称传送中，如果收到A=0111，试问根据极大似然译码法，应将A译为哪一个码字？ [解] 计算码C中每一个码字与A的汉明距离如下： d(0111,0000)=3， d(0111,0011)=1， d(0111,1000)=4， d(0111,1100)=3， d(0111,0001)=2， d(0111,1001)=3，由于码字0011与A的汉明距离最小，从而根据极大似然译码法应将A=0111译为0011。

6.1 信道编码概述 6.1.6 检错与纠错的基本原理 • 定义6.10 设码C是至少包含2个码字的码，称 d(C)=min{d(X,Y)|X,Y∈C, X≠Y} 为码C的极小距离。若码长为 n，极小距离为d 的码C 含有m个码字，则称C是(n, m, d)码。 d 例：在码长为5的码 C=(00000，00011，00111，11111)中，由于 d(00011, 00111)=1，而其他任何两个不同码字的汉明距离都大于或等于2，故d(C)=1，从而C是 (5,4, 1) 码。

e t t e 1 1 1 t A B A B A B d0 d0 d0 （c）（a）（b） 6.1 信道编码概述 6.1.6 检错与纠错的基本原理定理6.4设C是码长为 n 的二元码。（1）若 d(C)≥ t+1，则C是可以检查t 个差错的检错码；若 d(C) = t+1，则C是不能检查t+1个差错的检错码；（2）若 d(C)≥ 2t+1，则C是可以纠正t 个差错的纠错码；若 d(C) = 2t+1，则C是不能纠正t+1个错误的纠错码。 • 几何分析图6.9 检（纠）错能力的几何解释

6.2 二元线性码 6.2.1 有限域上的线性空间 • 定义是二元域F2上的 n 维线性空间。 • 定义6.11 设C是F2上n维线性空间V的非空子集，如果C也是F2上的线性空间，则称C是V 的子空间。 • 定义6.15设 , 称为 X 与Y 的内积；如果 XY=0，则称 X 与 Y 正交。

6.2 二元线性码 6.2.1 有限域上的线性空间 • 定理6. 5设C是F2上线性空间的子空间，令则C⊥是的子空间（称为C的正交补子空间），且。

6.2 二元线性码 6.2.2 线性码的生成矩阵与校验矩阵 • 定义6. 13 称的任一子空间C是长为n的线性码，并称子空间C的维数为线性码C的维数，仍记为dimC。并记长为n，维数为k 的线性码为[n,k]线性码. • 设C⊥是线性空间的子空间C的正交补子空间，则也是长为 n 的线性码，称 C⊥ 是线性码C 的对偶码；当 C⊥=C 时，称C是自对偶码。 • 定理6. 6 设C是长为n 的二元线性码，则 (1) C 恰好含有M=2dimC个码字； (2) 当C是自对偶码时，。

6.2 二元线性码 6.2.2 线性码的生成矩阵与校验矩阵 • 定义6. 14 设C是F2上的线性码，a1, a2, ···, ak 是C在F2上的一组基，称为 [n,k]线性码的生成矩阵。 • 设h1=(h11,h12,…,h1n),··· , hn-k=(hn-k,1, hn-k,2, ···, hn-k, n) 是C⊥的基，则是C⊥ 的生成矩阵。

第 6 章 信道编码