第六章 图像编码

1. 第六章 图像编码 一、引言 因为数字图像的数据量特别大，从而对存储、处理和传输都带来了问题。如何才能有效的减少数字图象的数据量而又不丢失或少丢失图象的信息，就是图象编码问题——减少表达信息的数据量。 图象信息之所以可被减少或称被压缩，是由于图象信息中有大量的冗余信息。图象压缩就是利用了图像信号中的冗余度，如数据编码冗余度、心理冗余度(利用人眼视觉系统的一些特性忽略掉一些不被人眼所察觉的信号成分)等，进行压缩。

2. 1、数据冗余 如果用n1和n2分别代表相同信息的2个数据集合中的信息载体单位的个数，那么第一个数据集合的相对数据冗余RD(相对于第二个数据集合)定义为： RD=1-1/CR 其中CR称为压缩率： CR=n1/n2 例如，对同一幅512×512点的全白图像，以两种方式表达这幅图像： 每点用8位信息表示 n1=512×512×8 每点用1位信息表示 n2=512×512×1 则 RD=1-1/CR＝1－1/8=88% CR=n1/n2＝8

3. 如果一个像素(事件、信息)用8位表示，该信息被赋予的码符号序列称为码字；码字里的符号个数称为码长。如果一个像素(事件、信息)用8位表示，该信息被赋予的码符号序列称为码字；码字里的符号个数称为码长。 2、冗余的形式 编码冗余：没有充分利用编码对象的概率特性而产生的冗余。 设定义在[0,1]区间的离散随机变量sk代表图像 的灰度值，每个sk以概率ps(sk)出现： ps(sk)＝nk/n k=0,1,…,L-1 其中L为灰度级数， nk是第k个灰度级出 现的次数，n是图像中像素总个数。若用 于表示信息sk的位数是l(sk)，那么为表示 每个像素所需的平均位数(码长)为：

4. 100 → 110 → 120 自然码和变长码的例子(P136) RD=1-1/CR＝1-0.91=9%CR=n1/n2＝3/2.7=1.11 说明该图像有9%的冗余。 像素间的冗余 图像的重要特点之一就是像素间具有某种相关性。换言之，就是如果相邻像素值可由本像素值得出，那么像素值原来的表达是多余的。 心理视觉冗余 如果随着图像信息表达位数的增加，主观视觉效果不在增加，那么多于的信息表达位数就是心理视觉冗余。

5. 3、图像保真度和质量 1)、客观保真度原则 均方根误差 均方信噪比 峰值信噪比 2)、主观保真度原则 • 优秀——很好 • 良好——较好 • 可用——稍好 • 刚可看——相同 • 差——较差 • 不能用——很差

6. 输入图像 输出图像 信源编码器 信道编码器 信道解码器 信源解码器 信道 二、编码模型 信道编码、解码器以汉明码为例 汉明码——一种纠错码。汉明指出：如果将3位的冗余加到4位码字上，则所有单个位出现的错误都可以发现和校正。 编码： 例如：0101→1 0 1 0 0 1 0 解码：对汉明码进行校验，错误位置由 非零校验字c4c2c1指出；对该位求反即可 纠正错误。如果校验字为零，则解码结果为h3h5h6h7。

7. 一个典型的信源压缩(编码)系统如图所示。 通过时间轴上采样和幅度量化将连续信号变成离散数字信号 并对其进行量化。 信号压缩真正体现在量化阶段 。 如果信号已经数字化 将信号中绝大部分能量集中在少数几个变换系数上，去除信号中的相关性 最终的“无损”与“有损”编码的区别在于： 在编码过程中是否是对全部的“数据”进行编码。 一般先是游程编码，然后Huffman编码或算术编码进一步提高压缩比

8. 三、编码器的设计原则 1、设计一个好的图像编码器的步骤 • 要为图像信号选择一个正确合适的模型；在这个给定模型框架中优化编码器。 • 压缩算法的选择；应数据压缩率、失真度和算法的复杂度。 2、图像编码算法的分类： 1)、一类是无损编码 即在编码过程中信息没有丢失。 2)、另一类是有损编码 即在编码过程中没有对所有信息编码。

9. 3、图像信息率及编码效率 一般静止灰度图像中每个像素用8比特来表示，那么一幅图像的平均信息率可以用下面的熵值来表示： 其中pi＝ni/n i=0,1,…,L-1 表示像素取i级灰度的概率，i的取值范围为0~28-1。 H表示该图像在不失真情况下，每像素编码所需的最小码长；如果对每像素编码的码长小于H，则解码后的图像会产生失真。

10. 4、最佳编码定理 主要内容：若对一幅图像进行编码，将出现概率较高的信息(出现概率较高的像素值)赋予较短的码字；反之，将出现概率较低的信息(出现概率较低的像素值)赋予较长的码字；如果码字长度严格按照所对应信息出现的概率大小逆序排列，则这样编码结果的平均码字长度一定是小于任何其它排列方式。 衡量编码优劣可用编码效率作为一个重要指标。

11. 对最佳编码定理的简单说明 设图像灰度级为w1,w2 ,…wN； 各级灰度出现的概率分别为p1,p2 ,…pN(由大到小)； 编码器赋予各级灰度对应的码字长度分别为t1,t2 ,…tN (由小到大)；则编码后图像平均码字长度R应为： 令：R1为严格按最优编码定理规定的原则编码的平均码字长度； R2为在编码过程中将任意两个灰度级不按最优编码定理规定的原则编码的平均码字长度。 依最优编码定理的结论应有R2＝R1＋△R。 只要证明△R＞0即可

12. 令第m和n个灰度级出现的概率分别为pm，pn，且 pm>pn；对应的码字长度分别为tm，tn，且 tm>tn(不符合严格逆序的原则)。构造下列运算： 注意：概率和字长均为正数。 说明运算构造的合理性 说明不按定理编码的平均码长一定大于按定理编码的平均码长 不按定理的码长 按定理的码长

13. 5、编码的唯一可译码(单义码)原则 一个能唯一的被译出、不会产生歧义的编码序列称为唯一可译码编码(单义码)。这样的编码序列应满足以下两个条件： • 编码中的任何一个码字都不是另一个码字的简单续长代码——由一个码字简单添加一些码元而构成一个新的码字。 注意：非续长码一定是单义码；而单义码不一定是非续长码。 • 编码序列应为单义代码序列，即满足Kraft不等式。 其中：n为编码序列的编码个数；D为编码系统的进制；ti为第i个码字的长度。

14. 编码的唯一可译码原则的解释 • 某编码序列C=[00, 10, 0(0)11, 101]对应信息[a,b,c,d] 编码序列C满足Kraft不等式，所以C是单义代码。 例：某编码序列C=[101, 10, 00, 10] dbab • 某编码序列C=[0, 01, 1,11]对应信息[a,b,c,d] 编码序列C不满足Kraft不等式，所以C不是单义代码。 例：某编码序列C=[0, 1, 11, 0, 11] acdad → bdbc ? • 所有应用于信号的编码，都应满足编码的唯一可译码原则。

15. 四、简单编码方法 1、哈夫曼编码——最优变长编码 哈夫曼编码是一种利用信息符号概率分布特性的变字长的编码方法。对于出现概率大的信息符号编以短字长的码，对于出现概率小的信息符号编以长字长的码。 具体步骤： • 分配码字长度时，首先将出现概率最小的两个符号的概率相加，合成一个概率； • 第二步把这个合成概率看成是一个新组合符号的概率。 • 重复上述做法，直到最后只剩下两个符号的概率为止。 • 完成以上概率相加顺序排列后，再反过来逐步向前进行编码； 每一步有二个分支，各赋予一个二进制码，可以对概率大的编码赋为0，概率小的编码赋为1。

16. a2 a6 a2 a6 a4 a5 a2 a3 a1 哈夫曼编码示例 某图像中的一个子集如图所示，其哈夫曼编码为(逐行a2 a6 a2 a6 a4 a5 a2 a3 a1)： 100100010001011101010001共24位 如果用每个符号3位自然码编码： 共需27位；是唯一可解码编码。

17. 计算上例的编码效率 图像的熵、平均码字长度、编码效率 若按自然码编码： H = 2.14 Lavg = 3 编码效率 = 71.3% 之所以没有达到H=2.14的水平，是因为字长是整数。

18. 哈夫曼编码在使用中出现的问题 1、编码过程太复杂 2、对每个文件的编码是不一样的 3、解码器的构造不一致 4、压缩文件中必须包含解码信息 针对上述问题，常常采用一些亚最优编码 只要对文件信息的统计参数已知，可直接用亚最优编码对其进行压缩。 从表6.3.1可以看出，哈夫曼(截断哈夫曼、哈夫曼平移码)编码是效率较高的编码。

19. 2、亚最优可变长编码 哈夫曼编码为最优编码。但在使用过程中有不便之处：要对编码对象进行概率统计，不利于快速编码。如果对某一类编码对象的统计统计规律有一定的了解，即可利用一些亚最优变长编码技术得到近似最优的编码结果。 常见的亚最优变长编码有： A码(平移码)——当被编码信息的概率分布为单调减小时，编码效率较高。 B码(对数码)——当被编码信息的概率分布服从指数分布时，编码效率较高，接近最优编码。(接续码见P152) 截断哈夫曼码——对最有可能出现的M个符号进行哈夫曼编码； 将其余的符号概率相加，查出对应的哈夫曼编码作为前缀，后跟由0开始的自然码对剩余的信息进行编码。 哈夫曼平移码——

20. 编码应用举例1——图像的差分编码 某卫星图像f为2340×3240像素，灰度量化为128级。如果采用自然码编码，共需使用2340×3240×7≈50Mbit。若每天接收30幅，则共需使用约50×30＝1500Mbit。图像的直方图如图所示。构造差分变换矩阵A，对图像f进行变换。 图像以堆叠向量表示 A为(2340×3240)× (2340×3240)方阵 f为 (2340×3240)×1列向量； g为(2340×3240)×1列向量

21. pk(sk) pi(gi) 差分数据直方图 灰度直方图 0.4 0.25 sk gi -32 -8 0 8 32 16 90 直方图的比较 可以看出： 由于图像数据的相关性，差分数据的方差(数据的离散程度小)远小于灰度数据的方差。 根据最佳编码定理，对差分数据编码所需的平均码长会远小于对灰度数据编码所需的平均码长。

22. 构造编码 构造一种变形的A码(移位码)，共16个码字c1 c2 c3…c16。 c1＝0000， c2＝0001， c3＝0010， …… c16＝1111 将其中的14个码字c2 c3…c15分配给差分数据； c1、c16作为指示位。 图像重构：编码图像 → 解码 → 逆变换 f = A-1g 压缩后的平均码长为4.3，压缩61％；如果用哈夫曼编码平均码长为3.5，压缩50％ 。

23. 编码应用举例2——图像的轮廓编码 对存在大面积等灰度块的图像(可能是直接得到，也可能是通过某种增强方法得到)可采用图像轮廓编码进行压缩。——任何一个灰度区域，都可以按照某种规则勾画成一个封闭的等值线。 ①将所有像素标记为I ②从左上角开始逐行寻找起始点并将该点标记成IP；能够成为起始点的条件为该点标记为I，并且不在已勾画过的轮廓当中。 ③按“向左看”，“顺时针转”的原则，寻找等灰度I点，按标记规则加注标记。 ④完成一个封闭轮廓后，寻找新的轮廓起点。直至标记完所有轮廓。

24. A 勾画轮廓及标记 新IP点的确定： 从左到右从上到下逐行搜索。 ①构造栈区，搜索新的一行时，将栈区清空。 ②遇A进栈，遇D出栈，遇R不管；如果空栈遇I则为一新的IP点；如果非空栈遇I且该像素的灰度值不同于先前进栈A点的灰度值，则该点为一新的IP点，反之不是。 对于同一像素点上出现两次标记得处理

25. 00 11 01 10 编码方案 Flame方向码 轮廓号： 自然码 轮廓灰度：自然码 坐标起点：自然码 轮廓码：Flame方向码 可以是8位 解码：每完成一个轮廓的描绘，将该轮廓内填充为对应的轮廓灰度。 该图像如果用自然码编码共用7×8×8＝448bit；采用轮廓编码共用3×16＋2×16＋92＝172bit。同灰度面积越大，效果越明显。

26. l1 l2 l3 l4 l5 像素坐标 编码应用举例3——图像的游程编码 灰度级 g5 g4 图像的每一行可以看成是由i个长度不等，灰度级为k个的像素组成。 g3 g2 g1 对每一行像素用(li,gk)表达，选择恰当编码方式对其进行编码(甚至直接保存) ，即可对图像进行压缩。图像中等灰度的面积越大，压缩效果越好。 对上图表示的某一行像素而言： (l1,g1)，(l2,g3)，(l3,g2)，(l4,g5)，(l5,g4)

27. 0.06752 a1 a2 a3 a3 a4 1 0.2 a4 a4 0.08 0.072 0.0688 a4 a4 a4 a3 a3 a3 a3 a3 a2 a2 a2 a2 a2 a1 a1 0 0 a1 a1 a1 0.04 0.056 0.0624 (0.04/10)×4 +0.04=0.056 (0.04/10)×8 +0.04=0.072 编码应用举例4——算术编码 特点：递推式编码。 编码条件：必须知道各符号信息的概率 例：已知符号源{a1, a2, a3, a4}，已知各符号出现的概率分别为p(a1)=0.2， p(a2) =0.2，p(a3) =0.4，p(a4) =0.2，现需对a1 a2 a3 a3 a4编码。 在最后一个符号的区间内[0.06752,0.0688]内的任意的一个实数就可以表示整个序列(码长尽可能的短)。如0.068。

28. 0.06752 a1 a2 a3 a3 a4 a1 a2 a3 a3 a4 1 0.2 a4 a4 0.08 0.072 0.0688 a4 0.0688 0.067776 0.0676224 0.06761144 a4 0.067607426 a4 a4 a4 a4 a4 a4 a3 a3 a3 a3 a3 0.0676058064 a3 a3 a3 a3 a3 a2 a2 a2 a2 a2 a1 a1 a2 a2 a2 a2 a2 0 0 a1 a1 a1 a1 a1 a1 a1 a1 0.04 0.056 0.0624 0.06752 0.06752 0.0675712 0.06759132 0.067599368 算术编码的解码：条件同上，给定编码0.0676059 解码方法：排列概率、选择展开区间去逼近被解码字区间。 解码结果： a1 a2 a3 a3 a4 a1 a2 a3 a3 a4 被编码的信息长度应是已知的

29. 五、二值图像编码 1、二值图像编码——跳过白块编码(WBS) 二值图像是指只有两个灰度级的图像。例如文字组成的文件扫描图、气象图、工程图、指纹卡、军用态势图…。 分辨率越高，图像细节越清晰，因而图像质量越高。但是其代价是表示一幅图像的数据量也越大，这使得传输时间、存储容量、处理计算时间都要付出更高的代价。 CCITT(国际电话与电报顾问委员会)建议采用两种分辨率：1728象素/行(8取样/mm)，3.5行/mm；1728象素/行(8取样/mm)，7.7行/mm。

30. 在一般情况下，用主观测试方法确定结果表明，对中等质量要求，如我国常用的公文纸幅面190mm×270mm，如果分辨率取5点/mm，直接编码所需bit数：在一般情况下，用主观测试方法确定结果表明，对中等质量要求，如我国常用的公文纸幅面190mm×270mm，如果分辨率取5点/mm，直接编码所需bit数： 190×270×52=1282500bit≈1.3Mbit 如果用常用的速率为2.4kbit/s的传真机传送，需要9分钟。如要达到CCITT规定的三类传真机的传输标准，即传输一帧公文约需1分钟，则需将数据压缩9倍。

31. 1)、一维跳过白块编码 基本原理： 大多数二值图像中的黑象素只占整个图像的一小部分，若能跳过白色象素，只对黑色象素编码，则表示图像的比特数就能减少，平均比特数就能大大降低。 步骤： • 将图像的每条扫描线分成若干段，每一段的象素个数为n； • 对全部是白色的象素用0表示； • 对至少有一个黑象素的线段用n+1个比特表示，第一个比特为1，其余n比特采用直接编码。

32. 举例：黑白白黑 —— 11001 白白白白 —— 0 设长度为n的象素段出现全白的概率为Pw，则一维WBS编码每一段的平均码长bn为： 例：某二值图象行有40个黑白象素(40位)。 n=4时 0 0 11110 0 11111 0 0 0 共16位 n=8时 0 111100000 111110000 0 共20位 n=5时 0 100011 110000 101111 0 0 0 0 共23位可见，分段大小的不同，编码效率也不同。

33. 2)、二维跳过白块编码 将一维WBS的象素段推广为象素块。设象素块大小为M×N，全白象素块用“0”表示，否则用M×N个比特来直接编码，并在编码前加一个1作为标识位。则每块像素的平均码长R为 如果此像素为白 其中：Pw为象素块出现全白的概率 例：某二值图象4行有160个黑白象素。 若按4×4分块：5位0＋5×(16+1 )位1＝90位编码。

34. 3)、自适应跳过白块编码 根据图像的局部结构或统计特性，改变象素块的大小，进一步提高压缩效果，这就是所谓的自适应WBS编码。 改进型的一维WBS编码：对于一维的WBS编码，如果一条扫描线全为白象素时，则用1比特“0”表示，否则用正常的一维WBS编码。 自适应的WBS编码可以使得表示图像的bit数下降很多，但是为了自适应增加了译码的复杂性。

35. 2、二值图像编码——游程编码 主要思路是将一个连续相同值的串用一个代表值和串长来代替。 对于图像编码，可以定义沿特定方向上具有相同灰度值的相邻象元为一组，其延续长度称之为延续的行程，简称为“游程”。游程终点位置由前一游程终点的相对距离确定，这样就可以由游程长度串来表示图像数据。游程编码一般不直接应用于多灰度图像，而比较适合于二值图像的编码，例如传真图像的编码等。 为了达到较好的压缩效果，有时游程编码和其它一些编码方法混合使用。

36. 1)、一维游程长度编码(RLC) 对二值图像的每一扫描行来看，总是由若干段连着的黑象素段和连着的白象素段组成，分别称为“黑长”和“白长”。黑长和白长总是交替发生。对于不同长度按其发生概率分配以不同长度的码字，这就是游程长度编码(RLC)。 设二值图象中有长度为1, 2, …，N等不同长度的黑长和白长，N为一个扫描行的象素数。 步骤： • 对每一扫描行从左到右按游程长度编码，且每行都由白色游程开始(其长度可以是0) 。 • 用最优变长编码或亚最优变长编码对游程长度进行编码。

37. 一维游程长度(RLC)编码举例 各行编码： 1，7，4，4，4，12 2，7，3，12，4，4 3，7，2，4，1，2，1，4，1，7 4，7，1，4，4，4，4，4 概率统计按大小排列：4，1，7，2，12 ，3 用哈夫曼编码方案编码(P150) 00，011，1，1，1，01010 0100，011，01011，01010，1，1 01011，011，0100，1，00，0100，00，1，00，011 1，011，00，1，1，1，1，1 共计：13＋19＋27＋11＝70 (直接编码为128位)

38. 2)、二维游程长度编码(RAC) RAC编码举例 各行编码： 第一行：1，7，4，4，4，12——RLC编码 第二行：1，1，3，4，4，4 第三行：2，1，2，4，1，2，1，4，1，3 第四行：3，1，1，4，3，4，3，4 编码方案之一如P156。

39. 3)、预测差值量化编码(PDQ) 游程长度编码只利用了沿扫描线方向的象素间的相关性。如果进一步利用行间象素相关性则可能达到更高的压缩效率，这就是预测差值量化编码。 PDQ实际是RLC基础上改进得到的二维游程编码，它不是对游程长度本身进行编码，而是对扫描线之间的代表两个游程长度变化的差值进行编码，但相应的规则较多。

40. 六、预测编码 预测编码是统计冗余数据压缩理论的三个重要分支之一(直接编码、预测编码、变换编码)。 预测编码的理论基础是现代统计学和控制论，它主要减少了数据在时间和空间上的相关性。 对于静止图像来说，预测编码将被图像变换编码所取代。 而预测编码对于视频信号来说，它充分利用了连续帧之间的统计冗余性，是当今主流技术并且还会流行于未来。

41. 1、预测编码的基本原理 预测编码是根据图像数学模型利用以往的样本值对于新样本值进行预测，然后将样本的实际值与其预测值相减得到一个误差值，对这一误差值进行编码。 如果模型足够好且样本序列在时间上相关性较强，那么误差信号的幅度将远远小于原始信号，从而可以用较少的码字对其差值量化得到较大的数据压缩效果。 如果能精确地预测数据源输出，那就不存在关于数据源的不确定性。

42. 然而没有一个实际的系统能找到其完整的数学模型，我们能找到的最好预测器是以某种最小化的误差对下一个采样进行预测的预测器。然而没有一个实际的系统能找到其完整的数学模型，我们能找到的最好预测器是以某种最小化的误差对下一个采样进行预测的预测器。 通常预测器的设计不是利用数据源的实际数学模型，因为数据源的实际数学模型是非常复杂，而且是时变的。 实验结果表明以最小均方预测误差设计的预测器不但能获得最小均方预测误差，同时在视觉效果上也是比较好的。

43. 预测编码原理——线性预测 历史数据 被预测数据 XM， XM-1， XM-2， ……，X1， Xn， Xn+1，…… 则对Xn的线性估值可表述为(此时的Xi去掉了X的均值)： 设时间序列像元如下 为了得到最佳的预测系数，定义均方误差准则： 求使en2最小的ai： 不可能=0 看成常数

44. p(Xn) p(e2n) e2n Xn 有： 当i=1,2,…,M时若定义Xi、Xj的协方差为Rij=E[Xi,Xj]则上式可写为： 且可以证明 |ai|<1。由于Rij是可以求出来的，因此ai也是可以求出来的。求取偏差的方差——观察其离散程度。 对称方阵

45. 如果预测的比较准确则近似等于Xn 若Rij=E[Xi,Xj]，定义相关系数： ρij= E[Xi,Xj]/ E[Xi2] 0≤ρij≤1 则Rij等式可以写成

46. 显然，M=1时，有： 在前面公式推导时，前提条件是各点的均值为0。但在实际的图像中，图像点的均值不可能等于0，总有一个值m。因此，要保证上式成立应有： 上式称为最佳一维一阶预测公式。其中： 使用预测编码方式可以实现无损编码——在预测过程中不进行各种舍入的量化；以及有损编码——在预测过程中进行了适当的舍入和量化。 实际上，前面推导的公式是不好用的。因为期望值与自相关系数是不容易得到的。

47. 编码器 解码器 2、无损编码实例——一阶DPCM编码 令a1=1 设预测器为一阶预测器： 偏差为： 用其对给定图像进行编码。 对 选择恰当的编码方式进行编码(如前例中的变形移位码)。

48. 编码器 解码器 3、有损编码实例——DM(差值调制)编码 为了进一步提高压缩率，可使用DM编码方案。 设预测器为一阶预测器： ，其中a1=1；偏差为： 用其对给定图像进行编码。 令+c=1， -c=0 对 进行编码，每像素仅一位(每行的第一个像素用自然码编码)。

49. DM(差值调制)编码存在地问题 • 造成颗粒噪声形成亮暗噪声点，噪声的强弱取决于c的选择。 • 当图像的灰度发生剧烈变化时，预测值跟不上变化，解码后会造成边缘的不清晰——斜率过载现象。 4、最优量化——高阶预测(有损编码) 如果使用高阶预测，M>1，由于|ai|<1，则偏差会出现小数，且为各种可能值，如：0.312、0.1237、4.7856。 为了对其进行编码，必须要进行量化。最简单的方法是取整运算： 当像素间的相关性较 强时，误差很大。

50. 量化方案的选择 如何对偏差信息进行量化，需几级量化才能使解码图像更接近原始图像，量化时怎样才能使量化误差最小等问题是我们关心的问题。 所谓量化问题，简言之就是为输入按某种规律分配码字的过程。常见的量化方式为均匀量化，如A/D。 即给定输入s，如果s落在[s0,s1)之间则赋予码字t0；如果s落在[s1,s2)之间则赋予码字t1；如果s落在[si-1,si)之间则赋予码字ti-1；…… … … t0 t1 t2 t3 tk-1 tk tk+1 重建层 决策层 输入s