1 / 51

发展独立思考和独立判断的一般能力，应当始终放在首位，而不应当把获得专业知识放在首位。

发展独立思考和独立判断的一般能力，应当始终放在首位，而不应当把获得专业知识放在首位。 －爱因斯坦. 第七章 信息率失真函数. 7.1 基本概念 7.2 离散信源的信息率失真函数 7.3 连续信源的信息率失真函数 7.4 信息率失真函数与信息价值 7.5 信道容量与信息率失真函数的比较 7.6 保真度准则下的信源编码定理 7.7 信息率函数与信息价值 7.8 信息论“三大定理”总结. 7.1 基本概念. 7.1.1 引言

timberly-richardson
Download Presentation

发展独立思考和独立判断的一般能力，应当始终放在首位，而不应当把获得专业知识放在首位。

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 发展独立思考和独立判断的一般能力，应当始终放在首位，而不应当把获得专业知识放在首位。发展独立思考和独立判断的一般能力，应当始终放在首位，而不应当把获得专业知识放在首位。 －爱因斯坦

  2. 第七章 信息率失真函数 7.1 基本概念 7.2 离散信源的信息率失真函数 7.3 连续信源的信息率失真函数 7.4 信息率失真函数与信息价值 7.5 信道容量与信息率失真函数的比较 7.6 保真度准则下的信源编码定理 7.7 信息率函数与信息价值 7.8 信息论“三大定理”总结

  3. 7.1 基本概念 7.1.1 引言 7.1.2 失真度与平均失真度 7.1.3 信息率失真函数的定义 7.1.4 信息率失真函数的性质

  4. 7.1 基本概念 • 在前面几章的讨论中，其基本出发点都是如何保证信息的无失真传输。 • 但在许多实际应用中，人们并不要求完全无失真地恢复消息，而是只要满足一定的条件，近似地恢复信源发出的消息就可以了。 • 然而，什么是允许的失真？如何对失真进行描述？信源输出信息率被压缩的最大程度是多少？信息率失真理论回答了这些问题，其中香农的限失真编码定理定量地描述了失真，研究了信息率与失真的关系，论述了在限失真范围内的信源编码问题，已成为量化、数据转换、频带压缩和数据压缩等现代通信技术的理论基础。

  5. 7.1.1 引 言 7.1 基本概念 (1) “消息完全无失真传送”的可实现性 • 信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。 • 完全无失真传送不可实现： • 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大； • 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。

  6. 7.1.1 引 言 7.1 基本概念 (2) 实际中允许一定程度的失真 • 技术发展的需要 • 随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。 • 人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源。 • 如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。

  7. 7.1.1 引 言 7.1 基本概念 • 实际生活中的需要 • 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 • 例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 • 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 • 有些失真没有必要完全消除。

  8. 7.1.1 引 言 7.1 基本概念 (3) 信息率失真理论 • 信息率失真函数 • 香农定义了信息率失真函数R(D)。 • 定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。 • 信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。

  9. 7.1.1 引 言 7.1 基本概念 • 信息率失真函数极小值问题 • I(X;Y)是P(X)和P(Y/X)的二元函数； • 在讨论信道容量时：规定了P(Y/X) ， I(X;Y)变成了P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在连续情况下，变更信源P(X)求出的也是极大值，但求极值时还要一些其它的限制条件。 • 在讨论信息率时可规定：p(xi) ，变更p(yj /xi)来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y)是p(yj /xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj /xi)= p(yj ))，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。 • 引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变得有意义了。

  10. 7.1.2 失真度与平均失真度 7.1 基本概念 (1) 信息率与失真的关系 (2) 失真度 (3) 常用的失真函数 (4) 平均失真度 (5) N次扩展信道的平均失真度

  11. 7.1.2 失真度与平均失真度 7.1 基本概念 (1) 信息率与失真的关 • 信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真 • 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率也越小。

  12. 7.1.2 失真度与平均失真度 7.1 基本概念 (2) 失真度 • 失真度 • 设离散无记忆信源为

  13. 7.1.2 失真度与平均失真度 7.1 基本概念 • 对每一对(xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,nj=1,2,…,m 称d(xi,yj)为单个符号的失真度/失真函数。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。

  14. 7.1.2 失真度与平均失真度 7.1 基本概念 • 失真矩阵 • 失真度还可表示成矩阵的形式 • 称[D]为失真矩阵。它是n×m阶矩阵。 • 连续信源和连续信道的失真函数 • 在连续信源和连续信道情况下，失真度定义为 d(x,y)≥0

  15. 7.1.2 失真度与平均失真度 7.1 基本概念 (3) 常用的失真函数 • 第一种 • 当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以定义失真度为0； • 当i≠j时，用Y代表X就有误差。 • 这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真度常数a。 • 失真矩阵的特点是对角线上的元素均为0，对角线以外的其它元素都为常数a。

  16. 7.1.2 失真度与平均失真度 7.1 基本概念 • 当a=1时的失真函数称为汉明失真函数。 • 第二种：d(xi,yj)=(yj－xi)2 • 这种函数称为平方误差失真函数，失真矩阵称为平方误差失真矩阵。 • 若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平方表示。 • 失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。

  17. 7.1.2 失真度与平均失真度 7.1 基本概念 (4) 平均失真度 • 平均失真度定义 • d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。 • 平均失真度：平均失真度为失真度的数学期望，

  18. 7.1.2 失真度与平均失真度 7.1 基本概念 (5) N 次扩展信道的平均失真度 • N次扩展 • 单符号离散无记忆信源X {x1,x2,…,xn}的N次扩展信源XN=X1X2…XN，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列YN =Y1Y2…YN。 • 此时输入共有nN个不同的符号 • 信道的输出共有mN个不同的符号

  19. 7.1.2 失真度与平均失真度 7.1 基本概念 • 定义离散无记忆信道{XP(Y/X) Y}的N次扩展信道的输入序列ai和输出序列bj之间的失真函数为 • 上式说明：离散无记忆信道的N次扩展信道输入输出之间的失真，等于输入序列ai中N个信源符号xi1,xi2,…,xiN各自通过信道{XP(Y/X) Y} ，分别输出对应的N个信宿符号yj1,yj2,…,yjN后所引起的N个单符号失真d(xik ,yjk)(k=1,2, …,N)之和。

  20. 7.1.2 失真度与平均失真度 7.1 基本概念 • N次扩展的失真度 定义N次离散无记忆扩展信源和信道的平均失真度为 ，则

  21. 7.1.2 失真度与平均失真度 7.1 基本概念 • “N次扩展”与“单符号”平均失真度的关系 • 由扩展信源和扩展信道的无记忆性有

  22. 7.1.2 失真度与平均失真度 7.1 基本概念 • 实际上， (k=1,2, …,N)是同一信源X在N个不同时刻通过同一信道{XP(Y/X) Y}所造成的平均失真度，因此都等于单符号信源X通过信道{XP(Y/X) Y}所造成的平均失真度，即 • 上式说明：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。

  23. 7.1.2 失真度与平均失真度 7.1 基本概念 • N次扩展的保真度准则 离散无记忆N次扩展信源通过离散无记忆N次扩展信道的保真度准则为

  24. 7.1.3 信息率失真函数的定义 7.1 基本概念 (1) 试验信道 (2) 信息率失真函数 (3) 求信息率失真函数的方法 (4) 研究信道编码和率失真函数的意义

  25. 7.1.3 信息率失真函数的定义 7.1 基本概念 (1) 试验信道 • 单符号信源和单符号信道的试验信道 • 当固定信源（ P(X)已知），单个符号失真度也给定时，选择信道使 。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。 • 所有试验信道构成的集合用PD来表示，即 • N次扩展的试验信道 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道集合PD(N)为

  26. 7.1.3 信息率失真函数的定义 7.1 基本概念 (2) 信息率失真函数 • 单符号信源和单符号信道的信息率失真函数 • 在信源和失真度给定以后，PD是满足保真度准则 的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj /xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即 这个最小值R(D)称为信息率失真函数，简称率失真函数。 • 在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。

  27. 7.1.3 信息率失真函数的定义 信息率失真函数的示意图

  28. 7.1.3 信息率失真函数的定义 • 信息率失真函数的物理意义 • 信息率失真函数是在　　　的前提下，信宿必须获得的平均信息量的最小值，是信源必须输出的最小信息率。 • 信息传输速率本质上是描述信源特性的，因此R(D)也应该是仅仅用于描述信源。 • 若信源消息经无失真编码后的信息传输速率为R，则在保真度准则下信源编码输出的信息率就是R(D)，且 R(D) < R • 说明在保真度准则条件下的信源编码比无失真情况得到了压缩，同时R(D)是保真度条件下对信源进行压缩的极限值，亦即信源信息率可压缩的最低限度，它仅取决于信源特性和保真度要求，与信道特性无关。

  29. 7.1.3 信息率失真函数的定义 7.1 基本概念 • “N次扩展”的信息率失真函数 • 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，在所有满足保真度准则 的N维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值RN(D)，这个最小值称为它的信息率失真函数。 • 由信源和信道的无记忆性，可以证明 RN(D)=NR(D)。

  30. 7.1.3 信息率失真函数的定义 7.1 基本概念 (3) 求信息率失真函数的方法 • 对偶问题 平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，又是信道传递概率p(yj /xi)的下凸函数。率失真函数R(D)是在允许失真D和信源概率分布p(xi)已给的条件下，求平均互信息的极小值（最小）问题，而信道容量C是在信道特性p(yj /xi)已知的条件下求平均互信息的极大值（最大）问题。这两个问题是对偶问题。

  31. 7.1.3 信息率失真函数的定义 7.1 基本概念 • 求信道容量的方法 信道容量是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。

  32. 7.1.3 信息率失真函数的定义 7.1 基本概念 • 求信息率失真函数的方法 信息率失真函数R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。

  33. 7.1.3 信息率失真函数的定义 7.1 基本概念 (4) 研究信道编码和率失真函数的意义 • 研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。 • 研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。

  34. 7.1.4 信息率失真函数的性质 7.1 基本概念 (1) 率失真函数的定义域 • 什么是率失真函数的定义域 • 允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度 的上限值。 • 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。 • D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi , yj)，在平均失真度 的可能取值范围内。

  35. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 信源最小平均失真度Dmin • 是非负函数d(xi , yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。 • 允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。 • 信源最小平均失真度Dmin：对于每一个xi，找出一个yj与之对应，使d(xi , yj)最小，不同的xi对应的最小d(xi , yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。

  36. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。当Dmin=0时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即R(0)=H(X)。 • 连续信源有 。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。

  37. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 信源最大平均失真度Dmax • 信源最大平均失真度Dmax：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax。 • 信息率失真函数是平均互信息的极小值： • 当R(D) =0时，即平均互信息的极小值等于0； • 当D>Dmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。

  38. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 计算Dmax的值 • 令试验信道特性 p(yj /xi)= p(yj) (i=1,2,…,n) 这时X和Y相互独立，等效于通信中断，因此I(X;Y) =0，即R(D)=0。 • 满足上式的试验信道有许多，相应地可求出许多平均失真值，从中选取最小的一个，就是这类平均失真值的下界Dmax 。 • 上式是用不同的概率分布{p(yj)}对Dj求数学期望，取数学期望当中最小的一个作为Dmax 。

  39. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 实际是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和d(xi , yj)给定时，必可计算出Dj，Dj随j的变化而变化， p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中最小的一个，可取p(ys)=1 ，其它p(yj)为0，这时Dj的线性分配（数学期望）必然最小，即

  40. 7.1.4 信息率失真函数的性质 7.1 基本概念

  41. 7.1.4 信息率失真函数的性质 7.1 基本概念 [例4.1.1] 二元信源 ，相应的失真矩阵 ， 计算Dmax。 • 先计算Dj： D1＝0.4αD2=0.6α • 所以 Dmax=min(D1 , D2)=0.4α

  42. 7.1.4 信息率失真函数的性质 7.1 基本概念 • 结 论 • R(D)的定义域为 (Dmin, Dmax)； • 一般情况下Dmin =0， R(Dmin)=H(X)； • 当D≥Dmax时， R(D)=0； • 当Dmin<D<Dmax时， 0<R(D)<H(X)。

  43. 7.1.4 信息率失真函数的性质 7.1 基本概念 (2) 率失真函数对允许平均失真度的下凸性 对任一0≤ α≤1和任意平均失真度D1，D2≤Dmax，有 R[α D1+(1－ α) D2]≤ α R(D1)+(1－ α)R(D2) (3) 率失真函数的单调递减和连续型 • 由于函数R(D)具有凸状性，保证了它在定义域内是连续的。 • 在Dmin<D<Dmax范围内R(D)单调递减。

  44. 7.1.4 信息率失真函数的性质 R(D)函数的下凸性和连续性 • 性质： R (D)在定义域内是U型凸函数。若R (D)是D上的下凸函数，那么在D10, D20及01的条件下，有 证明 令{Pk(y|x)}是第k个试验信道的信道传输概率的集合，通过这个试验信道的失真组合后的信息率失真函数为R(Dk)，此时试验信道的输出消息符号集合为Yk。那么根据信息率失真函数的定义，有 上式中的dk是d (x, yk )的缩写，它表示在第k个试验信道上任意一对(x, yk )符号之间的失真函数。

  45. 7.1.4 信息率失真函数的性质 • (续)再规定一个新的试验信道，它的信道传输概率为 • 上式表明对同一对(x, y)符号，第1个试验信道的信道传输概率为P1(y|x) ，第2个试验信道的信道传输概率为P2(y|x) ，那么新的试验信道的信道传输概率为P(y|x)，且它是前两者的内插值。同时，新的试验信道产生的平均失真函数E[d(x, y)]满足： • 对于这个新的试验信道，其平均互信息量有可能满足R (D)的定义，但也可能不满足，故用下列不等式表示

  46. 7.1.4 信息率失真函数的性质 • (续)上式中等号表示满足R (D)的定义，大于号表示不满足R (D)的定义。因为I (X; Y)是P(y| x)上的下凸函数，故有 再考虑到前面所取的两种试验信道都是能满足信息率失真函数定义的信道，故分别有： ， 把这两式代入上式 ，即得 综合前面 即可得证：

  47. 7.1.4 信息率失真函数的性质 R(D)函数的单调递减性 • 性质： 信息率失真函数R(D)在定义域内是单调递减的。 证明：因为容许的失真度越大，所要求的信息率(最小值)越小，反之亦然，所以R(D)是D上的单调递减的连续函数。证毕。 • 综上所述，可以得出如下结论： （1）R (D)是非负的实数，即 R (D) 0。其定义域为(Dmin, Dmax)，其值为R (D) 。当D≥Dmax时，R (D)  0。 （2）R (D)是关于D的下凸函数，因而也是关于 D的连续函数。 （3）R (D)是关于D的严格递减函数。

  48. 7.1.4 信息率失真函数的性质 (b) 连续系统 (a) 离散系统 信息率失真函数的曲线

  49. 7.1.4 信息率失真函数的性质 • 由以上分析可见，当规定了允许的失真D，又找到了适当的失真函数di j ，就可以找到该失真条件下的最小信息率R (D)，这个最小信息率是一个极限值。在满足保真度准则的前提下，用不同方法进行数据压缩时，R(D)函数就是压缩程度的衡量，由R (D)可知是否还有压缩的潜力，潜力有多大，因此对它的研究很有实际意义。

  50. 7.1.4 信息率失真函数的性质 7.1 基本概念 图说明： • R(0) = H(X)， R(Dmax) =0， 决定了曲线边缘上的两个点； • 在0和Dmax之间， R(D)是单 调递减的下凸函数； • 在连续信源时，当D→0时， R(D)→∞，曲线将不与 R(D)轴相交。

More Related