1 / 59

信息论与编码基础

信息论与编码基础. 主讲人：黄 英. 信息论与编码基础. 绪论. 教 学 计 划. 信息论与编码基础. 绪论. 参考书目. 唐朝京、雷菁， 《 信息论与编码基础 》 ，电子工业出版社 Robert J.McEliece 著， 《 THE THEORY OF INFORMATION AND CODING 》(SECOND EDITION) ， 电子工业出版社 王育民等编著， 《 信息论与编码理论 》 ，高等教育出版社 傅祖芸， 《 信息论 — 基础理论与应用 》 ，电子工业出版社 姜丹， 《 信息论与编码 》 ，中国科学技术大学出版社

sasha
Download Presentation

信息论与编码基础

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 信息论与编码基础 主讲人：黄 英

  2. 信息论与编码基础 绪论 教 学 计 划

  3. 信息论与编码基础 绪论 参考书目 • 唐朝京、雷菁，《信息论与编码基础》，电子工业出版社 • Robert J.McEliece著，《THE THEORY OF INFORMATION • AND CODING》(SECOND EDITION)，电子工业出版社 • 王育民等编著，《信息论与编码理论》，高等教育出版社 • 傅祖芸，《信息论—基础理论与应用》，电子工业出版社 • 姜丹，《信息论与编码》，中国科学技术大学出版社 • 沈连丰，《信息论与编码》，科学出版社 • 仇佩亮，《信息论与编码》，高等教育出版社 • 田宝玉，《工程信息论》，北京邮电大学出版社

  4. 信息论与编码基础 绪论 注意事项 • 授课:（概念、方法） • 课后作业（习题、资料阅读） • 实践大作业（关键技术的实现） 交流方式 • Email：huangying@gfkd.mtn(军网),inform_huang@sina.com(民网) • Phone：75707(办公室)、62856(手机)

  5. 信息论与编码基础 绪论 Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense. 欧廷格（美国）

  6. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  7. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  8. 信息论与编码基础 绪论 “梦断美人沉信息，目穿长路依楼台” 南唐诗人李中 信息是谈论的事情、新闻和知识. 《英国牛津字典》

  9. 信息论与编码基础 绪论 信息是在观察研究过程中获得的数据情报 、新闻和知识. 《韦氏字典》 信息是所观察事物的知识. 《日本广辞苑》

  10. 知识 信息 情报 信息 消息 信息 信息论与编码基础 绪论 概念区分

  11. 通信系统模型 信息论与编码基础 绪论 用文字、符号、数据、语言、音符、图片、 图像等能够被人们感官所感知的形式，把 客观物质运动和主观思维活动的状态表达 出来，就称为消息。 消息 长沙立春阴雨绵绵。 是事物运动状态或存在方式的不确定性的 描述。 信息 长沙清明仍阴雨绵绵。 消息是信息的载体，信号是消息的运载工具。 把消息变换成适合信道传输的物理量，这 种物理量就称为信号。 信号

  12. 信息论与编码基础 绪论 信息是事物运动状态或存在 方式的不确定性的描述。 • 信息的特征 1）未知性或不确定性 信息的最基本属性，否则就不是信息。 2）由不知到知，等效为不确定性集合元素的减少 可以基于集合论和概率论来描述信息的传输。 3）可以度量 这是信息理论的基础，使得信息可以比较大小、价值等。 4）可以产生、消失，可以被携带、存储、处理 信息既有物质的某些属性，又不同于物质。 5）可以产生动作 信息既有能量的某些属性，又不同于能量。

  13. 信息论与编码基础 绪论 例子 1、2021年9月11日上午9时，一颗小行星将和地球相撞。 2、2022年9月11日晚上9时，将发生月食。 根据你对信息的理解，谈谈你的看法。

  14. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  15. 信息论与编码基础 绪论 1832年 F.B.Morse 电报系统中的高效编码 消息是一个确定性的过程 1885年 L.Kelvin 电缆极限传信率问题 1924年 H.Nyguist “影响电报速率的一些因素” 如果以一个确定的速度来传输电报信号，就需要一定的带宽。 证明了信号传输速率与信道带宽成正比。 1928年 R.V.Hartley “信息的传输” 信息量等于可能消息数的对数。 其缺点是没有统计特性的概念 1936年 E.H.Armstrong 调频实用化 提出增加信号带宽可以使抑制噪声干扰的能力增强，给出 调制指数大的调频方式，出现调频通信装置 1939年 H.Dudley 声码器 通信所需要的带宽至少应与所传送的消息的带宽相同

  16. 信息论与编码基础 绪论 20世纪40年代初 “平稳时间序列的外推，内插与 平滑及其工程应用“ 引入随机过程和数理统计的观点 揭示了信息传输和处理过程的统计本质

  17. 信息论与编码基础 绪论 • 香农（Claudee.Shannon） 1948年，贝尔系统技术杂志 《The Mathematical Theory of Communication》 《Communication in the Presence of Noise》

  18. 信息论与编码基础 绪论 Born: April 30, 1916 Petoskey, Michigan United States Died: February 24, 2001(aged 84) Medford, Massachusetts, United States Residence: United States Nationality: American

  19. 信息论与编码基础 绪论 Fields: Electronic engineer and mathematician Alma mater: MIT University of Michigan Institutions: Bell Laboratories Massachusetts Institute of Technology Institute for Advanced Study

  20. 信息论与编码基础 绪论

  21. 信息论与编码基础 绪论 Known for: Shannon-Fano coding Shannon-Hartley law Nyquist-Shannon sampling theorem Noisy channel coding theorem Shannon switching game Shannon number Shannon’s source coding theorem Shannon’s expansion Shannon-Weaver model of communication Notable awards: Alfred Noble Prize IEEE Medal of Honor

  22. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  23. 信息论与编码基础 绪论 1、信息论研究的基本问题 2、信息论研究的内容

  24. 信息论与编码基础 绪论 1、信息论研究的基本问题 达到不失真信源压缩编码的极限（最低） 编码速率是多少？ 你的爷爷生病了，病得很重，希望你能回来一趟，看望他老人家。 极限速率 = 该信源的信息熵 爷病危，速归 信道的信息传输速率与错误概率之间矛盾 的是否可解决？ 信息传输速率 ＜ 信道容量，错误概率可以任意小

  25. 信息论与编码基础 绪论 2、信息论研究的内容 狭义信息论 Shannon信息论：在信息可度量的基础上， 研究如何有效、可靠地传输信息 信息论 一般信息论 Shannon信息论 Wiener微弱信号检测理论 噪声理论、信号滤波与预测、统计检测和估计理论 调制理论、信号处理与信号设计理论 广义信息论 心理学、遗传学、神经生理学、语言学、社会学

  26. 信息传递 信息传递 信息处理—再生 外部世界 问题／环境 信息获取 信息施用 信息运动过程 信息论与编码基础 绪论 • 全信息理论 语法信息 语义信息 语用信息

  27. 思考题 一位朋友不赞同“消息中未知的成分才算是信息”的说法 他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看 不厌，大师正在唱的、正在表演的使我愉快，将要唱的和 表演的我都知道，照这种说法电视里没给我任何信息，怎 么能让我接收呢？请从信息论的角度对此做出解释。

  28. 信息论与编码基础 主讲人：黄 英

  29. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  30. 信息论与编码基础 绪论 1、信源压缩编码的发展 1948年 Shannon 香农编码 1952年 Fano 费诺编码 1952年 Huffman 霍夫曼编码 证明其最佳性 1956年 B.McMillan Craft不等式 证明惟一可译变长码

  31. 信息论与编码基础 绪论 1、信源压缩编码的发展 1968年 P.Elias 提出算术编码的初步思路 发展了香农-费诺码 1976年 J.Rissanen 给出和发展算术编码 1982年 J.Rissanen 将算术编码系统化 G.G.Langdon 1977年 Ziv & Lempel 提出通用信源编码(LZ码) Ziv证明此算法可达到信源的熵值 1984年 T.A.Welch 改进LZW码 1990年 T.C.Bell 改进LZ算法

  32. 信息论与编码基础 绪论

  33. 信息论与编码基础 绪论 2、纠错编码的发展 20世纪 50年代~60年代初 从无到有的迅速发展年代 主要研究各种有效的编、译码方法，奠定了线性分组码的理论基础。 • Hamming describes Hamming codes • Reed and Muller both present RM codes • 1955 Elias introduces convolutional codes • Prange introduces cyclic codes • A.Hocquenghem and … • Bose and Ray-Chaudhuri describe BCH codes • Reed&Solomon produce eponymous codes • Peterson provides a solution to BCH decoding • Peterson produces his book, later extended and • revised by Peterson and Weldom

  34. 信息论与编码基础 绪论 2、纠错编码的发展 20世纪 60年代~70年代初 最为活跃的发展时期 不仅提出了许多有效的编译码方法，还注意到纠错码的实用化。 与此同时，以代数方法特别以有限域理论为基础的线性分组码理 论日趋成熟。 • Gallager introduces LDPC codes • Berlekamp introduces a fast algorithm for • BCH/Reed-Solomon decoding • Viterbi introduces the algorithm for ML • decoding of convolutional codes • The BCJR algorithm is described in the open • literature • Forney elucidates the Viterbi algorithm

  35. 信息论与编码基础 绪论 2、纠错编码的发展 20世纪 70年代初~80年代 极其重要的发展时期 在理论上以戈帕(Goppa)为首的一批学者，构造了一类Goppa码， 其中一类子码能达到香农限。大规模集成电路和微机的迅速发展， 为纠错编码的实用打下坚实的物质基础。 • 1977 Voyager deep space mission uses a concatenated • RS/convolutional code • 1980 Sony and Phillips standardize the compact disc, • Including a shortened Reed-Solomon code • 1981 Goppa introduces algebraic-geometry codes • Ungerboeck describes trellis-coded modulation • 14,400 BPS TCM modem commercially available • 19,200 BPS TCM modem commercially available

  36. 信息论与编码基础 绪论 • 级联码

  37. 信息论与编码基础 绪论 2、纠错编码的发展 20世纪 90年代初~ 码的性能接近香农限。 • Berrou, Glavieux, and Thitimajshima announce • turbo codes • MacKay resuscitates LDPC codes • Alamouti describes a space-time code • Aji and McEliece synthesize several decoding • algorithms using message passing ideas

  38. Turbo码与LDPC码性能比较

  39. 信息论与编码基础 绪论 • Turbo码

  40. 信息论与编码基础 绪论 • Turbo码

  41. 信息论与编码基础 绪论 • Turbo码 迭代

  42. 信息论与编码基础 绪论 一、信息概念 二、信息论的诞生 三、信息论研究的基本问题及内容 四、编码技术的发展 五、信息论与其它学科的交叉发展

  43. 信息论与编码基础 绪论 1、密码学 • 第1阶段：1949年以前。 • 第2阶段：从1949年到1975年。 • 标志：1949年Shannon发表的《保密系统的信息理论》 一文。 • 用信息论的观点对信息保密问题进行了全面的阐述。 • 宣告了科学的密码学时代的到来。 • 第3阶段：1976年至今。 • 标志：1976年Diffie和Hellman发表了《密码学新方向》一文。 • 第1阶段：1949年以前。 • 第2阶段：从1949年到1975年。 • 标志：1949年Shannon发表的《保密系统的信息理论》 一文。 • 用信息论的观点对信息保密问题进行了全面的阐述。 • 宣告了科学的密码学时代的到来。 • 第3阶段：1976年至今。 • 标志：1976年Diffie和Hellman发表了《密码学新方向》一文。

  44. 信息论与编码基础 绪论 1、密码学 明文 密文 密钥 • 目的：使窃听者即使在完全准确地收到了接收信号的情况下也无法恢复出原始消息。

  45. 信息论与编码基础 绪论 1、密码学 密码系统安全性问题 无条件安全或完善保密性（unconditionally secure）： • 不论提供的密文有多少，密文中所包含的信息都不足以惟一地确定其对应的明文； • 具有无限计算资源（诸如时间、空间、资金和设备等）的密码分析者也无法破译某个密码系统。

  46. 信息论与编码基础 绪论 1、密码学 从信息角度讨论 一个保密系统（P，C，K，E，D） 其中，P为明文集合，C 为密文集合，K为密钥集合，E为加密算法,D为解密算法 如果 H(P) = H(P|C) 保密系统的密钥量越小，其密文中含有的关于明文 的信息量就越大。 则该系统就称为完善的无条件保密系统。 完善保密系统存在的必要条件是 H(P)≤H(K) 可见，要构造一个完善保密系统，其密钥量的对数（ 密钥空间为均匀分布的条件下）必须不小于明文集的熵。

  47. 信息论与编码基础 绪论 2、金融工程中的信息论问题 游戏 假设有一种可以不断重复的投资或打赌，其收益由掷硬币 确定，硬币两面出现的可能性相同； 出A面你投一亏一，出B面 你投一赚二；假设你开始只有100元，输了没法再借 。 你会如何投资？

  48. 信息论与编码基础 绪论 2、金融工程中的信息论问题

  49. 信息论与编码基础 绪论 2、金融工程中的信息论问题

  50. 信息论与编码基础 绪论 2、金融工程中的信息论问题

More Related