第 4 讲　互信息量

第4讲　互信息量 参考：第2章信息的统计度量 P9～12

Agenda

0 0 1 1 • 验证：

0 0 0.2 0.8 1 1 • 验证：

结论： 流经信道的信息量大小等于信宿收到的信息量大小，等于信宿收到符号前后不确定度的差异。

互信息量是信源发出　符号，信宿收到 　符号，流经信道的信 • 息量，也是信宿收到的信息量，也是收到　符号前后对信源发 • 出　符号不确定的差异，不确定度的差异大小就是收到信息量 • 的大小。

例1： • 串联了八盏灯的电路，其中有一盏灯是坏的。找出这盏坏灯， • 需要三次测量，每一次测量获得多少信息量？ • 解：

例2： • 某地二月份天气的概率分布统计如下： • 某一天有人告诉你：“今天不是晴天”。把这句话作为收到的 • 消息　。计算信源符号关于　的信息量。 • 解：

例3： • 某人A预先知道他的三位朋友B，C，D中必定会有一人与某晚 • 要到他家来，并且这三人来的可能性均相同，其先验概率为 • 　　　　　　　　　　　　　　。但是这天上午A接到D的电 • 话，说因故不能来了。我们把上午这次电话作为事件E，那么 • 有后验概率　　　　　　　　　　　　　　　　　　。这天下 • 午，A又接到C的电话，说他因今晚要出席一个重要的会议不能 • 来A家。我们把下午这一次电话作为事件F，那么有后验概率 • 　　　　　　　　　　　　，而　　　　　　。 • 计算接到上午电话后，A获得关于B，C，D的互信息量。在接 • 到两次电话后，A获得关于B，C，D的互信息量。

解：

a. 可以为负性 • b. 对称性（互易性） • c. 最大值和零值 • d. 可加性

4. 性质 • a. 可以为负性 • 　证明：

4. 性质 • b. 对称性（互易性） • 　证明：

4. 性质 • c. 最大值和零值 • 　证明：

4. 性质 • d. 可加性 • 　证明：

Overview • 作业： • 2.13，2.16

第5讲　熵 参考：第2章信息的统计度量 P12～27

Agenda

如何整体度量信源信息量？

熵是信源符号的平均信息量，是信源符号的平均不确定度，是熵是信源符号的平均信息量，是信源符号的平均不确定度，是 • 信源概率分布的整体描述。给定信源概率分布后，信源熵是一 • 个固定的常数，因此可以作为信源整体信息量的度量。

例1： • 某地二月份天气的概率分布统计如下： • 计算信源的平均信息量。 • 解：

例2： • 电视屏上约有　　　　　　　　　　个格点，按每点有10个不 • 同的灰度等级考虑，则共能组成多少个不同的画面？按等概率 • 计算，平均每个画面可提供的信息量是多少？另外，有一篇千 • 字文章，假定每字可从万字表中任选，则共有多少篇不同的千 • 字文，仍按照等概率计算，平均每篇千字文可提供的信息量是 • 多少？ • 解：

第 4 讲 互信息量