1 / 74

§6 逻辑模型

§ 6.1 几个较为简单的问题. 本节将采用逻辑推理方法讨论几个颇为有趣的问题。. §6 逻辑模型. 欧几里得在不加证明而被直接采用的一些基本概念和公理的基础上。运用逻辑推理方法得出了一系列的定理、推论,从而建立了完整的欧几里得几何学,这一辉煌成果至今仍然是人类的宝贵财富。 本章介绍的一些模型采用的也是类似的方法。建模者从问题应当具有的某些基本属性出发,运用逻辑推理方法或者导出满足这些基本属性的解来,或者证明在原有观念下问题不可能有解,从而从根本上改变人们对这一问题的看法. 相识问题(拉姆齐问题). .

Download Presentation

§6 逻辑模型

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. § 6.1 几个较为简单的问题 本节将采用逻辑推理方法讨论几个颇为有趣的问题。 §6逻辑模型 欧几里得在不加证明而被直接采用的一些基本概念和公理的基础上。运用逻辑推理方法得出了一系列的定理、推论,从而建立了完整的欧几里得几何学,这一辉煌成果至今仍然是人类的宝贵财富。 本章介绍的一些模型采用的也是类似的方法。建模者从问题应当具有的某些基本属性出发,运用逻辑推理方法或者导出满足这些基本属性的解来,或者证明在原有观念下问题不可能有解,从而从根本上改变人们对这一问题的看法

  2. 相识问题(拉姆齐问题)  例1在每一次人数不少于6人的聚会中必可找出这样的3人,他们或者彼此均认识或者彼此均不认识 。 证明: 请大家一起画图证明 利用图的方法来描述该问题。将人看成顶点,两人彼此都认识用实线连,否则虚线。 问题转化为在一个6阶图中必存在实线三角形或虚线三角形。

  3. 与υ1相连的边必然有: υ2 υ1 实线条数不小于3或虚线条数不小于3 不妨取υ1 υ2 、υ1 υ3 、υ1 υ4实线 υ3 υ6 υ4 υ5 任取一顶点,不妨υ1 拉姆齐问题也可这样叙述: 6阶2色完全图中必含有3阶单色完全图。 考察υ2υ3、υ2υ4和υ3υ4 υ2υ3、υ2υ4和υ3υ4只能是虚线 ,否则得证 υ2 υ1 但这样三角形υ2υ3υ4的三边均为虚线 υ3 υ4

  4. 若υ4υ5υ6也是红色三角形,命题已得证 υ2 υ1 故至少一边与υ1υ2υ3的边异色,不妨设υ4υ5黑色 υ6 υ3 υ4 υ5 其他类似可推出的结果 : 命题11.1任一6阶2色完全图中至少含有两个3阶单色完全图。 证明:前面证明必存在3阶单色完全图,不妨设υ1υ2υ3 为红色完全图 υ1υ4、υ2υ4、υ3υ4至少应有两条黑色,不妨设 υ1υ4 、υ2υ4黑色 υ1υ5、υ2υ5、υ3υ5中至少有两条黑色、故υ1υ5 与υ2υ5中至少有一条是黑色 所以存在第二个3阶单色完全图。

  5. 命题11.2 7阶2色完全图至少含有4个3阶单色安全图。 命题11.3 18阶2色完全图中必含有4阶单色完全图。 对拉姆齐问题的认识不能仅仅停留在例11.1的水平上。利用逻辑推理方法,实际上还可获得一大批结果。命题11.2和命题11.3的证明留给大家自己去完成。

  6. 例2 17位学者中每人都和其他人通信讨论3个方向的课题。任意两人间只讨论其中一个方向的课题,则其中必可找出3位学者,他们之间讨论的是同一方向的课题。

  7. 奇偶数校验及相关问题  例3证明 是无理数。 同样方法可以证明:若m是大于1的素数,n是大于1的整数,则 必为无理数。 证明: 采用反证法,设 ,其中p、q互素,则有 p2=2q2。因为2|p2,故2|p。记p=2p1,可得4p12=2q2,即 2p12=q2,故又有2|q,与p、q 互素矛盾。

  8. 例4拟用40块方形瓷砖铺设如下图所示的地面,但商店只有长方形瓷砖,其大小为方形的两块。问购买20块长方形瓷砖后,是否可能不裁开而直接铺好地面? 图(a) 图(b) 解 将图11.4中的(a) (b)黑白相间染色。 显然,如长方形瓷砖不裁开,只能用来复盖相邻的两格,故复盖的两格必为一白一黑。 下图(a)中共有21个黑格和19个白格,故不可能直接铺好,下图(b)中黑白格各为20个,大家很容易找到直接铺设的方法。

  9. 例5 设一块m×n的棋盘被若干个形如 的板块恰好盖满,试证明m×n必能被8整除。 图(a) 证明: 显然有4|m×n,故m、n中至少有一个为偶数,不妨 设n为偶数,将棋盘按列黑白相间染色,如下图 (a ) 所示,由于n为偶数,黑、白列的数目相同,故黑白 格数相同,设各为2k个(共4k个)。

  10. 图(a) 图(b) 板块可以有许多种拼凑法,但容易看出,每一板块放 置的方向(称之为定向)只有八种可能的选择,如下 图(b)所示。 容易看出,不论按什么方向放置板块,每一板块均盖住 奇数个黑格(1格或3格),若板块只有奇数个,则奇数个奇数想加和为奇数,则黑格必为奇数个,与黑格为2 k(偶数)个矛盾,故盖住棋盘的板块必有偶数 个,从而,m×n的棋盘必能被8整除。

  11. Dürer魔方(或幻方)问题  德国著名的艺术家Albrecht Dürer(1471-1521)于1514年曾铸造了一枚名为“Melencotia I”的铜币。令人奇怪的是在这枚铜币的画面上充满了数学符号、数字及几何图形。这里,我们仅研究铜币右上角的数字问题

  12. 什么是Dürer魔方 所谓的魔方是指由1~n2这n2个正整数按一定规则排列成的一个n行n列的正方形 。n称为此魔方的阶 。 多么奇妙的魔方! Dürer魔方:4阶,每一行之和为34,每一列之和为34,对角线(或反对角线)之和是34,每个小方块中的数字之和是34,四个角上的数字加起来也是34 铜币铸造时间:1514年

  13. 构造魔方是一个古老的数学游戏,起初它还和神灵联系在一起,带有深厚的迷信色彩。传说三千二百多年前(公元前2200年),因治水出名皇帝大禹就构造了三阶魔方(被人们称“洛书”),至今还有人把它当作符咒用于某些迷信活动,大约在十五世纪时,魔方传到了西方,著名的科尼利厄斯·阿格里帕(1486-1535)先后构造出了3~9阶的魔方

  14. 如何构造魔方 Step1: 在第一行中间写1 Step2: 每次向右上方移一格依次填按由小到大排列的下一个数,向上移出界时填下一列最后一行的小方格;向右移出界时填第一列上一行的小方格。若下面想填的格已填过数或已达到魔方的右上角时,改填刚才填的格子正下方的小方格,继续Step2直到填完 偶数阶的情况 偶数阶的魔方可以利用奇数阶魔方拼接而成,拉尔夫·斯特雷奇给出了一种拼接的方法 ,这里不作详细介绍 奇数(不妨n=5)阶的情况 17 24 1 8 15 23 5 7 14 16 4 6 13 20 22 10 12 19 21 3 11 18 25 2 9

  15. 从事某一活动的各方如能通力合作,常常可以获得更大的总收益(或受到更小的总损失)。本节主要讨论在这种合作中应当如何分配收益(或分摊损失),这一问题如果处理不当,合作显然是无法实现的。先让我们来分析一个具体实例 § 6.2合作对策模型

  16. 例7有三个位于某河流同旁的城镇城1、城 2、城3(如图)三城镇的污水必须经过处理后方能排入河中,他们既可以单独建立污水处理厂,也可以通过管道输送联合建厂。为了讨论方便起见,我们再假设污水只能由上游往下游。 用Q表示污水量,单位为米3/秒,L表示管道长度,单位为公里,则有经验公式: 建厂费用 C1=730Q0.712(万元) 管道费用 C2=6.6Q0.51L(万元) 已知三城镇的污水量分别为: Q1=5米3/秒,Q2=3米3/秒,Q3=5米3/秒,问: 三城镇应怎样处理污水方可使总开支最少? 每一城镇负担的费用应各为多少? 城一 20公里 城二 38公里 城三

  17. 城一 20公里 城二 38公里 城三 分析 本问题中三城镇处理污水可以有五种方案: (1)每城镇各建一个处理厂(单干)。 (2)城1,城2合建一个,城3单独建一个(1、2城合作建于城2处)。 (3)城2,城3合建一个,城1单独建一个(2、3城合作建于城3处)。 (4)城3,城1合建一个,城2单独建一个(1、3城合作建于城3处)。 (5)三城合建一个污水处理厂(建于城3处) 容易计算: 以三城合作总投资为最少

  18. 费用怎么分摊呢? 联合建厂费 : (万元) 城1负担 : (万元) 城1→城2管道费: (万元) 全部由城1负担 城2→城3管道费: (万元) 城1负担 : (万元) 城1的总负担 :约为2457万元 城一 20公里 城二 38公里 建厂处 城三 差点做了冤大头!!! 城1的“可行性论证”: 分摊方案有道理,但得作一番 “可行性论证”, 同意城3意见,由城2→城3的管道费用可按污水量之比5:3分摊,但城1→城2的管道费用应由城1承担。 建厂费用按三城污水量之比5:3:5分摊,管道是为城1、城2建的,应由两城协商分摊。 合作后城1费用增加! 城1自己建厂费用 :2300万元

  19. 怎样找出一个合理的分摊原则,以保证合作的实现呢?怎样找出一个合理的分摊原则,以保证合作的实现呢? N人合作对策模型 (1)对于每一子集S I,对应地可以确定一个实数V(S),此数的实际意义为如果S中的人参加此项合作,则此合作的总获利数为V(S),十分明显,V(S)是定义于I的一切子集上的一个集合函数。根据本问题的实际背景,还应要求V(S)满足以下性质: =0(没有人参加合作则合作获利不能实现) 对一切满足 的S1、S2成立 具有这种性质的集合函数V(S)称为I的特征函数。 设有一个n人的集合I={1,2,…,n},其元素是某一合作的可能参加者。

  20. (2)定义合作结果V(S)的分配为 ,其中 表示第i人在这种合作下分配到的获利。显然,不同的合作应有不同的分配,问题归结为找出一个合理的分配原则 来, 被称为合作对策 是否存在合理分配原则 1953年Shapley采用逻辑建模方法研究了这一问题。首先,他归纳出了几条合理分配原则 应当满足的基本性质(用公理形式表示),进而证明满足这些基本性质的合作对策 是唯一存在的,从而妥善地解决了问题。

  21. Shapley提出了以下公理: 设V是I上的特征函数, 是合作对策,则有 ,即每人分配数的总和等于总获利数。 若对所有包含的i的子集S有: V(S-{i})=V(S),=0。 公理1 合作获利对每人的分配与此人的标号无关。 公理2 即若第i人在他参加的任一合作中均不 作出任何贡献,则他不应从合作中获利 公理3 公理4 若此n个人同时进行两项互不影响的合作,则两项合作的分配也应互不影响,每人的分配额即两项合作单独进行时应分配数的和。

  22. 利用上述公理可以证明满足公理1~4的 是唯一存在的(证明略) 存在 的公式吗 Shapley指出, 可按下列公式给出: (11.1) i=1,…,n Si是I中包含i的一切子集所成的集合, |S|表示集合S中的元素个数,而 (11.2) W(|S|)可看作这 种贡献的权因子 可视为i在合作 S中所作的贡献

  23. 合作的获利真的不少于他单干时的获利吗 对每一i∈I,有 |S|=K时,包含i的子集S共有 个 从而 即 个 又根据性质,有 故= 1/n 故有 求证: 证明:

  24. 解决三城镇污水处理问题 城1究竟应当承担多少费用 城一 总投资大于单干总投资,合作不可能实现,合作 获利为0 S {1} {1,2} {1,3} {1,2,3} V(S) 0 400 0 640 20公里 V(S-{I}) 0 0 0 250 城二 V(S)-V(S-{I}) 0 400 0 390 |S| 1 2 2 3 38公里 W(|S|) 1/3 1/6 1/6 1/3 W(|S|)[V(S)-V(S-{I})] 0 67 0 130 建厂处 城1 获利 =67+130=197(万元) 承担总费用: 2300-197=2103(万元) 城三 我们应该承担的是2103万元! 首先不难看出 :S1={{1},{1,2},{1,3},{1,2,3}} 计算出与(11.1)式有关的数据并列成表 城2和城3应该承担 的费用可类似算出

  25. 什么是选举 (1)择一性关系式(x>y)、(x=y)、(x<y)有且仅有一个成立 (2)传递性若x≥y, y≥z,则必有x≥z § 6.3 公平选举是可能的吗? 所谓选举,其实质就是在评选人对候选人先后(优劣)次序排队的基础上,根据某一事先规定的选举规则决定出候选人的一个先后次序,即得出选举结果。现用I={1,2,…,n}表示评选人集合,用有限集A={x,y,…}表示候选人集合,用>,=,<分别表示优于、等于、劣于,用(x>y)i表示评选人i认为x优于y,用(x>y)表示选举结果为x优于y并用pi表示评选人i的排序,p表示选举结果。 A的排序应满足以下性质:

  26. 例8设I={1,2,3},A={x,y,u,v},三位评选人的选票为 p1: x>y>u=v p2: y>x>u>v p3: x=u>v>y 例9设I={1,2,3}, A={x,y,z} p1: x>y>z p2: y>z>x p3: z>x>y 几种选举规则  简单多数规则 它规定当且仅当(x>y)i的评选人超过半数时选举结果才为(x>y)。 简单多数规则的主要优点是简单易行,使用方便。但可惜的是这一规则有时会违反传递性 有时要超过2/3多数等 根据选举规划,结果应为 P: x>y>u>v 违反传递性(2) 根据规则,自然应有 (x>y), (y>z)和(z>x)

  27. 记Bi(x)为p1中劣于x的候选人数目,记 ,称B(x)为x的Borda数,Borda数规则规定按Borda数大小排列候选人的优劣次序,即当B(x)≥B(y)时有(x≥y),两关系式中的等号必须同时成立。  Borda数规则 用Borda数规则得出 的结果未必合理 对于例11.9, 计算出B(x)=B(y)=B(z)=3 故选举结果为 x=y=z 但有三人认为x优于y 例10I={1,2,3,4}, A={x,y,z,u,v},选票情况为 p1p2p3: x>y>z>u>v P4 : y>z>u>v>x 用Borda数规则得出 的结果更合乎常理 计算得 B(x)=12,B(y)=13 故选举结果为y>x

  28. 能找到一种在任何情况下都“公平”的选举规则吗能找到一种在任何情况下都“公平”的选举规则吗 如果在两次选举中,对任意i,由 必可得出 ,则由 必可得出。 什么是“公平”的选举规则 “公平”的选举规则应当满足以下公理 公理1 投票人对候选人排出的所有可能排列都是可以实现的。 公理2 如果对所有的i,有(x≥y)i,则必须有(x≥y)。 公理3 公理4 如果两次选举中,每个投票人对x、y的排序都未改变,则对x、y的排序两次结果也应相同。

  29. 有满足上述公理的选举规则吗 公理5 不存在这样的投票人i,使得对任意一对候选人x、y,只要 有(x≥y)i,,就必有(x≥y)。 Arrow不可能性定理使上述想法终结 定理9.1 如果至少有三名候选人,则满足公理1~公理5的选举规划 事实上是不可能存在的。 证: 将证明由公理1~公理4必可导出存在一个独裁者,从而违反了公理5 首先引入决定性集合的概念。 称I的子集Vxy为候选人x、y的决定性集合,如果由所有Vxy中的I 有(x≥y)i必可导出(x≥y)。 显然决定性集合是必定存在,由公理2或实际一次选举得到。 找出所有决定性集合中含元素最少的一个,不妨仍记为Vxy。

  30. 证明 Vxy只能含有一个元素——某评选人i 。 反证 假定Vxy至少含有两个元素,则Vxy必可分解为两个非空集合的和 即 与 非空且不相交 ,且均不可能是任一对候选人的决定性集合 假设 根据公理1,以下选举是允许的: 当 时, (x≥y≥z)i 当 时, (z≥x≥y)i 当 时, (y>z>x)i 其中z是任一另外的候选人 考察选举结果 (x≥z)是不可能,否则 是x、z的决定性集合,故必 有(z>x)。又Vxy是x、y的决定性能合,故必有(x≥y)。 由传递性(z>x)。得 是y、z的决定性集合,从而导出矛盾。 以上证明说明Vxy不能分解,即Vxy={i},i为某一投票人。

  31. 进一步说明:对于任意另外的候选人z,V={i}也是x、z的决定性集合。 Arrow的公理系统隐含矛盾 考虑另一次选举:(x>y≥z)i,而(y≥z≥x)j≠I 显然,由于全体一致意见,(y≥z)必成立。又{i}是x、y的决定性集合,故应有(x>y)。于是,由传递性,必有(x>z)。再由公理4,y的插入不应影响x、z的排序,故{i}也是x、z的决定性集合。类似还可证明,如果ω是异议于x、z的任一候选人,{i}也是w、z的决定性集合,这就是说,评选人i是选举的独裁者。

  32. 例11设I={1,2}, A={x,y,z},考察如下的四次选举: (第一次) x>y>z (第三次) y>z>x x>y>z z>y>x 结果应有x>y 合理结果y=z (第二次) x>z>y (第四次) x>y>z z>x>y z>x>y 合理结果x=z 结果??? x>y,x=z与y=z 居然同时成立! 由公理1,第四次的选举应当是有效的 由公理2,必须有(x>y)(4) 再与第二次选举比较并根据公理3,则应有(x=z)(4) 与第三次比较并根据公理3,应有(y=z)(4)

  33. 改进方案 一个可以考虑的改进方案为要求评选人给出他对每一候选人优劣程度的评价,然后按定量方式决定候选人的顺序,但矛盾仍然不能避免,总可以构造出类似于Borda数规则中例那样的例子来。 解决这一问题的另一途径是事先适当限制评选人的排序方式,使得可能出现的情况数减少,以便保证一个合理的选举规则的存在。 由于本节的主要目的是介绍利用逻辑方法讨论实际问题的Arrow不可能性定理,关于选举问题我们就不再讨论下去了。

  34. 怎么度量信息 可否用消除不确定性的多少来度量信息! 白箱 黑箱 灰箱 信息II 信息I 不确定度C 不确定度A 不确定度B § 6.4 信息的度量与应用 对于系统,可以利用守恒关系有 A+I=B,得I=B-A。 首先分析一下问题的认识过程 1.对一问题毫无了解,对它的认识是不确定的 2. 通过各种途径获得信息,逐渐消除不确定性 3. 对这一问题非常的了解,不确定性很小

  35. 几个例子: 例12当你要到大会堂去找某一个人时,甲告诉你两条消息:(1)此人不坐在前十排,(2)他也不坐在后十排;乙只告诉你一条消息:此人坐在第十五排。问谁提供的信息量大? 乙虽然只提供了一条消息,但这一条消息对此人在什么位置上这一不确定性消除得更多,所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大 例13假如在盛夏季节气象台突然预报“明天无雪”的消息。在明天是否下雪的问题上,根本不存在不确定性,所以这条消息包含的信息量为零。

  36. 是否存在信息量的度量公式 基于前面的观点,美国贝尔实验室的学者香农(Shannon)应用概率论知识和逻辑方法推导出了信息量的计算公式 In his words "I just wondered how things were put together." Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called "the father of information theory".

  37. 上述公理怎样推出信息量的计算公式呢 Shannon提出的四条基本性质 (不妨称它们为公理 ) 公理1 信息量是该事件发生概率的连续函数 公理2 如果事件A发生必有事件B发生,则得知事件A发生的信息量大于或等于得知事件B发生的信息量。 公理3 如果事件A和事件B的发生是相互独立的,则获知 A、B事件将同时发生的信息量应为单独获知两事件发生的信息量之和。 公理4 任何信息的信息量均是有限的。 将某事件发生的信息记为M,该事件发生的概率记为p,记M的信息量为I(M)。

  38. ,又 有: ,g亦为连续函数。 定理11.2 满足公理1—公理4的信息量计算公式为I(M)=-Clogap,其中C是任意正常数,对数之底a可取任意为不为1的正实数。 证明: 由公理1 I(M)=f(p),函数f连续。 由公理2 若A发生必有B发生,则pA≤pB, 有f(pA)≥f(PB) ,故函数f是单调不增的。 由公理3 若A、B是两个独立事件,则A、B同时发生 的概率为pApB,有f(PAPB)=f(pA)+f(pB)。 先作变量替换 令p=a-q,即q=-logaP 记

  39. 记g(1)=C,容易求得g(2)=2C,g(3)=3C,…,一般地, 有g(n)=nC。进而 ,可得 。 于是对一切正有理数 m/n,g(m/n) =(m/n)C。 g(x+y)=g(x)+g(y)的连续函数有怎样的性质 现作逆变换q=-logap, 得I(M)=f(P)=-ClogaP(11.3) 证毕。 首先,由g(0)=g(0+0)=2g(0)得出g(0)=0或g(0)=∞。 但由公理4,后式不能成立,故必有g(0)=0。 由连续性可知:对一切非负实数x,有g(x)=Cx 当x取负实数时,由g(x)+g(-x)=g(0)=0,可得 出g(x)=―g(―x)=cx也成立,从而对一切实数x,g(x)=Cx, 故g(q)=Cq。

  40. 各种信息量单位 若取a=2,C=1,此时信息量单位称为比特 若取a=10,C=1,此时信息量单位称为迪吉特 若取a=e,C=1,此时信息量单位称为奈特

  41. (i)“某人在第十排”包含的信息量为 (比特) (ii)“某人在第15座”包含的信息量为 (比特) (iii)“某人在第十排第15座”包含的信息量为 (比特) 例14设剧院有1280个座位,分为32排,每排40座。现欲从中找出某人,求以下信息的信息量。(i)某人在第十排;(ii)某人在第15座;(iii)某人在第十排第15座。 这一例子反映了对完全独立的几条信息,其总信息量等于各条信息的信息量之和。 对于相应不独立的信息,要计算在已获得某信息后其余信息的信息量时,需要用到条件概率公式,可以参阅信息论书籍。 解:在未知任何信息的情况下, 此人在各排的概率可以认为是相等的,他坐在各座号上的概率也可以认为是相等的,故 5bit+5.32bit=10.32bit

  42. 至此,我们已经引入了信息度量的定量公式。如前所述,它是信息对消除问题的不确定性的度量。这种讲法似乎有点难以为人们所接受,其实,这只是人们的习惯在起作用。这里,我们不妨来作一比较。在人们搞清热的奥秘以前,温度也是一个较为抽象的概念,因它实质上是物体分子运动平均速度的一种映。人们天生就知道冷和热,但如何来度量它却曾经是一个难题。只有在解决了这一问题以后,以定量分析为主的热力学才能得到飞速的发展。信息问题也是这样,人们对各种信息包含的实质“内容”究竟有多少往往也有一个直观的感觉,但用什么方法来度量它,却比“今天15度”这样的讲法更不易理解,因为它是通过较为抽象的概率来计算的。

  43. 设某一实验可能有N种结果,它们出现的概率分别为p1,…,pN,则事先告诉你将出现第i种结果的信息,其信息量为-log2pi,而该实验的不确定性则可用这组信息的平均信息量(或熵)设某一实验可能有N种结果,它们出现的概率分别为p1,…,pN,则事先告诉你将出现第i种结果的信息,其信息量为-log2pi,而该实验的不确定性则可用这组信息的平均信息量(或熵) 来表示 平均信息量(熵)问题 例15投掷一枚骼子的结果有六种,即出现1—6点、出现每 种情况的概率均为1/6,故熵 H=log26≈2.585(比特)。 投掷一枚硬币的结果为正、反面两种,出现的概率均为1/2,故熵 H=log22=1(比特)。 向石块上猛摔一只鸡蛋,其结果必然是将鸡蛋摔破,出现的概率为1,故熵H=log21=0 从例子可以看出,熵实质上反映的是问题的“模糊度”,熵为零时问题是完全清楚的,熵越大则问题的模糊程度也越大

  44. 离散型概率分布的随机试验,熵的定义为 : (11.5) 熵具有哪些有趣的性质 连续型概率分布的随机试验,熵的定义为 : (11.6) 若实验仅有有限结果S1,…,Sn,其发生的概率分别为 P1,…,Pn,则当 时,此实验具有最大熵。 此定理既可化为条件极值问题证明之,也可以利用凸函数性质来证明,请大家自己去完成 定理11.3

  45. 定理9.4 若实验是连续型随机试验,其概率分布P(x)在[a,b]区间以外均为零,则当 P(x)平均分布时具有最大熵。 定理9.5 对于一般连续型随机试验,在方差一定的前提下,正态分布具有最大的熵。 定理9.6 最大熵原理,即受到相互独立且均匀而小的随机因素影响的系统,其状态的概率分布将使系统的熵最大。 上述结果并非某种巧合。根据概率论里的中心极限定理,若试验结果受到大量相互独立的随机因素的影响,且每一因素的影响均不突出时,试验结果服从正态分布。最大熵原理则说明,自然现象总是不均匀逐步趋于均匀的,在不加任何限止的情况下,系统将处于熵最大的均匀状态。

  46. 例16有12个外表相同的硬币,已知其中有一个是假的,可能轻些也可能重些。现要求用没有砝码的天平在最少次数中找出假币,问应当怎样称法。 解 假币可轻可重,每枚硬币都可能是假币。故此问题共有 24种情况,每种情况的概率为1/24。所以此问题的熵为log224。 确定最少次数的下界 实验最多可能出现三种结果 ,根据定理11.3,这种实验在可能出现的各种事件具有相等的概率时,所提供的平均信息量最大,故实验提供的平均信息量不超过log23。 设最少需称k次,则这k次实验提供的总信息量 不超过klog23=log23k,又问题的模糊度(熵)为log224 必要条件: log23k≥log224 ,得 k≥3。

  47. 称三次足够了吗? 情况1 两堆重量相等 假币在未秤的4枚中。任取其中的3枚加上从已秤过的8枚中任取的1枚,平分成两堆称。出现两种情况 情况1.1两堆重量相等 最后剩下的一枚是假币,再称一次知其比真币轻还是重。 情况1.2两堆重量不相等 设右重左轻,并设真币在左边, 若假币在右边,则比真币重,若在左边,则轻。取右边两个称 。 实验方法:使每次实验提供尽可能大的平均信息量。 第一次:将12枚硬币平分成三堆,取两堆称,出现两中情况

  48. 情况2.1两堆重量相等 取出的两枚中轻的为假币,再称一次即可找出假币。 情况2 两堆重量不相等 设右边较重 。先从左边取出两枚,再将右边的取两枚放到左边,将原来左边的两枚中取出一枚放于右边 情况2.2两堆重量不相等 若右边较重,则假币在右边原来的两枚及左边未动过的一枚中(若为前者,则假币偏重;若为后者,则假币偏轻),于是再称一次即可找出假币。若第二次称时左边较重,则假币必在交换位置的三枚中,可类似区分真伪 。 三次是最少次数!

  49. 英文的熵是多少呢? 例17在人类活动中,大量信息是通过文字或语言来表达的,而文学或语言则是一串符号的组合。据此,我们可以计算出每一语种里每一符号的平均信息量。例如,表11-2、表11-3、表11-4分别是英语、德语和俄语中每一符号(字母与空格,标点符号不计)在文章中出现的概率的统计结果(汉语因符号繁多,难以统计)

  50. 符号 i Pi 符号 i Pi 符号 Pi 符号 Pi 空格 E T O A N I 表11-2(英语) 0.2 0.105 0.072 0.0654 0.063 0.059 0.065 R S H D L C F 0.054 0.052 0.047 0.035 0.029 0.023 0.0225 U M P Y W G V 0.0225 0.021 0.0175 0.012 0.012 0.011 0.008 B K X J Q Z 0.005 0.003 0.002 0.001 0.001 0.001

More Related