马氏链简介

1. 马氏链简介 （Markov Chain）

2. 马氏链简介 马氏链（Markov Chain）是随机过程的一个特例，专门研究无后效条件下时间和状态均为离散的随机转移问题，但在建模过程中采用线性代数的方法，因此，也在线性代数模型中来学习。

3. 一 正则链（Regular Chain） （一 ） 商品的经营问题 某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？

4. 1 分析

6. 2 符号说明 商店的经营状况是随机的，每月转变一次。 建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？ 表示第 n 个月的经营状况 用随机变量 表示销路好； 表示销路坏； 称为这个经营系统的状态。 月处于状态 表示第 用 的概率， 即 称为状态概率。

7. 0.5 0.5 0.6 1 2 0.4 表示已知这月处于状态 ，下月处于状态 的概率， 即 称为状态转移概率。状态及转移情况见图。

8. 3 建模 令 P 概率转移矩阵

9. 4 求解 P 特征值为1，1/10

10. 当

11. 5 结论 不论初始状态如何，经过相当长的时间后 经营状态趋于稳定的概率。 注意到 经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。

12. 这种性质称为无后效性，或马尔可夫（Markov）性，这种性质称为无后效性，或马尔可夫（Markov）性， 即已知现在，将来与历史无关。 具有无后效性的，时间、状态均为离散的随机转移 过程，通常用马氏链（Markov Chain）模型描述。 马氏链模型在经济、社会、生态、遗传等许多领域 有广泛应用，不仅可以解决随机转移过程，还可以 处理一些确定性系统的状态转移问题。

13. 一般地，一个行向量 ，当它的所有分量是非负， 且行和为1，称此向量为概率向量。 每行都为概率向量的矩阵，称为概率转移矩阵。 可证明 若A,B为概率转移矩阵，则AB也为概率转移矩阵。 若 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。

14. 证明 若A,B为概率转移矩阵， 而AB=C的第 i 行，第 j 列元素为 显然，

16. 定义1一个有 个状态的马氏链如果存在正整数 使从任意状态 经过 次转移都以大于零的概率到 达状态 ，则称为正则链。 特点： 从任意状态出发经过有限次转移都能到达另外的任意状态。 定理1 若马氏链的转移矩阵为 ，则它是正则链的 充要条件是，存在正整数 使 （指 的每一 元素大于零）。 （用这个定理检验一个马氏链是否为正则链。）

17. 正则链存在唯一的极限状态概率 使得当 时状态概率 与初始状态 概率 无关。 定理2 又称为稳态概率。 由 存在，记作 由 的每一行都是稳态概率 如果记 那么，有

18. 上例中

19. 次转移，第一次到达状态 从状态 出发经 的概 ，于是 率称为 到 的首达概率，记作 的平均转移次数。 为由状态 第一次到达状态 特别地， 是状态 首次返回的平均转移次数。 与稳态概率 有密切关系，即 定理3对于正则链

20. （二 ） 信息传播问题 一条消息在 等人中传播，传播 的方式是 传给 传给 如此继续下去，每次传播都是由 传给 每次传播消息的失真率为 即 时，传错的概率为 将消息传给 这样经过长时间传播第n个人得知消息时，消息 的真实程度如何？

21. 第n个人知道消息可能是真，也可能是假，有两种状态，记为第n个人知道消息可能是真，也可能是假，有两种状态，记为 表示消息假； 表示消息真； 个人处于状态 表示第 用 的概率， 即状态概率为 由题意，状态转移概率矩阵为

22. 由 为正则矩阵。 求 w=? 令 设

23. 得

24. 结论 长时间传播消息的真实性趋于稳定，且消 息的真假概率各半。 例1 中