隨機過程

1. 隨機過程 • 許多自然或社會現象，其發展或演變是隨時間機遇地呈現出可能的狀態，此種演算的過程便稱為隨機過程。 • 隨機過程是有系統地隨時間變化其狀態。 • 倘若所計算的時間點是離散的，則該過程便為一個離散時間之隨機過程。 • 統計某十字路口每天發生意外事故之件數為一個離散時間的隨機過程。 • 若所計算之時間點是連續的，則該過程便為 連續時間之隨機過程。 • 計算到銀行辦理業務的人數則為一個連續時間的隨機過程。

2. 定馬可夫鏈(Markov chain)鏈基本定義 • 馬可夫鏈是一個特殊的離散時間之隨機過程。在此過程中，每隔一段固定時間（如年、月、週、日、小時）所觀察的結果是隨機的，而且每次所出現之結果僅與前k次的結果有關。 • 若k=1，表示第n次出現之結果僅與第n-1次的結果有關，而與第0,1,2,…,n-2次出現的結果無關，稱為一階馬可夫鏈。 • 若馬可夫鏈中每一個時間點所出現的可能結果為有限的集合，則稱為有限馬可夫鏈。

3. 若一個行向量中所有元素均介於0到之1之間，且總和為1，則稱之為一個機率向量。若一個行向量中所有元素均介於0到之1之間，且總和為1，則稱之為一個機率向量。 • 若一個 n 階方陣中每一行均為一個機率向量，則此矩陣稱為一個機率矩陣。 • 馬可夫鏈中任何一種可能出現的結果即稱為一種狀態，所有狀態所構成之集合稱為狀態空間。 • 馬可夫鏈中從某一個狀態轉移到另一個狀態之機率稱為轉移機率。 • 由轉移機率所構成之矩陣稱為轉移矩陣，通常以T表示之。 • 對於有限馬可夫鏈而言，若狀態空間的元素個數為 n，則 T 為 n 階方陣。

4. 在馬可夫鏈開始時，從各狀態出發之機率分布所構成的矩陣，稱為起始機率矩陣，通常以 X0表示之。 • 若轉移機率不會隨時間而改變，即轉移矩陣的元素均為固定常數，則此馬可夫鏈稱為穩定馬可夫鏈。

5. 轉移機率 • 假設有一馬可夫鏈的試驗，各階段的結果有三種狀態，分別命名為狀態1、2、3。 • 則給定狀態1，而下一個階段進入狀態1、2、3的轉移機率，可分別寫成a11=P (狀態1 | 狀態1)a21=P (狀態2 | 狀態1)a31=P (狀態3 | 狀態1) • 這裡元素a的第一個下標代表試驗的下一階段到達之狀態，我們稱為次態，而第二個下標則代表現在的狀態，稱為現態。

6. 若以樹狀圖表示，則有如下關係：

7. 轉移矩陣 • 若以矩陣表示，其形式如下

8. 轉移矩陣 • 具n個狀態的馬可夫鏈可用n × n的轉移矩陣T來表示，其元素為aij • 且轉移矩陣T有如下性質： • aij 0。 • 矩陣T的每一行的總和均等於1。

9. 範例 • 我們對某一家航空公司的股票很有興趣，持續觀察了一段時間，發現其收盤價的漲跌僅與前一日的收盤價有關。 • 我們於各交易日結束時做記錄，若當天的收盤價比前一個交易日的收盤價高、不變或低，則相對登錄為上漲、持平或下跌。我們這一連串的觀察，可視為馬可夫鏈或馬可夫隨機過程。

10. 觀察所得，若該股票當天的收盤價高於前一天，則次日的收盤價會上漲、持平或下跌的機率分別為0.2, 0.3與0.5； • 若該股票當天的收盤價與前一天相同，則次日的收盤價會上漲、持平或下跌的機率分別為0.5, 0.2與0.3； • 若該股票當天的收盤價低於前一天，則次日的收盤價會上漲、持平或下跌的機率分別為0.4, 0.4與0.2。請利用轉移圖敘述狀態間遞移的機率。

11. 轉移矩陣表示為 請做練習1

12. 1.請寫出轉移矩陣 (1) 某旅遊區的天氣，依據過去資料，在一個晴天以後，緊接轉變為雨天的機率為0.1；在一個雨天後，緊接轉變為晴天的機率為0.8， 晴天 雨天 0.9 晴天 0.8 雨天 0.1 0.2

13. 1.請寫出轉移矩陣 (2)經調查台北市的上班族，依搭乘捷運頻繁的程度分為經常搭乘和偶爾搭乘二類。估計每個月偶爾搭乘捷運的上班族中約有30% 會變為經常搭乘者。估計每個月經常搭乘捷運的通勤上班族中約有80% 仍維持原通勤方式。 經常 偶爾 0.8 經常 0.3 偶爾 0.2 0.7

14. 1.請寫出轉移矩陣 (3)每年外縣市人口的1/10移入台北市，而北市的2/10人口移到外縣市。 台北市 外縣市 台北市 0.8 0.1 外縣市 0.2 0.9

15. 1.請寫出轉移矩陣 (4)一廣告公司為了解消費者對三種主要啤酒品牌的消費情形，調查消費者去年和今年喜好的改變，所收集的人數數據如下： A B C A 0.7 0.3 0.3 B 0.16 0.6 0.2 C 0.14 0.1 0.5

16. 機率向量 • 假設有一具備n個狀態的馬可夫鏈，系統一開始處於狀態1、狀態2、…、狀態n的機率分別寫成p1, p2, ... , pn，則其機率分配可表成n維行向量如下： 稱為機率向量。若T是該馬可夫鏈的n × n轉移矩陣，則系統經過1次的觀察後，新的機率向量為系統經過2次的觀察後，新的機率向量為系統經過k次的觀察後，新的機率向量為

17. 範例 • 政府預期每年居住在都市的人口會有3%遷移到郊區，且居住在郊區的人口會有6%遷移到都市。現在已知人口的分布有65%住在都市，其餘35%住在郊區。假設總人口數維持不變，試問(1)1年後的人口分布情形如何？(2)2年後居住於都市的人口比例有多少？(3)3年後呢？

18. 解： 因此，1年後的人口分布為65.15%居住於都市，而34.85%的人口居住於郊區。

19. 試求X2 請做練習2,3,4

20. 2.設市場上有A、B兩種品牌，每週顧客在兩品牌間的轉移機率如下：2.設市場上有A、B兩種品牌，每週顧客在兩品牌間的轉移機率如下： (1)若一顧客本週買A品牌，下週仍買A品牌機率為多少？ 兩週後仍買A品牌機率多少？ (2)若現在市場佔有率為兩者各半，兩週後佔有率各是多少？ 0.8 0.7 A品牌0.575 B品牌0.425

21. 晴天 雨天 晴天 0.9 0.8 雨天 0.2 0.1 3.承1-(1)， 有一名旅客，三天後想到該地遊玩，由氣象報告得知今天降雨機率為0.2，則此旅客三天後如到該地遇到下雨的機率為多少？若五天後去，遇晴天的機率多少？ 0.1112 0.888888

22. 經常 偶爾 經常 0.8 0.3 偶爾 0.2 0.7 4.承1-(2)， 假設現在搭乘捷運的上班族中約有90%為經常搭乘者，其他為偶爾搭乘者。若台北市的上班族約有1,000,000人，試問二個月後經常搭乘的上班族有多少人？ 675000人

23. 正規馬可夫鏈 範例：馬可夫鏈的長期趨勢 • 據調查完成大學教育的母親之中，女兒也完成大學教育的佔70%；未完成大學教育的母親之中，女兒完成大學教育的僅佔20%。已知現在完成大學教育的女性為20%，若照此趨勢發展，最後完成大學教育的女性會有多少比例？

24. 解： 令完成大學教育為狀態1，未完成大學教育為狀態2，則轉移矩陣為 初始機率向量為

27. 可以看出長期的趨勢為 上述的向量稱做系統的穩定狀態機率向量。

28. 定義：穩定狀態機率向量 設T為一個有限馬可夫鏈的轉移矩陣，若Tk的極限存在(令limTk=L)，則矩陣L的每一行向量皆相同，此向量稱為T的穩定狀態機率向量

29. 定義：正規馬可夫鏈 不論從那一個狀態開始，經過多次轉移後，每個狀態均有到達的可能 存在正整數 k，使得 Tk中每一元素均大於0 判斷法： 將矩陣T中非0元素以“”代替，然後檢查 T1, T2, T4, T8, T16, 等，元素仍表為0或。若有某一次羃之矩陣元素均為，則T為正規轉移矩陣

31. 請做練習5

32. 判斷下列各矩陣是否為正規轉移矩陣： 否 是

33. 求穩定狀態機率向量 令T是一個正規轉移矩陣，則其穩定狀態機率向量為方程式TX = X的解，且行向量X的元素和為1 。

34. ，試求其穩定狀態機率向量： 解：由TX = X得 (T-I)X=0

35. ，試求其穩定狀態機率向量： 解：由TX = X得 (T-I)X=0 請做練習6-(1)

36. 6.試求下列轉移矩陣之穩定狀態機率向量： (1)

37. 試求其穩定狀態機率向量： 請做練習6-(2)

38. 6.試求下列轉移矩陣之穩定狀態機率向量： (2)

39. 台北市 外縣市 7.承1-(3)，試求百年後台北市人口在台灣地區人口的比率？ 台北市 0.8 0.1 外縣市 0.2 0.9

40. 8.設有銷售相同性質產品的甲、乙、丙三個公司，他們去年銷售該種產品市場的佔有率分別是20%、40% 和40%，顧客對各公司產品偏好的轉移機率矩陣如下： (1)試問兩年後，各公司該產品之市場佔有率各為若干？ (2)試問經過長時間後，各公司該產品之市場佔有率各為若干？