1 / 38

貝氏網路簡介

貝氏網路簡介. 主講人：劉湘川 生物資訊研究所暨心理系 亞洲大學. 網路 (Bayesian Networks) 別名. 貝氏推估網路 (Bayesian Inference Networks) 貝氏信念網路 (Bayesian Belief Networks) 信念網路 ( Belief Networks) 因果關係網路 ( Causal Networks) 機率網路 ( Probabilistic Networks) 影響力圖表 ( Influence Diagram ). 貝氏網路之基本定義.

bessie
Download Presentation

貝氏網路簡介

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 貝氏網路簡介 主講人：劉湘川 生物資訊研究所暨心理系 亞洲大學

  2. 網路(Bayesian Networks) 別名 • 貝氏推估網路 (Bayesian Inference Networks) • 貝氏信念網路(Bayesian Belief Networks) • 信念網路( Belief Networks) • 因果關係網路( Causal Networks) • 機率網路 ( Probabilistic Networks) • 影響力圖表( Influence Diagram )

  3. 貝氏網路之基本定義 • 貝氏推論： 善用先驗知識或專家意見並結合可觀察資訊之機率推 論模式稱為貝氏推論 • 非循環有向圖形： 以頂點集及有向邊集所組成之圖形稱為有向圖形，無迴圈(loop)及迴路(cycle)之有向圖形稱為非循環有向圖形(directed acyclic graph: DAG) • 貝氏網路： 對不確定事務之描述與推論，以貝氏推論為基礎之非循環有向圖形模式稱為貝氏網路(較嚴謹之定義如次頁)。

  4. 馬可夫條件與貝氏網路 [定義] 已知G=(V,E)為一DAG. 為X之親代集 若 則稱聯合機率 滿足馬可夫 條件(Markov condition)， 且稱(G,P)為貝氏網路

  5. 貝氏網路之基礎--貝氏定理 • Thomas Bayes (1763)提出

  6. 貝氏定理基本概念 … U E

  7. 事件獨立基本概念

  8. 事件獨立之定義

  9. 貝氏網路聯合機率聯鎖法則 • 貝氏網路為B(G,P)；其中G=(V,E)為一非循環有向圖DAG， 為一組條件機率， 代表頂點 之親代頂點所成之集合，且由P可簡化定義G中所有頂點x之聯合機率密度(jpd)如下式： 其中 註：無親代之頂點 之邊際機率可記為

  10. 貝氏網路推論過程之三種推理 • 演繹推理(Deductive reasoning)：由一般至特例之推理，即由因至果之推理，如黑格爾之三段論證。 • 歸納推理(Inductive reasoning)：由特例至一般之推理，即由果至因之推理，如數學歸納法 • 設因推理(Abductive reasoning)：為綜合歸納與演繹之推理，先歸納觀察之果假設可能之因，再由可能之因演繹所有可能之果，若有非預期之果，則修正原有假設，形成新假設。

  11. 貝氏網路推論過程四步驟 • 1.設因推理引導模式之建構： 參考研究成果與先前經驗建立模式基本架構，並以統計 分析加以改進。 • 2.演繹推理附加事前參數估計： 從給定模式之變數結構，設定觀察變項之先驗分布。 • 3.歸納推理求出後驗分布： 自特定學生之反應或行為觀察值，更新模式之信仰機 率，進而推論該模式潛在變項之狀態，此即證據式推理。 • 4.設因推理擴展學生模式架構： 由資料中非預期類型促發之歸納結果，形成模式更新假 設，再由新的假設演繹新的結果，並進行檢定。

  12. 貝氏網路機率推論核心 • 貝氏網路證據推理過程中，如何根據機率理論自給定學生之作答觀察值，推論該模式潛在變項之狀態，以求得後驗分布。必須要有嚴謹有效之「推論規則」或「推論方法」 ，此為貝氏網路機率推論核心。

  13. 貝氏網路四種推論方法 • 1.信息傳遞法(message passing) (Pearl 1988) • 2.區塊樹法(trees of cliques) [應用最廣] (Lauritzen & Spiegelhalter 1988) (Jensen 1996) • 3.質之傳遞(qualitative propagation) (Henrion & Druzdzel 1990) • 4.馬可夫鍊蒙地卡羅法(Markov Chain Monte Carlo : MCMC) (Gelman, Carlin, Stern, & Rubin, 1995)

  14. 樹狀貝氏網路證據推理簡介 • 任一頂點至多一親代者稱為「樹狀貝氏網路」 • 任一頂點至多一親代及一子代者稱為「鍊狀貝氏網路」 • 鍊狀貝氏網路亦為一種「樹狀貝氏網路」 • 鍊狀貝氏網路與樹狀貝氏網路均可直接重複使用貝氏定理與條件機率進行證據傳導(Jensen, 1996)

  15. 鍊狀貝氏網路證據推理簡介 根據更新之X, 以條件機率更新 Y之機率分配 Z X Y

  16. 鍊狀與樹狀貝氏網路兩種證據推理 • 由「因變數」之證據，藉條件機率至「果變數」之可能發生機率」，其證據推理過程即「預測」 • 由「果變數」之證據，藉貝式定理至「因變數」之可能發生機率，其證據推理過程即「診斷」

  17. 樹狀貝氏網路證據推理簡介 V 診 斷 預 測 U 根據更新之X, 以條件機率更新 Z之機率分配 X 預 測 預 測 Y Z

  18. 非樹狀貝氏網路區塊樹法簡介 • 貝氏網路中至少有一頂點間不只一親代者，稱為「非樹狀貝氏網路」 • 非樹狀貝氏網路無法直接重複使用貝氏定理與條件機率進行證據傳導(Jensen, 1996) • 非樹狀貝氏網路可先將變項群組為幾個區塊(clique)子集，使得每一區塊子集形成一鍊狀或樹狀貝氏網路，則區塊內之變項可利用上述樹狀貝氏網路證據傳導規則進行機率更新，並透過區塊交集進行區塊間之證據傳導，最後更新整個網路變項機率。

  19. 非樹狀貝氏網路之例 W V X U Z Y

  20. 非樹狀貝氏網路之例 V W 區塊化與區塊交集 X U Z Y U,V X U,X U,V,W U,V,X X,Z U,X,Y

  21. 非樹狀貝氏網路醫學診斷架構之例(Mislevy,1995) 一疾病診斷貝氏網路 , 均為二元(是、否)變項

  22. 醫學診斷例之證據推論步驟 • 如何根據先前之資料分配及患者A之症狀(證據)，透過上述貝氏網路架構推論其感染二種疾病之機率。列出其實際執行之七步驟如下： • [步驟1] 變項聯合分配之遞迴表徵，並利用條件獨立性質簡化聯合機率分配如下：

  23. [步驟1]決定先驗機率及條件機率 • 1. 經由理論、專家意見、或實證資料決定 之 先驗機率 • 2.經由理論、專家意見、或實證資料決定條件機率，可由 MCMC法估計實證資料所須條件機率。

  24. [步驟2]表徵為非循環有向圖 • 頂點表變項，箭號由因頂點指向果頂點，表變項間條件相依關係 • 將代數表徵對應至圖形表徵(DAG) • 非直接關聯變項間之條件獨立關係可由下三者決定 序列連通 為「中知端斷」 即中間變項證據確知時，兩端變項為條件獨立 發散連通 為「因知果斷」 即中間因變項證據確知時，兩端果變項為條件獨立 收斂連通 為「果知因連」 即中間果變項證據確知時，兩端因變項為條件獨立

  25. 序列連通變項間之條件獨立關係 e Y X Z 有雲 下雨 地濕 若確知下雨則不論有雲與否地濕機率均較大，即 中間X證據為確知時，兩端Y與Z為有向隔離， 即Y與Z為條件獨立，亦即：中知端斷

  26. 發散連通變項間之條件獨立關係 Y X Z 性別：男，女 身材：高，矮 髮長：長，短 X性別確知時，不能由髮長Y之訊息直接推論身材Z訊息， 即Y與Z為條件獨立：亦即：因知果斷

  27. 收斂連通變項間之條件獨立關係 Y X Z 嘔吐 流行性感冒 沙門氏菌感染 w 蒼白 X嘔吐為確知時，則發生Y與Z之原因 必互有消長互相傳遞，亦即：果知因連 反之：X嘔吐未確知時，因頂點Y與Z 為有向隔離，即Y與Z為條件獨立

  28. [步驟3]表徵原圖為無向三角化圖 • 1.子頂點與所有親頂點均相連 • 2.去除邊之方向 • 3.三角化無向圖(Triangulated graph)：一無向圖中，若所有包含變項自己之迴路長皆不大於3，則稱此圖被三角化 • 4.三角化對應之三維機率表尚可判讀，四角化則無此優點

  29. [步驟4]決定區塊與區塊交集 • 區塊：無向圖中之任一最大完整子圖稱為一區塊(clique)，亦即：任一區塊不會是其他區塊之子圖，兩相異區塊之頂點數可不相同。 • 區塊交集：兩區塊重疊之變項所成集合 稱為區塊交集。 • 根據圖形理論定義決定區塊與區塊交集，以利於後續證據之傳導。

  30. 點數不同區塊之例 區塊交集 區塊2 (點數為3) 區塊1(點數為2)

  31. [步驟4]決定區塊與區塊交集(續) 區塊交集 區塊2 區塊1

  32. [步驟5]轉成聯合樹表徵 區塊交集 區塊1 區塊2 貝氏網路轉為聯合樹

  33. [步驟6]將[步驟1]之條件機率轉成聯合機率 變項之初始聯合機率 1 1 0.0121 0.0120 0.0001 0.0110 0.0011 0.0930 1 0 0.0049 0.0881 0.0098 0.0979 0 1 0.0979 0.0881 0.0098 0.0881 0.0098 0 0.7842 0 0.0079 0.7842 0.0079 0.7921 0.1961 0.8039 0.1119 0.8881 區塊交集 區塊1 區塊2

  34. [步驟7]以後驗機率更新架構 • 最後步驟為將已觀測到之變項機率重新調整，再根據下式之條件機率進行其他變項機率之更新，後續則可採用更新之機率診斷學生之錯誤類型與概念缺失。

  35. [步驟7]以後驗機率更新架構(續)

  36. [步驟7]以後驗機率更新架構(續) 已知可觀察變項 後更新之聯合機率 1 1 0.0120 0.0612 0.91 0.09 0.0557 0.0055 0.4493 0.4268 1 0 0.0881 0.05 0.95 0.0225 0 1 0.0881 0.4493 0.0449 0.90 0.10 0.4044 0.0398 0 0 0.0079 0.0402 0.01 0.0004 0.99 0.1961 0.4830 0.5170 正規化

  37. 　　貝氏網路推論簡介結論 • 根據上述七步驟，吾人則可由假定的先驗分 配，再結合可觀察的証據，去推論不可觀察的 　潛在變項發生的機率，例如在上例中，根據病人之症狀推論他感染某種病之可能性有多大。 • 在上例中，已知病人發燒，則喉嚨痛之機率為0.4830，流行性感冒之機率為0.5105，喉嚨感染之機率為0.5105，兩種病同時感染之機率為0.0612，只感染其中一種病之之機率為0.8986，只感染流行性感冒之機率為0.4493，只喉嚨感染之機率為0.4493，兩種均不感染之機率為0.0402。

More Related