1 / 12

ベイジアンネットワーク概説

ベイジアンネットワーク概説. 第 3 章　ベイジアンネットワークモデルの 　　　　　数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史. 3.5.1 情報量基準. 現象を説明する複数のモデルがあった場合、どのモデルがよいか / 選択すべきか？ 　→ 情報量基準を基に選択 (1) 　期待対数尤度からのアプローチ 　　　　　　例： AIC 、 TIC 、 CAIC (2) 　予測分布からのベイズアプローチ 　　　　　　例： BIC 、 MDL 、 ABIC. ■ AIC (Akaike information criterion) ：. データとの適合度

terrene
Download Presentation

ベイジアンネットワーク概説

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ベイジアンネットワーク概説 第3章　ベイジアンネットワークモデルの 　　　　　数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史

  2. 3.5.1 情報量基準 現象を説明する複数のモデルがあった場合、どのモデルがよいか/選択すべきか？ 　→情報量基準を基に選択 (1)　期待対数尤度からのアプローチ 　　　　　　例：AIC、TIC、CAIC (2)　予測分布からのベイズアプローチ 　　　　　　例：BIC、MDL、ABIC

  3. ■ AIC (Akaike information criterion)： データとの適合度 （モデルのあてはめ誤差) パラメータ数多のペナルティ （モデルの複雑さ) 3.5.1 情報量基準：　最大対数尤度利用 （1） (3.8) 最適なモデルとは → AICを最小にするモデル (尤度大、パラメータ数少) ※2は対数尤度比検定との兼ね合いから

  4. ■ TIC (Takeuchi information criterion)： パラメータ数多のペナルティをAICより精密に評価 3.5.1 情報量基準：　最大対数尤度利用 （2） (3.9) ※ J=Rのとき tr{J-1R}=kmとなりAICに一致

  5. 3.5.1 情報量基準：　最大対数尤度利用 （3） －問題点－ AIC、TICは漸近的一致性(データ数N→∞で推定値 m/θ→真の値 m*/θ*)が欠如 ■ CAIC (consistent Akaike information criterion)： (3.10) パラメータ数多のペナルティはデータ数Nに依存

  6. 3.5.1 情報量基準：　ベイズ的アプローチ （1） ーベイズ的アプローチによる情報量基準ー 最大対数尤度を介さない モデルの集合(ありうるモデルの集まり)を考える モデルmに対し、(モデルの集合上の)事前分布p(m)が与えられた場合の事後分布 パラメータの重み(事前分布) 予測分布： → －E[log p(m|X)]最小のモデルを選択

  7. ■ BIC (Bayesian information criterion)： 3.5.1 情報量基準：　ベイズ的アプローチ （2） (3.11) 情報理論的アプローチからのMDL(minimum description length)基準に一致 [事前分布(条件付確率)の積極的解釈] 漸近的一致性をもつ

  8. 癌転移 1 3.5.2 数値例 (1) 血清中のカルシ ウム量の増加 脳腫瘍 3 2 4 5 激しい頭痛 昏睡状態 図3.1 ベイジアンネットワークの因果モデル例

  9. 3.5.2 数値例 （2） 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定

  10. 3.5.3 ベイジアンネットワークの予測分布 （1） モデルの予測分布が解析的に求まれば、高精度のモデルを選択可能な情報量基準を作成することができる ■ 事前分布p(Θ|Bs)が一様分布であるとしたときの予測分布 (3.12) (3.13)

  11. 3.5.3 ベイジアンネットワークの予測分布 （2） ■ 事前分布p(Θ|Bs)がディレクレ分布であるとしたときの予測分布 (3.14) → 式(3.14) = 式(3.13)

  12. 3.5.4 数値例 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定した場合の予測分布 データ数が少ない場合、観測されない変数のパターンが出現(Nijk=0)し、計算が困難な場合がある

More Related