1 / 22

ガウシアン確率伝搬法の 近似精度に対する理論解析

ガウシアン確率伝搬法の 近似精度に対する理論解析. 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 D1 　西山　悠 . 背景. 確率伝搬法 (Belief Propagation;BP). ( 高次元 ) 確率分布の周辺確率を 効率的に求める計算手法. Ex. 人工知能における確率推論. Turbo 符号 ,LDPC 符号. CDMA 通信. 確率的画像処理. 背景. target 確率分布が木構造. 計算される周辺確率は厳密. target 確率分布が loop 構造を持つ (LBP). 収束性の問題，近似周辺確率.

findlay
Download Presentation

ガウシアン確率伝搬法の 近似精度に対する理論解析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ガウシアン確率伝搬法の近似精度に対する理論解析ガウシアン確率伝搬法の近似精度に対する理論解析 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 D1　西山　悠

  2. 背景 確率伝搬法(Belief Propagation;BP) (高次元)確率分布の周辺確率を 効率的に求める計算手法 Ex. 人工知能における確率推論 Turbo 符号,LDPC符号 CDMA 通信 確率的画像処理

  3. 背景 target確率分布が木構造 計算される周辺確率は厳密 target確率分布がloop構造を持つ(LBP) 収束性の問題，近似周辺確率 T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”, Neural Computation16(11), 2379-2414, 2004. Y. Weiss, ”Correctness of local probability propagation in graphical models with loops”, Neural Computation12(1), 1- 41, 2000. Y. Weiss,”Correctness of belief propagation in graphical models with arbitrary topology”, Neural Computation13(10), 2173-2200, 2001.

  4. 目的 LBPを多次元正規分布に適用したときの 近似精度を解析的に明らかにする. 確率的画像処理 K. Tanaka, H. Shouno, M. Okada, “Accuracy of the Bethe approximation for hyperparameter estimation in probabilistic image processing”, J.phys. A, Math. Gen., vol.37, no.36, pp.8675-8696,2004. 田中和之, “確率モデルによる画像処理技術入門”, 森北出版, 2006.

  5. 内容 ・Belief Propagaton (BP) ・Loopy Belief Propagaton (LBP) ・Gaussian Distribution ・Main Results Single Loop Arbitrary graph ・Conclusion

  6. BP algorithm Target Marginal distribution Tree-graph (Singly-connected graph)

  7. BP algorithm Marginal distribution

  8. Belief Propagation (BP) 周辺分布構成式

  9. Loopy Belief Propagation (LBP) Graph with a loop 周辺分布構成式 収束性の問題 近似周辺確率

  10. Message　　　　の決定方法 Consistency Constraints 周辺分布構成式 ＋ Message Update Rules

  11. Gaussian Distribution Target : Gaussian Distribution Message Update Rules Message

  12. Main Results Theorem １重ループ 正規分布 　　　　　 のグラフ構造が１重ループのとき Message Update Rulesの固定点は, で である．

  13. Main Results Corollary このときLBPによって計算される周辺分布(belief)は， , 逆行列 分散の逆数　 について である．

  14. True loop tree Loopy Belief Propagation Belief Propagation LBP ⇒ BP LBP ＊BPが木構造のとき正しい周辺確率が得られる．

  15. LBPの近似精度 Kullback-Leibler (KL)距離は 近似周辺分布 真の周辺分布

  16. 共分散値<<1 のときの周辺分布 Multiloopsを含む任意 のグラフ構造では？ 多重ループ のもとで における展開を導出

  17. Beliefの固定点方程式 周辺分布 固定点方程式 Message 固定点方程式 Theorem 近似周辺分布の分散の逆数 は の 組からなる連立方程式のいずれかを 満たす． はそれぞれの項で任意にとる.

  18. Theorem を満たす固定点方程式は は の連立方程式に限り,これを満たす の展開式を持つ. Beliefのs<<1での展開 (True)

  19. True Theorem LBPの結果とTrueとの比較 LBPの結果

  20. まとめ • 多次元正規分布の場合に, LBPの近似精度を解析的に言及した. 特に (1)１重ループ構造のときLBPの近似精度は の量で決められる. (2)任意のグラフ構造で共分散が小さいときの LBPの近似精度を明らかにした.

  21. Future Works • 数値実験による比較 • LBPの補正アルゴリズムの構築 • 固定点への収束率のCCCPとの比較 • 高次の相関があるときへの拡張

  22. A Single Loop + Tree Structures

More Related