1 / 17

東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫

正規分布における ベーテ近似の解析解と数値解. 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫. 背景. 指数オーダ計算. ( 高次元 ) 確率分布. 周辺確率. 例．. 通り !. 直接. 効率的な計算. 確率伝搬法 (Belief Propagation;BP). Sum Product Algorithm. 確率伝搬法の応用研究. (i) ベイジアンネットを用いた確率的推論. (ii) 誤り訂正符号 (Turbo, LDPC 符号 ). noise. decode. 000101.

agnes
Download Presentation

東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫

  2. 背景 指数オーダ計算 (高次元)確率分布 周辺確率 例． 通り! 直接 効率的な計算 確率伝搬法(Belief Propagation;BP) Sum Product Algorithm

  3. 確率伝搬法の応用研究 (i) ベイジアンネットを用いた確率的推論 (ii) 誤り訂正符号 (Turbo, LDPC 符号) noise decode 000101 000111 000101 (iii)CDMA (符号分割多元接続) (iv) 確率的画像処理 復元アルゴリズム 劣化 画像 復元 画像

  4. 確率伝搬法の問題点 ・グラフがループを持たないとき(BP) BPは，正確な周辺確率を計算 ・グラフがループを持つとき(Loopy BP;LBP) LBPは，近似的に周辺確率を計算 or LBPの解が収束しない場合もある． Ex. ・T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”, Neural Computation16(11), 2379-2414, 2004. ・Y. Weiss,”Correctness of belief propagation in graphical models with arbitrary topology”, Neural Computation13(10), 2173-2200, 2001.

  5. 統計力学との接点 ベーテ自由エネルギー(汎関数) LBPによって計算される 近似周辺確率(LBP解) 周辺確率 ベーテ近似解 LBP解 = ベーテ近似解

  6. concave concave convex convex CCCP(A.L.Yuille, 2002) • ベーテ自由エネルギーをConcave関数，Convex関数に分けて，関数の間の更新則を与え，極値に収束させる反復アルゴリズム + ベーテ自由エネルギー = 更新の様子 更新則 ー

  7. (3月NC研，玉川大学) (3月日本物理学会，年次大会) 本発表の位置づけ 本発表 正規分布 ベーテ自由エネルギーの最小化 ・LBPの近似精度 (Loopy) Belief Propagation ・LBP収束条件 一般化 CCCP Extended CCCP ・・・ 菊池自由エネルギーの最小化 Generalized BP (GBP) CCCP Extended CCCP ・・・

  8. 目的 ループの入った正規分布の場合に，ベーテ自由エネルギー の極値を与え，ベーテ近似の近似精度を解析する． ・正規分布 の精度行列 が， (i)1重ループを表すとき ベーテ近似解析解(LBP解析解) LBPが収束するための必要条件 (ii)任意のグラフで相関が小さいとき ベーテ近似解析解の展開式

  9. LBPアルゴリズム メッセージ メッセージの固定点 LBP解 正規分布 1重ループ

  10. (i)1重ループ 定理1(メッセージの固定点) 定理2(LBP解) 真の周辺分布 ＊ベーテ近似の近似精度

  11. LBP収束条件(1重ループ) 収束必要条件(1重ループ) について， 1重ル－プのLBPが収束するためには，精度行列 が成り立つことが必要． 例． のとき ＊十分条件にもなっていることを特殊な場合で証明（予稿集）

  12. 数値実験(1重ループ) LBP数値解 LBP数値解 真値 LBP解析解

  13. 補正 (ii)任意グラフ(相関が小さい) 定理3(LBP解) 真の周辺分布 多重ループ ＊相関が小さいときの 　　ベーテ近似の近似精度

  14. の性質 LBP数値解の補正 周辺密度関数 の精度 真値 LBP解析解の展開式 LBP数値解

  15. まとめ (i)1重ループのとき ベーテ近似解析解(LBP解析解)を導出し，LBPの収束条件，近似精度を決定している量を解析的に明らかにした． (ii)任意のグラフ構造のとき 相関が小さいときの，LBPの近似精度を決定している量を 解析的に明らかにした． ループの入った正規分布の場合にベーテ近似(LBP)の近似精度を理論的に明らかにした．

  16. (3月NC研，玉川大学) 正規分布 ・GBPの近似精度？ ・GBP収束条件？ (3月日本物理学会，年次大会) 今後の展開 本発表 ベーテ自由エネルギーの最小化 正規分布 ・LBPの近似精度 (Loopy) Belief Propagation ・LBP収束条件 一般化 CCCP Extended CCCP ・・・ 菊池自由エネルギーの最小化 Generalized BP (GBP) CCCP Extended CCCP ・・・

  17. 参考文献 確率的画像処理 ・　田中和之，確率モデルによる画像処理技術入門，森北出版，2006. ・　田中和之，ガウシアングラフィカルモデルに基づく確率的情報処理 　　における一般化された信念伝搬法，　電子情報通信学会誌 D-II, Vol. J88-D-II, No. 12, pp. 2368-2379, 2005. ・　K.Tanaka, H. Shouno, and M. Okada. Accuracy of the bethe approximation For hyperparameter estimation in probabilistic image processing. J. Phys. A, Math. Gen., Vol. 37, No. 36, pp. 8675-8696, 2004

More Related