slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
PowerPoint Presentation
Download Presentation

Loading in 2 Seconds...

play fullscreen
1 / 17

- PowerPoint PPT Presentation


  • 131 Views
  • Uploaded on

正規分布における ベーテ近似の解析解と数値解. 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫. 背景. 指数オーダ計算. ( 高次元 ) 確率分布. 周辺確率. 例.. 通り !. 直接. 効率的な計算. 確率伝搬法 (Belief Propagation;BP). Sum Product Algorithm. 確率伝搬法の応用研究. (i) ベイジアンネットを用いた確率的推論. (ii) 誤り訂正符号 (Turbo, LDPC 符号 ). noise. decode. 000101.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '' - agnes


Download Now An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

正規分布における

ベーテ近似の解析解と数値解

東京工業大学総合理工学研究科

知能システム科学専攻 渡辺研究室 

  西山 悠, 渡辺澄夫

slide2

背景

指数オーダ計算

(高次元)確率分布

周辺確率

例.

通り!

直接

効率的な計算

確率伝搬法(Belief Propagation;BP)

Sum Product Algorithm

slide3
確率伝搬法の応用研究

(i) ベイジアンネットを用いた確率的推論

(ii) 誤り訂正符号 (Turbo, LDPC 符号)

noise

decode

000101

000111

000101

(iii)CDMA (符号分割多元接続)

(iv) 確率的画像処理

復元アルゴリズム

劣化

画像

復元

画像

slide4
確率伝搬法の問題点

・グラフがループを持たないとき(BP)

BPは,正確な周辺確率を計算

・グラフがループを持つとき(Loopy BP;LBP)

LBPは,近似的に周辺確率を計算

or

LBPの解が収束しない場合もある.

Ex.

・T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”,

Neural Computation16(11), 2379-2414, 2004.

・Y. Weiss,”Correctness of belief propagation in graphical models with

arbitrary topology”, Neural Computation13(10), 2173-2200, 2001.

slide5
統計力学との接点

ベーテ自由エネルギー(汎関数)

LBPによって計算される

近似周辺確率(LBP解)

周辺確率

ベーテ近似解

LBP解 = ベーテ近似解

cccp a l yuille 2002

concave

concave

convex

convex

CCCP(A.L.Yuille, 2002)
  • ベーテ自由エネルギーをConcave関数,Convex関数に分けて,関数の間の更新則を与え,極値に収束させる反復アルゴリズム

+

ベーテ自由エネルギー =

更新の様子

更新則

slide7

(3月NC研,玉川大学)

(3月日本物理学会,年次大会)

本発表の位置づけ

本発表

正規分布

ベーテ自由エネルギーの最小化

・LBPの近似精度

(Loopy) Belief Propagation

・LBP収束条件

一般化

CCCP

Extended CCCP

・・・

菊池自由エネルギーの最小化

Generalized BP (GBP)

CCCP

Extended CCCP

・・・

slide8
目的

ループの入った正規分布の場合に,ベーテ自由エネルギー

の極値を与え,ベーテ近似の近似精度を解析する.

・正規分布

の精度行列

が,

(i)1重ループを表すとき

ベーテ近似解析解(LBP解析解)

LBPが収束するための必要条件

(ii)任意のグラフで相関が小さいとき

ベーテ近似解析解の展開式

slide9

LBPアルゴリズム

メッセージ

メッセージの固定点

LBP解

正規分布

1重ループ

slide10

(i)1重ループ

定理1(メッセージの固定点)

定理2(LBP解)

真の周辺分布

*ベーテ近似の近似精度

lbp 1
LBP収束条件(1重ループ)

収束必要条件(1重ループ)

について,

1重ル-プのLBPが収束するためには,精度行列

が成り立つことが必要.

例.

のとき

*十分条件にもなっていることを特殊な場合で証明(予稿集)

slide12
数値実験(1重ループ)

LBP数値解

LBP数値解

真値

LBP解析解

slide13

補正

(ii)任意グラフ(相関が小さい)

定理3(LBP解)

真の周辺分布

多重ループ

*相関が小さいときの

  ベーテ近似の近似精度

slide14
の性質

LBP数値解の補正

周辺密度関数

の精度

真値

LBP解析解の展開式

LBP数値解

slide15
まとめ

(i)1重ループのとき

ベーテ近似解析解(LBP解析解)を導出し,LBPの収束条件,近似精度を決定している量を解析的に明らかにした.

(ii)任意のグラフ構造のとき

相関が小さいときの,LBPの近似精度を決定している量を

解析的に明らかにした.

ループの入った正規分布の場合にベーテ近似(LBP)の近似精度を理論的に明らかにした.

slide16

(3月NC研,玉川大学)

正規分布

・GBPの近似精度?

・GBP収束条件?

(3月日本物理学会,年次大会)

今後の展開

本発表

ベーテ自由エネルギーの最小化

正規分布

・LBPの近似精度

(Loopy) Belief Propagation

・LBP収束条件

一般化

CCCP

Extended CCCP

・・・

菊池自由エネルギーの最小化

Generalized BP (GBP)

CCCP

Extended CCCP

・・・

slide17
参考文献

確率的画像処理

・ 田中和之,確率モデルによる画像処理技術入門,森北出版,2006.

・ 田中和之,ガウシアングラフィカルモデルに基づく確率的情報処理

  における一般化された信念伝搬法, 電子情報通信学会誌 D-II, Vol. J88-D-II,

No. 12, pp. 2368-2379, 2005.

・ K.Tanaka, H. Shouno, and M. Okada. Accuracy of the bethe approximation

For hyperparameter estimation in probabilistic image processing. J. Phys.

A, Math. Gen., Vol. 37, No. 36, pp. 8675-8696, 2004