slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
ガウシアン確率伝搬法の 近似精度に対する理論解析 PowerPoint Presentation
Download Presentation
ガウシアン確率伝搬法の 近似精度に対する理論解析

Loading in 2 Seconds...

play fullscreen
1 / 22

ガウシアン確率伝搬法の 近似精度に対する理論解析 - PowerPoint PPT Presentation


  • 212 Views
  • Uploaded on

ガウシアン確率伝搬法の 近似精度に対する理論解析. 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室  D1  西山 悠 . 背景. 確率伝搬法 (Belief Propagation;BP). ( 高次元 ) 確率分布の周辺確率を 効率的に求める計算手法. Ex. 人工知能における確率推論. Turbo 符号 ,LDPC 符号. CDMA 通信. 確率的画像処理. 背景. target 確率分布が木構造. 計算される周辺確率は厳密. target 確率分布が loop 構造を持つ (LBP). 収束性の問題,近似周辺確率.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'ガウシアン確率伝搬法の 近似精度に対する理論解析' - findlay


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

ガウシアン確率伝搬法の近似精度に対する理論解析ガウシアン確率伝搬法の近似精度に対する理論解析

東京工業大学総合理工学研究科

知能システム科学専攻 渡辺研究室 

D1 西山 悠

slide2
背景

確率伝搬法(Belief Propagation;BP)

(高次元)確率分布の周辺確率を

効率的に求める計算手法

Ex.

人工知能における確率推論

Turbo 符号,LDPC符号

CDMA 通信

確率的画像処理

slide3
背景

target確率分布が木構造

計算される周辺確率は厳密

target確率分布がloop構造を持つ(LBP)

収束性の問題,近似周辺確率

T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”,

Neural Computation16(11), 2379-2414, 2004.

Y. Weiss, ”Correctness of local probability propagation in graphical

models with loops”, Neural Computation12(1), 1- 41, 2000.

Y. Weiss,”Correctness of belief propagation in graphical models with

arbitrary topology”, Neural Computation13(10), 2173-2200, 2001.

slide4
目的

LBPを多次元正規分布に適用したときの

近似精度を解析的に明らかにする.

確率的画像処理

K. Tanaka, H. Shouno, M. Okada, “Accuracy of the Bethe approximation

for hyperparameter estimation in probabilistic image processing”,

J.phys. A, Math. Gen., vol.37, no.36, pp.8675-8696,2004.

田中和之, “確率モデルによる画像処理技術入門”, 森北出版, 2006.

slide5
内容

・Belief Propagaton (BP)

・Loopy Belief Propagaton (LBP)

・Gaussian Distribution

・Main Results

Single Loop

Arbitrary graph

・Conclusion

bp algorithm
BP algorithm

Target

Marginal distribution

Tree-graph

(Singly-connected graph)

bp algorithm1
BP algorithm

Marginal distribution

belief propagation bp
Belief Propagation (BP)

周辺分布構成式

loopy belief propagation lbp
Loopy Belief Propagation (LBP)

Graph with a loop

周辺分布構成式

収束性の問題

近似周辺確率

message
Message    の決定方法

Consistency Constraints

周辺分布構成式

Message Update Rules

gaussian distribution
Gaussian Distribution

Target : Gaussian Distribution

Message Update Rules

Message

main results
Main Results

Theorem

1重ループ

正規分布

      のグラフ構造が1重ループのとき

Message Update Rulesの固定点は,

である.

main results1
Main Results

Corollary

このときLBPによって計算される周辺分布(belief)は,

,

逆行列

分散の逆数 

について

である.

lbp bp

True

loop

tree

Loopy Belief Propagation

Belief Propagation

LBP ⇒ BP

LBP

*BPが木構造のとき正しい周辺確率が得られる.

slide15
LBPの近似精度

Kullback-Leibler (KL)距離は

近似周辺分布

真の周辺分布

slide16
共分散値<<1 のときの周辺分布

Multiloopsを含む任意

のグラフ構造では?

多重ループ

のもとで

における展開を導出

belief
Beliefの固定点方程式

周辺分布

固定点方程式

Message 固定点方程式

Theorem

近似周辺分布の分散の逆数

組からなる連立方程式のいずれかを

満たす.

はそれぞれの項で任意にとる.

belief s 1

Theorem

を満たす固定点方程式は

の連立方程式に限り,これを満たす

の展開式を持つ.

Beliefのs<<1での展開

(True)

slide20
まとめ
  • 多次元正規分布の場合に, LBPの近似精度を解析的に言及した.

特に

(1)1重ループ構造のときLBPの近似精度は

の量で決められる.

(2)任意のグラフ構造で共分散が小さいときの

LBPの近似精度を明らかにした.

future works
Future Works
  • 数値実験による比較
  • LBPの補正アルゴリズムの構築
  • 固定点への収束率のCCCPとの比較
  • 高次の相関があるときへの拡張