確率的情報処理の最近の動向
Download
1 / 24

What is SMAPIP - PowerPoint PPT Presentation


  • 101 Views
  • Uploaded on

確率的情報処理の最近の動向. 東北大学 大学院情報科学研究科 田中 和之 [email protected] http://www.statp.is.tohoku.ac.jp/~kazu/. 参考資料: 田中和之 , 樺島祥介 , 田中利幸 : 確率的情報処理 --- 確率モデルと統計力学を用いた情報処理の新展開 , リレー連載 / 確率的情報処理と統計力学  --- 様々なアプローチとそのチュートリアル --- ,数理科学 2004 年 11 月号 , pp.61-68. What is SMAPIP?.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'What is SMAPIP' - heaton


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Slide1 l.jpg

確率的情報処理の最近の動向

東北大学 大学院情報科学研究科

田中 和之

[email protected]

http://www.statp.is.tohoku.ac.jp/~kazu/

参考資料:田中和之, 樺島祥介, 田中利幸: 確率的情報処理 ---確率モデルと統計力学を用いた情報処理の新展開, リレー連載/確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---,数理科学2004年11月号, pp.61-68.

2005年1月24日,KDDI研究所


What is smapip l.jpg
What is SMAPIP?

http://www.smapip.eei.metro-u.ac.jp./

文部科学省 科学研究費補助金 特定領域研究

「確率的情報処理への統計力学的アプローチ」

2002年4月-2006年3月

2005年1月24日,KDDI研究所


Slide3 l.jpg
本講演の参考文献

  • 西森秀稔,田中和之他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999年12月号.

  • K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J. Phys. A: Math. & Gen.,vol.35, no.37, pp.R81-R150, September 2002.

  • 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号

  • 甘利俊一,池田和司,田中和之他著, “特集/統計科学の最前線― 新しい情報科学への技術と手法 ―”, 数理科学2004年3月号.

  • 田中和之,田中利幸,渡辺治,喜多一,堀口剛他著,``連載/確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---‘’,数理科学2004年11月号から開始.

  • 樺島利幸,田中利幸編,”小特集/確率を手なづける秘伝の計算技法~古くて新しい確率・統計モデルのパラダイム~”,電子情報通信学会誌2005年9月号.

2005年1月24日,KDDI研究所


Slide4 l.jpg
確率的画像処理

K. Tanaka, J. Phys. A, vol.35, no.37, 2002.

  • 確率的画像処理手法

劣化画像(ガウス雑音)

MSE:520

MSE: 2137

平滑化フィルター

ウィナーフィルター

メジアンフィルター

MSE:860

MSE:767

MSE:1040

2005年1月24日,KDDI研究所


Slide5 l.jpg

ノイズ

符号化

伝送路

復号化

誤り訂正符号

Y. Kabashima and D. Saad, J. Phys. A, vol.37, no.6, 2004.

確率伝搬法により高性能の復号アルゴリズムができる.

2005年1月24日,KDDI研究所


Slide6 l.jpg

話し手の信号

基地局の

受信信号

この復調方式をベイズの公式で確率モデル化すると統計力学でよく知られた確率モデルで表される.

拡散符号系列

拡散符号系列

CDMA復調法の性能評価

T. Tanaka: IEEE Trans. Inform. Theory, vol.48, no.19, 2002.

Y. Kabashima: J. Phys. A, vol.36, no.43, 2003.

移動体通信と統計力学の意外な関係.

ノイズ

復号処理

無線

通信

他人の

会話

2005年1月24日,KDDI研究所


Slide7 l.jpg
統計力学的アプローチによる公開鍵暗号

Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000.

ゴルフコース問題と情報の秘匿

カップが天辺にあれば何度得ってもボールはもどってくる

カップが底にあればどこから打ってもボールはカップインする.

エネルギー関数による暗号設計の基本戦略

2005年1月24日,KDDI研究所


Slide8 l.jpg
人工知能

本村陽一, 人工知能学会誌, vol.17, no.5, 2002.

  • ベイジアンネット

無向グラフ上の確率モデル

(グラフィカルモデル)

確率伝搬法(Belief Propagation)が実現のポイント

確率推論システム

2005年1月24日,KDDI研究所


Slide9 l.jpg
情報通信トラフィック

T. Horiguchi and S. Ishioka: Physica A, vol.297, pp.521-531, 2001.

T. Horiguchi, H. Takahashi, K. Hayashi and C. Yamaguchi: Physica A, vol.339, pp.653-664, 2004.

  • 統計力学でよく知られた確率モデルがインターネットのパケット流制御に使える.

物理モデルのある種のダイナミックスとして書き換えられる.

どの経路を通ってパケットが届けられるかはその経路の距離と途中のルーターの混みぐあいによって決まる.

2005年1月24日,KDDI研究所


Slide10 l.jpg
ポイントは何か

  • 2N通りの和が計算できるか?

厳密に計算するのは一部の特殊な例を除いて難しい.

  • 一部の特殊な例とは何か?

  • 一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか.

  • →動くか?精度はどの程度か?

2005年1月24日,KDDI研究所


Slide11 l.jpg
扱い易いモデル

  • 閉路のないグラフ上の確率モデル

どの枝もそれぞれで独立に和がとれる.

  • 閉路のあるグラフ上の確率モデル

それぞれで独立に和をとることが困難.

2005年1月24日,KDDI研究所


Slide12 l.jpg

3

4

2

1

6

5

閉路のないグラフ上の確率モデル

ノード1,2の周辺確率分布はノード1と2にそれぞれ隣接するノードから伝搬されるメッセージの積により表される.

2005年1月24日,KDDI研究所


Slide13 l.jpg
閉路のないグラフ上の確率モデル

ノード1から隣接ノード2に伝搬するメッセージは(ノード2を除く)ノード1の隣接ノードからノード1に伝搬されるメッセージの積により表される.

3

4

2

1

メッセージに対する固定点方程式

6

5

2005年1月24日,KDDI研究所


Slide14 l.jpg

確率的情報処理と確率伝搬法

ベイズの公式

確率的情報処理

確率モデル

確率伝搬法

J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).

S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, vol.16, no.9, pp.1779-1810, 2004.

2005年1月24日,KDDI研究所


Slide15 l.jpg

雑音

画像修復の確率モデル

通信路

原画像

劣化画像

2005年1月24日,KDDI研究所


Slide16 l.jpg

2値画像の例

画像修復の事前確率分布

Ferromagnetic

Paramagnetic

2005年1月24日,KDDI研究所


Slide17 l.jpg
ベイズ統計・最尤推定と画像処理

加法的白色ガウス雑音

原画像

事前確率

劣化画像

画素

事後確率

計算困難

周辺尤度

2005年1月24日,KDDI研究所


Belief propagation l.jpg

確率伝搬法(Belief Propagation)のメッセージ伝搬規則

メッセージに対する固定点方程式

メッセージが計算できれば統計量が得られる

2005年1月24日,KDDI研究所


Slide19 l.jpg

固定点方程式

固定点方程式と反復法

繰り返し出力を入力に入れることにより,固定点方程式の解が数値的に得られる.

反復法

2005年1月24日,KDDI研究所


Image restoration by gaussian graphical model l.jpg
Image Restoration by Gaussian Graphical Model

2005年1月24日,KDDI研究所


Image restoration by gaussian graphical model and conventional filters l.jpg
Image Restoration by Gaussian Graphical Model and Conventional Filters

Degraded Image

Original Image

LBP

GBP

(3x3) Lowpass

(5x5) Median

(5x5) Wiener

2005年1月24日,KDDI研究所


Image restoration by gaussian graphical model and conventional filters22 l.jpg
Image Restoration by Gaussian Graphical Model and Conventional Filters

Degraded Image

Original Image

LBP

GBP

(5x5) Lowpass

(5x5) Median

(5x5) Wiener

2005年1月24日,KDDI研究所


Gray level image restoration spike noise l.jpg
Gray-Level Image Restoration Conventional Filters(Spike Noise)

Original Image

Belief

Propagation

Degraded

Image

Lowpass Filter

Median Filter

MSE: 244

MSE: 217

MSE:135

MSE: 2075

MSE: 3469

MSE: 371

MSE: 523

MSE: 395

2005年1月24日,KDDI研究所


Slide24 l.jpg
まとめ Conventional Filters

  • 確率的情報処理の動向

  • 確率伝搬法と画像処理

  • References

  • K. Tanaka and J. Inoue: IEICE Trans. on Information and Systems, Vol.E85-D, No.3, pp.546-557, 2002.

  • K. Tanaka, J. Inoue and D. M. Titterington: J. Phys. A, Vol. 36, No. 43, pp.11023-11036, 2003.

  • 田中和之: 計測と制御, Vol.42, No.8, pp.631-636, 2003.

  • K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: J. Phys. A, Vol.37, No.36, pp.8675-8696, 2004.

  • 田中和之: 数理科学2004年3月号, pp.15-21.

2005年1月24日,KDDI研究所