1 / 33

物理フラクチュオマティクス論 応用確率過程論 (2006 年 6 月 13 日 )

物理フラクチュオマティクス論 応用確率過程論 (2006 年 6 月 13 日 ). 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/. 本講義の田中和之助教授担当分の Webpage: http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2006/. 本講義の参考文献.

rhiannon-briallen
Download Presentation

物理フラクチュオマティクス論 応用確率過程論 (2006 年 6 月 13 日 )

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 物理フラクチュオマティクス論応用確率過程論(2006年6月13日)物理フラクチュオマティクス論応用確率過程論(2006年6月13日) 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ 本講義の田中和之助教授担当分のWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2006/ 物理フラクチュオマティクス論(東北大)

  2. 本講義の参考文献 • 田中和之・樺島祥介編, ミニ特集/ベイズ統計・統計力学と情報処理, 計測と制御 2003年8月号． • 田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌 2005年9月号． • 人工知能学会編：人工知能学事典，共立出版, 2005年12月 (田中和之，樺島祥介，岡田真人他分担執筆)． • 田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行． • 田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006年末刊行予定 ． 物理フラクチュオマティクス論(東北大)

  3. 前回（５月９日）までの田中助教授担当分のまとめ前回（５月９日）までの田中助教授担当分のまとめ 確率的情報処理とベイジアンネットワーク（5月2日） 確率的計算技法の基礎(5月2日) • マルコフ連鎖モンテカルロ法 • 確率伝搬法 ベイジアンネットワークと確率的情報処理の応用事例（5月9日） • 確率的画像処理 • 確率推論 今回の話題（６月１３日） • 統計的学習理論 • モデル選択とEMアルゴリズム 物理フラクチュオマティクス論(東北大)

  4. Contents • 序論：確率的情報処理とベイジアンネットワーク（５月２日） • 確率的計算技法の基礎---マルコフ連鎖モンテカルロ法と確率伝搬法---（５月２日） • 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- （５月９日） • 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- （５月９日） • 統計的学習理論とモデル選択（６月１３日） • 確率的情報処理のこれまでとこれから（６月１３日） 物理フラクチュオマティクス論(東北大)

  5. ベイズの公式による確率的推論の例（１） A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる. 甘利俊一：情報理論 (ダイヤモンド社，1970) より 物理フラクチュオマティクス論(東北大)

  6. ベイズの公式による確率的推論の例（２） 教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 物理フラクチュオマティクス論(東北大)

  7. ベイズの公式による確率的推論の例（３） 物理フラクチュオマティクス論(東北大)

  8. ベイズの公式による確率的推論の例（４） 物理フラクチュオマティクス論(東北大)

  9. 統計的学習理論とデータ 観察により得られたデータから確率を求めた例 教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，悪いのは 8 回中 1 回にすぎない． すべての命題に対してデータが完全かつ十分に得られている場合 標本平均，標本分散などから確率を決定することができる． 「教授の機嫌の悪いときで，彼女の機嫌のよいとき」のデータが分からなかったらどうしよう? 不完全データ 物理フラクチュオマティクス論(東北大)

  10. 統計的学習理論とモデル選択 データから確率モデルの確率を推定する操作 モデル選択 統計的学習理論における確率モデルのモデル選択の代表例 不完全データにも対応 最尤推定に基づく定式化 EMアルゴリズムによるアルゴリズム化 更なる拡張 確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装 赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc. 物理フラクチュオマティクス論(東北大)

  11. 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 最尤推定 データ パラメータ 極値条件 標本平均 標本分散 物理フラクチュオマティクス論(東北大)

  12. 最尤推定 データ パラメータ 極値条件 物理フラクチュオマティクス論(東北大)

  13. 最尤推定 が分からなかったらどうしよう データ ハイパパラメータ 周辺尤度 不完全データ 極値条件 パラメータ 不完全データ ベイズの公式 物理フラクチュオマティクス論(東北大)

  14. gi fi i i 信号処理の確率モデル 雑音 通信路 原信号 観測信号 ベイズの公式 物理フラクチュオマティクス論(東北大)

  15. 原信号の事前確率 画像データの場合 1次元信号データの場合 Ω：すべてのノード（画素）の集合 B：すべての最近接ノード（画素）対の集合 物理フラクチュオマティクス論(東北大)

  16. データ生成過程 加法的白色ガウス雑音 (Additive White Gaussian Noise) 物理フラクチュオマティクス論(東北大)

  17. gi fi i i 信号処理の確率モデル パラメータ 不完全データ データ ハイパパラメータ 事後確率 物理フラクチュオマティクス論(東北大)

  18. 信号処理の最尤推定 パラメータ 不完全データ データ 周辺尤度 ハイパパラメータ 極値条件 物理フラクチュオマティクス論(東北大)

  19. 最尤推定とEMアルゴリズム パラメータ 不完全データ データ 周辺尤度 Q関数 ハイパパラメータ EM アルゴリズムが収束すれば 周辺尤度の極値条件の解になる． 極値条件 物理フラクチュオマティクス論(東北大)

  20. Original Signal 200 100 0 0 255 127 Degraded Signal 200 100 0 0 255 127 Estimated Signal 200 100 0 0 255 127 1次元信号のモデル選択 EM Algorithm 0.04 0.03 α(t) 0.02 0.01 0 α(0)=0.0001, σ(0)=100 物理フラクチュオマティクス論(東北大)

  21. ノイズ除去のモデル選択 原画像 劣化画像 推定画像 EMアルゴリズムと確率伝搬法 α(0)=0.0001 σ(0)=100 物理フラクチュオマティクス論(東北大)

  22. ガウス混合モデル 物理フラクチュオマティクス論(東北大)

  23. ガウス混合モデルのベイズ推定 事後確率 ベイズの公式 パラメータ 不完全データ データ ハイパパラメータ 物理フラクチュオマティクス論(東北大)

  24. ガウス混合モデルのEMアルゴリズム 周辺尤度 パラメータ 不完全データ データ ハイパパラメータ EM アルゴリズム 物理フラクチュオマティクス論(東北大)

  25. 観測データ 観測データの ヒストグラム ガウス混合モデルの数値実験 周辺確率 推定結果 事後確率 物理フラクチュオマティクス論(東北大)

  26. ガウス混合モデルの数値実験 Gauss Mixture Model ＋Potts Model ＋EM Algorithm ＋Belief Propagation ポッツモデル 物理フラクチュオマティクス論(東北大)

  27. ガウス混合モデルによる領域分割の数値実験 Gauss Mixture Model Gauss Mixture Model and Potts Model 観測画像 ヒストグラム Belief Propagation 物理フラクチュオマティクス論(東北大)

  28. 統計的学習理論による移動体検出 a Segmentation b Detection AND c Segmentation Gauss Mixture Model and Potts Model with Belief Propagation 物理フラクチュオマティクス論(東北大)

  29. Contents • 序論：確率的情報処理とベイジアンネットワーク（５月２日） • 確率的計算技法の基礎---マルコフ連鎖モンテカルロ法と確率伝搬法---（５月２日） • 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- （５月９日） • 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- （５月９日） • 統計的学習理論とモデル選択（６月１３日） • 確率的情報処理のこれまでとこれから（６月１３日） 物理フラクチュオマティクス論(東北大)

  30. モノの理とコトの技の学術的循環 モノの理による 新たなコトの技の創出 コトの技を通して モノの理を鍛える 共通の数理 情報統計力学 確率的情報処理 学術的循環 学術的循環 統計科学 データからの情報の抽出・加工 物質の性質・自然現象の理解・予言 モノの理 コトの技 物理学 情報工学 田中和之編著: 数理科学別冊「確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行． 物理フラクチュオマティクス論(東北大)

  31. たくさんが関連して集まり構成されたシステム：情報と物理が扱う対象に共通する概念たくさんが関連して集まり構成されたシステム：情報と物理が扱う対象に共通する概念 ビットが集まってデータを形成し，コトとなる． 主な研究対象 • 情報工学：コト データ • 物理：モノ 物質・自然現象 010011101110101000111110000110000101000000111010101110101010 101101110001 ０,1 ビット コト（データ） 並びをきちんと決めることによって意味のある文章になる． 共通点：たくさんが関連 モデル化と アルゴリズム化 の両面で有効 分子が集まって物質を形成し，モノになる． 共通の数理を持つならば物理学で提案された計算技法と解明されたモデルの性質が確率的情報処理システムの設計に役に立つ． 分子 モノ（物質） 分子同士は引っ張り合っている． 物理フラクチュオマティクス論(東北大)

  32. 確率的情報処理 (Probabilistic Information Processing) のWebを介しての更なる拡大 日常生活の情報処理 ポイントはやはり「たくさんが関連」 ICT 技術の要請に耐えうる統計科学 通信理論・像情報処理・確率推論 データマイニング 統計科学 統計的学習理論 複雑ネットワーク科学 情報統計力学 次回の田中助教授 担当時（７月14日）の 本講義でのテーマ 確率的情報処理のこれからの数理的基盤 コトの物理学としての定着 物理フラクチュオマティクス論(東北大)

  33. 本講演の参考文献 • 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号． • 田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌2005年9月号． • 田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行． • 田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006年末刊行予定 ． 物理フラクチュオマティクス論(東北大)

More Related