1 / 57

ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム

2001 年度 同志社大学大学院 工学研究科 知識工学専攻 修士論文公聴会（ 2002 年 2 月 1 日）. ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム. Probabilistic Model Building Genetic Algorithm using Gaussian Network. 博士前期課程　 2000 年度 0737 番 知的システムデザイン研究室. 吉田　純一. 遺伝的アルゴリズム. 評　価. 選　択. 交　叉. 突然変異. 生物の進化の過程を工学的に 応用した最適化手法 遺伝的オペレータ

toki
Download Presentation

ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 2001年度 同志社大学大学院 工学研究科 知識工学専攻 修士論文公聴会（2002年2月1日） ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム Probabilistic Model Building Genetic Algorithm using Gaussian Network 博士前期課程　2000年度 0737番 知的システムデザイン研究室 吉田　純一

  2. 遺伝的アルゴリズム 評　価 選　択 交　叉 突然変異 生物の進化の過程を工学的に 応用した最適化手法 遺伝的オペレータ 　交叉・突然変異・選択

  3. GAにおける交叉の役割 親個体の遺伝子を組み替え 新しい個体を生成 個体間の情報交換 積み木仮説（Holland 1975） 複数の個体がビルディングブロック を探索．交叉によってこれが組み合 わされる 評　価 選　択 交　叉 突然変異 GAによる解探索の主役と 考えられてきた

  4. GAにおける交叉の問題点 交叉の働きは発見されたビルディングブロックを母集団全体に広めることで，結果として多様性を失わせる． 親個体のもつビルディングブロックを破壊することが多い.（Wu 1997） 適合度に小さな変化または大きな改悪を生む事が多い．（Nordin 1995） 新しいアプローチ 　　確率モデル遺伝的アルゴリズム

  5. 確率モデル遺伝的アルゴリズム （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定し 　　 確率モデルを構築 母集団 確率モデル （３）新しい個体を生成し 　　 母集団内の個体と置き換え 母集団内の良好な個体群の分布にもとづいて 確率的に新しい個体を生成 GAの交叉 → 確率モデルにもとづく個体の生成

  6. 確率モデルGAの分類（Pelikan1999） f (x1, x2) 0 1 0 1 0 1 ビットストリング型 実数値ベクトル型 x1 x2 依存関係を考慮しない（No Interactions） 2変数間の依存関係を考慮する（Pairwize Interactions） 3変数以上の依存関係を考慮する（Multivariable Interactions） 設計変数のコード化手法による分類 設計変数間の依存関係の考慮の程度による分類

  7. GOA ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm:GOA 2変数間の依存関係を考慮した 実数値確率モデルGA 確率モデルGAの分類

  8. 提案手法の特徴 • 実数値ベクトルの染色体 • 確率モデルGA • 分布の推定にガウス分布 • 確率モデルにガウシアンネットワーク • ガウシアンネットワークの構造はQ-Learningで学習 ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm:GOA

  9. GOAの概要 Q学習 （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定 母集団 ガウシアンネット （6）母集団内の個体と置き換え （４）新しい個体を生成 （3）モデルを決定 （5）良好な個体を生成した 　　ネットワークを学習

  10. 分布の推定 サンプル 個体群 母集団からサンプル個体を選択 サンプル率s トーナメント選択 サンプル個体群の統計量を求める 各設計変数の平均値，標準偏差 サンプル個体群はガウス分布 すると仮定 変数間の相関係数ρ 変数ごとの関わりを考慮する

  11. 個体の生成 xa の値をもとに xbの値を決定 各変数を独立に決定する場合 変数ごとに正規乱数を発生 2変数の依存関係を考慮する場合（GOA） 2変量正規分布を利用 平均値，標準偏差，相関係数 xb xa と xb の間に依存関係があるとき xa

  12. 個体の生成（２） xa xb xn xa とxb の間に依存関係があるとき xa の値をもとに xbの値を決定 n変数を扱うときには xc xa xb 依存関係を有向グラフで表現 各変数の値はガウス分布すると仮定 ガウシアンネットワーク （ベイジアンネットワークの一種） ガウシアンネットのグラフ構造はQ学習で決定

  13. GOAのまとめ Q学習 （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定 母集団 ガウシアンネット （6）母集団内の個体と置き換え （４）新しい個体を生成 （3）モデルを決定 （5）良好な個体を生成した 　　ネットワークに報酬

  14. 数値実験 数値実験１： ガウシアンネットの有効性の検証 数値実験２： 実数値GAとの性能比較

  15. 対象問題 変数間に依存関係なし 変数間に依存関係あり

  16. 実験１：ガウシアンネットの有効性 xc xa xb xn ガウシアンネットワークは変数間の依存関係を表現 設計変数間に依存関係のある問題において 効率的な探索が期待される GOAとガウシアンネットワークを用いないGOAを 比較しガウシアンネットの有効性を確認する 実験に用いたパラメータ 母集団サイズ： サンプル率： 突然変異率： 200 0.1 0.1 学習率：割引率： 0.3 0.3

  17. ガウシアンネットの有効性 Rastrigin（依存関係なし） Ridge（依存関係あり） 設計変数間に依存関係のある問題において有効

  18. 実験2：実数値GAとの性能比較 比較に用いた実数値GA 母集団サイズ： 世代交代モデル： 交叉法： 200 MGG（sato1997） BLX-α （eshelman1993）, UNDX （ono1997） ※20試行の平均値で比較

  19. 実数値GAとの性能比較 Rastrigin（依存関係なし） Ridge（依存関係あり） 10D Rastrigin 10D Ridge GOAは実数値GAよりも高速に良好な解を得る

  20. まとめ 新しい実数値確率モデルGAとしてガウシアン最適化 アルゴリズムを提案した． 設計変数間に依存関係のある問題において ガウシアンネットワークによる依存関係の考慮は有効． GOAは実数値GAよりも少ない計算回数で良好な解を得ることができる．

  21. 発表論文リスト 三木光範，廣安知之，水田伯典，吉田純一：並列分散遺伝的アルゴリズムを用いた巡回セールスマン問題の解法 情報処理学会第61 回全国大会講演論文集，pp.173-174（2000.11） M.Miki, T.Hiroyasu, J.Yoshida, I.Ohmukai：New Crossover Scheme for ParallelDistributed Genetic Algorithms IASTED international conference on Parallel and DistributedComputing and Systems (PDCS 2000)，Riviera Hotel and Casino, Las Vegas, Nevada, U.S.A（2000.11） 廣安知之， 三木光範， 谷村勇輔， 吉田純一， 佐野正樹：分散遺伝的アルゴリズムを用いたPCクラスタのベンチマーク　 日本機械学会日本機械学会第13 回計算力学講演会講演論文集，pp.497-498（2000.11） 三木光範，廣安知之，福永隆宏，吉田純一：実数値遺伝的アルゴリズムの分散効果の検討 情報処理学会第63 回全国大会講演論文集，pp.111-112（2001.09） 吉田純一，廣安知之，三木光範：汎用分散遺伝的アルゴリズムシステムによるディーゼルエンジンの燃料噴射スケジュール最適化 第8 回MPS シンポジウム，同志社大学（2001.10） J.Yoshida,T.Hiroyasu, M.Miki：Distributed Genetic Algorithms for Real-World Problems Super Computing 2001，Colorado convention center, Denver, Colorado,U.S.A（2001.11） 吉田純一，廣安知之，三木光範：ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム 第14 回自律分散シンポジウム，東京大学（2002.1） 三木光範，廣安知之，吉田純一，金子美華：分散GA の性能におよぼす交叉法とコーディング法の影響 第59 回情報処理学会全国大会，岩手県立大学（1999.09） 吉田純一，大向一輝，廣安知之，三木光範：PC クラスタシステムのベンチマークとツールの紹介 第15 回超並列計算研究会，同志社大学（1999.11） 三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける最適な交叉スキーム 第6 回MPS シンポジウム，同志社大学（2000.03） 吉田純一，大向一輝，廣安知之，三木光範：クラスタにおけるジョブ管理ツールDQSの紹介 第18 回超並列計算研究会，日本原子力研究所（2000.05） 三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける新しい交叉法 電子情報通信学人工知能と知識処理研究会，筑波大学（2000.05） 三木光範，廣安知之，畠中一幸，吉田純一：並列分散遺伝的アルゴリズムの有効性 日本計算工学会Transactions of JSCES, Paper No.20000038（2000.08） 吉田純一，三木光範，廣安知之，坂田善宣：遺伝的アルゴリズムにおける最良組み合わせ交叉 第31 回情報処理学会MPS 研究会，東北大学（2000.09） 三木光範，廣安知之，吉田純一，大向一輝：分散遺伝的アルゴリズムのための新しい交叉法 同志社大学理工学研究報告書，第41 巻，第3 号，pp.162-170（2000.10）

  22. 補足資料

  23. GOAの実問題への適用（１） ディーゼルエンジンにおける燃料噴射率最適化問題 利点： 　耐久性が高い 　コストが低い 欠点： 　環境への悪影響 　（NOxやすすの排出） 　　　　　　燃焼特性によって変化． ※本研究は近畿大，AVL社 　との共同研究 燃料噴射率を変化させてNOｘの出力を最小化

  24. GOAの実問題への適用（２） 設計変数： 　　噴射率 （燃料噴射量の時間的推移） 目的： NOｘの最小化 ソルバ： HIDECS （ディーゼル燃焼のシミュレータ） GOAはGAよりも高速に 良好な解を得ている

  25. GOAの実問題への適用（３） GOAによる探索結果 GAによる探索結果 NOｘ排出量：0.78208g/kWhour NOｘ排出量：0.79045g/kWhour

  26. Q-Learning GOAでは依存関係はQ-Learningで学習 強化学習 エージェント 教師なし学習 行動 行動選択の手がかり：報酬 報酬 状態観測 エージェントは試行錯誤を通じて 適切な制御規則を獲得 環　境 Q-Learning ある状態でとりうる行動に評価値：Q値 評価値に応じて行動を選択

  27. Q学習によるネットワークの学習 2 2 3 3 2 3 1 1 1 3 2 個体を生成 1 3 0 2 3 1 2 1 個体を評価 3 1 2 良好な個体を生成したネット ワークには報酬 3変数の場合 ネットワークを決定 ε-greedy選択（ε=0.5） ノード：変数，パス：行動

  28. ネットワークの学習 探索が進むと・・・ 2 3 枝ごとにQ値に偏りが生じる 1 3 2 太い枝は選択されやすい 1 3 太い枝のネットワークは良好 な個体を生成する可能性が 高い 0 2 3 1 2 1 3 Q値を観測することで対象 問題の依存関係がわかる？ 1 2

  29. ネットワークの学習（１） 4D Rastrigin関数 設計変数間に依存関係がない 相関係数は小さい ネットワークを用いなくても性能は 変わらない Q値に偏りがない 学習が進む前に最適解を得る

  30. ネットワークの学習（２） 4D Ridge関数 設計変数間に依存関係がある ネットワークを用いた方が性能がよい Q値に偏りがある 何らかの学習がなされている 問題の性質を把握は今後の課題

  31. ネットワークの学習（３） 4D Rosenbrock関数 設計変数間に依存関係がある 相関係数が大きい

  32. GOAの流れ図 学　習 選　択 分布推定 モデル構築 個体生成 評　価

  33. GOAの問題点 サンプル個体群=母集団内の優良個体 X0 X１ X２ X３ X0 X１ X２ X３ 0， 0, 4, 0 0， 0, 5, 0 0， 0, 3, 0 0， 0, 0.4, 0 0， 0, 1, 0 0， 0, 5, 0 0， 0, 3, 0 0， 0,0.3, 0 個体１ 個体2 個体３ 平均値 GAでは，選択によってエリートの数が増える GOAでは数は増えず，統計量のみが変化する 探索終盤での局所解からの脱出は困難？ GOAではビルディングブロックの交換はできない

  34. GOAの問題点 ビルディングブロックの交換ができない 0, 0, 0, 0, 0 0, 0, 0, 1, 0 0, 0, 0, 0, 1 0, 0, 0, 0.5, 0.5

  35. ベイジアンネットワーク ここで　　　　　はxbの親ノード群 不確定性を含む事象を表現するために有向グラフを用いる 確率モデル 確率変数の間の定性的な依存関係をグラフ構造で表す xa xb このとき xb は xa に依存する． xa は xb の親ノード． 確率変数間の定量的な依存関係を条件付き確率で表す

  36. 条件付き確率の例

  37. ガウシアンネットワーク 離散変数をベイジアンネットワークで扱う場合 条件付確率はすべての状態における条件付確率を並べた 表（CPT）によって表す． a = 1 のとき b = 0 である確率は 10% a = 2 のとき b = 0 である確率は 10% 　　　　　　　　　・・・ 連続変数をベイジアンネットワークで扱う場合 各変数の条件付確率を特定の連続関数に従うと仮定 このときガウス分布すると仮定するもの ガウシアンネットワーク

  38. Q-Learning ：状態 ：行動 ：報酬 Q-Learningの例 A A A S1 S2 S3 S4 B B B Q値 S1 S2 S3 S4 A B

  39. 相関係数の影響 ρ=0.0 ρ=0.2 ρ=0.4

  40. GOAの世代交代モデル GOAでは任意の世代交代モデルが利用できる 本研究で用いた世代交代モデル P（t） サンプル個体群 の選択 S（t） 子個体の生成 O（t） P（t）+O（t） 世代交代 P（t+1）

  41. 交叉の問題点（1点交叉の例） 1 1 2 2 :3 交叉点はランダムに決定 →良好なスキーマが組み合わされ 　 るか否かは確率的要素に依存 :2 :5 - 改良よりも改悪の方が多い（wu 97） :0 うまく組み合わされても一方は淘汰 される 　→ 多様性の減少につながる :3 :2 部分解

  42. 確率モデルGA研究の動向 ビットストリング型の手法に関する研究が先行 実数値ベクトル型の手法で変数間の依存関係を 考慮したものは少ない ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm: GOA 2変数間の依存関係を考慮した実数値確率モデルGA

  43. 対象問題 変数間に依存関係なし 変数間に依存関係あり FGriewank

  44. 実験1：ガウシアンネットの有効性 分布の推定 分布の推定 母集団 母集団 ガウシアンネット GOAとネットワークなしGOA パラメータ 母集団サイズ： サンプル率： 突然変異率： 200 0.1 0.1 学習率：割引率： 0.3 0.3 ※20試行の平均値で比較

  45. ガウシアンネットの有効性（１） 設計変数間に依存関係のある問題では有効

  46. ガウシアンネットの有効性（２） 設計変数間に依存関係のある問題では有効

  47. 実数値GAとの性能比較（１） GOAは実数値GAよりも高速に良好な解を得る

  48. 実数値GAとの性能比較（２） 10D Ridge 10D Griewank GOAは実数値GAよりも高速に良好な解を得る

  49. 実験3：ネットワークの学習 探索が進むと・・・ 2 3 枝ごとにQ値に偏りが生じる 1 3 2 太い枝からなるネットワーク →良好な個体を生成した 　 ネットワーク 1 3 0 2 3 1 Q値を観測することで対象 問題の依存関係がわかる？ 2 1 3 1 2 対象問題 Rastrigin, Ridge（4変数） ノード：変数，パス：行動

More Related