ベイジアンネットワークを遺伝的操作に利用した 実数値遺伝的アルゴリズム

1. 第14回自律分散システム・シンポジウム（2002年1月25日）第14回自律分散システム・シンポジウム（2002年1月25日） ベイジアンネットワークを遺伝的操作に利用した 実数値遺伝的アルゴリズム 同志社大学工学部／同志社大学大学院 ○吉田 純一，廣安 知之，三木 光範

2. 発表の概要 遺伝的アルゴリズムの問題点 確率モデル遺伝的アルゴリズム ガウシアン最適化アルゴリズム（GOA） GOAの連続関数最適化問題への適用 まとめ

3. 遺伝的アルゴリズム 評　価 選　択 交　叉 突然変異 生物の進化の過程を工学的に 応用した最適化手法 遺伝的オペレータ 　交叉・突然変異・選択 幅広い工学的最適化問題に 適用可能

4. GAにおける交叉の役割 親個体の遺伝子を組み替え 新しい個体を生成 個体間の情報交換 積み木仮説（Holland 1975） 複数の個体がビルディングブロック を探索．交叉によってこれが組み合 わされる 評　価 選　択 交　叉 突然変異 GAによる解探索の主役と 考えられてきた

5. GAにおける交叉の問題点 発見されたビルディングブロックを母集団全体に広め， 多様性を失わせる．親個体のもつビルディングブロック を破壊することが多い.（Wu 1997） 適合度に小さな変化または大きな改悪を生む事が多い．（Nordin 1995） 新しいアプローチ 　　分布推定アルゴリズム 　　確率モデル遺伝的アルゴリズム

6. 分布推定アルゴリズム（EDAs）の概要 分布推定アルゴリズム（Muhlenbein1996） Estimation of distribution algorithms:EDAs （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定し 　　 確率モデルを構築 母集団 確率モデル （３）新しい個体を生成し 　　 母集団内の個体と置き換え 母集団内の良好な個体群の分布にもとづいて 確率的に新しい個体を生成する

7. GAとEDAの比較 GA EDA 評　価 評　価 選　択 選　択 分布推定・ 交　叉 モデル構築 突然変異 個体生成 EDA：交叉・突然変異を「分布推定」と「モデルに従った 個体の生成」に置き換えたもの 確率モデルGA（Probabilistic Model Building GAs）

8. 確率モデルGAの分類（Pelikan1999） f (x1, x2) 0 1 0 1 0 1 ビットストリング型 実数値ベクトル型 x1 x2 依存関係を考慮しない（No Interactions） 2変数間の依存関係を考慮する（Pairwize Interactions） 3変数以上の依存関係を考慮する（Multivariable Interactions） 設計変数のコード化手法による分類 設計変数間の依存関係の考慮の程度による分類

9. GOA ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm:GOA 2変数間の依存関係を考慮した 実数値確率モデルGA 確率モデルGAの分類

10. 提案手法の特徴 • 実数値ベクトルの染色体 • 確率モデルGA • 分布の推定にガウス分布 • 確率モデルにガウシアンネットワーク • ガウシアンネットワークの構造はQ-Learningで学習 ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm:GOA

11. GOAの概要 Q学習 （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定 母集団 ガウシアンネット （6）母集団内の個体と置き換え （４）新しい個体を生成 （3）モデルを決定 （5）良好な個体を生成した 　　ネットワークを学習

12. 分布の推定 サンプル 個体群 母集団からサンプル個体を選択 サンプル率s トーナメント選択 サンプル個体群の統計量を求める 各設計変数の平均値，標準偏差 サンプル個体群はガウス分布 すると仮定 変数間の相関係数ρ 変数ごとの関わりを考慮する

13. 個体の生成 xa の値をもとに xbの値を決定 各変数を独立に決定する場合 変数ごとに正規乱数を発生 2変数の依存関係を考慮する場合（GOA） xa と xb の間に依存関係があるとき xb 2変量正規分布を利用 平均値，標準偏差，相関係数 xa

14. 個体の生成（２） xa xb xn xa とxb の間に依存関係があるとき xa の値をもとに xbの値を決定 n変数を扱うときには xc xa xb 依存関係を有向グラフで表現 各変数の値はガウス分布すると仮定 ガウシアンネットワーク （ベイジアンネットワークの一種） ガウシアンネットのグラフ構造をどのように決定するか？

15. Q-Learning GOAでは依存関係はQ-Learningで学習 強化学習 エージェント 教師なし学習 行動 行動選択の手がかり：報酬 報酬 状態観測 エージェントは試行錯誤を通じて 適切な制御規則を獲得 環　境 Q-Learning ある状態でとりうる行動に評価値：Q値 評価値に応じて行動を選択

16. Q学習によるネットワークの学習 2 2 3 3 2 3 1 1 1 3 2 個体を生成 1 3 0 2 3 1 2 1 個体を評価 3 1 2 良好な個体を生成したネット ワークには報酬 3変数の場合 ネットワークを決定 ε-greedy選択（ε=0.5） ノード：変数，パス：行動

17. ネットワークの学習 探索が進むと・・・ 2 3 枝ごとにQ値に偏りが生じる 1 3 2 太い枝は選択されやすい 1 3 太い枝のネットワークは良好 な個体を生成する可能性が 高い 0 2 3 1 2 1 3 Q値を観測することで対象 問題の依存関係がわかる？ 1 2

18. GOAのまとめ Q学習 （１）良好な個体を母集団 　　 から選択 分布の推定 （２）分布を推定 母集団 ガウシアンネット （6）母集団内の個体と置き換え （４）新しい個体を生成 （3）モデルを決定 （5）良好な個体を生成した 　　ネットワークに報酬

19. 数値実験 ガウシアンネットの有効性 実数値GAとの性能比較 ネットワークの学習

20. 対象問題 変数間に依存関係なし 変数間に依存関係あり FGriewank

21. 実験１：ガウシアンネットの有効性 xc xa xb xn ガウシアンネットワークは変数間の依存関係を表現 設計変数間に依存関係のある問題において 効率的な探索が期待される GOAとガウシアンネットワークを用いないGOAを 比較しガウシアンネットの有効性を確認する

22. 実験1：ガウシアンネットの有効性 分布の推定 分布の推定 母集団 母集団 ガウシアンネット GOAとネットワークなしGOA パラメータ 母集団サイズ： サンプル率： 突然変異率： 200 0.1 0.1 学習率：割引率： 0.3 0.3 ※20試行の平均値で比較

23. ガウシアンネットの有効性（１） 設計変数間に依存関係のない問題では差はない

24. ガウシアンネットの有効性（２） 設計変数間に依存関係のある問題では有効

25. 実験2：実数値GAとの性能比較 比較に用いた実数値GA 母集団サイズ： 世代交代モデル： 交叉法： 200 MGG（sato1997） BLX-α （eshelman1993）, UNDX （ono1997） ※20試行の平均値で比較

26. 実数値GAとの性能比較（１） GOAは実数値GAよりも高速に良好な解を得る

27. 実数値GAとの性能比較（２） 10D Ridge 10D Griewank GOAは実数値GAよりも高速に良好な解を得る

28. 実験3：ネットワークの学習 探索が進むと・・・ 2 3 枝ごとにQ値に偏りが生じる 1 3 2 太い枝からなるネットワーク →良好な個体を生成した 　 ネットワーク 1 3 0 2 3 1 Q値を観測することで対象 問題の依存関係がわかる？ 2 1 3 1 2 対象問題 Rastrigin, Ridge（4変数） ノード：変数，パス：行動

29. ネットワークの学習（１） 4D Rastrigin関数 設計変数間に依存関係がない 相関係数は小さい ネットワークを用いなくても性能は 変わらない Q値に偏りがない 学習が進む前に最適解を得る

30. ネットワークの学習（２） 4D Ridge関数 設計変数間に依存関係がある ネットワークを用いた方が性能がよい Q値に偏りがある 何らかの学習がなされている 問題の性質を把握は今後の課題

31. まとめ 新しい実数値確率モデルGAとしてガウシアン最適化 アルゴリズムを提案した． 設計変数間に依存関係のある問題において ガウシアンネットワークによる個体分布の推定は有効． GOAは実数値GAよりも少ない計算回数で良好な解を得ることができる． GOAは設計変数間に依存関係のある問題において その性質を学習することができる（解析は今後の課題）．

33. 補足資料

34. GOAの流れ図 学　習 選　択 分布推定 モデル構築 個体生成 評　価

35. Rastrigin GOAは実数値GAよりも高速に良好な解を得る

36. 全試行の履歴 多峰性関数においては局所解で停滞することもある

37. GOAの問題点 サンプル個体群=母集団内の優良個体 X0 X１ X２ X３ X0 X１ X２ X３ 0， 0, 4, 0 0， 0, 5, 0 0， 0, 3, 0 0， 0, 0.4, 0 0， 0, 1, 0 0， 0, 5, 0 0， 0, 3, 0 0， 0,0.3, 0 個体１ 個体2 個体３ 平均値 GAでは，選択によってエリートの数が増える GOAでは数は増えず，統計量のみが変化する 探索終盤での局所解からの脱出は困難？ GOAではビルディングブロックの交換はできない

38. GOAの問題点 ビルディングブロックの交換ができない 0, 0, 0, 0, 0 0, 0, 0, 1, 0 0, 0, 0, 0, 1 0, 0, 0, 0.5, 0.5

39. ベイジアンネットワーク ここで　　　　　はxbの親ノード群 不確定性を含む事象を表現するために有向グラフを用いる 確率モデル 確率変数の間の定性的な依存関係をグラフ構造で表す xa xb このとき xb は xa に依存する． xa は xb の親ノード． 確率変数間の定量的な依存関係を条件付き確率で表す

40. 条件付き確率の例

41. ガウシアンネットワーク 離散変数をベイジアンネットワークで扱う場合 条件付確率はすべての状態における条件付確率を並べた 表（CPT）によって表す． a = 1 のとき b = 0 である確率は 10% a = 2 のとき b = 0 である確率は 10% 　　　　　　　　　・・・ 連続変数をベイジアンネットワークで扱う場合 各変数の条件付確率を特定の連続関数に従うと仮定 このときガウス分布すると仮定するもの ガウシアンネットワーク

42. Q-Learning ：状態 ：行動 ：報酬 Q-Learningの例 A A A S1 S2 S3 S4 B B B Q値 S1 S2 S3 S4 A B

43. ネットワークの学習：Rosenbrock 4D Rosenbrock関数 設計変数間に依存関係がある 相関係数が大きい

44. 相関係数の影響 ρ=0.0 ρ=0.2 ρ=0.4

45. GOAの世代交代モデル GOAでは任意の世代交代モデルが利用できる 本研究で用いた世代交代モデル P（t） サンプル個体群 の選択 S（t） 子個体の生成 O（t） P（t）+O（t） 世代交代 P（t+1）

46. 交叉の問題点（1点交叉の例） 1 1 2 2 :3 交叉点はランダムに決定 →良好なスキーマが組み合わされ 　 るか否かは確率的要素に依存 :2 :5 - 改良よりも改悪の方が多い（wu 97） :0 うまく組み合わされても一方は淘汰 される 　→ 多様性の減少につながる :3 :2 部分解

47. 実数値遺伝的アルゴリズム 実数値をそのまま遺伝子型とする 連続関数最適化問題において，ビットストリングを用いるGAより有効である （Davis 91）

48. 実数値GAにおける交叉法 BLX-α UNDX （Eshelman 1993） （Ono 1997） • 3つの親個体により定義される 正規分布領域 • 2つの親個体の各成分距離をα倍拡張した領域 • 領域内に2つの親の中点を対称に 子個体を生成 • 領域内に子個体はランダムに生成 • 設計変数間に依存関係のある 問題に弱い • 設計変数間に依存関係のある 問題に強い

49. 確率モデルGA研究の動向 ビットストリング型の手法に関する研究が先行 実数値ベクトル型の手法で変数間の依存関係を 考慮したものは少ない ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm: GOA 2変数間の依存関係を考慮した実数値確率モデルGA

50. ■ ■公聴会用資料■ ■