1 / 34

木カーネルを用いた SVM による 麻雀打ち手の順位学習

木カーネルを用いた SVM による 麻雀打ち手の順位学習. 東京大学大学院 三木理斗　三輪誠　近山隆. 発表の流れ. 背景 関連研究 提案手法 カーネル法を用いた SVM 麻雀における木カーネル カーネル SVM による順位学習 実験 結論. 1. 背景. 特徴要素作成の難しさ 対象のゲームについての深い知識が必要 単純な線形和では取れない特徴がある XOR など. 目的. カーネルをゲームの特徴表現に応用する 入力に は比較的単純 な構造を使える 今回は木構造 線形で取れない特徴が取れればうれしい 暗黙的に高次の特徴空間での分類ができる.

koren
Download Presentation

木カーネルを用いた SVM による 麻雀打ち手の順位学習

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 木カーネルを用いたSVMによる麻雀打ち手の順位学習木カーネルを用いたSVMによる麻雀打ち手の順位学習 東京大学大学院 三木理斗　三輪誠　近山隆

  2. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  3. 1. 背景 • 特徴要素作成の難しさ • 対象のゲームについての深い知識が必要 • 単純な線形和では取れない特徴がある • XORなど

  4. 目的 • カーネルをゲームの特徴表現に応用する • 入力には比較的単純な構造を使える • 今回は木構造 • 線形で取れない特徴が取れればうれしい • 暗黙的に高次の特徴空間での分類ができる

  5. 手法の概要 • 麻雀の手牌をカーネルSVMで分類する • 麻雀は探索よりも高精度な評価関数が重要 • カーネル法は向いている • 麻雀の手牌を木構造とみて木カーネルを利用 • 手牌の類似度は木カーネル関数で表現される • 熟練者の牌譜を使用 • 「熟練者の手＞それ以外の手」という順位関係をSVMで学習

  6. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  7. 2. 関連研究 • 単純な特徴からの機械学習 • TD-Gammon [Tesauro, 1992] • 麻雀に関する研究 • 牌譜を用いた評価関数の重み調整[北川ら, 2007]

  8. 麻雀に関する研究[北川ら, 2007]

  9. 麻雀の特徴要素の例 [北川ら, 2007]

  10. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  11. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  12. SVM [Vapnik, 1965] • 2クラスの分類器 マージン を最大化

  13. カーネル法を用いたSVM[Cortes and Vapnik, 1995] • 非線形分類における手法 明示的な特徴 置き換え

  14. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  15. 麻雀の手牌は木構造で表せる 手牌 孤立牌 面子候補 面子 暗刻 明刻 暗順 … リャンメン カンチャン ペンチャン トイツ この下に具体的な牌のまとまりが付く （一つの牌が複数個所に所属可）

  16. 具体例 孤立牌 リャンメン カンチャン ペンチャン トイツ 暗刻 暗順

  17. 木カーネルの計算 [Moschitti, 06] 手牌 手牌 孤立牌 面子候補 面子 孤立牌 面子候補 面子 リャンメン カンチャン 暗順 リャンメン カンチャン 暗順 共通部分木を数える SST 手牌 リャンメン リャンメン 面子候補 面子候補 面子 … … … … … … リャンメン リャンメン 暗順

  18. 共通部分木の重み [Moschitti, 06] • 深い木は遠回りなので重みを下げる 面子 暗順 暗順 暗刻

  19. 木カーネル関数 木 t のノード集合 部分木空間 部分木fiの深さ fiが n を祖先に持つとき それ以外

  20. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  21. 順位の学習 [Shen et al. 03] • SVMは単なる2クラス分類器 • 順位を学習するには？ • 3つの手の順序を知りたければ・・・ Rank 順序関係 ( > or < ) を2つのクラスとして分類器を作ればよい データとして手の「ペア」を与える

  22. 順位関係の学習と分類 • 1つの訓練データは2つの木(手牌)のペアからなる • tl > trの時+1とラベル付け • tl < trの時-1とラベル付け • ペアに対してカーネル関数を定義する • “tl > tr” と“ tl< tr”を分類できる

  23. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  24. 4. 実験 • 実験環境 • Dual-Core AMD Opteron 2.4GHz • 32GB RAM • 実装 • SVM-Light-TK [Moschitti, 2004] • ソフトマージンのコスト C=0.1 • 最適化の閾値 ε=0.1

  25. 実験方法 • 熟練者のツモ局面から学習 • “攻め”の局面のみ • 誰もリーチしていない • 誰も3鳴きしていない • とつげき東北氏の牌譜を使用 • 最大で285試合分(約13,000局面) • 評価 • 牌譜の手と分類器の判断した最善手の一致率 • 4-fold cross validation

  26. 一致率の推移

  27. 予測に失敗した局面 (1) • “降り”の局面

  28. 予測に失敗した局面 (2) • 役の知識を必要とする局面

  29. 線形の特徴要素との比較 • [Kitagawa, 2007]で用いられた特徴を使用 • 手牌以外の局面情報を含む • 実装 • Ranking SVM in SVM-Light [Joachims, 2002]

  30. 一致率の推移(線形特徴)

  31. 実戦プレイヤについて • Core2 Duo 1.06GHz • 91819 support vectors • 1つのペアの分類に約700ms • 一手におよそ7秒 • 2スレッドで並列化すれば4秒ほどに • 高速化すれば対人戦にも十分使える

  32. 発表の流れ • 背景 • 関連研究 • 提案手法 • カーネル法を用いたSVM • 麻雀における木カーネル • カーネルSVMによる順位学習 • 実験 • 結論

  33. 5. 結論 • 木カーネルを用いて手牌の順位を分類した • 木構造というシンプルな入力で分類が可能に • 57% の最善手一致率 • 手牌の情報のみ • まだ向上する見込み • それなりの精度で、現実的な計算量 • ただし訓練局面に比例して分類時間は増大

  34. 今後の課題 • 分類した局面の詳しい分析 • 線形が不得意な局面で正解できていれば・・・ • 木構造の検討 • 現状だと根に近い部分の情報量が乏しい • 他の情報を組み込む • 手牌を他のカーネルで表現する • 文字列カーネル • 敵の捨て牌やドラなどの情報 • 線形特徴や他のカーネルで容易に追加できる • 学習・分類コストの高さに対処する • 麻雀以外に利用するには不可欠

More Related