1 / 17

教師がコミティマシンの場合の アンサンブル学習

教師がコミティマシンの場合の アンサンブル学習. 三好誠司　　 　原 一之　　　　岡田真人 神戸市立高専 　 都立工業高専 東大 , 理研 , 科技機さきがけ. Teacher. Students. 1. 2. K. 背　景　（１）. アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 教師が１個の単純パーセプトロン　で 　 生徒が K 個の単純パーセプトロン　の場合の解析 （三好，原，岡田， 2003-2004 ）. 背　景　（２）. 教師が１個の非単調パーセプトロン　 で

shepry
Download Presentation

教師がコミティマシンの場合の アンサンブル学習

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 教師がコミティマシンの場合のアンサンブル学習教師がコミティマシンの場合のアンサンブル学習 三好誠司　　 　原 一之　　　　岡田真人 神戸市立高専 　 都立工業高専 東大, 理研, 科技機さきがけ

  2. Teacher Students 1 2 K 背　景　（１） • アンサンブル学習 • 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う • 教師が１個の単純パーセプトロン　で 　 生徒がK個の単純パーセプトロン　の場合の解析 （三好，原，岡田，2003-2004）

  3. 背　景　（２） • 教師が１個の非単調パーセプトロン　で 　 生徒が１個の単純パーセプトロン　　の場合の解析 （Inoue & Nishimori, PRE, 1997) （Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997) Teacher Students

  4. TeacherBmn StudentsJ1 ,J2 , ・・・ ,JK 1 2 K 目　的 • アンサンブル学習の特徴 • 多数決などで生徒を組み合わせることにより，単一の生徒では表現できない入出力関係を実現できる • 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析

  5. モデル（１） TeacherBmn Students J1 ,J2 , ・・・ ,JK • 同じ入力 x が同じ順序で提示される • 一度使った入力 x は廃棄される（オンライン学習） • 独立に学習 • 多数決 1 2 K

  6. 生徒の長さ モデル（２） • 入力：　 • 教師：　 • 生徒：

  7. 汎化誤差 新たな入力に対して教師と異なる答を出す確率 Gaussian

  8. 教師中間層と生徒の 類似度 生徒間の類似度

  9. 生徒の長さ 教師と生徒の類似度 l ,R,q を記述する微分方程式 生徒間の類似度

  10. ヘブ学習 パーセプトロン学習 アダトロン学習

  11. 汎化誤差のダイナミクス（ヘブ学習） 理　論 計算機シミュレーション (N=1000)

  12. 汎化誤差のダイナミクス（ヘブ学習）

  13. 汎化誤差のダイナミクス（パーセプトロン学習）汎化誤差のダイナミクス（パーセプトロン学習） 理　論 計算機シミュレーション (N=1000)

  14. 汎化誤差のダイナミクス（パーセプトロン学習）汎化誤差のダイナミクス（パーセプトロン学習）

  15. 汎化誤差のダイナミクス（アダトロン学習） 理　論 計算機シミュレーション (N=1000)

  16. 汎化誤差のダイナミクス（アダトロン学習）

  17. まとめ • 教師がコミティマシンの場合のアンサンブル学習をオンライン学習の枠組みで解析・議論 • ヘブ学習 → 生徒が教師中間層の中央に漸近 • パーセプトロン学習 → アンサンブルの効果が残る • アダトロン学習 → 過学習が起こる

More Related