パターン認識とニューラルネットワーク

1. パターン認識とニューラルネットワーク 栗田多喜夫 早稲田大学大学院理工学研究科講義

2. 講義内容 • 1時限目 • 統計的決定理論 • パターン認識とは • ベイズ決定理論 • 確率密度分布の推定 • パラメトリックモデルを用いる方法 • ノンパラメトリックな方法 • セミパラメトリックモデルを用いる方法 • 2時限目 • 統計的特徴抽出の理論 • 特徴抽出の枠組み • 線形多変量データ解析手法 • 非線形判別特徴の抽出 • 線形手法と非線形手法との関係 早稲田大学大学院理工学研究科講義

3. 講義内容 • 3時限目 • 学習の理論とニューラルネットワーク • 単純パーセプトロン • ADALINE • ロジスティック回帰 • 多層パーセプトロン • 汎化性 • 4時限目 • その他のニューラルネット • 恒等写像学習 • RBF(Radial Basis Function)ネットワーク • Mixture of Experts • SVM(Support Vector Machine) 早稲田大学大学院理工学研究科講義

4. 学習の理論とニューラルネット • パターン認識 • 有限個の例からパターンとクラスの確率的構造を推定 • 確率密度関数がわかれば、最適なベイズ識別が可能 • ニューラルネット • パターン認識の分野でもニューラルネットが盛んに利用されるようになってきた。 • 多層パーセプトロンの学習法として誤差逆伝播法が考案され、良い識別性能を持つ識別器を学習データから比較的簡単に構成できることがわかった • セミパラメトリックモデルによる学習と解釈できる • ニューラルネットの分類 • 階層的ニューラルネットワーク • 多層パーセプトロン、RBF（Radial Basis Function)ネットワーク等 • 相互結合ネットワーク • Hopfieldネットワーク、Boltzmann Machine等 早稲田大学大学院理工学研究科講義

5. 歴史１ • 単純パーセプトロン • 1943年 McCulloch & Pitts • ニューロンモデルとして、2値（＋１，－１）入力の組を2値出力に変換するしきい値論理素子を提案 • ニューラルネットは論理計算として万能であることを示す • 1949年　Hebb • シナプス結合強度の変化規則の提案　＝＞　Hebb学習則 • 1957年　Rosenblatt • パーセプトロン（視覚パターン識別学習機械のモデル）の提案 • 入力パターンに対するパーセプトロンの出力と教師の答えに応じて、結合重みを逐次修正する学習則 • 1969年　Minsky & Papert • パーセプトロン（特に1層）の能力の限界を明らかにした • ブームの終了 • 原因 • デジタルな論理関数ネットワークの学習という識別関数のエラーフリーが学習を考えていた • 決定論的な観点からのアプローチ 単純パーセプトロンOHPあり 早稲田大学大学院理工学研究科講義

6. 歴史２ • 最小2乗線形判別関数の学習 • 1960年 Widrow & Foff • ADALINE (Adaptive Linear Neuron)モデルの提案 • モデル • 評価基準：2乗誤差最小化 • 学習：最急降下法に基づく学習 • 理想的な識別関数を線形関数（判別関数）によって2乗誤差最小化の意味で解析的に近似　＜＝　多変量解析の考え方と同じ • 1966年　Koford & Groner • ADALINEとフィシャーの線形判別関数との関係を指摘 • 1966年 Patterson & Wowmack • ADALINEは誤識別率最小の意味で理論的に最適なベイズ識別関数を最小2乗近似していることを指摘 • ポイント • 連続実数化、線形化　＝＞　統計解析的な研究対象へ 逐次線形重回帰OHPあり 早稲田大学大学院理工学研究科講義

7. 歴史３ • 人工知能ブーム • 1970年代 • 第2次ニューロブーム • 1980年代前半から • 1986年 Rumelhart等 • 多層パーセプトロンの学習法（誤差逆伝播学習法）の提案 • 2乗誤差最小化を評価関数とする最急降下 • 他方 • 統計では、GLIM（Generalized Linear Model)の研究 • ロジスティック回帰 ロジスティック回帰OHPあり 早稲田大学大学院理工学研究科講義

8. 多層パーセプトロン • 多層パーセプトロンの構造・多層パーセプトロンでの計算 • 多層パーセプトロンの能力 • 誤差逆伝播学習法 • 最尤推定としての定式化 • フィッシャー情報行列とその学習への利用 多層パーセプトロンOHPあり 早稲田大学大学院理工学研究科講義

9. 階層型ニューラルネットと非線形回帰 • 階層型ニューラルネット • たくさんの単純なユニットを結合したネットワークにより非線形回帰を行っている • 最適非線形写像 • 学習すべき究極の目標を与えている 非線形回帰OHPあり 早稲田大学大学院理工学研究科講義

10. 汎化性 • 学習の目的 • 学習データに対して良い結果を与えることでは無く、未学習のデータに対して性能が良いこと • 特に、パターン認識に用いる場合には、学習データでいくらうまく識別出来ても、未知のデータに対してうまく識別出来なければ意味が無い • 汎化性 • 未知データに対する性能 汎化性OHPあり 早稲田大学大学院理工学研究科講義

11. ノイズの付加による汎化能力の向上 • ノイズの付加 • 観測データを補間するような学習データを生成（1992赤穂） • 中間層のニューロンにノイズを付加（1993栗田） • 結合荷重にノイズを付加（1993Murray) • 中間層の各ニューロンの入力のノイズを付加 • 誤差逆伝播学習がどのような影響を受けるか？ 中間層へのノイズの付加OHPあり 早稲田大学大学院理工学研究科講義

12. 3時限目終了 • 4時限目 • その他のニューラルネット • 恒等写像学習 • RBF(Radial Basis Function)ネットワーク • Mixture of Experts • SVM(Support Vector Machine) 早稲田大学大学院理工学研究科講義