Download
slide1 n.
Skip this Video
Loading SlideShow in 5 Seconds..
多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法 PowerPoint Presentation
Download Presentation
多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法

多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法

357 Views Download Presentation
Download Presentation

多変量一般化リッジ回帰モデル におけるリッジパラメータの選択法

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. 多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法 広島大学大学院 理学研究科 博士課程前期 (2年) 数学専攻 永井 勇

  2. 目的・動機 • 多変量線形回帰モデルにおいて  説明変数間の相関が高い  ⇒最小二乗推定量 (LSE)の分散が大  ⇒単変量の場合には他の推定法が提案  ⇒その手法を多変量に拡張 • 特に情報量規準によるパラメータの推定法の拡張

  3. 目次 • 一般化リッジ回帰モデル • モデルの拡張 • リッジパラメータ推定法の拡張 • 情報量規準による推定 • その他の推定法による推定 • 検定統計量との関係 • シミュレーション • 参考文献

  4. 多変量線形回帰モデル    目的変数行列           説明変数行列 ただし       誤差行列 ただし は互いに独立に       平均 で共分散行列 の分布に従っている          未知回帰係数行列

  5. 最小二乗推定量 (LSE) の問題点 • のLSE ;  説明変数間の相関が高い  →    の固有値が小さい  →推定量の分散が大     別の推定方法が必要

  6. 多変量リッジ回帰モデル • 単変量リッジ回帰モデル (Hoerl & Kennard, 1970)                      のモデルへ  リッジ推定量 (Ridge Estimator : RE)

  7. 平均二乗誤差 (MSE) • 多変量 単変量のとき 

  8. パラメータの推定法と問題点 • 推定法 Mallowsの 規準などを最小にする手法など • 最適なパラメータは?  ←繰り返し計算が必要 一般化リッジ推定

  9. 多変量一般化リッジ回帰モデル •          ;     の固有値   なる直交行列     が在る • 一般化リッジ推定量 (Generalized RE : GRE)

  10. モデルの書き換え LSE; RE; GRE;

  11. リッジパラメータの推定法 • MSEを小さくするパラメータ  ⇒               で最小      の各行が従っている分布の共分散行列    の 行目のベクトル 未知パラメータを含んだ形で陽に求まる 未知パラメータに直接推定量を代入(Plug in Estimator) MSEの推定量を最小に (情報量規準の最小化に対応) 別の推定法

  12. 多変量一般化リッジ回帰での 規準 • の推定量を構築 ⇒最小にする  を求める Lemma 1. Corollary 1.任意の    行列 ,     行列

  13. Lemma 2.任意の     行列   ,    行列 

  14. 基準化した残差平方和 • Lemma 2より

  15.             のモデル •             のモデルへ

  16. 最小にすべき関数は? • MSEの推定量 (   規準)を構築  ⇒  に依存している部分・・・  ⇒ を各  に関して最小 REの場合

  17. 多変量の場合のパラメータの選択法 を最小にする   は を用いる推定法 誤差に正規性を仮定すると,MSEの不偏推定量となる

  18. 未知パラメータに直接代入する方法 • MSEを最小にする  に直接代入 (PI) (Hoerl & Kennard, 1970) • (LSEの 行目)  という反復       を用いる (IT-2) (IT-1=PI) (Hoerl & Kennard, 1970)

  19. 他の推定法 • 2の収束先 (Hemmerle,1975 の拡張) (IT-∞) 収束する⇒                 の解 • PC (Lott, 1973)

  20. 検定統計量との関係 • V.S. 検定統計量    を棄却 実現値

  21. シミュレーション • 比較方法 それぞれの推定法での推定値;   の平均により比較 (反復  回)

  22. まとめ • REやGREの多変量モデルへの拡張 • 多変量一般化リッジ回帰モデルでの情報量規準        の提案 • 最適なパラメータが陽に求まる • 他の陽に求まる手法の拡張 (PI,IT-2,IT-∞,PC) • 手法の比較 • サンプル数が少ない場合 ; • ある程度大きい場合 ; IT-∞

  23. 参考文献 • Hoerl, A. E. & Kennard,R.W.(1970).Ridge regression : biased estimation for nonorthogonal problems. Technometrics , 12 ,55-68 • Lawless, J.F. (1981). Mean squared error properties of generalized ridge estimators. J.Am .Stat .Assoc ., 76 ,462 – 466 • Mallows, C. L. (1973).Some comments on . Technometrics , 15 , 661-675 • Walker, S.G. & Page, C. J.(2001).Generalized ridge regression and a generalization of the statistic. J. Appl. Statist.,28,911-922 • Yanagihara, H. & Satoh, K.(2008).An unbiased criterion for multivariate ridge regression. TR No. 08-04, StatisticalResearchGroup, HiroshimaUniversity.

  24. ご清聴ありがとうございました 発表終了