実験実習文献紹介 Ⅱ

実験実習文献紹介Ⅱ 行動計量学研究分野 B4　山本倫生

紹介する文献 • The Elements of Statistical Learning • Chap.3 Linear Methods for Regression • 最小２乗法を用いた回帰や、その変数選択などのお話 • サクサクっと行きましょう

目次 • Introduction • Linear Regression Models and Least Squares • Multiple Regression from Simple Univariate Regression • Subset Selection and Coefficient Shrinkage

1.Introduction • 線形回帰モデルとは　　　　　が線形であることを仮定するものである • 形は単純で、入力が結果にどのような影響を与えるのかを教えてくれる • 時には、複雑な非線形モデルを凌ぐ • 線形モデルを理解することで、非線形モデルの本質を知ることができる • 非線形モデルは線形モデルの一般化

βｊは未知のパラメータ 2.Linear Regression Models and Least Squares • 入力　　　　　　　　　　　　を得たときに出力Yを予測する • 線形回帰モデルは以下の形をとる • Xjのとる値 • 量的変数、基底変換したもの、ダミー変数etc.

RSS: residual sum of squares 最小２乗法 • 最も有名な推定方法 • 以下の値を最小にするパラメータβを選択する

最小２乗法 • 観測値(xi,yi)が母集団からの独立でランダムなサンプルであれば、力を持つ • だけど、xiがランダムでなくても、yiがxiを与えた下での条件付独立であれば良い • 幾何的な解釈はFigure3.1参照 • 回帰式に特別な仮定を置かずに、ただデータへの当てはまりを考える

最小２乗法の解法 RSSを以下のように表す βについて偏微分して０とおくこれより、ユニークな解を得る

ハット行列H 最小２乗法について • 予測値　は以下のように書ける • 　はベクトルｘjが張る空間へのyの正射影であると言える • Figure3.2参照 • xiを要素にもつ行列Xがランク落ちしている場合でも、　はｙの射影であり、有用である • βは一意に定まらないけれど

最小２乗法について • 次に、　の性質を知るために、yiは互いに無相関で分散　　を持ち、xiはランダムではないとする • すると、　の共分散行列は以下のようになるここで、　　は以下のように推定する不偏分散

従って 仮説検定や信頼区間の推定に用いる最小２乗法について • 次に、誤差が正規分布する、と仮定するつまりにおいて、と仮定する

帰無仮説は βｊ=0 パラメータの効果の検定 • βｊを標準化したもの（Ｚスコア）　がtN-p-1に従うことを利用する • 　　が既知であれば、標準正規分布に従う • サンプル数が多ければｔ分布と標準正規分布の裾の部分の差異は無視できる viは　　　　　　の対角要素 Figure3.3参照

ＲＳＳ1：p1+1個のパラメータを持った大きいモデルＲＳＳ1：p1+1個のパラメータを持った大きいモデルＲＳＳ0：p0+1個のパラメータを持った小さいモデルカテゴリカルデータの場合 • ｋ水準を持つカテゴリカル変数がモデルから除かれるかどうかの検定 • 以下のＦ統計量を用いる • 小さいモデルが正しいという帰無仮説の下で、Fp1-p0,N-p1-1に従うことを利用する

ここで、平均2乗誤差（ＭＳＥ）を考えると、ガウス=マルコフ定理は、「最小2乗推定量は全ての不偏な線形推定量の中で、最小のＭＳＥを持つ推定量である」ということを示しているここで、平均2乗誤差（ＭＳＥ）を考えると、ガウス=マルコフ定理は、「最小2乗推定量は全ての不偏な線形推定量の中で、最小のＭＳＥを持つ推定量である」ということを示している The Gauss-Markov Theorem 最小2乗推定量 • ガウス=マルコフ定理によると、　　　　　　　　となるあらゆる線形推定量　　　　　に対して、以下のことが成り立つ

しかし • バイアスを持った推定量が、より小さなＭＳＥを持つかもしれない • 後述するsubset selectionやshrinkage method • また、期待予測誤差とＭＳＥの関係は以下のように表せるｘ０は新たな入力

3.Multiple Regression from simple Univariate Regression • p>1の線形モデルを多変量線形回帰モデルと呼ぶ • まずは、切片を持たない１変量モデルを考えるこの時、最小2乗推定量と残差は以下のようになる

ベクトル表記で • 内積を次のように定義する　すると、最小2乗推定量と残差は以下のように表せる

次に直交化する方法を述べる 多変量への拡張 • データ行列Ｘの列ベクトルx1,x2,…,xpが直交する時、それぞれの推定量　　は単変量時の推定量になる • 直交する入力は統制された実験などでは得られるが、調査データでは稀である • データを直交化する必要がある

　　はxiの平均で、　は要素が全て１のＮベクトルである　　はxiの平均で、　は要素が全て１のＮベクトルであるここでは、以下の段階を経ている１．残差　　　　　　　　　　　　　を得るためにｘの　　への回帰を考える２．係数　　　を得るためにｙのｚへの回帰を考える１変量での直交化 • 切片と単変量ｘを持つモデルを考える • ｘの最小2乗推定量は以下のようになる Figure3.4参照

多変量への拡張 １．z0=x0= 　とする２．ｐ変量の入力ｘｊの、ｚｋへの回帰を考え、残差ベクトルｚｊを考える３．推定値　　を得るためにｙの残差ｚｐへの回帰を考える (k=0,…,j-1) グラム‐シュミットの直交化

xjのzkに対する回帰式の回帰係数を要素に持つ上三角行列xjのzkに対する回帰式の回帰係数を要素に持つ上三角行列行列で表すとグラム‐シュミットの直交化のstep２は以下のように書けるｊｊ番目の要素にzｊのノルムを持つ対角行列Ｄ考えるＱはＮ×(p+1)の直交行列で、Ｒは(p+1)×(p+1)の上三角行列これより、パラメータと目的変数の推定値は以下のように簡単に表せる

4.Subset Selection and Coefficient Shrinkage • 最小２乗法では満足できない二つの理由 • 予測の正確さ • 最小2乗推定量は、時に、分散が大きくなる • いくつかの係数を縮小させたり０とすることで改善できる • その解釈 • 予測変数の数が多いとき、強い影響を持つ変数だけを見たい

Subset Selection • Best subset selection • 最も小さいＲＳＳを与える変数の数を決める • leaps and bounds procedureを用いる • Forward stepwise selection • 切片から始めて、適合を最も良くする予測変数を加えていく • 以下の統計量に基づいて、終了する３０or４０変数くらいのｐに対して有効 Figure3.5参照　　：Ｋ個の変数を持つ現在のモデルの母数　　：変数を一つ加えたモデルの母数

Subset Selection • Backward stepwise selection • フルモデルから始まって、予測変数を消していく • Ｆ値が小さいものから消去していき、どの変数を落としても棄却されてしまうなら終了する • N>pの時だけ用いることができる • Stepwise selection • forwardとbackward両方を考える

Example:Prostate Cancer • 変数の意味 • lcavol:癌の量の対数 • lweight:前立腺の重さの対数 • age:年齢 • lbph:良性前立腺の過形成の量の対数 • svi:精嚢への侵入 • lcp:カプセルの侵食度の対数 • gleason:グリーソンスコア • pgg45:グリーソンスコア４or５の割合

10群CVに基づく予測誤差の推定 • Table3.3にある手法は、それぞれ複雑度パラメータを持っている • １０群クロスバリデーション（ＣＶ）に基づいて、期待予測誤差を最小にするように選択する • １０群ＣＶ • 訓練データを１０群にわけて、その内、１つの群を除いてモデルを作り、除かれた群を用いて予測誤差を調べる、という作業を除く群を次々に代えて、１０回行う Figure3.6に期待予測誤差の曲線が描かれている

Shrinkage methodsであれば連続的なので、回避できる Shrinkage Methods • Subset Selectionはある予測変数を保持し、残りを捨てることによって低い予測誤差を達成する • しかし、それは離散的な操作だから、時に高い分散を伴う

　　　　はどれだけ縮小させるかを決める Ridge Regression • 以下のペナルティ付きＲＳＳを最小にするこれは、以下のようにも書ける Figure3.7参照

Ridge Regression • 制約条件により多重共線性を回避 • Ridge回帰の解は予測変数の尺度に依存するので、解く前に標準化しておく • ペナルティ項では切片が含まれていないことに注意 • Penalization of the intercept would make the procedure depend on the origin chosen for Y;that is, adding a constant c to each of the targets yi would not simply result in a shift of the predictions by the same amount c.

Ridge回帰の解法 予測変数は中心化されているとする • ＲＳＳは以下のように書ける　すると、解は次のようになる特異値問題を引き起こす Figure3.7に推定値をプロットしたものが描かれている

UとVはそれぞれN×p、p×pの直交行列 ＤはXの特異値　　　　　　　　　　　　　　　　　を対角要素に持つp×pの対角行列特異値分解による知見 • N×p行列Xは以下のように分解される • 最小2乗基準を当てはめたものは以下のように書ける直交基底Uに対するyの座標

小さな　　を持つ基底ベクトルに対して大きな縮小が適用される小さな　　を持つ基底ベクトルに対して大きな縮小が適用される特異値分解による知見 • Ridge回帰の当てはめは以下のように書ける直交基底Uに対するyの座標

実際　　　　　　　　　　　　　　　　である実際　　　　　　　　　　　　　　　　である特異値分解による知見 • 特異値分解は変数の主成分の別表現であると言える • 　　　の固有値分解は以下のように書ける固有ベクトルvjはXの主成分の方向とも呼ばれている vｊに関する性質第一主成分　　　　　　　　　はXの列ベクトルの線形結合の中で、最も大きな標本分散を持つ

Lasso • 以下の値を最小にするここで、　　　　　　　　　　　であり、十分に小さなｔをとることで、係数はほとんどゼロに近くなる Figure3.9参照

Methods Using Derived Input Directions • 多くの場合、たくさんの説明変数があり、しばしば変数間の相関が高いときがある • ここでは、説明変数Xjの少数の線形結合Zm,m=1,…,M、でモデルを作る方法を紹介する

Principal Components Regression • 以下のような形をとる • 先ほど述べたような性質を持っている • 係数は以下のように表せる • Ridge回帰との関係はFigure3.10参照

Partial Least Squares • ｘｊを平均０、分散１を持つように標準化し、　　　　　　　　　、　　　　　　　　　　　　　　とおく • m=1,2,…,pにおいて順に • 得られたベクトル　　　を出力　

はxjの標本共分散行列 PLSとPCR • 主成分回帰と違って、ＰＬＳは高い分散と高い相関をyに持つものを探す • つまり、m番目の主成分ベクトルvmは以下の式を満たすが m番目のPLSベクトル　　は以下の式を満たす

Discussion: A Comparison of the Selection and Shrinkage Methods • 各手法の係数縮小の変遷について • Figure3.11参照 • まとめ • PLS、PCR、Ridge回帰は同じような挙動を見せ、離散的な方法と比べてRidge回帰が好ましい

qを変化させることにより制約を変化させる ＝事前分布が変化する Ridge回帰とLassoとBest subset selection • Xが正規直交系であれば、Table3.4のように、最小2乗推定量を用いて表すことができる • 正規直交系でないとき、LassoとRidge回帰の関係がFigure3.12に示されている • LassoとRidge回帰はベイズ推定の観点から、以下のように一般化される

Multiple Outcome Shrinkage and Selection • 割愛

感想など • 現在やってること • Wahbaさんの本 • SVMのtutorial（５０ページくらいのやつ） • 項目反応理論（inψなれ） • 細々したこと色々 • 次回予告 • 多分今日の続きのChap.4をやるかと • 線形判別分析について

実験実習 文献紹介 Ⅱ