1 / 34

周辺モデルの推測 ～分散成分編～

周辺モデルの推測 ～分散成分編～. B ３　　兼清　道雄. 黄本 (2 nd ) の p55~63 （ §6.2 ）でした. 前回の流れ（ 推定だけでなく検定も！ ）. 固定効果 の推定量（標準誤差） 近似ワルド検定 標準誤差←過小推定 α を推定することによるバラツキを考えていないから 近似ｔ検定＋近似 F 検定 分母自由度の問題 経時データでは特に問題ではない ロバストな推測 共分散構造の誤特定にロバストな サンドウィッチ推定量、その使用と問題点 尤度比検定 ＭＬ尤度関数による × ＲＥＭＬ. 固定効果.

demont
Download Presentation

周辺モデルの推測 ～分散成分編～

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 周辺モデルの推測～分散成分編～ B３　　兼清　道雄

  2. 黄本(2nd)のp55~63（§6.2）でした 前回の流れ（推定だけでなく検定も！） • 固定効果の推定量（標準誤差） • 近似ワルド検定 • 標準誤差←過小推定 • αを推定することによるバラツキを考えていないから • 近似ｔ検定＋近似F検定 • 分母自由度の問題 • 経時データでは特に問題ではない • ロバストな推測 • 共分散構造の誤特定にロバストなサンドウィッチ推定量、その使用と問題点 • 尤度比検定 • ＭＬ尤度関数による • ×ＲＥＭＬ 固定効果

  3. 黄本(2nd)のp64~73（§6.3）です 今日の流れ • 近似ワルド検定 • パラメータの境界について少々 • 尤度比検定 • REMLでもおっけぃ • 例：ラットデータ • 変量効果の必要性に対する周辺的検定 • Marginal Testing for the Need of Random Effects • 例：前立腺癌データ 分散成分

  4. 尤度理論より(under some regularity conditions) • αの推定量　　は正規分布に近似する • ML、REMLは問わず • 平均はα • 共分散行列はフィッシャー情報行列の逆行列によって与えられる • 推定量の近似標準誤差は、対数尤度関数をαに関して二回部分微分して負をとった行列の逆行列から容易に計算可能 • Approximate standard errors for the estimates of the variance components in α can be easily calculated from inverting minus the matrix of second-order partial derivatives of the log-likelihood function(ML or REML) with respect to α.

  5. 近似ワルド検定 • パラメータ推定量の漸近正規性を使うことで可能 • ただし正規分布で近似できるかはαの真値に強く依存 • 境界近くの値の場合、より多くのサンプルが必要 • 分散が0に近い場合 • 境界値の場合、近似できない • 分散＝0の場合

  6. 例えば、「H0:d33=0」(d33は2次変量傾きb3の分散 (y=b1+ b2 t + b3 t2)) • 階層モデル(hierarchical)では境界値(d33=0) • D（変量効果の共分散行列）は半正定値より • 近似ワルド検定の結果は妥当ではない • 周辺モデル(marginal)では境界値ではない • Dが半正定値じゃなくてもよい • 近似ワルド検定の結果は妥当

  7. ちゅうか、「H0:d23=0」(1次変量傾きb2と2次変量傾きb3の共分散)ちゅうか、「H0:d23=0」(1次変量傾きb2と2次変量傾きb3の共分散) • 境界値および境界外の値にならないためには⇒d22、d33が正であること必須 • Θd23＝R • 階層モデルだからとか、周辺モデルだからとかはさほど重大ではない

  8. 尤度比検定 • H0:α∈Θα,0 • あ • -2lnλNは帰無仮説のもとで漸近的に自由度＊＊のχ2分布に従う • ＊＊は「対立仮説の分散成分（変量効果）の数」－「帰無仮説の分散成分の数」

  9. 尤度比検定 • ×パラメータの境界に位置するような帰無仮説 • 近似ワルド検定と同じように • REMLでもおっけぃ • 平均構造同じ⇒誤差対比U=A’Y同じ⇒比較可能

  10. ねずみデータの例 • 5.6.2で制約（分散：正）なしのモデルをフィット • 表5.3、分散関数(5.9)式⇒負の曲率(二次係数が負)の存在 • 周辺モデルを仮定した上で • 近似ワルド検定(H0:d12=d22=0) • 2.963(df=2, p=0.2304) • 尤度比検定(H0:同上) • -2lnλN=2.018(df=2, p=0.364) • よって、帰無仮説が採択⇒分散は一定(constant)

  11. 式(5.9)

  12. ねずみデータの例の続き • 変量切片モデルとする • 傾きに対して群ごとの違いがあるか？H0：β1=β2=β3の検定非有意⇒違い、アリ！ • (6.12)のようなモデルとなる • 測定値の共分散行列＝C.S.

  13. 変量効果必要？という検定について • 変量効果の必要性の検定に興味があるときも • モデルの階層的な解釈のもと • （階層モデルとして考えた場合の検定） • 周辺モデルと考えれば、出来ない事はないが・・・ • ex) H0:d13=d23=d33=0 (二次変量傾きの検定)(6.13) • 階層モデルだと境界値となり検定結果が妥当ではない

  14. Stram and Lee (1994,1995) • (6.13)型の帰無仮説の尤度比検定における漸近帰無分布がχ2分布の混合分布で示される • 古典的な単一χ2分布よりもむしろ↑に従う • Self and Liang (1987)の結果を用いて • on nonstandard testing situations • 条件付独立を仮定（つまりΣi=σ2Ini） • 独立した変量効果を伴うANOVAモデルについて • Miller(1977)によって議論されている • REMLでも同じ結果(by Morrell(1998)) • REMLの方がほんの少しだけよい

  15. (case 1)H0:d11=0 （変量効果0個 v.s. 1個） • 自由度0のχ2分布と自由度1のχ2分布の混合分布(0.5:0.5で混合)を帰無分布に • 古典的な方法（自由度1のχ2分布）だと、p値を過大評価してしまう • 帰無仮説を採択しやすい • 要るはずの変量効果を要らないとする • ここではd11=0としてしまう • 間違った単純化、といった結果を招く • Altham(1984) • 共分散構造におけるoverparametrizationの弊害を示す

  16. χ20とχ21の混合分布

  17. (case 3)変量効果q個 v.s. q+1個 • 帰無仮説 • 混ぜるのは自由度qとq+1のχ2分布 • 古典的（境界の問題無視）⇒ケチすぎる共分散構造、単純すぎる共分散構造

  18. （χ21:χ22）、（χ22:χ23 ）混合分布

  19. (case 4)変量効果q個 v.s. q+k個 • シミュレーションで漸近分布推定 • 特別な場合（Fisher情報行列が単位行列に等しい）を除いて • 平面だけでなく曲面に基づく多変量正規確率変数の投影の距離によって形成される確率変数の他の型だけでなく、χ2確率変数の混合＝帰無分布 • a mixture of χ2random variables as well as other types of random variables formed by the lengths of projections of multivariate normal random variables upon curved as well as flat surfaces.

  20. これまでの結果(cases 1 to 4) • 尤度関数が半正定値（正定符号）行列Dの空間Θα上で最大化できると仮定 • 推定値が正定値行列でなく半正定値行列Dに収束すると仮定 • ソフトウェアに依存、実際に上記結果を適用する場合はチェックすべき • Stram and Lee(1994)頃のSASにはこの仮定無し • 6.10から新しい制約に

  21. 昔のSAS：PROC MIXED(1994頃) • 要求されたパラメータ空間Θαの部分空間上で尤度を最大化⇒尤度比検定統計量が典型的に小さくなる • Case 3 • 漸近分布としてχ2q+1とχ20の混合分布 • 前述の方法、妥当ではない？

  22. SAS 6.10より • 対角要素（分散）が非負という制約のみ • 対角要素の少なくとも1つが負＝半正定値行列ではない • 半正定値行列を含む、対角要素が非負である全ての対称行列からなる部分空間において尤度を最大化 • Θα上で尤度を最大化可能 • PROC MIXEDで得られる結果(case 1 to 4)は妥当 • 本当はΘαよりも少し大きい • 得られた推定値D＾が半正定値かどうかチェックすべき

  23. 勝手なイメージ 今 半正定値となる空間 対角成分、非負 部分空間 半正定値となる空間 昔

  24. 前立腺癌データ • 2次変量傾きは取り除くべき？ • 説明のため、全ての場合（[変量効果無]、[変量切片のみ]、[変量切片＆傾き]、[変量切片＆傾き＆二次傾き]）の検定を行う • 表6.5（それぞれのモデルの尤度）および表6.6（尤度比検定統計量と帰無分布）を参照のこと • 尤度比統計量90以上、有意確率p<0.0001 • よって、簡略化すべきではないことがわかる • これ以外の例：17.4章、24.1章

  25. 周辺モデルの推測～情報量基準編～ 黄本p74~76§6.4

  26. これまで議論してきた検定 • 所謂、nested modelの比較 • Non-nestedなモデルを比較したい • 尤度比検定に焦点をあててみる

  27. 帰無仮説:H0、対立仮説:HA • 帰無仮説における • 推定値から与えられた対数尤度関数の値：l0自由なパラメータ数＃θ0 • 対立仮説における • 推定値から与えられた対数尤度関数の値: lA自由なパラメータ数＃θA

  28. 棄却 • lA －l0が相対的に自由度の差より大きい 近似関数 上記Fは\mathcal{F}で出ました

  29. 前述、[case 3]を再現 • 帰無仮説が対立仮説のnestだったら⇒フォーマルな有意性検定 • そうじゃない場合も・・・ • 簡便法(a rule of thumb)として • 共分散構造区別のための経験的なルールを構築する為に、Fに他の関数を使用

  30. 情報量基準 “information criteria” • Fとして定義される関数は表6.7参照 • 情報量基準 “information criteria”というもの • 主アイデア • 最大対数尤度値の比較 • 過剰パラメータ数へのペナルティ • 基本的に大きい方がよい • AIC以外はサンプルサイズnにも依存 • REMLの場合、n*=n-pとなる • 違う平均構造を比較する場合はMLで

  31. 情報量基準 “information criteria” • あくまで簡便法 • ちゃんとした有意性検定として使ってはいけない • 情報量基準によって違う結果を出すことも • 表6.8：ねずみデータで • 群別に違う傾き　←近似ワルド検定、AIC • 群別に同じ傾き　←SBC • SBC→サンプルサイズを考慮してるから • 注：SBCはパラメータ数が最も少ないものを良しとしやすい • ここでは近似ワルド検定の結果が一番正しい 青本p137 §4.2

  32. 文献紹介 • Stram,D.O. and Lee,J.W. (1994) Variance components testing in the longitudinal mixed effects model. Biometrics,50, 1171-1177. • Stram,D.A. and Lee,J.W. (1995) Correction to:上記. Biometrics,51, 1196 • Self,S.G. and Liang,K.Y.(1987) Asymptotic properties of maximum likelihood estimators and likelihood ratio tests under nonstandard conditions. Journal of the American Statistical Association,82, 605-610. • Miller,J.J. (1977) Asymptotic properties of maximum likelihood estimates in the mixed model of the analysis of variance. The Annals of Statistics,5, 746-762.

  33. 文献紹介２ • Altham,P.M.E. (1984) Improving the precision of estimation by fitting a model. Journal of the Royal Statistical Society, Series B,46, 118-119.

  34. 情報量基準文献紹介 • Akaike,H. (1974) A new look at the statistical model identification. IEEE Transactions on Automatic Control,19, 716-723. • Schwarz,G. (1978) Estimating the dimension of a model. The Annals of Statistics,6, 461-464. • Hannan,E.J. and Quinn,B.G. (1979) The determination of the order of an autoregression. Journal of the Royal Statistical Society, Series B,41, 190-195. • Bozdogan,H. (1987) Model selection and Akaike’s Information Criterion(AIC): The general theory and its analytical extensions. Psychometrika,52, 345-370.

More Related