実験実習統計手法ﾏｽﾀｰ欠測値データの分析

実験実習統計手法ﾏｽﾀｰ欠測値データの分析実験実習統計手法ﾏｽﾀｰ欠測値データの分析行動計量学研究分野 B3　松田淑美

今日の流れ • 欠測値？ • 分析方法？ • ＳＰＳＳ？　 • ＳＡＳ！統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測（値） • ﾃﾞｰﾀがない‐missing､欠損 • 実験や調査では欠測はつきもの • 未回答 • ﾄﾗﾝｹｰｼｮﾝ • 打ち切り…etc 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測のﾒｶﾆｽﾞﾑ • Missing Completely At Random(MCAR) • どの値が欠測するかは完全にﾗﾝﾀﾞﾑ • Missing At Random(MAR) • どの値が欠測するかはﾃﾞｰﾀに依存してもよいが､欠測値には依存しない • Nonignorable Missing • どの値が欠測するかは欠測した値に依存統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

2変量ﾃﾞｰﾀで考えると… 2変量ﾃﾞｰﾀ（ｘ１、ｘ２）で､ｘ１はすべて観測され､欠測はｘ2のみに生じる場合 • MCAR：ｘ１およびｘ２の両方の値に依存しな　　　　　い • MAR：x１の値のみに依存し、.x２の値には　　　　依存しない • Nonignorable:x2 ( およびx1)の値に依存 (＊一変量ﾃﾞｰﾀではMCARとMARの区別はない) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

｢無視可能｣? • 欠測値ﾃﾞｰﾀの分析では､欠測が分析において無視できるか無視できないかの区別が重要(分析方法が異なる) 欠測ﾃﾞｰﾀを欠測ではなく始めからなかったものとして分析しても結論に違いがないとき欠測は｢無視可能｣(MCARは無視可能) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Test of MCAR • Little&Rubin(1987) ①欠測のない個体の第j変量の値Yｊの周辺分布 ②欠測のある個体のYｊの周辺分布　を比較. ⇒2つに有意差があれば、MCARの仮定は棄却さ　れる. • ｶｲ二乗検定 • 欠測のある個体が少ないときには使えない(使いにくい) • MARの確認はできない統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

分析方法 • 欠測があるﾃﾞｰﾀは取り除き完全ﾃﾞｰﾀとして分析(Complete-Case Analysis) • 得られたﾃﾞｰﾀを使って分析(Available-Case Analysis) • 欠測に値を代入して完全ﾃﾞｰﾀの手法を適用(Imputation or Fill-in) • 欠測はそのままﾓﾃﾞﾙ化して分析(Direct) • それぞれに長所・短所がある統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Complete-Case Analysis① • 一箇所でも欠測のあるｹｰｽ（個体）は無視胸囲、肺活量、身長の全てが観測されているｹｰｽをつかう． ‐Listwisedeletion(リストごと) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Complete-Case Analysis② • 最も簡単で説得力がある • 分析に使えるﾃﾞｰﾀが減る(もったいない!) • 欠測のﾒｶﾆｽﾞﾑがMCARでないと結論に偏りが生じる • SAS､SPSSは基本的にこの方法統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Available-Case Analysis① • 利用できる最大限の情報をつかう各変量ごとの平均などを求める際には得られているﾃﾞｰﾀすべてを使う. 2変量間の関係を調べるとき､その2変量がともに得られているｹｰｽのﾃﾞｰﾀを使う. ‐Pairwise deletion(ﾍﾟｱごと) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Available-Case Analysis② • 欠測のﾒｶﾆｽﾞﾑがMCARでないと結論に偏りが生じる • 相関係数の問題 • 相関係数の推定に平均や分散を計算しなおす必要 • 相関行列が正定値でなくなる可能性 • n×nの実対称行列Aとx0である任意のn×1実ﾍﾞｸﾄﾙに対し　　　　　　　　　となるとき,Aは正定値であるという.(全ての実固有値が正) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Imputation • 欠測箇所に値を代入・単一値代入法 • 一つの値を代入・多重代入法 • 複数個の値を代入し、擬似的な完全ﾃﾞｰﾀｾｯﾄを複数個作成 • SPSSではできない。(こともない？) • SASVersion8からPROC MI､PROC MIANALYZEで実行可能.(ただしVersion8では試験的な提供) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

単一値代入法①(single imputation) • 平均値 • 欠測がＭＣＡＲでないと平均値は偏りをもつ • 平均、分散を過小評価 • Hot Deck法 • 背景ﾃﾞｰﾀの似ている個体を同じﾃﾞｰﾀｾｯﾄ内から探し、対応する値を用いる • 欠測のﾒｶﾆｽﾞﾑはどうでもいい • 似たﾃﾞｰﾀを探すのは難しい統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

単一値代入法② • 回帰による推定値 • 観測ﾃﾞｰﾀから重回帰式を求め欠測値を回帰予測 • 欠測のﾒｶﾆｽﾞﾑはＭＡＲでよい • 分散を過小評価 • EMによる推定値 • EMｱﾙｺﾞﾘｽﾞﾑにより最尤推定値をもとめる • 欠測のﾒｶﾆｽﾞﾑはMARでよい統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

　ＥＭアルゴリズム① • 不完全ﾃﾞｰﾀの尤度関数を直接最大化する代わりにEｽﾃｯﾌﾟ（Ｅｘｐｅｃｔａｔｉｏｎ step）とMｽﾃｯﾌﾟ（Ｍａｘｉｍｉｚａｔｉｏｎ step）とよばれる各ｽﾃｯﾌﾟの反復により最尤推定値をもとめる方法. • 各ｽﾃｯﾌﾟを収束するまで交互に繰り返す. 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

ＥＭアルゴリズム② ［手続き］ • ﾊﾟﾗﾒｰﾀの初期値　　を適当に定める. • 初期値はComplete,Availableなど簡便な方法を用いて決定すればよい • Eステップ(Expectation step) • ｱﾙｺﾞﾘｽﾞﾑをt回繰り返して得られたﾊﾟﾗﾒｰﾀﾍﾞｸﾄﾙ　　を与えたもとで､完全なﾃﾞｰﾀの対数尤度関数の期待値を計算統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

ＥＭアルゴリズム③ • Mステップ(Maximization step) • Eｽﾃｯﾌﾟで得られた完全なﾃﾞｰﾀに対する対数尤度関数　　　　　　を最大にする　　　をもとめる • 形式的には全ての　に対して　　　　　　　　　　　　　　　　　　　　　　　　　が成立 • ただし、 • 一般に収束が遅く､精度に関する推定量を直接得ることができない．統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

単一値代入法→多重代入法 • 推定量のﾊﾞﾗﾂｷを過小評価 • 代入された値を実際に観測された値であるとみなして分析 • ある一つの欠測値に対して複数回の補完を行うことにより､この不確実性を考慮単一値代入法多重代入法統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

多重代入法（multiple imputation=MI） • 3段階から成る • 欠測箇所にM個の異なる値を代入し、M個の擬似的なﾃﾞｰﾀｾｯﾄを生成 • M個の擬似的な完全ﾃﾞｰﾀｾｯﾄそれぞれに、完全ﾃﾞｰﾀセット用の手法を適用して分析 • M種類の分析結果を一つに統合統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Combining Inference① • Ｍ個の擬似的な完全ﾃﾞｰﾀｾｯﾄを作成し、各ﾃﾞｰﾀｾｯﾄから推測対象であるﾊﾟﾗﾒｰﾀ　の推定値　　　　　　　およびそれらの標本分散　　　　　　が得られたとする.このとき　　の点推定値は算術平均　　　　　　　　　　　　　　　　　　　で与えらる. 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Combining Inference② このとき、標本分散Ｔは代入内分散(within-imputation variance) および代入間分散(between-imputation variance) を用いて　　　　　　　　　　　　　と計算される. 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Direct • 欠測値は欠測のまま扱い､ﾓﾃﾞﾙ化により分析する • 欠測が無視可能でない場合にはそうせざるを得ないことが多い • ＭＩＸＥＤ　ＭＯＤＥＬ？統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

SPSS • Missing Value Analysis(MVA)というｵﾌﾟｼｮﾝで欠測ﾃﾞｰﾀの分析が可能 • 何ができるの??‐大きくわけて次の3つ • 欠測ﾊﾟﾀｰﾝの要約､記述統計 • 欠測の下での基本統計量の算出 • 欠測箇所への代入 • 他・・・ﾕｰｻﾞ欠損値の定義統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

例：中古車価格のﾃﾞｰﾀ • 　　　を欠測値として分析統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

［欠損値分析］　ﾀﾞｲｱﾛｸﾞﾎﾞｯｸｽ • ［分析］から［欠損値分析］を選択・変数の選択・推定方法の選択・ＥＭ、回帰による推定方法の細かな指定統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測ﾊﾟﾀｰﾝの要約① ① ③ ② 欠損値分析ﾀﾞｲｱﾛｸﾞﾎﾞｯｸｽの［ﾊﾟﾀｰﾝ］をｸﾘｯｸ統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測ﾊﾟﾀｰﾝの要約② ① 集計されたパターンﾃﾞｰﾀﾊﾟﾀｰﾝ（すべてのｹｰｽ） ③ ② 欠損値パターン(欠損値をもつケース) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

記述統計① 欠損値分析ﾀﾞｲｱﾛｸﾞﾎﾞｯｸｽの［記述統計］をｸﾘｯｸ ① ② ③ 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

記述統計② 非欠損値数 ① 一変量の統計量 ② 指示変数の不一致のﾊﾟｰｾﾝﾄ一方の変数では欠損値、一方の変数では非欠損値というｹｰｽのﾊﾟｰｾﾝﾄ統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

記述統計③ ③ 個別分散のｔ検定｢車検と価格がともに観測されているときの車検の平均値｣と､｢車検は観測されているが価格が観測されていないときの車検の平均値｣のｔ検定統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

基本統計量の算出① • [欠損値分析]ﾀﾞｲｱﾛｸﾞﾎﾞｯｸｽで推定方法を選択． • ﾘｽﾄごと(Complete)、ﾍﾟｱごと(Available)、EM、回帰． • 選択された手法で基本統計量を推定 • 平均,共分散,相関係数 • ﾍﾟｱごと→＋度数,標準偏差 • EM→＋LittleのMCAR検定の結果統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

基本統計量の算出② • 仮定 • この仮定が成立しないときには推定結果が偏ることがある．・リストごと､ペアごとの推定　→欠測のﾒｶﾆｽﾞﾑはMCAR ・回帰､EMによる推定　→欠測のﾒｶﾆｽﾞﾑはMAR 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

基本統計量の算出③‐ＥＭ‐ ﾃﾞｰﾀ分布についての仮定を指定指定した回数に達すると収束していなくても終了統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

基本統計量の算出④‐回帰 回帰法により､回帰推定にﾗﾝﾀﾞﾑな成分を追加推定過程で使用する独立変数の最大数を設定統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

基本統計量の算出⑤ －ＥＭの場合－ EM 平均値ﾃﾞｰﾀ分布の仮定→正規ＬｉｔｔｌｅのＭＣＡＲ検定の結果 EM相関係数 EM共分散統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測箇所への代入① • 欠測値を回帰、ＥＭの各手法による推定値に置き換える. 　→新規ﾃﾞｰﾀﾌｧｲﾙに保存［完了ﾃﾞｰﾀの保存］　→今後の分析に使用統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測箇所への代入② 回帰による推定（推定調整－残差）統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測箇所への代入③ ＥＭによる推定（ﾃﾞｰﾀ分布-正規）統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

ついでに…多重代入法 by SAS • proc mi; • 複数個の完全ﾃﾞｰﾀｾｯﾄを生成 • 仮定→欠測ﾒｶﾆｽﾞﾑはMAR • proc mianalyze; • proc miで生成された擬似的な完全ﾃﾞｰﾀｾｯﾄで通常の分析（今回は回帰分析）を行った結果をもとに､妥当な統計的推測結果を出力 • 欠測値にはﾋﾟﾘｵﾄﾞを入力 • ｵﾌﾟｼｮﾝいっぱい統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

PROC MI‐代入値の計算法 • MCMC method(ﾏﾙｺﾌﾁｪｰﾝ・ﾓﾝﾃｶﾙﾛ法) • ﾏﾙｺﾌﾁｪｰﾝ＋ﾓﾝﾃｶﾙﾛ法 • ﾏﾙｺﾌﾁｪｰﾝを利用して目的とする確率分布からの乱数を生成する一般的な方法論 • Regression method • Propensity method • ﾛｼﾞｽﾃｨｯｸ回帰＋propensity score+近似的ﾍﾞｲｽﾞ・ﾌﾞｰﾄｽﾄﾗｯﾌﾟ法欠測のﾊﾟﾀｰﾝが単調なときに使用統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

欠測のパターン • 単調(monotone)なパターンの欠測 • 各個体において､第j変量　　が観測されていれば､第ｋ変量　も観測されている.(k<j) • 非単調(non-monotone) • 欠測のﾊﾟﾀｰﾝが単調だと､いろいろと便利. ⇒ 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

こ～んな感じ。 DATA missing; INFILE “sample.txt”; INPUT x1 x2 x3 x4; RUN; PROC MI DATA=missing OUT=miout; VAR x1 x2 x3 x4; RUN; PROC PRINT DATA=miout; RUN; PROC REG DATA=miout OUTEST=outreg; MODEL x1=x2 x3 x4; BY _IMPUTATION_; RUN; PROC MIANALYZE DATA=outreg; VAR INTERCEPT x2 x3 x4; RUN; Ｘ１＝価格Ｘ２＝走行距離Ｘ３＝乗車年数Ｘ４＝車検統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

Model Information 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

結果の比較① 完全ﾃﾞｰﾀでの分析結果 • 各手法による（擬似的）完全ﾃﾞｰﾀを回帰分析 Complete-case Analysis 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

結果の比較② 多重代入法ｂｙＳＡＳＳＰＳＳでの回帰による推定値を分析統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

結果の比較③ ＳＰＳＳのＥＭによる推定値を分析結論多重代入法とＥＭ推定値（ＳＰＳＳ）が頑張ってる（？）統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

全体をとうして．．． • 欠測はないのが一番 • できる限りでないように。 • 発生すれば、その原因を追究し、取り除く努力(欠測が発生する理由を分析することが必要) 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

感想 • 欠損値分析に関しては､ • SPSSは「敵を知る」ための道具 • どろどろ分析するためのものではない • SAS? • ﾃﾞｰﾀと語らいたい人はこっち. • 統計レベルあがっちゃった。かも。 • 統計はしばらくお休み｡統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

参考文献 • G.Verbeke,G.Molenberghs編 2001 松山裕・山口拓洋編訳　医学統計のための線形混合ﾓﾃﾞﾙ-SASによるｱﾌﾟﾛｰﾁ- • 岩崎学不完全ﾃﾞｰﾀの解析－基礎と実際－応用統計学会ﾁｭｰﾄﾘｱﾙｾﾐﾅｰ用資料 • 岩崎学 2002 不完全ﾃﾞｰﾀの統計解析ｴｺﾉﾐｽﾄ社 • 狩野裕因子分析と共分散構造分析における理論と応用について科学研究費ｼﾝﾎﾟｼﾞｳﾑ用資料 • Roderick J.A.Little&Donald B.Rubin STATISTICAL ANALYSIS WITH MISSING DATA 1987 John Wiley&Sons,Inc. • SAS OnlineDoc、Version8(Chapter8,9) • ＳＰＳＳ Missing Value Analysis 7.5 と 7.5J 1997 SPSS Inc. 統計手法ﾏｽﾀｰ(欠測値ﾃﾞｰﾀの分析)

実験実習 統計手法ﾏｽﾀｰ 欠測値データの分析