IBM 東京基礎研究所井手剛

“Regression on Manifolds using Kernel Dimension Reduction” by Jens Nilsson, Fei Sha, and Michael I. Jordan IBM東京基礎研究所井手剛 | 2007/08/20| ICML 2007を読む会@大岡山

概要 ── 次元削減モノ。教師あり次元削減と、教師なし次元削減を組み合わせた点に新規性を主張。 • 次元削減には2流派ある • 教師なし • データXの分布（or 多様体）をうまく表すような座標を求める • PCA、Isomap、Laplacian eigenmap、LLE、．．． • 教師あり • ラベル情報と矛盾しない写像を求める • FDA、LFDA、その他 • 両者の組み合わせ • SELF (semi-supervised LFDA) • M. Sugiyama et al., Technical report TR07-0006, http://www.cs.titech.ac.jp/~tr/reports/2007/TR07-0006.pdf • ラベルが分かっているものについてはLFDA、そうでないものはPCA • ほか • この仕事は次の二つの次元削減手法の組み合わせ • 教師なし： Laplacian eigenmap • 教師あり: 福水さんのカーネル次元削減 | 2007/08/20| ICML 2007を読む会@大岡山

目次 • カーネル次元削減とは • Laplacian eigenmapとは • どう組み合わせるのか • 実験結果は？ | 2007/08/20| ICML 2007を読む会@大岡山

カーネル次元削減とは | 2007/08/20| ICML 2007を読む会@大岡山

「十分な次元削減」（sufficient dimension reduction; SDR）。カーネル次元削減はSDRの一種。回帰関係を表すために最も「かけがえのない」部分空間を探す。 • SDRは教師あり次元削減の一種 • 確率変数XとYが、何か強い結びつきを持つと仮定 • 回帰直線の周りにばらつくとか • 直交射影の行列Bを使って、Xを狭めてみる • Z = BTX • Zが動く範囲をSとする • SDRの問いかけ：「もしSを失ったら、どれだけYとXは無関係になってしまうだろうか？」 • 「Sを失った結果、YとXが無関係になってしまう」＝「Sはかけがえのないもの」 • Zを与えた時にYとXが条件付き独立になってしまうように、Bを選べばよい | 2007/08/20| ICML 2007を読む会@大岡山

条件付き独立性の成立を、条件付き共分散行列の等式に帰着させる条件付き独立性の成立を、条件付き共分散行列の等式に帰着させる • 「条件付き独立性を言うためには、XとYの同時分布がいるのでは？（問題を簡単にしてないのでは）？」という心配は要らない • 確率モデルの仮定が要らぬ、というのがSDRおよびKDRのキモ。 • 論文の定理1（の半分）： • 条件付き独立性は、条件付き共分散行列の等式と同値 • つまり、この等式を満たすようなB（射影行列）を求めればよい • でもそれを直接やるのは難しい | 2007/08/20| ICML 2007を読む会@大岡山

等式を満たすのをあきらめて、「できる限り最善な」Bを求める等式を満たすのをあきらめて、「できる限り最善な」Bを求める • 条件付き共分散行列についての性質： • 「制約をゆるめるとばらつきの余地は大きい」 • 「制約が厳しいとばらつきの余地は小さい」 • 結局、をBについて「最小化」すればいい • 残る問題 • Z = BTX を使ってをBについてパラメトライズするなんてできるのか • 行列もしくは演算子の大きさの尺度をどう測るのか直感的には、Zを与えた時のYのばらつき | 2007/08/20| ICML 2007を読む会@大岡山

条件付き共分散行列を、条件なしのものを使って「展開」する条件付き共分散行列を、条件なしのものを使って「展開」する • 条件付き共分散行列（演算子）は、条件なしのものを使って書ける • Xとありますが、Zのことです • ガウシアンを条件付けた時の共分散と同じ形をしているが、これは分布によらずに一般に成り立つ • 証明は福水さんの論文たちに書いてある • Fukumizu et al. JMLR 2004 • Fukumizu et al. 2006 • 数学的にハイレベルだが、証明をフォローすることはなんとか可能 | 2007/08/20| ICML 2007を読む会@大岡山

条件なしの共分散行列をグラム行列で表す • 条件付き共分散行列（演算子）は、条件なしのものを使って書ける • 単純作業でグラム行列（中心化しておく）に書き換えることができる | 2007/08/20| ICML 2007を読む会@大岡山

KDRの目的関数の完成条件付き共分散行列の大きさはTraceで測ることにするKDRの目的関数の完成条件付き共分散行列の大きさはTraceで測ることにする • 単純作業でグラム行列（中心化しておく）に書き換えることができる • さらに簡単化する • ノリ的には次のような式を使ったと思えばいい • 行列の大きさはトレースで測ることにする • 結局、条件付き独立性の条件は下記に帰着される | 2007/08/20| ICML 2007を読む会@大岡山

Laplacian eigenmapとは | 2007/08/20| ICML 2007を読む会@大岡山

原論文から(1/2)： M. Belkin and P. Niyogi, "Laplacian eigenmaps and spectral techniques for embedding and clustering", NIPS 2001 • 元の座標x1、x2、．．．から、新しい座標y1、．．．を求めたい。その時の目的関数 • つまり、「集団移住した後でも近所のつながりを大切にする」 • 2乗誤差の目的関数はグラフ・ラプラシアンを使って書き直せる • 要するにこれを最小化すればいい | 2007/08/20| ICML 2007を読む会@大岡山

原論文から(2/2): 一般化固有値問題として解ける • 下記の最適化問題を解く • 条件1：スケーリングの任意性を省く • 条件2: ゼロ固有値の解を省く • 解は固有値最低のものからM個の固有ベクトル • ただし、ゼロ固有値（最小）は省く | 2007/08/20| ICML 2007を読む会@大岡山

どう組み合わせるのか | 2007/08/20| ICML 2007を読む会@大岡山

基本的に、Laplacian eigenmap で次元削減されたデータにKDRを行うだけ • Laplacian eigenmapでもとの座標xiを、M次元の座標に変換 • M本の固有ベクトルから作ったM次元データのデータ行列をUとする • uiが新座標 • そのデータUから、KDRにより第2弾の次元削減写像を求める。 • d次元 • Φuiが新々座標 • 解くべきなのは下記非線形、非凸。射影勾配法で解く。 | 2007/08/20| ICML 2007を読む会@大岡山

実験結果は？ | 2007/08/20| ICML 2007を読む会@大岡山

実験結果1地表面温度 • もともとは2次元の問題 • 温度Y vs 地表の位置X • 1段目での次元削減 • M=100 • 2段目の次元削減 • d=1 • きれいな線形相関 • 次元「削減」としてはつまらないが、削減した座標により再現誤差を描いてみると、異常気象が分かる、らしい | 2007/08/20| ICML 2007を読む会@大岡山

実験結果2スノーマンの画像を回転してみる • 本当の自由度は4 • 回転角と傾き角、ずらし量（タテヨコ） • 画像は 110×80、1000枚 • 回転角（Y） vs ピクセル強度（X）、のような回帰関係を設定したらしい。 | 2007/08/20| ICML 2007を読む会@大岡山

感想 | 2007/08/20| ICML 2007を読む会@大岡山

感想 • KDRは普通使われるような誤差基準とはちょっと毛色が変わっていて面白い • 福水さんの論文についてはもうちょっと勉強の必要あり • この論文の組み合わせ方には、あまり感銘を受けなかった。 • ただ福水さん論文に寄りかかっているだけ、という感じがした。 • 実験結果も、興味深いのか深くないのかよくわからなかった。 | 2007/08/20| ICML 2007を読む会@大岡山

IBM 東京基礎研究所 井手剛