Principal Components Analysis and Neural Network Implementation of Photometric Stereo

1. Principal Components Analysis and Neural Network Implementation of Photometric Stereo Yuji Iwahori, Robert J. Woodham, Ardeshir Bagheri (1995)

2. 1 Introduction Photometric Stereo(照度差ステレオ)の実装 Principal Components Analysis (主成分分析) ある空間から、次元を落として部分空間を抽出するための線形処理テクニック。計算能力の問題(ill-conditioned)を解決するために用いる。 Neural Network 非パラメットリック関数を近似する特性を利用して、入力空間とそれに対応する表面配向のマッピングを学習する。データは校正球面から得る。影や相互反射の影響による信頼性の評価に用いる。

3. 2 Photometric Stereo (1) 物体の表面 ：Z方向は観察者への方向 正射影によって、２次元画像に投影される 表面法線ベクトル ：ベクトル長は１とする 画像照度方程式 ：画像照度 ：反射率マップ

4. 2 Photometric Stereo (2) p方向からの光源によって、p画像を使用する時の画像照度方程式 全ての照明の方向がほぼ同一線上にあった場合 問題発生(ill-conditioned) Principal Components Analysis（主成分分析）

5. 3 Principal Components Analysis (1) PCAは多変量解析の手法の一つ。もとの変数間の類似性に基づいて、新たな少数の変数へと集約する。 主成分 新たな変数 主成分は対象データの「分散」を最大化するように設定される。また、主成分同士は互いに独立である。 最終的に変数を集約するために、もとの変数よりも少ないだけの主成分を抽出する。

6. 3 Principal Components Analysis (2) 主成分を求めるために、共分散行列の固有方程式を解き、固有値と固有ベクトルを求める。 共分散行列は、対角要素が各変量の分散　　、それ以外の第ij要素はi番目の変量とj番目の変量の共分散　　となっている行列のこと。

7. 3 Principal Components Analysis (3) • p入力画像からp×pの共分散行列を計算する。 • 固有ベクトル と固有値 を求める。 列が であるp×p行列を とする。 画像照度を とする。

8. 4 NN Functional Approximation4.1 RBF Networks and OLS Learning (1) Radial Basis Function neural network 多次元解析に用いられる非関数近似の方法の一つ。学習によってフィードフォワードネットワークを構成する。 ガウス関数 基底関数 基底関数の出力を線形結合することによってネットワークの出力とする。 Orthogonal Least Squares (直交最小２乗法) 近似値と観測値との残差の２乗を求め、それを最小とするような近似関数を求める方法。基底関数の中心を選択するのに適用される。十分なネットワークが構成されるまで、その手続きは繰り返される。

9. 4 NN Functional Approximation4.1 RBF Networks and OLS Learning (2) RBFネットワークは２層から成る(図はPの隠れ層と、３つの出力層から成る)。 １度の学習手続きによって、ニューロンが１つずつネットワークに追加される。２乗和誤差が目標値に達するか、またはニューロンの数が最大になるまで繰り返される。 図: Radial Basis Function Neural Network 本手法では２つのRBFネットワークを構成 第１のネットワークは入力から表面配向を予測

10. 4 NN Functional Approximation4.2 A 2nd Network Estimates Confidence さらに入力を逆に予測するようなネットワークを生成 第２のネットワークは出力された表面配向から入力を予測 実際の入力と逆予測された入力を比較し、信頼評価を行う（影や相互反射に影響される領域）。

11. 5 Experiments5.1 Experimental Setting 5.2 Calibration 陶器の球体（キャリブレーション用）と陶器の男性の顔を使用する。ともに同じ物質であり、同じ反射特性を持つ。 光学台に対象物を取り付け、光源の角度を約２度ずつずらしながら７方向からの画像を撮影する。

12. 共分散行列　　、固有ベクトル　　、固有値　　は以下となる。共分散行列　　、固有ベクトル　　、固有値　　は以下となる。 5 Experiments5.3 Results (1) 固有値の大きい順に３つの主成分を用いる

13. 5 Experiments5.3 Results (2) キャリブレーションによって得られた値をプロット 照度(E1,E2,E3)は直線に沿って集中し高い相関がある。一方、主成分(A1,A2,A3)は相関が低くなっている。 図(a) Plot of (E1,E2,E3) 図(b) Plot of (A1,A2,A3)

14. 5 Experiments5.3 Results (3) RBFネットワークの学習 キャリブレーションによって得た、(A1,A2,A3)と(n1,n2,n3)の対応を各ネットワークに学習させる。 第１のネットワーク 一般化 ５０世代まで学習 第２のネットワーク 妥当評価 １００世代まで学習 図(a) (A1,A2,A3) to (n1,n2,n3) 図(b) (n1,n2,n3) to (A1,A2,A3)

15. 5 Experiments5.3 Results (4) 観察者（カメラ）の方向を向いた像の画像の場合 • ７つの入力画像の一つ (b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の角度） (c) アスペクト（表面法線ベクトルのXY平面上への射影） (d)信頼評価d（明るい領域は信頼が低い、影や相互反射） (a) Boy-1 image (b) Boy-1 slope (c) Boy-1 aspect (d) Boy-1 confidence

16. 5 Experiments5.3 Results (5) 位置を変更した像の画像の場合 • ７つの入力画像の一つ (b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の角度） (c) アスペクト（表面法線ベクトルのXY平面上への射影） (d)信頼評価d（明るい領域は信頼が低い、影や相互反射） (a) Boy-2 image (b) Boy-2 slope (c) Boy-2 aspect (d) Boy-2 confidence

17. 6 Conclusion 照度差ステレオの新しい実装方法を提案 • 主成分分析によって対象データの次元を減少させる。 • RBFニューラルネットワークとOLSによって、入力空間と表面法線ベクトルとの対応マッピングを生成。 • RBFニューラルネットワークによって、影や相互反射の影響を受けている領域の信頼評価。 この実装方法は、経験的な手法によってのみ行われ、光源方向や反射率等の条件を必要としない。対象物体と同じ物質（同じ反射率）からなる物体の校正によるデータさえあればよい。