Download
1 / 31
330 likes | 640 Views
Gradient and curvature from the photometric-stereo method,including local confidence estimation Robert J. Woodham. Introduction. 照度差ステレオは 様々な実験環境において実行され矛盾の無いよい結果をもたらす SPS のための手法 様々な認識や localization task に必要 cast shadow 、相互反射において誤差がでやすい. Introduction. 本稿では以下の２つの手法によって、照度差ステレオをより実用的にする
E N D
Gradient and curvature from the photometric-stereo method,including local confidence estimationRobert J. Woodham
Introduction • 照度差ステレオは • 様々な実験環境において実行され矛盾の無いよい結果をもたらすSPSのための手法 • 様々な認識やlocalization taskに必要 • cast shadow 、相互反射において誤差がでやすい
Introduction • 本稿では以下の２つの手法によって、照度差ステレオをより実用的にする • 複数画像をビデオレートから同時に得るために、照明条件は変えず、スペクトル多重化を行う • LUTにビデオデータ（RGB）を通すため、商用の画像処理ハードウェアを用いる
表面の勾配 を1枚の画像から得る手法 よって表面法線ベクトルは 一方、画像照度方程式は ：画像照度 ：反射率分布図 上記の関係式と、表面のなめらか拘束（連続性）の仮定から、 を導出 曲面 において、表面の勾配 は Shape-from-Shading (1)
E3 形状が既知の物体を較正に用いて、観測画像濃度値 に対応する面の勾配 の参照表（lookup table）をつくる。 E1 E2 Photometric Stereo • 照明条件の異なる複数枚の画像から局所的に表面の勾配を決定 (2)
表面の反射率が一様でないとき、反射係数 を考慮した場合の画像照度方程式表面の反射率が一様でないとき、反射係数 を考慮した場合の画像照度方程式 Albedo Variation (3) 完全拡散反射面の場合式（３）は線形 他は非線形（唯一の解が保証されない）
Two-Dimensional Surfaces in the Three-Dimensional Shape of Measured Intensities • 式（２）において2次元の表面のパラメータ は を軸とする3次元空間で決定される。 反射率が一様で、cast shadow,相互反射がない場合の観測画像濃度値は は2次元の表面形状によって拘束される（2次元の表面しだいある）
Lambertian Reflectance • 理想ランバート面では、画像照度は に比例する。 は入射角 画像照度 の離散プロット 光源方向
：鏡面反射成分のピークの鋭さ ：入射角 ：鏡面反射の割合 ：位相角 ：off-specular angle(視線ベクトル及び、光源ベクトルと法線ベクトルの関係によって定義される） は物質の特性によって変化する Phong Reflectance • 拡散反射成分と鏡面反射成分をもつ反射モデル。次式が成り立つ。
Phongモデルにおける 画像照度 の離散プロット 光源方向は図１と同様 Phong Reflectance
ただし 滑らかな表面では は対称行列： 曲面 のヘッセ行列 を表わす Surface Curvature（表面曲率） 滑らかな曲面における曲率の自由度は３ ⇒曲率を求めるのに３つのパラメータが必要
ヘッセ行列 および表面の勾配 からヘッセ行列 および表面の勾配 から 視線方向によらない曲率の表現が可能 曲率行列： (4) 行列 の固有値を 、固有ベクトルを とすると は主曲率となる（方向は ） Surface Curvature
Surface Curvature ガウス曲率（全曲率）：主曲率の積 (5) 平均曲率：主曲率の平均 (6)
を で偏微分 画像照度方程式 式（７）だけでは は決定できない Determining the Hessian (7) 2光源照度差ステレオにおいて (8)
Determining the Hessian 3光源照度差ステレオでは (9) ただし 3光源以上にも拡張可能
式（９）よりヘッセ行列の推定値 は、厳密に いえば表面の勾配 に独立でない式（９）よりヘッセ行列の推定値 は、厳密に いえば表面の勾配 に独立でない 行列 は勾配 の誤差につよい。(robust) Determining the Hessian ヘッセ行列の推定値が重複決定される 曲率の推定値（勾配の推定値）の信頼できない位置を検出できる
曲率行列 を推定する前にヘッセ行列を以下の式で与える曲率行列 を推定する前にヘッセ行列を以下の式で与える また、 の妥当性の評価に以下の式を用いる Determining the Hessian （対称行列） 誤差行列：
Implementation • 実験環境 • Sony DXC-755 3 CCD 24-bit RGB camera • Newport MP-1000 Moire projector×3 • spectral filter • Datacube image–processing system • etc....
y object z y x RGB camera x filter light source Implementation フィルターを使用し、スペクトルの異なった3つの光源red,green,blueを用いた投影を行う（スペクトル多重化）
キャリブレーション用：陶器の楕円体 実物体：陶器のdoll face Implementation スペクトル多重化 異なった光源下で撮影した複数枚の画像と同様のものを、同時に（一度に）得ることができる RGBカメラから3枚の白黒画像を得る 実験に用いた物体 反射特性は同じ
Light source 1 Light source 2 Light source 3 Calibration 半径ｒの楕円体を用いる 楕円体上の点 における 勾配及びヘッセ行列は
楕円体における 画像照度 の離散プロット Calibration
6bits 8bits R (p,q) 6bits LUT G 8bits entries d B 6bits ハードウェアは entriesを一度に持つことができないので、 長さ のlookup tableを４つのハードウェアで実装する Lookup Table for Real-Time Photometric Stereo colour index gray level
補間によって求めた値と項目に存在した値との表内での距離を とし評価に用いる補間によって求めた値と項目に存在した値との表内での距離を とし評価に用いる Lookup Table for Real-Time Photometric Stereo Lookup tableを用いた復元 キャリブレーション物体を様々な光源条件（３）のもとで撮影し、ある特定の点から得た観測画像濃度値 が、表の項目を決定し、適切な場所に、計算によって求められた表面の勾配 （あるいは単位法線ベクトル）を格納 キャリブレーション物体のサンプリング間隔により表内に隙間が生じる場合は、線形補間を用いて値を補う
Light source 3 [blue] Light source 1 (red) Light source 2 [green] Experiment Result 実験に用いた物体（384×256）
Doll faceにおける 画像照度 の離散プロット Experiment Result
Experiment Result 相互反射 cast shadows
slope angle: aspect angle: Slope Aspect Confidence estimate d Experiment Result １．表面の勾配
Experiment Result １.表面の勾配（カラー画像）
Confidence estimate Experiment Result ２.表面曲率
Discussion and Conclusion • 照度差ステレオは異なる照明条件で撮影された複数の画像から、物体の3次元形状を得る手法 • 表面の勾配と、表面曲率の推定値を得ることができる • スペクトル多重化を使用して、照明条件を変化させずに同時に複数枚の画像を獲得した • ビデオストリームを参照表に通して送るため、商用のハードウェアを使用した
