1 / 48

物体の 3 次元モデリングと 複合現実感のための仮想映像生成について

物体の 3 次元モデリングと 複合現実感のための仮想映像生成について. 中部大学　情報工学科 岩堀祐之 (Yuji Iwahori) iwahori@cs.chubu.ac.jp. 目次. 照度差ステレオ 照度差ステレオの発展 照度差ステレオのカラー化 基本原理 二色性反射モデル ( モノクロ ) NN ベース照度差ステレオ ( モノクロ ) RBF-NN による学習 対象物体の表面法線ベクトルと反射係数の推定 NN ベースカラー照度差ステレオ 実験. 仮想画像生成 NN ベースレンダリング 反射特性 NN の構築と学習 実験.

kort
Download Presentation

物体の 3 次元モデリングと 複合現実感のための仮想映像生成について

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 物体の3次元モデリングと複合現実感のための仮想映像生成について物体の3次元モデリングと複合現実感のための仮想映像生成について 中部大学　情報工学科 岩堀祐之 (Yuji Iwahori) iwahori@cs.chubu.ac.jp

  2. 目次 • 照度差ステレオ • 照度差ステレオの発展 • 照度差ステレオのカラー化 • 基本原理 • 二色性反射モデル(モノクロ) • NNベース照度差ステレオ(モノクロ) • RBF-NNによる学習 • 対象物体の表面法線ベクトルと反射係数の推定 • NNベースカラー照度差ステレオ • 実験 • 仮想画像生成 • NNベースレンダリング • 反射特性 • NNの構築と学習 • 実験

  3. NNベース照度差ステレオ ～NNを利用した形状復元～

  4. モデルの獲得(モデル化) • モデル • 物体の形状、反射特性 • 文献[1](佐藤ら 1994)、文献[2](佐藤ら 1997) • パラメトリック反射特性関数 • 形状計測(レンジファインダー) • 文献[3](西山ら 1999)、文献[4](小俣ら2000) • 大量の画像 簡易で高性能な画像入力技術が望まれる

  5. 照度差ステレオの発展 • 照度差ステレオ(文献[5] Woodham 1980) • 視点固定、異なる光源条件下で撮影された複数枚濃淡画像から物体の局所的な表面法線ベクトルを推定 • 経験的照度差ステレオ(文献[6] Woodham 1994) • 反射特性を仮定しない、光源方向も指定しない • Look Up Table(LUT)により濃淡値の組と表面法線ベクトルの関係を推定

  6. 照度差ステレオの発展 • ニューラルネットワーク(NN)ベース照度差ステレオ (文献[7][8] 岩堀ら 1997, 1999) • LUTをNNにより汎化 • 物体と同じ反射特性の球画像でNNを学習 • 反射特性を仮定せず、光源方向も指定せず • 物体の局所的な表面法線ベクトルと反射係数を推定 • ただし、反射係数はモノクロのもの

  7. 照度差ステレオのカラー化 • 文献[9](富田ら 1992) • 特殊な色の光源を使う • 文献[10](Barsky et.al. 2001) • 完全拡散(ランバート)反射を仮定 • NNベース照度差ステレオを拡張 (文献[15] 岩堀ら 2004) カラーの拡散反射係数を推定

  8. 基本原理：二色性反射モデル • 拡散反射 • 照明光が物体表面から内部に入る • 物質固有の反射率の変調を受ける • 全ての方向に均等に反射光が射出 • 反射光の色が物体色 • 鏡面反射 • 物体表面において媒体間の屈折率の関係で反射 • 表面法線に対して正反射方向に • 反射光の色は光源色

  9. E : 観測される濃淡値 • Ew : 光源の強度 • ρ : 反射係数 ( 反射率 ) • d, m : 混合比 ( n, l, v の関数 ) → → → • n : 表面法線ベクトル • l : 光源方向ベクトル • v : 視線方向ベクトル → → → 二色性反射モデル(モノクロ) 拡散成分と鏡面成分の線形和 拡散 鏡面 3つのベクトルからなる関数

  10. NNベース照度差ステレオ (モノクロ)(岩堀ら 1999) → • 方向未知の4つの光源のもとでの濃淡画像からnとρを推定 • 式(2)より、lと vが固定なら画像の濃淡の原因は n • 4つの光源のもとでは → → →

  11. ρ RBF-NNによる学習 • RBF-NN −非線形ノンパラメトリック近似が可能 • 表面法線と輝度値の組の関係を学習 • 物体と同じ反射特性を持つ球画像を使用 • 球は様々な表面法線ベクトルを持つ • 半径と画像座標から導出可能 • 反射係数ρは1.0, 0.8, 0.6, 0.4から1つ選択し、画像濃淡値をρ倍して学習用濃淡値の組を作成 • 球の様々な点から学習データを構築

  12. ρ 対象物体の表面法線ベクトルと反射係数の推定 • 学習時と同じ4方向の光源で物体を撮影 • 同一画素の濃淡値4つをNNに入力 • その画素の局所的な表面法線ベクトルと反射係数が出力される • 物体が映っている全ての全ての画素に対してこの処理を行う

  13. → • E= {ER,EG,EB} : 画像RGB値 • Ew= {EwR, EwG, EwB} : 光源の強度 • ρ= {ρR, ρG, ρB}:カラーの反射係数 ( 反射率 ) → → → → → → • CL : 光源色のRGB値 NNベースカラー照度差ステレオ • 式(1)をカラー化 • lと vが固定なら画像の濃淡の原因は n

  14. 問題点 • 学習データの増大 • モノクロ(8bit)画像→256階調 • フルカラー(24bit)画像→1670万色 • 様々な表面法線ベクトルとの組合せまで考えるとデータの量や学習時間は非現実的 • NNを2段階で構成 • カラーの拡散反射係数 • 表面法線ベクトル

  15. ρR ρG ρB カラーの反射係数推定用NN • 球画像での学習 • 様々な反射係数をもつ球を用意できない • 球は白色(ρ= {1,1,1}) そこで、 • 学習データにはランダムな反射係数ρ’= {rand1, rand2, rand3} を与える(着色) → →

  16. 反射成分分離と着色 • 球画像の反射成分分離 • 球と光源位置固定、別視点から撮影 • 鏡面反射の位置が移動 • 拡散反射は視点位置によらず一定 • 球なので画素の対応をとることが可能 • 暗い方の画素値が拡散反射成分 元画像 拡散成分 鏡面成分 着色

  17. ρR ρG ρB カラーの反射係数推定用NNの学習と反射係数の推定 • 表面法線と輝度値の組の関係を学習 • 物体と同じ反射特性を持つ球でランダムに着色した画像を使用 • 球の様々な点から学習データを構築 • 物体のカラー反射係数を推定 • 学習時と同じ4方向の光源で物体を撮影 • 同一画素の濃淡値4つをNNに入力 • その画素の局所的な表面法線ベクトルと反射係数が出力

  18. 表面法線ベクトルを求めるNN • 球画像での学習 • 物体が実際に持つ反射係数の場合についてのみ輝度値の組と表面法線ベクトルの関係を学習すれば良い • そこで、 • 学習データには物体が持つ反射係数からランダムに与える(着色) • 学習データの組を大幅に削減 • 学習時間もモノクロの手法と大差ない規模に

  19. 表面法線ベクトル推定用NNによる汎化 • 物体の表面法線ベクトルを推定 • 学習時と同じ4方向の光源で物体を撮影 • 同一画素の濃淡値4つをNNに入力 • その画素の局所的な表面法線ベクトルと反射係数が出力される • 物体が映っている全ての全ての画素に対してこの処理を行う

  20. 実画像での実験 • 学習用の球は同種の白色塗料を表面に塗布して反射特性を同一に • 学習データ組数 : 1000, 学習回数 : 400回 (約30分), スプレッド定数 : 0.4

  21. 実画像での実験 • 誤差が現れるところ • 股や皺の部分など(局所的凹状態)に二次反射以上の影響 • 鼻や頬による影(キャストシャドウ) 入力画像の1枚 カラー反射係数 Slope Aspect

  22. NNベースレンダリング ～NNを利用した仮想画像生成～

  23. 仮想画像生成 • 従来のモデルベースレンダリング • 物体の幾何形状 • 物体表面の反射を数学的に定式化 • Torrance-Sparrowモデル, Phongモデル • 文献[11] (池内ら　1999年) • レンジファインダーで形状計測 • カラー画像からモデルパラメータを推定 • パラメトリック反射特性関数では表現が困難な場合もある

  24. NNベースレンダリング • 表面法線ベクトルとカラー反射係数から物体の任意視点・任意光源方向での仮想画像生成 • 物体の見えの生成にもNNを利用 • 照度差ステレオで得られたカラー反射係数と表面法線ベクトルを使用 • パラメトリック反射特性関数を使用しない

  25. → → → 入射、反射の関係 • 式(2)より、ある面素の明るさは • 光源方向 l • 表面法線ベクトル v • 視線ベクトル nのなす角で決定 i : 入射角 e : 反射角 g : 位相角

  26. → → → → → → → → 反射特性R • i,e,g はn,l,vの関数 • 反射特性Rはn,l,vおよびρの関数 ↓ • 反射特性Rはi, e, gおよびρの関数

  27. 拡散 鏡面 NNの構築 • 反射特性R • 拡散成分 • RmのみをNNで推定

  28. NNの学習 • i, e, gと鏡面反射成分の関係を学習 • 物体と同じ反射特性を持つ白色球画像を使用 • 反射成分を分離 • 拡散反射成分は学習しない 　→　物体色は鏡面反射成分に無関係 • i, e, g が取り得る角度

  29. 仮想画像のRGB値推定 • 生成する画像の各画素の l,n,v=(0, 0, 1) から i, e, g を計算 • NNによってRmを推定 • Rm, Rd, ρより • 物体が映る全ての画素に対して処理を行う → → → →

  30. 異なる視点の仮想画像生成 • 視点を変更すると物体が回転した画像を生成する必要がある ↓ • 表面法線ベクトルを積分して物体の高さ分布を作成 • これを各座標軸中心に回転 • 回転前後の画素の対応を取る • 表面法線ベクトルとカラー反射係数を補間

  31. 任意光源のもとでの仮想画像 → • l = (-0.55, 0.35, 0.75) • 誤差の平均0.0721、分散0.0656 実画像 仮想画像 誤差

  32. 光源方向の変わる映像

  33. 任意視点での仮想画像 → • l = (-0.40, 0.05, 0.92) • 視線方向を様々に変化

  34. 視点の変わる映像

  35. まとめ • NNベース照度差ステレオをカラー画像用に拡張 • 対象物体のカラーの拡散反射係数と表面法線ベクトルを推定 • パラメトリックな反射特性関数を使用しない • NNを2段階に分けることで従来法と同程度の学習で高精度に推定可能

  36. まとめ • NNによる任意光源任意視点のもとでの仮想画像生成 • NNによる非線形ノンパラメトリック近似で高精度の鏡面反射 • 照度差ステレオから仮想画像生成までNNによる汎化が有効に働く • 複合現実感への簡易で高性能な3次元画像入力装置の基本技術に

  37. 参考文献 [1] Y.Sato and K. Ikeuchi, “Temporal-color space analysis of reflection”, Journal of Optical Society of America, A, vol.11, no.11, pp.2990-3002, Nov. 1994 [2] Y.Sato, M.D. Wheeler and K. Ikeuchi, “Object Shape and Reflectance Modeling from Observation”, Proc. Of ACM SIGGRAPH 97, pp.379-387, Aug. 1997 [3] 西山 芳生, 斉藤 英雄, 小沢 慎治, “多視点カラー画像からの3次元形状復元及び物体色の推定”, 信学論, vol.J82-D-II, no.6, pp.990-1000, Jun. 1999 [4] 小俣 和子, 斉藤 英雄, 小沢 慎治, “光源の相対的回転による物体形状と表面反射特性の推定”, 信学論, vol.J83-D-II, no.3, pp.927-937, Mar. 2000 [5] R.J. Woodham, “Photometric method for determinating surface orientation from multiple images”, Opt. Engineering, pp.139-144, 1980 [6] R.J. Woodham, “Gradient and curvature from the photometric-stereo method, including local confidence estimation”, J, OptSoc.Am, pp.3050-3068, 1994

  38. 参考文献 [7] Y.Iwahori, R.J. Woodham, M.Ozaki, H.Tanaka and N. Ishii, “Neural network based photometric stereo with a nearby rotational moving light source”, IEICE Trans. Inf. & Syst., vol.E80-D, no.9, pp.948-957, 1997 [8] Y. iwahori, R.J. Woodham, Md.S. Bhuiyan and N. Ishii, “Neural network based photometric stereo for object with non-Uniform reflectance facator”, Proceeding of 6th ICONIP’99, vol.III, pp.1213-1218, 1999 [9] 富田 安, 金子 俊一, 本多 庸悟, “カラー照度差ステレオによる3次元形状の復元”, 情処学コンピュータビジョン研報, 080-016, pp.115-120, Nov. 1992 [10] S. Barsky and M. Petrou, “Colour photometric stereo: simulataneous reconstruction of local gradient and coulour of rough textured surfaces”, The Eighth IEEE Int. Conf. On Computer Vision, vol.II, pp.600-605, 2001 [11]池内 克史, 佐藤 洋一, 西野 恒, 佐藤いまり, “複合現実感における光学的整合性の実現”, 日本バーチャルリアリティ学会論文誌「複合現実感」特集号, vol.4, no.4, pp.623-630, Dec.1999

  39. 参考文献 [12] 富永 昌治, 大橋 慎一郎, “物体のカラー反射モデル”, 情処学論, vol.33, no.1, pp.37-45, 1992 [13] S. Chen, C.F.N. Cowan and P.M. Grant, “Orthogonal least squares learning algorithm for radial basis function networks”, IEEE Trans. on Neural Network, vol..2, no.2, pp.302-309, 1991. [14] 福井 真二, 岩堀 祐之, ロバート J. ウッダム, 岩田 彰, ”ニューラルネットワークとイルミネーションプランニングを用いた濃淡画像からの曲面分類”, 信学論, vol.J83-D-II, no.2, Feb. 2000 [15] Y. Iwahori, H. Kawanaka, R. J. Woodham, K. Funahashi, “Neural Network Based Modeling and Color Rendering for Mixed Reality”, Proceedings of the 17th ICPR2004 , Vol.3, Aug. 2004. [16] Y. Iwahori, Y. Watanabe, R. J. Woodham and A. Iwata, “Self-Calibration and Neural Network Implementation of Photometric Stereo", Proceedings of the 16th ICPR2002 , Aug. 2002.

  40. 定量的評価実験

  41. シミュレーション実験 • シミュレーション環境 • CPU AthlonXp2500+ • 主メモリ 512MB • Matlabを使用 • 入力画像 • Torrance-Sparrowモデルを用いて作成

  42. シミュレーション実験拡散反射係数の推定 • 学習データ組数 : 2000 • 学習回数 : 400回 (約15分) • スプレッド定数 : 0.4 • error = 0.0373 ERGB : 推定した反射係数のRGB TRGB : 理論値のベクトル N : 対象物体の画像数 入力画像の1枚 推定した カラー反射係数 → →

  43. シミュレーション実験表面法線ベクトルの推定シミュレーション実験表面法線ベクトルの推定 • 性能比較 • 提案手法 • 手法2(従来のモノクロ手法) • 二色性反射モデルを採用しないとどうなるか？ • 手法3(手法2をもとにモノクロ二色性反射に基づく方法) • 拡散反射係数と表面法線ベクトルとを同一のNNで推定するとどうなるか？

  44. シミュレーション実験表面法線ベクトルの推定シミュレーション実験表面法線ベクトルの推定 • 手法2の反射モデル • 鋭い鏡面反射領域で大きな誤差 • 提案手法では鏡面反射領域も精度高く推定 提案手法 手法2

  45. シミュレーション実験表面法線ベクトルの推定シミュレーション実験表面法線ベクトルの推定 • 手法3では全体的な精度が提案手法に劣る • 提案手法はカラー画像を用いるが学習時間の差はない • NNを2段階に分けるので学習効率が上昇 提案手法 手法3

  46. シミュレーション実験 • 精度評価 • 形状既知の球のレンダリングで精度比較 • 鏡面反射成分が実画像にどれだけ近いか • 提案手法 • 学習データの組数1000 • 学習回数200回(約10分) • スプレッド定数0.4 • Torrance-Sparrow • G=1, F=1.06, σ=0.02729 • Phong • n=289 Torrance-SparrowやPhongのパラメータは最小自乗法により推定

  47. シミュレーション実験 実画像 Torrance- Sparrow Phong 提案手法

  48. 高さ分布の妥当性 • 対象物体の様々な姿勢でNNベースカラー照度差ステレオを実施 • それらの結果を積分 • 各高さ分布を相互に回転させてその一致度を確認 • 高さが連続する部分では誤差が3%以下

More Related