1 / 22

位相スタンプ型レンジファインダに基づく実時間三次元形状獲得とレンダリング

位相スタンプ型レンジファインダに基づく実時間三次元形状獲得とレンダリング. 大阪電気通信大学　　来海　暁. 三次元物体の形状・テクスチャの獲得. 物体・シーンの計測・認識，画像生成 ビデオカメラ利用の場合. 実時間での用途 計測・認識・・・ 変形・運動物体，車載用途 画像生成・・・遠隔地間での 共同作業，物品鑑賞 高次の反射率情報・・・実時間計測が困難 BRDF ・・・光の入射方向・計測方向を変化 分光反射率・・・波長掃引. 三次元物体の形状・テクスチャの獲得. 物体・シーンの計測・認識，画像生成 ビデオカメラ利用の場合. 実時間での用途

marilu
Download Presentation

位相スタンプ型レンジファインダに基づく実時間三次元形状獲得とレンダリング

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 位相スタンプ型レンジファインダに基づく実時間三次元形状獲得とレンダリング位相スタンプ型レンジファインダに基づく実時間三次元形状獲得とレンダリング 大阪電気通信大学　　来海　暁 第25回センシングフォーラム，佐賀大学本庄キャンパス

  2. 三次元物体の形状・テクスチャの獲得 • 物体・シーンの計測・認識，画像生成 • ビデオカメラ利用の場合 • 実時間での用途 • 計測・認識・・・変形・運動物体，車載用途 • 画像生成・・・遠隔地間での共同作業，物品鑑賞 • 高次の反射率情報・・・実時間計測が困難 • BRDF・・・光の入射方向・計測方向を変化 • 分光反射率・・・波長掃引

  3. 三次元物体の形状・テクスチャの獲得 • 物体・シーンの計測・認識，画像生成 • ビデオカメラ利用の場合 • 実時間での用途 • 計測・認識・・・変形・運動物体，車載用途 • 画像生成・・・遠隔地間での共同作業，物品鑑賞 • 高次の反射率情報・・・実時間計測が困難 • BRDF・・・光の入射方向・計測方向を変化 • 分光反射率・・・波長掃引

  4. 研究の背景と目的 光切断法 パターン投影法 光伝播時間法 • 三次元計測の実時間化 • 光切断法＋スマートセンサ→フレームレートで距離画像生成 • シート照明の入射時刻（タイムスタンプ）検出 • Grusset al. (1991)，Kang et al. (1994)，Yokoyama et al. (1994)，etc. • シート照明の入射位置検出＋高速フレームレート＋明暗画像 • Oike et al. (2003) • 位相スタンプ型レンジファインダ • 光切断法＋時間相関イメージセンサ • 来海，安藤 (2006) • 明暗画像も同時に獲得 • 背景光の時間・空間変動，反射率の空間勾配に影響されない • 本研究・・・位相スタンプ型レンジファインダに基づく実時間ビジョンシステム • 入力・・・フレームレートでの距離画像・明暗画像獲得 • 出力・・・フレームレートでの任意視点画像生成

  5. 発表内容 • 研究の背景と目的 • 位相スタンプ型レンジファインダ • 時間相関イメージセンサ • 位相スタンプ映像法 • 実時間レンジファインダの原理 • 構築システム • 任意視点画像の生成 • メッシュデータの生成とレンダリング • 全周モデリングへの応用 • 実験結果 • 精度評価 • 運動・変形物体の獲得と表示 • 全周データの獲得と表示 • まとめ

  6. 時間相関イメージセンサ 全画素共通の参照信号 入射光強度 1フレーム 出力 時間相関 平均強度 S. Ando and A. Kimachi, IEEE Trans. ED (2003)

  7. 位相スタンプ型レンジファインダ 反射率 来海，安藤， 第25回センシングフォーラム（2006） シート照明 全エネルギー • 入射光強度 背景光強度 入射時刻 投射角 • 三相正弦波参照信号 ：フレームレート

  8. 位相スタンプ映像法 シート照明光入射 入射光強度 参照信号 参照信号位相 位相スタンプ シート照明投射角 1フレーム1回のシート照明光走査で 位相スタンプ画像を生成

  9. フレームレートでの距離・明暗画像生成 1フレーム センサ出力 位相接続 位相スタンプ画像 投射角 画像 距離画像 画像生成 背景光 ・反射率 の影響を受けない シート照明光 明暗画像 全入射光 明暗画像

  10. 構築システム レンズ DPSSレーザ 走査鏡 時間相関 カメラ 順 逆 順 逆 参照信号 1フレーム シート照明光 投射角 対象 物体

  11. 撮像例 @400mm +p/2 p 0 人形の焼物 -p/2 距離画像の 3Dプロット シート光明暗画像 位相スタンプ画像 スプレー缶

  12. センサ出力の較正 @400mm 白色平板 距離画像の3Dプロット シート光明暗画像 位相スタンプ画像 うねり・雑音除去

  13. センサ出力の較正 @400mm 白色平板 シート光明暗画像 位相スタンプ画像 距離画像の3Dプロット うねり・雑音除去

  14. 三次元計測の精度 @400mm 白色平板 シート光明暗画像 位相スタンプ画像 距離画像の3Dプロット （中央150×150画素）

  15. 任意視点画像の生成 センサ出力画像獲得 センサ出力画像獲得 出力較正 出力較正 距離画像・明暗画像生成 距離画像・明暗画像生成 飽和・低輝度画素除去 飽和・低輝度画素除去 メッシュ生成 メッシュ生成 • 明暗画像のテクスチャマッピング • 法線ベクトル分布 • 反射モデルに基づくレンダリング テクスチャ付与 テクスチャ付与 • OpenGL • マウスによる視点移動 • テクスチャ切り替え 描画

  16. グラフィック性能

  17. システム動作例

  18. 変形・運動物体（手指）の撮像と表示

  19. 全周モデリングへの応用 較正物体の撮像 較正物体の撮像 回転軸の推定 回転軸の推定 yes 全周？ 全周？ no 回転 回転 較正　　物体 対象物体の撮像 対象物体の撮像 回転台 メッシュ統合 市販レンジファインダ 用キット

  20. 全周データの獲得と表示

  21. 画像生成に要する時間 平板@400mm ? ms 250ms センサ出力画像獲得 63ms 出力較正 距離画像・明暗画像生成 46ms 200×200画素，12.5 fps ADC on PCI Windows Vista Business Core2 Duo 2.66GHz，2GB 320×256画素，22.9 fps ADC on USB Windows XP 飽和・低輝度画素除去 メッシュ生成 125ms テクスチャ付与 描画 0ms 入力を高速化 484ms (2.06 fps)

  22. まとめ • 位相スタンプ型レンジファインダにおいて，実時間での三次元形状獲得と任意視点画像レンダリングを実装 • 時間相関イメージセンサ・・・200×200画素，12.5 fps • 三次元計測精度・・・ばらつき0.49mm，うねり0.42mm @ 400mm • 変形・運動物体への適用 • 全周データの獲得と表示 • 画面更新レート・・・2.1 fps • 課題 • 表示時間の短縮 • 三次元計測精度のさらなる改善 • 全周モデリングの精度向上 • シート照明光強度分布の補正と反射率の抽出 • カラー画像の取得・・・3chカメラ

More Related