単眼カメラと ストローク入力を用いた 三次元復元による AR ジオラマシステム

1. 単眼カメラとストローク入力を用いた三次元復元によるARジオラマシステム単眼カメラとストローク入力を用いた三次元復元によるARジオラマシステム メディア統合環境講座 立石 昂裕

2. 一般的なAR(Augmented Reality)の限界 • 実環境の幾何形状がAR環境に反映されない • 実環境とバーチャル物体位置合わせのみ ARToolKit*3 THE EYE OF JUDGEMENT *2 セカイカメラ *1 実環境の幾何形状を取り込んだAR環境を提案 *4 *1 Ref: http://support.sekaicamera.com/wp-content/uploads/2009/12/2.jpg *2 Ref: http://xenonxblog.files.wordpress.com/2008/09/the-eye-of-judgement-interior.jpg *3Kato, H. et al., ``Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System’’, Proceedings of the 2nd International Workshop on Augmented Reality, (1999) 2 *4: http://www.hitl.washington.edu/artoolkit/images/nakaohome.jpg

3. ARジオラマシステム

4. ARジオラマシステムに必要な条件 • 実物体の三次元形状復元 • 配置するバーチャル物体 • 配置される平面 • 物体の動作記述 • 物理シミュレーションに基づく運動 • ユーザによる容易なバーチャル物体の挙動指示

5. 先行研究 • 単眼カメラによる三次元形状復元 • 不殿らのシステム • バーチャル物体の動作記述 • Motion doodles *5 *6 *5 *6 *5不殿ら,``ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム’’, 日本バーチャルリアリティ学会論文誌 Vol. 10(4), pp. 599-608,(2005) *7 Matthew Thorne et al. ``Motion Doodles: An Interface for Sketching Character Motion’’, Proc. of ACM SIGGRAPH, (2004)

6. アプローチ • 三次元形状の復元 • SLAMにより得られる自然特徴点群を利用 • ストローク入力による点群の抽出 • 点群から実物体の三次元形状復元 • 動作記述 • 物理シミュレーションに基づく運動 • ストローク入力による移動経路の指定 SLAM: Simultaneously Localization And Mapping

7. ARジオラマシステムの実装全体図

8. ARジオラマシステムの実行例

9. ARジオラマシステムにおけるユーザ操作手順 モデルの配置 ステージの設定 操作切り替え モデルの三次元形状復元

10. ストロークの生成 • バーチャル環境内に生成 • ストロークを生成する平面の定義

11. ステージの設定 • 囲まれた特徴点群の主成分分析 • 外れ値の除去

12. 実物体の三次元形状復元 • ドロネー三角形分割による面の推定 • 推定した面の実在判定

13. バーチャル物体の動作記述 • 移動経路をストロークで指定 • 物理シミュレーションに基づく運動

14. まとめ • 実環境中の実物体をジオラマの様に操作するシステムを提案 • 実環境の幾何形状を利用したAR • ストロークによる統一したインタフェースの提案 • 三次元形状復元の指定 • 経路指定による動作記述

15. 課題 • 三次元形状復元の精度向上 • 四面体ベースでの面生成 • 誤推定された面の検出アルゴリズム改良 • ユーザ操作負担の減少 • ステージの設定の自動化 • ストロークの内外のみによらない復元対象の特徴点抽出