３次元ビデオの連結による無限再生可能な自由視点映像の生成

３次元ビデオの連結による無限再生可能な自由視点映像の生成３次元ビデオの連結による無限再生可能な自由視点映像の生成服部　雄一　　中澤　篤志　　竹村　治雄大阪大学大学院情報科学研究科

複数シーンの連結によるインタラクティブ3次元ビデオの生成予稿タイトル：３次元ビデオの連結による無限再生可能な自由視点映像の生成複数シーンの連結によるインタラクティブ3次元ビデオの生成予稿タイトル：３次元ビデオの連結による無限再生可能な自由視点映像の生成服部　雄一　　中澤　篤志　　竹村　治雄大阪大学大学院情報科学研究科

３次元ビデオ（1/2） • ３次元ビデオ • 任意の視点からシーンを閲覧可能 • 没入環境での閲覧 • HMD等を用いることで，被写体を実物大で再現でき，実際に映像の場面に入り込む感覚で鑑賞できる [1] Matsuyama, T. and Takai, T.: Generation, visualization, and editing of 3D video, 3D Data Processing Visualization and Transmis sion, 2002. Proceedings. First International Symposium on, pp.234–245 (2002). CVIM2008年1月研究会

３次元ビデオ（2/2） CVIM2008年1月研究会

インタラクティブビデオへ（1/3） • ３次元ビデオへの双方向性の付加 • 鑑賞者がビデオ映像に対して直接「触れる」ことで被写体が何らかのリアクションを起こす • 見るだけのメディアから「動かせる」メディアへ提示 HMD 　何らかの操作 CVIM2008年1月研究会

インタラクティブビデオへ（2/3） • どうすればリアクションを起こせるか？ • 被写体の動きをユーザの操作に応じて変化させる • 複数の３次元シーンをあらかじめ用意しておく • ユーザの持つ３次元入力装置の動きに合わせてシーンを切り替える • シーンをスムーズに連結する必要がある３次元シーンデータベース閲覧者の入力 HMD ３次元入力装置（位置トラッカ付） CVIM2008年1月研究会

インタラクティブビデオへ（3/3） • 異なる３次元シーンクリップをスムーズに連結 • 繋がりやすいフレームを探索 • 連結フレーム間で補間フレームを内挿する • ２つの３次元形状データの補間データが必要 • スケルトンデータを使用 • フレーム探索と形状データの補間を容易にする ? ? ? CVIM2008年1月研究会

研究の目的とアプローチ • 研究目的 • インタラクティブ３次元ビデオの実現 • アプローチ • 異なる３次元シーンのスムーズな連結 • 対象３次元データは人体等の多関節モデルを前提とする • ３次元データを解析して得たスケルトンデータを使用 CVIM2008年1月研究会

3次元ビデオクリップB 3次元ビデオクリップA スケルトン化（１）連結可能フレームの探索スケルトン化（２）スケルトンベースでの補間（３）補間形状の生成（４）連結クリップの生成時系列３次元データ連結アルゴリズム + CVIM2008年1月研究会

（１）連結可能フレームの探索 CLIP-A CLIP-B • ボリュームデータを細線化してスケルトンデータを取得 • 各フレームのスケルトンデータ同士を比較 • 位置と向きを合わせる • 重心と最適回転量から • スケルトンの類似度を求める • スケルトンのパーツ数 • パーツ構成点間の距離 • 複数フレームで比較する前後フレームのマッチング範囲該当フレームだけでなく，その周囲のフレームも比較する CVIM2008年1月研究会

（２）スケルトンベースでの補間（1/2） • パーツ間の対応をとる • 重心と向きの情報から２つのスケルトンを揃える • スケルトンの点を間引き • 簡略化して構成する点の個数を揃える • パーツ内で点対応をとる CVIM2008年1月研究会

（２）スケルトンベースでの補間（2/2） 4. 対応点の補間 • スケルトンデータの構成点間の距離を保持しながら補間を行う連結先スケルトン構成点連結元線形補間ベクトル補間 CVIM2008年1月研究会線形補間ベクトル補間

× （３）補間形状データの生成（1/2） • メッシュ形状の各頂点が近傍のスケルトン構成点を追従 • どの構成点を追従するかによっていくつかのグループに分かれる • 各頂点に対して座標変換スケルトン構成点 CVIM2008年1月研究会

（３）補間形状データの生成（2/2） スケルトン座標系 • スケルトン座標系内で対応点探索・補間座標設定 • 補間座標を絶対座標系に戻す • 「補間スケルトン座標系」を求め，逆変換を施す CVIM2008年1月研究会

連結アルゴリズムの実行結果 CLIP1 CLIP2 CVIM2008年1月研究会

応用（１）エンドレスビデオ CVIM2008年1月研究会

応用（２）ランダムビデオ CVIM2008年1月研究会

応用（３）インタラクティブビデオ CVIM2008年1月研究会

まとめと今後の課題 • ３次元シーン連結アルゴリズム • 3次元モデルをスケルトン化して連結可能フレーム探索 • スケルトン同士の補間軌跡の導出 • スケルトンの補間軌跡に追従してメッシュモデルが動く • インタラクティブビデオ • ３次元ビデオに双方向性を付加 • 今後の課題 • 連結アルゴリズムの改良 • 補間部のメッシュ崩れの改善 • 複数フレーム単位の補間 • アルゴリズムの定量評価 CVIM2008年1月研究会

CVIM2008年1月研究会

Motion Graphs [1] 複数のモーションキャプチャデータを合成し，新たなモーションを生成する Spatio-Temporal View Interpolation [2] 自由視点映像の2カメラ・2フレーム間を時空間補間ボクセルデータからシーンフローを求め補間データを生成関連研究 [2] Vedula, S., Baker, S. and Kanade, T.: Spatiotemporalview interpolation, EGRW ’02: Proceedingsof the 13th Eurographics workshop onRendering, pp.65–76 (2002). [1] Kovar, L., Gleicher, M. and Pighin, F.: Motion graphs, SIGGRAPH ’02: Proceedings of the29th annual conferenceon Computer graphics and interactive techniques, pp.473–482 (2002). CVIM2008年1月研究会

補間フレームを内挿しない場合のインタラクティブビデオ補間フレームを内挿しない場合のインタラクティブビデオ CVIM2008年1月研究会

３次元ビデオの連結による 無限再生可能な 自由視点映像の生成