1 / 29

「写真からの３次元形状復元」 ①精度向上　②自動化　③利便性向上

「写真からの３次元形状復元」 ①精度向上　②自動化　③利便性向上. M1 三村　純一. はじめに. 写真からの３次元形状復元. 真解. 鏡. 鏡像解. ３次元形状復元. ワイヤーフレーム化 ⇒. 写真撮影 ⇒. カメラ. 鏡像関係. ②. ①. ５. ５. ７. ７. １. ３. ３. １. ６. ６. ８. ８. ２. ４. ４. ２. カメラ. 鏡. 同じ写真が出来る。. 問題 ： 現在、鏡像判定は手動で行っている。 解決策： 自動判別できる方法を導入する。. カメラモデル

grant
Download Presentation

「写真からの３次元形状復元」 ①精度向上　②自動化　③利便性向上

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 「写真からの３次元形状復元」①精度向上　②自動化　③利便性向上「写真からの３次元形状復元」①精度向上　②自動化　③利便性向上 M1 三村　純一

  2. はじめに • 写真からの３次元形状復元 真解 鏡 鏡像解 ３次元形状復元 ワイヤーフレーム化 ⇒ 写真撮影 ⇒

  3. カメラ • 鏡像関係 ② ① ５ ５ ７ ７ １ ３ ３ １ ６ ６ ８ ８ ２ ４ ４ ２ カメラ 鏡 同じ写真が出来る。 問題 ：現在、鏡像判定は手動で行っている。 解決策：自動判別できる方法を導入する。

  4. カメラモデル 因子分解法を用いるために、カメラモデルを近似している。 透視射影モデル　⇒　Paraperspectiveモデル 問題 ： 近似モデルによる誤差により、復元精度が悪くなる。 解決策： 透視射影での因子分解法を考える。 近似！ 本来モデル

  5. カメラ運動の動画 いろいろ試してみたが・・・。 ①画像全体にアフィン変換 ②２つの変換画像を混合 ③物体を平面毎に分解し、それぞれアフィン変換 問題　：自然な動画とは、いえない・・・ 解決策：物体の平面を三角パッチでさらに分割。 　 次に画質を上げる。 問題 ：三角パッチの部分が手動操作となる。 解決策：写真ごとの自動三角網を可能にする。 動画 さらに！

  6. ３次元形状のCG（テクスチャマッピング） 問題 ：ワイヤーフレームだと視覚的に分かりにくい。 解決策：テクスチャマッピングを行い、CGで表現する。 • アプリケーション作成 問題 ：今までの研究を他の人に教えるのは、困難である。 解決策：一連の流れをGUIで構築して、分かりやすくする。

  7. 問題点の整理 解決策！ 今回 • 精度向上 カメラ運動の動画 　　　⇒　３角パッチ化、画質の向上 カメラモデル 　　　⇒　透視射影の因子分解法 • 自動化 鏡像判定 　　　⇒　 〃 ３角パッチの抽出 　　　⇒　自動３角網生成 • 利便性向上 ３次元形状のCG 　　　⇒　surface (matlab関数) アプリケーション作成 　　　⇒　guide (matlab gui作成ツール) １ ２ ２’ 次回 ３ ４

  8. カメラ運動の動画 • 従来までの方法 最も良かった動画・・・平面毎の切り出し。 動画 大体は分かるが、微妙・・・

  9. 画質の向上！ ３角パッチ切り出し！ 低 粗 120×160 １倍 ４角形 ３面 240×320 ４倍 ３角形 ６面 480×640 １６倍 動画 高 密 次へ・・・ 考えられる方法は、２種類！

  10. 三角パッチで切り出した画像６枚 480×640を使用！ 動画 完成！結構良い！ アフィン変換で変換に使う行列が、 一般逆行列から逆行列になったため。 なぜ？ ？ ・・・・ ただし、自動三角網という課題が残る。

  11. 問題点の整理 解決策！ 今回 • 精度向上 カメラ運動の動画 　　　⇒　３角パッチ化、画質の向上 カメラモデル 　　　⇒　透視射影の因子分解法 • 自動化 鏡像判定 　　　⇒　 〃 ３角パッチの抽出 　　　⇒　自動３角網生成 • 利便性向上 ３次元形状のCG 　　　⇒　surface (matlab関数) アプリケーション作成 　　　⇒　guide (matlab gui作成ツール) １ ２ ２’ 次回 ３ ４

  12. 透視射影の因子分解法 解が落ち着くまで続ける！！ • 本来の因子分解法 [特徴点位置,カメラ位置,カメラ向き]=function(写真座標) 近似モデルで撮影された写真 ≒ 本来のモデルで撮影された写真 上記の条件下で、再び写真を撮影する。 このとき、近似モデルでの撮影を行う。

  13. 近似モデルでの撮影 画像面 基準面 特徴点面 << S特徴点 X近似 カメラ X特徴点 λ基準点 λ特徴点 << X基準点 S基準点 L λ基準点 λ特徴点 基準面までの深さ 焦点距離 特徴点面までの深さ 近似モデルでの写真 ⇒　X近似-X基準点の相対座標　＝ λ特徴点 （ X特徴点-X基準点） λ基準点

  14. 鏡像解の判定 ここで、解が落ち着いた時、本来のモデルで撮影される写真と元写真との相関を調べる。 （相関の評価には、２つの写真における特徴点座標の差を２乗したものを考える） 判定方法 相関が大きい方の解　⇒　真解 相関の小さい方の解　⇒　鏡像解 鏡像解の自動判定が可能となる。

  15. 因子分解法の精度検証 • 実験１（誤差なし検証） コンピュータ上に仮想的な物体を配置し、仮想的なカメラで撮影。 仮想的な物体 仮想的なカメラ 精度の評価については、復元解から再撮影した写真と元写真との 相関を考える。

  16. 検証結果（真解の場合） １ ２ ３ ４ ５ ６ ７ ８ ９ １０ 試行回数

  17. 検証結果（鏡像解の場合） １ ２ ３ ４ ５ ６ ７ ８ ９ １０ 試行回数

  18. 検証結果 図.　試行回数と２解の関係

  19. 実験２（誤差あり検証） 実写真を用いての実験。特徴点抽出、隠れ点処理などの誤差が含まれる問題。 因子分解法 ３次元形状復元 写真８枚 近似モデルでの 写真撮影 繰り返す！！ 精度の評価については、実験１と同様。

  20. 検証結果（特徴点の位置） 真解 鏡像解 ２ ３ 試行回数 １ 見た目では、ほとんど差が分からない・・・

  21. 検証結果 鏡像判別・精度向上が確認できる 図.　試行回数と２解の関係

  22. 問題点の整理 解決策！ 今回 • 精度向上 カメラ運動の動画 　　　⇒　３角パッチ化、画質の向上 カメラモデル 　　　⇒　透視射影の因子分解法 • 自動化 鏡像判定 　　　⇒　 〃 ３角パッチの抽出 　　　⇒　自動３角網生成 • 利便性向上 ３次元形状のCG 　　　⇒　surface (matlab関数) アプリケーション作成 　　　⇒　guide (matlab gui作成ツール) １ ２ ２’ 次回 ３ ４

  23. ３次元形状CG • ３次元形状の表面に、質感を与える画像を貼り付ける。（テクスチャマッピング） 関数：surface 例：ピエロの顔 + = 凸凹な顔 顔画像 凸凹な表面

  24. テクスチャマッピングされた復元形状 サイド３ サイド４ トップ サイド２ サイド１ ただし、撮影してない部分は復元不可能。

  25. 問題点の整理 解決策！ 今回 • 精度向上 カメラ運動の動画 　　　⇒　３角パッチ化、画質の向上 カメラモデル 　　　⇒　透視射影の因子分解法 • 自動化 鏡像判定 　　　⇒　 〃 ３角パッチの抽出 　　　⇒　自動３角網生成 • 利便性向上 ３次元形状のCG 　　　⇒　surface (matlab関数) アプリケーション作成 　　　⇒　guide (matlab gui作成ツール) １ ２ ２’ 次回 ３ ４

  26. アプリケーションの作成 • Windows版matlabを用いて、GUIを作成する。 GUI作成ツールの起動 >>guide いろいろなオブジェクトを 配置できる⇒

  27. 現在、編集可能な画像 他の画像一覧 • プロトタイプ版 特徴点座標 一覧 座標編集 画面へ 各シミュレーションの実行画面へ

  28. シミュレーション画面 • 編集画面 • ３Dシミュレーション • カメラ運動の動画（ワイヤーフレーム） • 〃　　　　　 （実画像） • 特徴点の座標を容易に抽出可能。 • 直入力による指定も可能。 他にも便利機能があれば、今後追加・・・・

  29. 今後の課題 • 自動三角網についての理解、説明。 • アプリケーションの完成。 • 大西トラッキングの手伝い。 • その他（精度向上・安定性向上・・・etc） ⇒ 射影変換・アフィン変換 ⇒ 自動三角網・その他 ⇒ 分かるところは・・・ ⇒ SVM・最良近似 ～おわり～

More Related