長岡技術科学大学オープン・ハウス

長岡技術科学大学オープン・ハウス 東京都立産業技術高等専門学校専攻科1年　田邉　亮

目的 • OpenCVの基本的な使用方法を習得する • OpenCVを用いてパノラマ合成を行うことで、画像処理の基本的な技術や考え方を学ぶ

背景パノラマ合成 • Googleストリートビュー • カメラのパノラマ機能 • 気象

日程（8/22～26） • 1日目 OpenCVの基本的なプログラム作成 • 2日目 OpenCVを用いたパノラマ合成 • 3日目パノラマ写真の評価 • 4・5日目プレゼン作成・発表

パノラマ合成 • パノラマ合成複数の写真（動画のフレーム）をつなぎ合わせて、広い範囲を写した写真にする「ブロックマッチング」 2つの画像を重ねながら少しずつずらし、　　最も似ている位置を合成位置にする

パノラマ合成 • SSD(Sum of Squared Difference) 縦方向の輝度値の総和→横方向の特徴量横方向の輝度値の総和→縦方向の特徴量特徴量を移動させながら比較して、最も似た形になる位置を合成位置とする画像1 画像2

パノラマ合成 • SSD(Sum of Squared Difference) 画像1の特徴量画像2の特徴量合成位置m 重なった部分の2乗誤差の総和が最小になる位置を合成位置にする

パノラマ合成 ※SSDでは・・・ • RGB画像→グレースケール画像 • ずらし量の最大値を設定する画像1の特徴量画像2の特徴量適切な位置の2乗誤差の総和よりも不適切な位置の2乗誤差の総和のほうが小さくなる可能性がある適切な合成位置不適切な合成位置

パノラマ写真の評価 パノラマ合成が成功する場合と失敗する場合について、実際に写真を撮り、考察

校舎カメラパノラマ写真の評価 • 校舎・上移動合成結果うまく合成できた　特徴量のグラフを確認・・・・・・

パノラマ写真の評価 • 校舎・上移動縦方向の特徴量横方向の特徴量横方向の輝度値の総和縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動横方向の移動縦方向の特徴量から合成位置を検出している画像1 画像2

カメラパノラマ写真の評価 • 白い壁・平行移動　　　　　　　　　　　　　　　　　　　　　　　　　　　　　合成結果上にずれが発生しているのはおかしい理想

パノラマ写真の評価 • 白い壁・平行移動縦方向の特徴量横方向の特徴量横方向の輝度値の総和縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動横方向の移動縦方向の特徴量により上にずれが発生しているきれいな波形ではないが、横方向の合成位置は検出できている

パノラマ写真の評価 • コーン・回転移動奥コーン手前手前と奥のコーンの移動速度が同じカメラ

パノラマ写真の評価 • コーン・回転移動合成結果手前と奥のコーンの位置関係は、カメラが移動しても変わらないため、うまく合成できる

パノラマ写真の評価 • コーン・平行移動奥手前手前と奥のコーンの移動速度に差がある手前のコーン・・・速い奥のコーン・・・遅いカメラ

パノラマ写真の評価 • コーン・平行移動合成結果移動速度に差があると、手前と奥のコーンの位置関係にも差ができるため、合成できない

パノラマ写真の評価 • 校内・360度

まとめ • 基本的なプログラム作成を通して、OpenCVの使用方法を習得できた • OpenCVを用いたパノラマ合成により、画像処理の基本的な技術や考え方を学ぶことができた

長岡技術科学大学 オープン・ハウス