260 likes | 488 Views
多重フォーカスカメラと符号化開口を用いた実時間距離画像計測. 京都大学大学院 情報学研究科 日浦慎作* 松山隆司 (*現 大阪大学大学院 基礎工学研究科). Depth from Focusing レンズを駆動し合焦点を探索 - 物理的駆動が介在するため実時間計測に向かない. 単一画像の解析 「ぼけを含む平面的写真」と,「立体的な被写体」の区別が付かない. Depth from Defocus ぼけ量の解析から距離を推定 - 実時間計測が可能 機械的駆動部がない. 複数画像の相対解析 被写体のテクスチャによらず解析が可能.
E N D
多重フォーカスカメラと符号化開口を用いた実時間距離画像計測多重フォーカスカメラと符号化開口を用いた実時間距離画像計測 京都大学大学院 情報学研究科 日浦慎作* 松山隆司 (*現 大阪大学大学院 基礎工学研究科)
Depth from Focusing レンズを駆動し合焦点を探索 - 物理的駆動が介在するため実時間計測に向かない 単一画像の解析 「ぼけを含む平面的写真」と,「立体的な被写体」の区別が付かない Depth from Defocus ぼけ量の解析から距離を推定 - 実時間計測が可能 機械的駆動部がない 複数画像の相対解析 被写体のテクスチャによらず解析が可能 Depth from Defocus • ぼけ量の解析から距離を求める手法 • 受動的原理 - リアルタイム計測の可能性 • 小型・計量な計測装置の実現可能性 • 2枚以上の異なるパラメータで得た画像から距離を計算 (relative blurring analysis)(小型な多重フォーカスカメラが必要)
多重フォーカスカメラの構造 • カラーCCDカメラを改造 • 各CCDを1mmづつ光軸方向に移動 • プリズムの再蒸着による分光特性の除去 • 通常の3CCDカメラと同等の寸法/重量
テレセントリック光学系 • 前焦点面に開口絞りを配置 • 像面間の像の大きさ/明度が等しく,ぼけ量だけが異なる • DFD への応用:Nayar ら (参考文献 [7]) 通常の結像光学系 テレセントリック光学系
Depth from Defocus の問題点 • ぼけ現象(=LPF)により画像上の情報が欠落 • 距離計測の安定性が低く,高品質な(ノイズの少ない)画像が必要例:Nayar らは 256 枚の画像を入力/加算 • テクスチャの種類や機器の調整に敏感 • ぼけ現象の性質を,解析に適するように最適化すれば,安定性が向上する可能性がある→瞳形状の構造化
構造化瞳を持つ多重フォーカスカメラの構成要素構造化瞳を持つ多重フォーカスカメラの構成要素 • ぼけカーネルは瞳形状と相似な図形 • カーネルの縮小率は被写体距離に応じて変化
ぼけ生成の数学モデル 畳み込み 入力画像 i1(x,y) 畳み込み 入力画像 i2(x,y) 畳み込み 入力画像 i3(x,y) 合焦点 v k1倍縮小 k2倍縮小 k3倍縮小 Wm:像面の位置 ぼけの生成過程 原画像 s(x,y) 距離 u ぼけカーネル a(x,y)
p, q: 空間周波数, v: 焦点の位置 除算により共通因子(入力画像成分)が消去される フーリエ変換を用いた距離推定 • ぼけ生成過程のフーリエ変換 • 複数入力画像を用いた原画像成分の消去 • 距離推定のための評価関数 すべての入力画像の組み合わせについて, 入力画像同士を除算したもの(第1項)と, ぼけモデル(第2項)の差が最小になるような v(焦点の位置)の値を探索する
残差の最小化→距離の推定 除算による原画像成分の除去 小領域切り出し&FFT 処理の流れ
原画像の復元 • 逆フィルタ計算 • 複数の画像から復元するため安定 • ぼけカーネルが構造化されており,原画像の情報が残存しているため復元が可能 v:合焦点の位置 Wm:vから計算した重み
開口形状に求められる性質(1) • 空間周波数特性が構造を持ち解析しやすい • ぼけが大きくても高周波ゲインが落ちない ゲイン 空間周波数
開口形状に求められる性質(2) • 通常用いられる円形開口は,必ずしも適した開口形状であるとはいえない(美しいぼけを生じさせるために円形を採用)
ぼけカーネルの形状(ホール直径を無視) ぼけカーネルの1次元フーリエ変換 簡単な例:2ホール開口 • ぼけカーネルのフーリエ変換は cos 関数 • cos 関数の周期は物体距離によって変化
距離推定の安定性 • 距離値のずれに関する評価関数の変化 急峻な谷状の形状は,距離推定の安定性が高いことを示す
最後面CCD 中央CCD 最前面CCD 実験:入力画像
実験:復元された対象の形状 対象の三次元形状 完全合焦画像(部分)
画像の差が最小に なるような距離値を 探索する 光学的な畳込みと同じ 大きさのぼけを反対に 施すと,同一の画像が 得られる(畳込み演算 の可換性より) 通常の円形開口のような 単純な瞳形状を用いた場 合,距離の推定は困難(例:ガウスぼけを2回施す 演算は,より大きな単一の ガウスぼけと等価である) →構造化瞳の有効性 原画像にぼけカーネルが 光学的に畳み込まれる 畳み込みを利用した距離解析
距離 画像 入力画像 計測シーン 実験
瞳形状の対称性 合焦点の前後で 畳み込まれる形 状が異なる (位相の相違) • 距離の誤推定を減少することができる 原点対称ではない 瞳形状
瞳形状の対称性と計測精度 入力画像
入力画像の記録を用いた動物体計測 • ビデオディスクレコーダにRGB画像として記録 • YC変換デジタル圧縮のため,RGBチャネル間のクロストーク等の画質劣化が大きい
計測結果:指の動作 入力画像 距離画像
画像処理ハードウェアによる実時間計測 • 畳込みによる距離計測手法は,ハードウェアへの実装が容易 • 並列画像処理ハードウェア IMAP-Vision を用いて計算時間を計測 • 性能:256PE により計 10GIPS • 理論上 25frames/sec の距離計算が可能(現有ボードにRGB入力IFがないため,実測実験は行っていない)
まとめ • 小型/計量な多重フォーカスカメラを製作 • Depth from Defocus に構造化瞳を導入 • 安定な距離解析が可能となった • FFT を応用した距離計測/完全合焦画像復元 • 畳込みを応用した距離計測 • 低品質な画像が利用可能なため,記録画像の利用による動物体計測が実現できた • ハードウェアにより実時間計測が可能である