1 / 31

第4回  カメラキャリブレーション

第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp. 第4回  カメラキャリブレーション. 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp. カメラキャリブレーション(校正). 実世界のカメラと カメラモデル との対応付け . X. Y. Z. カメラ座標系→ ディジタル画像座標系. ピンホールカメラモデル を利用 ~ 針穴写真機. ピンホールカメラモデルの線形近似 - 3. 第3回  CV におけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp.

pepper
Download Presentation

第4回  カメラキャリブレーション

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 第4回  カメラキャリブレーション

  2. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け 

  3. X Y Z カメラ座標系→ディジタル画像座標系 ピンホールカメラモデルを利用~ 針穴写真機

  4. ピンホールカメラモデルの線形近似-3 第3回  CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp アフィン投影(affine projection): 各線形近似投影の一般化 x = a11X + a12Y + a13Z + a14y = a21X + a22Y + a23Z + a24

  5. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-1 • 光学的キャリブレーション - シェーディング: 画像周辺部の明度低下 - ノイズ: CCDの暗電流特性、感度特性 - カラー: RGBの分光感度特性

  6. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 光学的キャリブレーション • シェーディング歪の補正- cos4 Θ現象~ 広角レンズにおける画像周辺部の明度低下- 口径蝕現象~ 光線の複数レンズ系での縁遮りによる明度低下 • ノイズのモデル化と補正~ 暗電流、熱雑音、回路ノイズ、量子化雑音 • カラーキャリブレーション~ 分光感度特性、色収差

  7. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-2 • 幾何学的キャリブレーション - 外部パラメータ: 6世界座標系におけるレンズの中心座標(t)、レンズ光軸の方向(R) - 内部パラメータ: 5焦点距離、画像中心、画像(画素)サイズ、歪収差係数

  8. 第3回  CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp第3回  CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp 3(4)種類の座標系 • 画像座標系 ○ (一般)ディジタル画像座標系 ○正規化(ディジタル)画像座標系 • カメラ座標系  • 世界座標系

  9. 世界座標系⇔カメラ座標系     (外部変数)世界座標系⇔カメラ座標系     (外部変数) カメラの外部変数(extrinsic parameters): 6個 Sm’= PMc’= PDMw’ ≡ PwMw’ (Pw=PD) (world coordinate system) RRt = RtR = I 又は D:剛体変換(rigid transformation)

  10. ディジタル画像座標系:正規化カメラ⇔一般カメラ             (内部変数)ディジタル画像座標系:正規化カメラ⇔一般カメラ             (内部変数) 正規化画像座標系(f=1) 未知パラメータ 5個:画像中心cの位置(u0,v0)各軸のスケールと焦点 距離fの積 αu αv 両軸の角度Θ(intrinsic parameters) カメラ校正 (camera calibration):カメラの内部変数を推定すること

  11. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション手順 • 幾何学的・光学的特性が既知の対象物を撮影 • 対象物固有の特徴(特徴点の世界座標など)とその画像特徴(その特徴点の画像座標)を対応付け ~ エピポーラ幾何、知識、ヒューリスティクス • カメラモデルに基づき、モデルパラメータを推定~ 射影幾何、線形代数、数値解析、統計

  12. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 以前の標準的手法 ~ ソースオープン Tsaiのキャリブレーション手法(1986)-1 • 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z) • カメラ座標(x,y,z)  ⇒画像座標(理想ピンホール)(Xu,Yu) • 歪係数推定:(Xu,Yu) ⇒ (Xd,Yd) • ディジタル画像座標:(Xd,Yd) ⇒ (Xf,Yf)

  13. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=11個のパラメータ推定 ~ 外部パラメータを先、内部パラメータを後に推定することにより精度と計算速度を向上-回転行列(3)-平行移動ベクトル(3)-焦点距離(1)-レンズ歪係数(2)-スケール係数(1):既知(1.0)-画像中心(2)

  14. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Tsaiのキャリブレーション手法-3 • 校正点の画像より、各点の画像座標を決定 • カメラ、A/D変換の仕様より、CCD素子数、走査線のサンプル数、CCD素子の間隔を推定 • 画像中心(Cx,Cy)を推定 • (Xdi,Ydi)への変換 • 線形方程式を解きTy-1r1 、Ty-1r2 、Ty-1Tx、Ty-1r4 、Ty-1r5を算出  • Ty2を算出 • Tyの符号を決定 • 回転行列R決定 • 焦点距離f、Txの初期値決定 • f, Tz,レンズ歪係数k1,k2を決定 fと画像サイズdx,dyの独立決定は不可能

  15. OpenCVでは:Z.Zhangの手法 ・複数平面上の座標が既知の格子点を利用 ・Tsaiの手法より安定・高精度 "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. http://opencv.jp/sample/camera_calibration.html

  16. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp A’ A 直方体の消失点の利用による焦点距離の推定 2つの消失点A(a,b)、A’(a’,b’) ⇒ f=(-aa’-bb’)-1/2

  17. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Nベクトル表現 A(a,b)  ⇒ mA(a, b, f) A’(a’,b’) ⇒ mA’ (a’, b’, f) ( mA , mA’ ) = 0より、 f=(-aa’-bb’)-1/2 P(x,y) ⇒ m(x, y, f):原点からPに向かうベクトルl:Ax+By+C=0 ⇒ n(A, B, C/f):原点とlが作る平面の法線ベクトル 方向ベクトルmをもつ直線の像はNベクトルがmの消失点を持つ

  18. 第2回  CVのための画像センサmutty@ics.kagoshima-u.ac.jp第2回  CVのための画像センサmutty@ics.kagoshima-u.ac.jp 収差の分類 

  19. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp レンズ歪収差の校正 (糸巻き型) 澤田(1983?):格子点と画像座標の間の変換関数を多項式(2次)関数として推定 Weng(1992):画像座標の格子点(u,v)からの変化分(δu ,δv)を、 5個の歪パラメータ (放射状歪、中心ズレ、薄いプリズム効果) でモデル化 δu=k1u(u2+v2) + 3p1 u2+p1v2+2p2uv + s1(u2+v2) δv=k1v(u2+v2) + 2p1uv+p2u2+3p2v2 + s2(u2+v2)

  20. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-3 • ステレオカメラ間のキャリブレーション - E行列, F行列(内部、外部パラメータ)

  21. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp PnP(透視n点)問題 画像中のn点と物体上のn点を対応付ける ことにより、物体の位置・姿勢を推定する問題 (n≧3)~ 最小画像枚数、最小点数? • Haralick(1991):6種類の解法の安定性評価 • DeMenthon(1992):カメラモデル間の評価 • Horn(1990), Faugeras(1990):複数解の解析~(2枚、5対応点対)・・・

  22. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 既知対象物を用いないステレオ校正法 • uncalibrated/weakly calibrated stereo複数台のカメラ画像中の 複数個の対応点対より校正を実施- Roberts and Faugeras(1993): weakly calibrated :F行列のみ既知 • Self-calibration~ シーン中に存在する特徴を用い、カメラの動きを利用して精度を高める-Basu(1993): active calibration

  23. E行列(essential matrix:基本行列) xt TRx~ =0   ≡ E(自由度5) 0 –t3t2   t30 –t1 –t2 t1 0 第3回  CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp 正規化カメラ (R,t)-1 x、t、Rx~+tの3点が 同一epipolar plane上 xt(t×(Rx~+t))=0 xt (t×Rx~+t×t)=0 ×:外積 ・a×b=-b×a ・λa×b=a×λb λ(a×b) ・ a×(b+c)=  (a×b)+(a×c)

  24. F行列(fundamental matrix:基礎行列) 第3回  CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp 点対応からの F行列の推定: -中心射影:  8対非線形解法:7対) -アフィン射影:4対Fの成分値を並べたベクトルf|f|=1 ,Zf=0 →  min|Zf|2 =min|ftZtZf|2→ fはZtZの最小固有値に対する固有ベクトル 対応点のディジタル画像座標系:m=Ax, m~=A~x~ とすると xt Ex~ =0 (A-1 m )t E (A~-1 m~)=0 m t(A-t E A~-1) m~ =0      ≡ F(自由度7) epipole:全てのmに対してm tFe~=0→ Fe~=0, 同様にFte=0→ e~,eは各々,FtF,FFtの最小固有値に対する固有ベクトル

  25. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp ステレオカメラ校正(既知物体利用) {(Xl,Yl)&(Xr,Yr) , (xw,yw,zw)}6組以上⇒Yakimovsky法: 透視投影(変換)行列推定3×4, 自由度11,rank3 渡邊、久野(1985):ロボットハンドアイシステムの校正

  26. 変換行列の作成(テニスプレー自動認識~ 清水大輔)変換行列の作成(テニスプレー自動認識~ 清水大輔) 40cmごとに3点マークをつけたポールを30箇所配置 (X,Y,Z)  ・・・世界座標系 ・・・カメラ1(第1画面)の画像座標 ・・・カメラ2(第2画面)の画像座標

  27. プロジェクタのキャリブレーション ピンホールカメラと同様にモデル化可能カメラとは入出力が逆

  28. ホモグラフィ(Homography) • 同一平面上の対象点が投影された位置関係を示す行列Hba(3×3)←4組の対応点で推定OK ma = Hba mb

  29. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp CG・VR志向 Image-based rendering, Augumented realityに利用 • ピンホールカメラモデルからの脱却- Potmesil(1981): 薄凸レンズカメラモデルによるボケ効果付与- Cook(1984): 分散光線追跡法による被写界深度効果、アンチエイリアシング、運動ブレ表現 • 画像合成:- 和田(1996): 全方位背景画像の合成

  30. 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp ピンホールカメラモデルの拡張 • ピンホールカメラモデル • 薄凸レンズカメラモデル~ 絞り・フォーカス変化によるボケ現象 • 厚凸レンズカメラモデル~ ズーム・フォーカス変化によるレンズ位置変化

  31. カメラモデルの拡張(模式図) 第4回  カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp f:焦点距離 d :開口径 w:レンズ・画像平面  間距離l:前主点・後主点間距離 主点:光軸に平行な光線が入射、焦点に 結像する様子を1枚の レンズでモデル化した 際の光軸上のレンズ位置

More Related