第4回  カメラキャリブレーション
This presentation is the property of its rightful owner.
Sponsored Links
1 / 31

第4回  カメラキャリブレーション PowerPoint PPT Presentation


  • 500 Views
  • Uploaded on
  • Presentation posted in: General

第4回  カメラキャリブレーション [email protected] 第4回  カメラキャリブレーション. 第4回 カメラキャリブレーション [email protected] カメラキャリブレーション(校正). 実世界のカメラと カメラモデル との対応付け . X. Y. Z. カメラ座標系→ ディジタル画像座標系. ピンホールカメラモデル を利用 ~ 針穴写真機. ピンホールカメラモデルの線形近似 - 3. 第3回  CV におけるエピポーラ幾何 [email protected]

Download Presentation

第4回  カメラキャリブレーション

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


5203568

第4回  [email protected]

第4回 

カメラキャリブレーション


5203568

第4[email protected]c.jp

カメラキャリブレーション(校正)

実世界のカメラとカメラモデルとの対応付け 


5203568

X

Y

Z

カメラ座標系→ディジタル画像座標系

ピンホールカメラモデルを利用~ 針穴写真機


5203568

ピンホールカメラモデルの線形近似-3

第3[email protected].jp

アフィン投影(affine projection):

各線形近似投影の一般化

x = a11X + a12Y + a13Z + a14y = a21X + a22Y + a23Z + a24


5203568

第4[email protected]c.jp

カメラキャリブレーション項目-1

  • 光学的キャリブレーション

    - シェーディング: 画像周辺部の明度低下

    - ノイズ: CCDの暗電流特性、感度特性

    - カラー: RGBの分光感度特性


5203568

第4[email protected]c.jp

光学的キャリブレーション

  • シェーディング歪の補正- cos4 Θ現象~ 広角レンズにおける画像周辺部の明度低下- 口径蝕現象~ 光線の複数レンズ系での縁遮りによる明度低下

  • ノイズのモデル化と補正~ 暗電流、熱雑音、回路ノイズ、量子化雑音

  • カラーキャリブレーション~ 分光感度特性、色収差


5203568

第4[email protected]c.jp

カメラキャリブレーション項目-2

  • 幾何学的キャリブレーション

    - 外部パラメータ: 6世界座標系におけるレンズの中心座標(t)、レンズ光軸の方向(R)

    - 内部パラメータ: 5焦点距離、画像中心、画像(画素)サイズ、歪収差係数


5203568

第3[email protected].jp

3(4)種類の座標系

  • 画像座標系

    ○ (一般)ディジタル画像座標系

    ○正規化(ディジタル)画像座標系

  • カメラ座標系 

  • 世界座標系


5203568

世界座標系⇔カメラ座標系     (外部変数)

カメラの外部変数(extrinsic parameters): 6個

Sm’= PMc’= PDMw’ ≡ PwMw’ (Pw=PD)

(world coordinate system)

RRt

= RtR

= I

又は

D:剛体変換(rigid transformation)


5203568

ディジタル画像座標系:正規化カメラ⇔一般カメラ             (内部変数)

正規化画像座標系(f=1)

未知パラメータ 5個:画像中心cの位置(u0,v0)各軸のスケールと焦点 距離fの積 αu αv

両軸の角度Θ(intrinsic parameters)

カメラ校正

(camera calibration):カメラの内部変数を推定すること


5203568

第4[email protected]c.jp

カメラキャリブレーション手順

  • 幾何学的・光学的特性が既知の対象物を撮影

  • 対象物固有の特徴(特徴点の世界座標など)とその画像特徴(その特徴点の画像座標)を対応付け ~ エピポーラ幾何、知識、ヒューリスティクス

  • カメラモデルに基づき、モデルパラメータを推定~ 射影幾何、線形代数、数値解析、統計


Tsai 1986 1

第4[email protected]c.jp

以前の標準的手法 ~ ソースオープン

Tsaiのキャリブレーション手法(1986)-1

  • 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z)

  • カメラ座標(x,y,z)  ⇒画像座標(理想ピンホール)(Xu,Yu)

  • 歪係数推定:(Xu,Yu) ⇒ (Xd,Yd)

  • ディジタル画像座標:(Xd,Yd) ⇒ (Xf,Yf)


Tsai 2

第4[email protected]c.jp

Tsaiのキャリブレーション手法-2

{(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=11個のパラメータ推定

~ 外部パラメータを先、内部パラメータを後に推定することにより精度と計算速度を向上-回転行列(3)-平行移動ベクトル(3)-焦点距離(1)-レンズ歪係数(2)-スケール係数(1):既知(1.0)-画像中心(2)


Tsai 3

第4[email protected]c.jp

Tsaiのキャリブレーション手法-3

  • 校正点の画像より、各点の画像座標を決定

  • カメラ、A/D変換の仕様より、CCD素子数、走査線のサンプル数、CCD素子の間隔を推定

  • 画像中心(Cx,Cy)を推定

  • (Xdi,Ydi)への変換

  • 線形方程式を解きTy-1r1 、Ty-1r2 、Ty-1Tx、Ty-1r4 、Ty-1r5を算出 

  • Ty2を算出

  • Tyの符号を決定

  • 回転行列R決定

  • 焦点距離f、Txの初期値決定

  • f, Tz,レンズ歪係数k1,k2を決定

fと画像サイズdx,dyの独立決定は不可能


Z zhang

OpenCVでは:Z.Zhangの手法

・複数平面上の座標が既知の格子点を利用

・Tsaiの手法より安定・高精度

"A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.

http://opencv.jp/sample/camera_calibration.html


5203568

第4[email protected]c.jp

A’

直方体の消失点の利用による焦点距離の推定

2つの消失点A(a,b)、A’(a’,b’) ⇒ f=(-aa’-bb’)-1/2


5203568

第4[email protected]c.jp

Nベクトル表現

A(a,b)  ⇒ mA(a, b, f)

A’(a’,b’) ⇒ mA’ (a’, b’, f)

( mA , mA’ ) = 0より、

f=(-aa’-bb’)-1/2

P(x,y) ⇒ m(x, y, f):原点からPに向かうベクトルl:Ax+By+C=0 ⇒ n(A, B, C/f):原点とlが作る平面の法線ベクトル

方向ベクトルmをもつ直線の像はNベクトルがmの消失点を持つ


5203568

[email protected]p

収差の分類 


5203568

第4[email protected]c.jp

レンズ歪収差の校正

(糸巻き型)

澤田(1983?):格子点と画像座標の間の変換関数を多項式(2次)関数として推定

Weng(1992):画像座標の格子点(u,v)からの変化分(δu ,δv)を、

5個の歪パラメータ

(放射状歪、中心ズレ、薄いプリズム効果)

でモデル化

δu=k1u(u2+v2) + 3p1 u2+p1v2+2p2uv + s1(u2+v2) δv=k1v(u2+v2) + 2p1uv+p2u2+3p2v2 + s2(u2+v2)


5203568

第4[email protected]c.jp

カメラキャリブレーション項目-3

  • ステレオカメラ間のキャリブレーション

    - E行列, F行列(内部、外部パラメータ)


5203568

第4[email protected]c.jp

PnP(透視n点)問題

画像中のn点と物体上のn点を対応付ける

ことにより、物体の位置・姿勢を推定する問題

(n≧3)~ 最小画像枚数、最小点数?

  • Haralick(1991):6種類の解法の安定性評価

  • DeMenthon(1992):カメラモデル間の評価

  • Horn(1990), Faugeras(1990):複数解の解析~(2枚、5対応点対)・・・


5203568

第4[email protected]c.jp

既知対象物を用いないステレオ校正法

  • uncalibrated/weakly calibrated stereo複数台のカメラ画像中の 複数個の対応点対より校正を実施- Roberts and Faugeras(1993): weakly calibrated :F行列のみ既知

  • Self-calibration~ シーン中に存在する特徴を用い、カメラの動きを利用して精度を高める-Basu(1993): active calibration


Essential matrix

E行列(essential matrix:基本行列)

xt TRx~ =0

  ≡ E(自由度5)

0 –t3t2

  t30 –t1

–t2 t1 0

第3[email protected].jp

正規化カメラ

(R,t)-1

x、t、Rx~+tの3点が

同一epipolar plane上

xt(t×(Rx~+t))=0

xt (t×Rx~+t×t)=0

×:外積

・a×b=-b×a

・λa×b=a×λb

λ(a×b)

・ a×(b+c)=  (a×b)+(a×c)


F fundamental matrix

F行列(fundamental matrix:基礎行列)

第3[email protected].jp

点対応からの

F行列の推定:

-中心射影:  8対非線形解法:7対)

-アフィン射影:4対Fの成分値を並べたベクトルf|f|=1 ,Zf=0 →  min|Zf|2 =min|ftZtZf|2→ fはZtZの最小固有値に対する固有ベクトル

対応点のディジタル画像座標系:m=Ax, m~=A~x~ とすると

xt Ex~ =0

(A-1 m )t E (A~-1 m~)=0

m t(A-t E A~-1) m~ =0

     ≡ F(自由度7)

epipole:全てのmに対してm tFe~=0→ Fe~=0, 同様にFte=0→ e~,eは各々,FtF,FFtの最小固有値に対する固有ベクトル


5203568

第4[email protected]c.jp

ステレオカメラ校正(既知物体利用)

{(Xl,Yl)&(Xr,Yr) , (xw,yw,zw)}6組以上⇒Yakimovsky法: 透視投影(変換)行列推定3×4, 自由度11,rank3

渡邊、久野(1985):ロボットハンドアイシステムの校正


5203568

変換行列の作成(テニスプレー自動認識~ 清水大輔)

40cmごとに3点マークをつけたポールを30箇所配置

(X,Y,Z)  ・・・世界座標系

・・・カメラ1(第1画面)の画像座標

・・・カメラ2(第2画面)の画像座標


5203568

プロジェクタのキャリブレーション

ピンホールカメラと同様にモデル化可能カメラとは入出力が逆


Homography

ホモグラフィ(Homography)

  • 同一平面上の対象点が投影された位置関係を示す行列Hba(3×3)←4組の対応点で推定OK

ma = Hba mb


Cg vr

第4[email protected]c.jp

CG・VR志向

Image-based rendering, Augumented realityに利用

  • ピンホールカメラモデルからの脱却- Potmesil(1981): 薄凸レンズカメラモデルによるボケ効果付与- Cook(1984): 分散光線追跡法による被写界深度効果、アンチエイリアシング、運動ブレ表現

  • 画像合成:- 和田(1996): 全方位背景画像の合成


5203568

第4[email protected]c.jp

ピンホールカメラモデルの拡張

  • ピンホールカメラモデル

  • 薄凸レンズカメラモデル~ 絞り・フォーカス変化によるボケ現象

  • 厚凸レンズカメラモデル~ ズーム・フォーカス変化によるレンズ位置変化


5203568

カメラモデルの拡張(模式図)

第4[email protected]c.jp

f:焦点距離

d :開口径

w:レンズ・画像平面  間距離l:前主点・後主点間距離

主点:光軸に平行な光線が入射、焦点に

結像する様子を1枚の

レンズでモデル化した

際の光軸上のレンズ位置


  • Login