画像群中の物品発見における計算量削減手法の提案

画像群中の物品発見における計算量削減手法の提案画像群中の物品発見における計算量削減手法の提案田中五大, 横山大作, 田浦健次朗, 近山隆東京大学

背景 • ライフログ • 定点カメラの映像、人の目線に取り付けたカメラの映像など • ここでは、定点カメラから一定間隔で撮影した静止画像 • ライフログ画像から特定の物品を発見したい • 物品のサンプル画像とのマッチングを行うライフログ画像サンプル画像

問題 • ライフログ画像とサンプル画像の全組合せをマッチングするのは膨大な計算量 ⇒計算量を削減する手法

提案手法 • 「ライフログ画像の変化」をマッチングで調べる • 物品が新たに出現したなど、物品の変化を検出する • 変化があった場合のみサンプル画像とのマッチングを行えば、全体のマッチング回数が減り、計算量の削減が期待できる

物品の変化の検出方法（1/3） • 特徴点を抽出しマッチング • マッチング対応点を削除 • マッチングした＝同じ物品上の点と考えられる

物品の変化の検出方法（2/3） • 特徴点の削除 • 同一座標の点 • マッチング対応点近傍の特徴点（パラメータ：thd1） • 対応点のまわりに写っているものも同じ物品の特徴点

物品の変化の検出方法（3/3） • 特徴点の密度の高い部分を検出 • 一定の距離以内に隣接する点を結んでいく（パラメータ：thd2） • 閾値以上の個数がつながったものを探す（パラメータ：bind）

実験環境 • プログラムはC++で記述 • Intel社のOpenCV（+IPL）を使用 • 特徴点の抽出にはSIFT[David G. Lowe, ’04]を使用 • Xeon 2.4GHz搭載のマシン65台のクラスタ上で実行 • １回の比較は３秒程度 • ライフログ画像のデータ • 2007/11/13～27に4台の定点カメラで撮影された画像 • 1～2秒間隔で撮影

実験に用いたデータ • 3つの場面を想定して実験データを選別 • 各場面に合った10枚程度の時間連続画像をそれぞれ10セット前後取り出し、実験対象に

実験データ：case 1 • 画像に微妙な変化しかないもの • 影の変化やカメラの揺れ等

実験データ：case 2 • 見た目の変化はあるが、物品自体の変化はないもの • 物品の移動、人が横切った等

実験データ：case 3 • 確実に物品の変化があるもの • 物品が現れた、消えた等

評価基準 • 「どの画像がサンプル画像とマッチングすべきものなのか」（正解）は人間が決める • case 1, 2はマッチングすべき枚数「0枚」が正解 • case 3は画像により異なる • false positive • マッチング不要と判断すべきを誤って必要と判断 • 冗長な検出 • false negative • 要マッチングと判断すべきを誤って不要と判断 • case1, 2では無し ⇒ false negativeがなるべく少ないのがよい

パラメータの設定 • thd1：マッチング対応点近傍の特徴点を削除する際の近傍距離thd1 = 5, 10 • thd2：特徴点を結ぶときの特徴点間距離thd2 =0.6～2.0（0.2刻み） • bind：繋がった特徴点を取り出すときの特徴点個数の閾値bind = 10, 20 ・thd1, thd2は画像の縦横のサイズの平均に対する割合(%)の形で実装・全体的に値が小さい方が条件が厳しい • 上記パラメータの組合せで計32通りの実験

実験結果：case 1, case 2 • 条件を厳しくするほどfalse positiveが減少 case1 case2

実験結果：case 3 • case1,2で結果の良好なパラメータではfalse negativeが大きい • パラメータの一例：bind=10, thd1=5, thd2=1.2 • false negativeが5%程度に • false positiveは1/3程度 false positive false negative

実験結果についての考察 • 提案手法の評価 • 例えばbind=10, thd1=5, thd2=1.2というパラメータでは、 false negativeを5%程度に、false positiveは1/3程度にできる • 使用した画像データについて • 用意した画像データは主観的に決めた場面を限定した画像 • 一般的なデータでも実験する必要

Harrisオペレータを用いた実験 • Harrisオペレータ[C. Harris and M. Stephens, ’98]を用いてSIFTと同じ実験を行う • パラメータはSIFTと多少異なる • HarrisオペレータでSIFTの結果が予測できないかを検討 • HarrisオペレータのほうがSIFTより計算量が少ない • 同じ結果が出せればHarrisオペレータをSIFTの代用として使える

Harrisオペレータの実験結果 • 全体的にはSIFTと似た傾向の結果 • case1・case2ではほぼ同じ結果に • case3：false negativeの検出率が下がらない case3 : false negative

Harrisオペレータについての考察 • SIFTに比べてfalse negativeが多い • SIFTの代用として使うには誤りが多く、実用的ではなかった

まとめ • ライフログ画像の変化を検出することで、サンプル画像とのマッチングが必要か不必要かに分類する手法の提案 • 実験による提案手法の評価 • 例えばbind=10, thd1=5, thd2=1.2というパラメータでは、 false negativeを5%程度に、false positiveは1/3程度にできた • HarrisオペレータでSIFTの結果が予測できないかを検討 • 誤りが多く、実用的ではなかった

今後の課題 • 一般的なデータについて実験 • 「サンプル画像とのマッチングを行うべき」画像の客観的（機械的）な判断基準 • アルゴリズムの改良 • 他のマッチング手法の検討も

画像群中の物品発見における 計算量削減手法の提案