画像群中の物品発見における計算量削減手法の提案

画像群中の物品発見における計算量削減手法の提案画像群中の物品発見における計算量削減手法の提案電子情報工学科近山・田浦研究室 60395　田中五大

背景 • ライフログ画像から物品を発見したい • サンプル画像とのマッチングを行う方法 • ライフログ画像もサンプル画像も膨大な枚数になりがち • マッチング自体の計算コストも大きい • 全部を逐一調べていては計算量が爆発 →　現実的には難しい ⇒　計算量を削減する方法があると良い

発表の流れ • 背景 • 研究に利用したマッチング手法について • 提案手法 • 実験 • 考察 • まとめ

研究に利用したマッチング手法について • 特徴点ベースの手法を利用 • マッチングの計算コストが少ない • 物品が移動してもマッチングできる • 利用した手法 • Harrisオペレータ - 比較的軽い • SIFT - 重いが精密

Harrisオペレータ • [C. Harris and M. Stephens, ’98] • 画像の輝度勾配を用いてコーナーを抽出 • 二次元変換（平行移動など）に比較的強い • テンプレートマッチングで対応付け

SIFT • [David G. Lowe, ’04] • 輝度勾配のヒストグラムを用いる • 128次元ベクトルの特徴量 • アフィン変換に強い耐性

提案手法の概要 • ライフログ画像とサンプル画像の全組合せをマッチングするのは膨大な計算量

提案手法の概要 • 時間的に連続した2枚のライフログ画像どうしを比較し、サンプル画像とのマッチングを行うべきものとそうでないものとに分類 • ライフログ画像の変化をマッチングで調べる • ライフログ画像の変化＝物品の画面内への出現など、新たにサンプル画像とのマッチングが必要になったとき • 普通は変化が少ない

提案手法の概要 • 変化があった場合のみサンプル画像とのマッチングを行えば、計算量の削減が期待できる

手法1 • 特徴点を抽出しマッチング • マッチング対応点を削除 • マッチングした＝同じ物品上の点

手法1 • 領域をいくつかに分割（パラメータ：div） • 各領域内の特徴点の個数の差分を取り、閾値以上の領域を探す（パラメータ：lmt） • 新しい物品があったとしたら、その部分に特徴点が固まって残る

手法2 • 特徴点抽出とマッチング • ここまでは手法1と同じ

手法2 • 特徴点の削除 • 同一座標の点 • マッチング対応点近傍の特徴点（パラメータ：thd1） • 対応点のまわりに写っているものも同じ物品だろう

手法2 • 残った特徴点を繋げる • 一定の距離以内に隣接する点を結んでいく（パラメータ：thd2） • 狭い範囲の塊だけでなく、直線的に並んだ特徴点群なども検出 • 閾値以上の個数がつながったものを探す（パラメータ：bind）

実験 • 実験環境 • プログラムはC++で記述、Linux上でコンパイル • Intel社のOpenCV（＋IPL）を使用 • sheepクラスタ（65台、CPU : Xeon 2.4GHz）で実行 • ライフログ画像のデータ • 2007/11/13～27に4台の定点カメラで撮影された画像 • 要件（後述）に合うものを適宜選ぶ

実験 • 3つの場面を想定 • case 1 　微妙な変化があるもの(影やカメラの揺れ等) • case 2 　物品の移動や人が横切るなど、見た目変化はしているがマッチングするべきではないというもの • case 3 　確実にマッチングが必要と思われるもの → 各場面に合った10枚程度の時間連続画像を何セットか取り出し、実験対象に

実験 • 評価基準 • 「どの画像がサンプル画像とマッチングすべきものなのか」（正解）は人間が決める • case 1, case 2はマッチングすべき枚数「0枚」が正解 • case 3は画像により異なる • false positive • マッチング不要と判断すべきを誤って必要と判断 • false negative • 要マッチングと判断すべきを誤って不要と判断 • こちらのが致命的 ⇒ false negativeがなるべく少ないのがよい

実験 • 実験手順 • まず手法1、2ともSIFTを用いて実験 • 各手法について、どの程度望む結果（false negative小）が出せているかを評価 • その後Harrisオペレータについても同じ画像データで実験 • HarrisオペレータでSIFTの代用が可能かどうかを検討

SIFTを用いた実験：手法1 • パラメータ • div：分割する領域（div×div個に分割） div = 5, 8, 10, 16 • lmt：領域内の特徴点の個数の差の閾値 20～60まで5刻み・全体的に値が大きい方が条件が厳しい・計36通りのパラメータの組合せで実験

SIFTを用いた実験：手法1 • case 1, case 2 • 条件を厳しくすればfalse positiveも減少 case1 case2

SIFTを用いた実験：手法1 • case 3 • case 1, case 2で結果の良かったパラメータでは逆にfalse negativeがほとんどに • 全体的にfalseが大きい false positive false negative

SIFTを用いた実験：手法2 • パラメータ • thd1：マッチング対応点近傍の特徴点を削除する際の近傍距離5, 10 • thd2：特徴点を結ぶときの特徴点間距離0.6～2.0, 0.2刻み • bind：繋がった特徴点を取り出すときの特徴点個数の閾値10, 20 ・thd1, thd2は画像の縦横のサイズの平均に対する割合(%)の形で実装・全体的に値が小さい方が条件が厳しい・計32通りの組合せで実験

SIFTを用いた実験：手法2 • case1, case2 • 手法1と同様条件が厳しいパラメータは割と良好 case1 case2

SIFTを用いた実験：手法2 • case3 • やはり条件の厳しいパラメータではfalse negativeが大きい • positive・negative共に比較的抑えられたパラメータも false positive false negative

Harrisオペレータを用いた実験：手法2 • 全体的にSIFTと似た傾向の結果 • false negativeがなかなか下がらない case3 : false negative

考察 • SIFTの代用としてのHarrisオペレータ • 結果の傾向は似ている • 性能的には劣る ⇒ 似た動作はさせられそうだが、代用させるには弱い？

考察 • 提案手法の正当性 • 今回の実験ではそこそこの結果（手法２） • 用意した画像データは主観的に決めた場面を限定した画像 • もっと一般的なデータで実験したらわからない • 正解が違うかもしれない ⇒ 今回の実験だけでは何とも言えない

まとめ • ライフログ画像とサンプル画像とのマッチングが必要か不必要かに分類する提案手法について、2通りのアルゴリズムを使いSIFTを用いて実験・評価を行った • パラメータをうまく決めればそこそこの結果に • 同じ提案手法を、より処理の軽いHarrisオペレータでSIFTと同様の結果が得られないかを検討した • 似た動作は可能だが、性能的に問題

今後の課題 • さらなる実験 • 一般的な画像データに対しても • 「サンプル画像とのマッチングを行うべき」画像の判断基準が客観的（機械的）にできればなおよい • アルゴリズムの改良 • 他のマッチング手法の検討

画像群中の物品発見における 計算量削減手法の提案