モーションキャプチャ データと距離画像による 上半身の姿勢推定

1. モーションキャプチャデータと距離画像による上半身の姿勢推定モーションキャプチャデータと距離画像による上半身の姿勢推定 情報システム工学専攻 メディア統合環境講座 平尾 公男

2. 背景 • 人間の動作解析技術が幅広い分野で利用されている • ユーザインタフェース • ゲーム, 仮想環境, アニメーション，リモート制御などの制御機能 • 福祉, 医療，スポーツ • 臨床研究, 整形外科患者の診断，運動選手の動作理解の支援などの分析機能 • セキュリティ • 人物の動作解析などの監視機能

3. 関連研究 • 掌の姿勢推定 • 今井ら，2004 • マーカレス • 2Dアピアランスに基づく → 奥行き情報の欠如による，推定の限界 • 上半身の姿勢推定 • Plankersら，2003 • マーカレス • 3台のカメラを使用 • シルエットとステレオ情報に基づく → 姿勢推定に時間がかかる

4. 目的とアプローチ 目的 • 上半身画像からの両腕の姿勢推定 • リアルタイム処理 • マーカレス • モーションキャプチャデータによる角度探索 • 3Dアピアランスの利用 • 2段階のマッチング • 初期推定 • 漸近的収束 アプローチ

5. 処理の概要 画像入力処理 事前処理 ユーザの上半身サイズ モーションキャプチャデータ 画像入力 距離画像入力 カメラパラメータ CGモデル画像の生成 細線化と膨張処理 CGモデルの両腕の距離画像の生成 CGモデルの片腕画像の生成 ラベリング 顔と腕領域の抽出 細線化と膨張処理 イメージマッチング (1stマッチング) 関節角度の初期推定 推定角度の改善 (2ndマッチング) 関節角度の推定 マッチング処理

6. 画像入力処理 1. 画像を入力 2. 背景画像との差分処理，　　明るさ閾値，距離閾値による2値化 3. 5ピクセル膨張 4. 細線化 5. 10ピクセル膨張 右腕 6. ラベリング 7. 腕の抽出面積の最も大きい3領域の重心比較 左腕

7. 事前処理 • 関節角度の取得 • 市販の光学式モーションキャプチャによる姿勢データから算出 • 多関節CGモデルの生成 • 体の大きさをユーザと同サイズに統制 • 肩の自由度 : 3 (x 2), 肘の自由度 : 1 (x 2) • カメラキャリブレーション • 基準立方体の使用 • 多関節CGモデルの • 片腕画像を生成 • 右：2398枚，左:2398枚 • 細線化, 10ピクセル膨張 • 両腕の距離画像を生成 • 4796枚

8. B A∩B A 輝度値の評価 距離値の評価 I:入力画像の腕領域 J: 入力画像の腕の骨格領域 マッチング処理 （1stマッチング） • ＣＧモデル画像の枚数の絞込み • 比較する腕領域のバウンディングボックスについて適切な閾値を設定 • 面積の重なる割合，アスペクト比の差，サイズの差，中心位置の差 • 評価式 pz (x, y)：入力距離画像 p (x, y)：入力画像 mz (x, y)： CGモデル距離画像 m (x, y)： CGモデル画像 輝度値: 0～110 距離値: 0～110

9. マッチング処理 （2ndマッチング） • 片腕の微小変化画像の生成 • 肩の関節角度を表す四元数のパラメータを微小に変化 • 生成枚数：8枚 • マッチング評価式を適用し肩の関節角度を更新 • 距離値を考慮しない • 肘についても同様の処理を行う • 以上の処理を最大5回繰り返す

10. 実験結果 実験風景 入力画像 1stマッチング結果 フレームレート : 20 frames/sec 入力画像 1stマッチング結果 2ndマッチング結果 フレームレート : 3.2 frames/sec

11. 考察 距離値を組み合わせたマッチングの有効性 入力画像 1stマッチング結果 (輝度値) 1stマッチング結果 (輝度値+距離値) 2ndマッチングの有効性 2ndマッチング結果 入力画像 1stマッチング結果(輝度値+距離値)

12. まとめと今後の課題 • まとめ • 多関節CGモデル画像と距離画像による両腕の姿勢推定手法の提案, 実験結果の提示 • あらかじめ姿勢データを準備しておくことによる高速化，人の可動範囲内の角度推定の実現 • 輝度値と距離値による関節角度の初期推定 • 漸近的収束による関節角度の推定確度の向上 • 今後の課題 • 顔や腕の領域重畳時の姿勢推定 • 腰の自由度と頭部姿勢を加えた，上半身全体の姿勢推定 • 更なる処理速度の向上