1 / 25

ユーザの表情に基づく 映像コンテンツへのタギング

ユーザの表情に基づく 映像コンテンツへのタギング. 神戸大学 大学院工学研究科　 宮原 正典，青木 政樹，滝口 哲也，有木 康雄. 研究の背景. テレビのディジタル放送開始→多チャンネル化 YouTube, ニコニコ動画など動画共有サイトの発達. ユーザが視聴可能な映像コンテンツが増大 見たい番組を簡単に探すのが困難に. 番組自動推薦システムの必要性 　　⇒　映像コンテンツへの自動タギング手法. （ コンテンツ解析 ） 映像シーンの動き シーンの色変化 顔・物体認識. （ ユーザ解析 ） リモコン操作履歴 [1] 好きなキーワード [2] 顔表情 [3].

alvin-solis
Download Presentation

ユーザの表情に基づく 映像コンテンツへのタギング

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ユーザの表情に基づく映像コンテンツへのタギングユーザの表情に基づく映像コンテンツへのタギング 神戸大学 大学院工学研究科　 宮原 正典，青木 政樹，滝口 哲也，有木 康雄

  2. 研究の背景 • テレビのディジタル放送開始→多チャンネル化 • YouTube,ニコニコ動画など動画共有サイトの発達 • ユーザが視聴可能な映像コンテンツが増大 • 見たい番組を簡単に探すのが困難に • 番組自動推薦システムの必要性 　　⇒　映像コンテンツへの自動タギング手法

  3. （コンテンツ解析） • 映像シーンの動き • シーンの色変化 • 顔・物体認識 （ユーザ解析） • リモコン操作履歴[1] • 好きなキーワード[2] • 顔表情[3] 番組自動推薦システム （番組推薦） タグつきコンテンツ データベース [1]2001,Taka [2]2001,Masumitsu [3]2006,Yamamoto

  4. 従来手法の課題と提案 • 従来の顔表情に基づくタギング手法[2006,Yamamoto] • 関心の「有無」の2クラスのみを判定 • 顔の傾きやオクルージョンに弱い ⇒関心「有」をさらに，正の関心，負の関心に詳細化 ⇒特徴抽出にEBGM[1997,Wiskott]の導入 ⇒学習によって，自動的にリジェクトする機能

  5. Display Webcam PC User 想定環境 • ユーザはPCのディスプレイに映るコンテンツを1人で視聴 • ウェブカメラはユーザを撮影 • PCはコンテンツの再生とユーザ顔動画の解析処理 想定環境上面図

  6. 顔表情認識 EBGM Tag ・Neutral ・Positive ・Negative ・Rejective SVM User’s profile 提案システムの概要 特徴抽出 AdaBoost 個人認識 無表情画像 個人用顔表情識別器

  7. 利点 AdaBoostによる顔領域抽出 • Haar-like特徴を用いたAdaBoostにより，正確な顔領域の抽出を行う．[2001,Viola] • 顔領域を切り出すことで，ユーザとカメラとの距離を正規化できる • EBGMにおいて，探索範囲を限定することで，計算時間を短縮

  8. Gabor Wavelet Bunch Graph Jet EBGMによる特徴点抽出・個人認識 [1997,Wiskott] • 画像を，様々な周波数と方向を持ったGaborフィルターで畳み込み，それらの応答の集合をJetとする． • 顔特徴点の各点のJetを組み合わせたものをFace Graphと呼び，あらかじめ複数人からFace Graphを生成して束ねたものをBunch Graphと呼ぶ． • Bunch Graphと入力画像のFace Graphの類似度を計算し，特徴点の探索を行い，特徴点抽出と個人認識を行う．

  9. SVMによる顔表情認識 • EBGMの個人認識により，個人を特定し，その人の無表情画像と個人顔表情識別器を選択する． • EBGMによって抽出された34点の顔特徴点について，無表情のときとの差分を取った，68次元のベクトルを特徴ベクトルとする． • Multiclass SVM(RBFカーネル)により顔表情認識を行う．

  10. 顔表情のクラス分類(タグ)定義

  11. 実験条件 • 被験者2名(A,B)に1回約17分間の映像コンテンツを4回分視聴させる． • その際，被験者を撮影した動画と，再生されている映像コンテンツを同期させながら，15fpsで記録． • その後，以下のようなインターフェースを用いて，顔表情タギングを手動で行った．

  12. 顔動画の手動タギング結果 表：各表情クラスのタギングフレーム数 この手動タギング結果つきの顔動画を 実験動画と呼び，以降の評価実験で用いる．

  13. AdaBoostによる顔領域抽出の精度について実験を行ったAdaBoostによる顔領域抽出の精度について実験を行った 顔表情認識 EBGM Tag ・Neutral ・Positive ・Negative ・Rejective SVM User’s profile 予備実験1 特徴抽出 AdaBoost 個人認識 無表情画像 個人用顔表情識別器

  14. 予備実験1－AdaBoostによる顔領域抽出 • 未検出率は被験者A,Bともに0%だった． • 誤検出率については，以下の表の通り． • 被験者Bは笑うと，顔を大きく上に向ける癖があり，顔以外の部分が顔と誤検出される傾向があった．

  15. 顔表情認識 EBGM Tag ・Neutral ・Positive ・Negative ・Rejective SVM User’s profile 予備実験2 EBGMによる個人認識の精度について実験を行った 特徴抽出 AdaBoost 個人認識 無表情画像 個人用顔表情識別器

  16. 予備実験2－EBGMによる個人認識 • 個人認識の精度に問題がないことを確認． • EBGMで個人認識をし，個人用の識別器を選択をすることは十分可能といえる．

  17. 顔表情認識 EBGM Tag ・Neutral ・Positive ・Negative ・Rejective SVM User’s profile 評価実験 SVMによる顔表情認識の精度について実験を行った 特徴抽出 AdaBoost 個人認識 無表情画像 個人用顔表情識別器

  18. 評価実験－SVMによる顔表情認識 • 各被験者について，4本中3本の動画から学習を行い，個人顔表情識別器を生成する．残りの1本についてテストを行う．(クロスバリデーション) • リジェクト機能 • 顔領域抽出で顔領域が発見できなかったフレームは無条件で，Rejectiveに分類 • 顔領域抽出に成功したフレームは，そのまま顔特徴点抽出を行い，学習・認識の対象とする

  19. 実験結果－SVMによる表情認識

  20. 考察 • 平均再現率は87.6%，平均適合率は88.0%と良好な結果が得られた． • 被験者がPositiveやNegativeと答えていても，表情表出の度合いが小さい場合，システムがNeutralと誤認識するパターンが多い． • 1つのフレームに表情のタグは1つしかないと仮定しているので，中間的な表情をしている場合，誤認識が多発する．

  21. デモ映像

  22. まとめと今後の方向 • 事前学習の手間をできるだけ減らすようにする • 複数人同時視聴に対応 • 顔方向・視線方向の追跡 • 表情以外のマルチモーダル情報も使い，番組推薦を行うシステムの構築 EBGMを特徴点抽出に用いることで，Neutral, Positive, Negative, Rejectiveという４つのクラスに拡張しても高い再現率，適合率が得られた

  23. 実験結果－Confusion matrix 被験者A

  24. 実験結果－Confusion matrix 被験者B

More Related