ストリーム処理エンジンを用いた
Download
1 / 14

??????????????? ??????? ?????????? - PowerPoint PPT Presentation


  • 79 Views
  • Uploaded on

ストリーム処理エンジンを用いた 顔映像に対する 補助情報提供システム. 筑波大学 第三学群 情報学類 情報科学主専攻 200412324 稲守孝之 指導教官 北川博之 石川佳治 天笠俊之. 発表手順. 背景と目的 システムの概要 インタフェイスマネジャの実装 評価実験 まとめと今後の課題. 背景. ストリームの増加 時々刻々と変化するデータを次々と配信 小型カメラ等の映像取得デバイスの発達 映像ストリームの高度利用への要求. 顔映像ストリームを扱える情報統合利用システムを開発中. 背景. 顔情報に対して補助情報を付加することが有効

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '??????????????? ??????? ??????????' - ofira


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
2896705

ストリーム処理エンジンを用いた顔映像に対する補助情報提供システム

筑波大学 第三学群 情報学類

情報科学主専攻

200412324 稲守孝之

指導教官 北川博之 石川佳治 天笠俊之


2896705
発表手順

  • 背景と目的

  • システムの概要

  • インタフェイスマネジャの実装

  • 評価実験

  • まとめと今後の課題


2896705
背景

  • ストリームの増加

    • 時々刻々と変化するデータを次々と配信

    • 小型カメラ等の映像取得デバイスの発達

      映像ストリームの高度利用への要求

顔映像ストリームを扱える情報統合利用システムを開発中


2896705
背景

  • 顔情報に対して補助情報を付加することが有効

    • 知り合いの詳細情報・最新情報を提供して会話を支援

    • 面識のある人物の忘れてしまった情報を提供して補助

    • 顔認識が困難な人を補助

例)

常に情報を提供できるような環境において有効

ウェアラブルデバイスを使用

HMD


2896705
目的と研究内容

目的

  • ストリーム処理エンジンを用いた顔映像に対する補助情報提供システムの開発

    研究内容

  • システムアーキテクチャの設計

  • ウェアラブルデバイスを用いて利用者に情報を提供するインタフェイスの実装

  • システムの評価実験


2896705
システムの概要

補助情報を提供することでコミュニケーションの支援をするシステム

「Eメールは、

akiyama@...

です。」

「反日戦争

オンライン

ゲーム」

対話者

音声で読み上げ

(ヘッドフォン)

利用者

ハンド

キーボード

カメラ

GUIで表示(HMD)


2896705
システムアーキテクチャ

ストリーム処理エンジン

連続的問合せ

インタフェイスマネジャ

メディエータ

処理結果

提供情報

顔認識

ラッパー

DB

ラッパー

「鈴木 一郎さん

がいます。

所属は、

筑波大学です。」

鈴木 一郎

筑波大学

GUI

音声

人物情報DB


2896705
インタフェイスマネジャの設計方針

HMDの画面は狭く文字で提供できる情報が少ない

  • 音声により補足情報を提供

    過去に会った人の情報を見たい

  • 履歴の表示

    見たい情報のみを表示してほしい

  • 表示項目の選択

    ハンドキーボードでは複雑な操作はできない

  • 選択キーと決定キーのみで操作可能


2896705
インタフェイスマネジャの設計

インタフェイスマネジャ

通信モジュール

データ管理モジュール

インタフェイスモジュール

読み上げモジュール

音声

ストリーム処理

エンジン

到着データ

到着データ

表示データ

GUI

コンポー

ネント

表示

人物情報

DB

履歴情報

ブログ情報

カメラ

Webサーバ



2896705
評価実験(実験方法)

  • 被験者にはシステムを使用し補助情報を見ながら会話をしてもらう

    • 実験前に被験者にはシステムの目的・画面の見方・操作方法を説明

    • 被験者は北川データ工学研究室のメンバ10人

  • アンケートにより被験者からのフィードバックを得る

    • アンケートはデバイス・GUI・音声・システム全体の各項目について5段階評価と意見を求める

      • 5段階評価において5を最も良い評価とする


2896705
実験の様子

ウェアラブルデバイスから提供される情報で対話者と会話をする

対話者

被験者

ハンドキーボードを使って見たい情報を選ぶ

カメラで対話者の顔を撮影する



2896705
まとめと今後の課題

まとめ

  • ストリーム処理エンジンを用いた顔映像に対する補助情報提供システムの設計

  • 利用者に情報を提供するインタフェイスを実装

  • システムの評価実験

    今後の課題

  • より詳細な評価実験

  • 評価実験の結果をもとにしたインタフェイスの改良


ad