共同外出の感覚を作る 遠隔コミュニケーションシステム

1. 共同外出の感覚を作る遠隔コミュニケーションシステム共同外出の感覚を作る遠隔コミュニケーションシステム ちょう　けいしゅん 張　慶椿コンピュータサイエンス専攻 指導教員：田中　二郎

2. はじめに • ビデオ通信に関する応用は主に相手を映した前提で開発した、我々はその相手を映した以外の方向に注目する • 「相手がそばにいる」といった共同活動感覚がコミュニケーションには不可欠の要素であると考える

3. 研究目的 • 本研究は「相手と一緒に外出する感覚」を作り出すことを目的にする。また、この感覚を「共同外出感」と定義する • 共同外出感は、実際に外出してない人に、人と共に外出するような感覚、体験を与える • 我々はパンチルトカメラと没入空間を組み合わせによって共同外出感を与えるシステムを開発する

4. 共同外出感 • 利用者は移動者（実際外出者）と観察者（擬似外出者）に分かれている • 我々は両者に、共同外出感を与える 実際外出者（移動者） 擬似外出者（観察者）

5. システム概要 5

6. デモビデオ

7. 観察者の自由視野獲得 • 観察者の振り向きによって移動者側のパンチルトカメラを回転させる（パン128度、チルト64度） • コントローラの操作により遠隔映像をズームイン、ズームアウトもできる • 観察者側では、HMDもしくは回転式プロジェクタを用いて没入表示空間で構成され、遠隔映像を表示する 元の向き方向 新しい向き方向 移動者側のカメラは観察者の向きによって回転する センサーで観察者の水平向き方向と傾き角度を検知できる

8. 回転式プロジェクター • 回転式プロジェクタは観察者の向きに追従し、見ている方向に投影する • HMDと比べて観察者へ負担の軽減させ、より良い視野範囲と臨場感が得られる 回転式プロジェクター 観察者の向き方向に追従する投影画面

9. 向き情報の提示 観察者向きの提示 • ヘルメットにある方向表示LEDバーを用いて観察者の向き情報を移動者に伝える • LEDの発光位置により、相手は何処を向いているを把握できる 移動者向きの提示 • 移動者の水平角速度を計測することで、振り向くを検知することができる • 検知した振り向き方向は、矢印として観察者側GUI画面表示する • 表示されるのは、左向き、右向きと後ろ向き三種類の矢印になる。 移動者側 観察者の向き方向に合わせてLEDが発光する 移動者が右に振る向いた場合のGUI画面

10. 共同注目のインタラクション • 共同注目 • 移動者と観察者は共に一つの方向に注目すること • お互いの注目情報を把握すると、相手の興味が分かり、会話も促進される • 共同注目支援ツールは両者の行動によって自動的に起動する他、相手の要請により起動するも可能 実在する移動者と仮想存在の観察者が一つのパソコンを注目する

11. 共同注目-カメラの視線を一致させる ２、遠隔カメラを動かす ３、向き情報を移動者に伝える １、観察者はある方向に向く 共同注目 ４、移動者もその方向に向く ５、カメラは正面に戻る ６、観察者に知らせる

12. 身体動作によるコミュニケーション • 叩くコントローラを持って前後振ると、相手側頭部に振動を与える • 目の前に手を振る観察者がコントローラを持って左右振ると、移動者にLEDの左右巡り発光表現で提示する 観察者コントローラを握って振る LEDバーの左右巡り発光表現 移動者のヘルメットは振動する

13. システムの実装(1/3) • 移動者側システムと観察者側システムに分けられる • それぞれのアプリケーションはセンサーの制御、動作の認識と表示提示機能を勤める • システムは機能別でモジュール化される システムのハードウェア構造

14. システムの実装(2/3) 移動者側システム • センサーで移動者の振り向き動作を計測 • パンチルトカメラの制御 • LEDバーの発光制御 • 映像と音声の送受信 移動者ヘルメット LEDバー発光の仕方 移動者外出の様子

15. システムの実装(3/3) 観察者側システム • 地磁気センサー、加速度センサーをもちいて観察者向き方向と姿勢を計測 • GUIと操作インタフェース • 回転式プロジェクターの制御(ステッピングモータとArduino駆動回路を使用) 観察者側GUI画面 回転式プロジェクター センサー装置とHMD

16. 評価実験 • 被験者人数：5人 • 場所：観察者は実験室A、移動者は実験室Bにいる • 実験条件：被験者は予め約２０分の説明とトレーニングを受け、交代して観察者とも移動者ともを勤める。実験ケースを遂行した後、アンケートを受ける • 実験目的：共同外出感の達成とシステム機能の有効性を証明する

17. 実験環境 • 映像、音声の通信はWindows Live Messengerを使用する • 移動者の通信環境はEMobile HSPA+ によるワイアレス通信 • 実測速度はUP:1.4MBps DOWN 3.2MBps • 観察者の通信環境は有線LANにする カラー付きの四角錐 壁に貼る番号付きのポスター

18. 実験ケース • ケースA：移動者は室内で歩きながら、観察者は周囲を見渡して、壁に貼っているポスターを探し出す目的：自由に周囲を見渡せるかどうかを検証 • ケースB：観察者は七つのカラー付三角錐の内一つを注目し、ついに移動者は共同注目支援機能を用いて三角錐を特定する。目的：共同注目支援は効果あるかを検証 • ケースC：観察者がコントローラを振って身体的動作メッセージを送信する。移動者はそれを確認し、観察者が注視しているポスターを特定する目的：言葉せずにコミュニケーションが取れるかどうかを検証

19. 実験結果 アンケート（点数は５～１まで、５は非常に同意、１は非常に同意しない）

20. 実験の検討 • ケースB成功率の低下について • 観察者はカメラを越してカラー付の三角錐を特定するが、カメラを越して物体の色を確認するのは難しいとみられる。また、三角錐と三角錐の間の距離は十分に開いてないも原因になる • 画面の揺れについて • 移動者はまだ観察者を意識してないが揺れの原因と考れる。また、実験用のヘルメットサイズは固定されているため、頭のサイズにより画面の安定性も影響を与えるのも観察された。

21. 関連研究 • Head Mounted Display (HMD)によるShared-View Systemを用いた遠隔指示・支援システムの検討太田祥一, 行岡哲男, 山崎敬一, 山崎晶子, 葛岡英明, 松田博青, 島崎修次日本救急医学会雑誌, Vol.11, No.1, pp.1-6, 2000. • 実施者と指示者と分けており、実施者はHMDとカメラを装着して、指示者は音声と画面上の指さしにより救急蘇生法の指示を行う。 • 実空間上の遠隔コミュニケーションを支援するシステムの開発小山慎哉, 葛岡英明, 上坂純一, 山崎敬一, IPSJ Vol.45 No.12004 • 操縦者の首振りによってロボットの頭部回転を制御して、ロボットからリアルタイム映像を操縦者側に伝達する。まだ、操縦者はロボットの指示用腕を制御して、遠隔指示を行う。 実施者

22. まとめ • 本研究では「共同外出感」という概念を定義し、その感覚を与える手法を提案、実装した • 我々は 　「自由視野の取得」「向き情報の共有」「共同注目行為の支援」「身体的動作等によるコミュニケーション手法」以上４つの手法の実装を行い、評価実験を行った。

23. 今後の展望 • 移動者側のカメラの設置位置の変更移動者視野からカメラ視野をを独立させることで、観察者にとってより自由かつ妨害されにくい操作を行うことができる • 3Dアバターの採用3Dアバターでお互いの体の動作と向きを確認し、よりそばにいるような感覚を得られる • 観察者は移動者と並んでいるような表現手法観察者は移動者と一体せずに独立させ、共同活動の感覚を促進する

24. おわり ご清聴どうもありがどうございました