全方位視覚センサを用いた指先動作検出による円筒型ユーザインタフェースの提案

1. 全方位視覚センサを用いた指先動作検出による円筒型ユーザインタフェースの提案全方位視覚センサを用いた指先動作検出による円筒型ユーザインタフェースの提案 林　豊†間下　以大††小川　剛史††† 清川　清†,‡　 竹村　治雄†,‡ †：大阪大学大学院 情報科学研究科 ††：大阪大学 産業科学研究所 †††：東京大学 情報基盤センター ‡：大阪大学 サイバーメディアセンター 1

2. Wiiリモコン http://www.nintendo.co.jp/ iPhone http://www.apple.com/iphone/ ジェスチャインタフェース • ユーザの身体動作を認識し，入力に応用するインタフェース • 直感的で慣れやすい • ユーザにとって使いやすい • VR，ウェアラブル環境でも利用される • ゲーム機，携帯電話など様々な分野で応用 2

3. ユーザに拘束感を与える 欠点 CyberGlove http://www.aec.co.jp/ FingeRing*1 従来のジェスチャインタフェース（装着型） １．CyberGlove • グローブ型装着デバイス • 手の形状を正確かつ高速に追跡可能 2.FingeRing • 指輪型装着デバイス • ５指を用いたタイピング動作を検出 *1：福本　雅朗， 外村,佳伸,"常装着型インタフェースとWireless FingeRing",情報処理学会研究報告. ヒューマンインタフェース研究会報告，1998 3

4. てのひらめにゅう*1 Enhanced Table*2 欠点 ①照明などの利用環境に依存しやすい ②手の３次元位置の計測が行えない 従来のジェスチャインタフェース（非接触型） １．てのひらめにゅう • ビデオシースルー型HMD • 指に付随して表示されたメニューバーを操作 2.岡らのEnhanced Table • 固定カメラを用いた非接触型インタフェース • ユーザに対する拘束感がない • テーブルトップに投影したオブジェクトを操作 *1：佐々木博史， 黒田知宏 ,"Wearable Computer 用入力インタフェース 「てのひらめにゅう」 の提案 ", 第 43 回システム制御情報学会研究発表講演会講演論文集, 1999 *1：岡　兼司， 佐藤　洋一,"柔軟なインタフェースの実現に向けた人間行動の計測と理解(D論セッション(2))", 情報処理学会研究報告. CVIM, [コンピュータビジョンとイメージメディア] ，2006 3

5. 本研究の目的 • 　 利用の制約が少なく，インタラクションの自由度が高いジェスチャインタフェースの開発 • 周辺環境の制約を受けずにウェアラブル環境 でも利用可能 • 装着する手間がなく，ユーザに負担の少ない デバイス • 指先の三次元位置の計測が可能 5

6. 照明装置 全方位視覚センサ 入力画像例 利用デバイス 提案インタフェース • 利用デバイス：全方位視覚センサ • 周囲360度を撮影可能 • アクリルの円筒部を指先で操作 • “利用環境に依存しやすい”という問題⇒　照明装置を内蔵し，指に照射 • 周囲の環境に左右されず，ユーザの手を安定して撮影可能 • 指先の輝度値から，デバイスから指先までの距離を推定 6

7. ミラー焦点 照明入射光 照明反射光 高輝度LED 提案インタフェース • 利用デバイス：全方位視覚センサ • 周囲360度を撮影可能 • アクリルの円筒部を指先で操作 • “利用環境に依存しやすい”という問題⇒　照明装置を内蔵し，指に照射 • 周囲の環境に左右されず，ユーザの手を安定して撮影可能 • 指先の輝度値を計測し，デバイスから指先までの距離を推定 照明装置の設計モデル 6

8. (a) 移動操作 (c) マップの縮小　 (b)マップの拡大　　 マップナビゲーション 7

9. (a) 回転操作 (b) 拡大・縮小操作 ３Dビューア 8

10. 手領域の抽出 照明装置なしの場合 入力画像 パノラマ画像変換 パノラマ画像 色情報をHSV系へ変換 肌色の色相（H）を持つ領域を抽出 肌色情報を用いた手領域抽出 指先画像を用いた テンプレートマッチング 手領域抽出の画像例 指先までの距離を推定 ジェスチャの認識 各アプリケーションの処理 9

11. ２値化処理，ノイズ除去処理 手領域の抽出 照明装置ありの場合 入力画像 パノラマ画像変換 パノラマ画像 色情報をHSV系へ変換 肌色の色相（H）を持つ領域を抽出 肌色情報を用いた手領域抽出 指先画像を用いた テンプレートマッチング 手領域抽出の画像例 指先までの距離を推定 照明装置を用いて手領域のみを鮮明に撮影 ジェスチャの認識 各アプリケーションの処理 9

12. (a)上向き (c)右向き (b)左向き 除外 探索範囲 指先画像を用いたテンプレートマッチング 入力画像 予め3種類の指先テンプレート画像を用意 パノラマ画像変換 肌色情報を用いた手領域抽出 2指の間の距離関係を考慮することで 1つの指先に複数のテンプレートが一致するのを防ぐ 指先画像を用いた テンプレートマッチング 指先までの距離を推定 ジェスチャの認識 前フレームの指先位置から探索範囲を設定 各アプリケーションの処理 10

13. 指先までの距離を推定 入力画像 指先の輝度値と距離の対応関係 • 指モデルを用いて指先位置を表示 • ディスプレイ右端：触れている状態 • ディスプレイ左端：最も離れている状態 パノラマ画像変換 肌色情報を用いた手領域抽出 指先画像を用いた テンプレートマッチング 指先までの距離を推定 ジェスチャの認識 各アプリケーションの処理 指先動作と指モデルの連動の様子 11

14. 指先輝度値 指先の操作範囲 指先までの距離を推定 指先の輝度値と距離の対応関係 入力画像 デバイスと指先が触れている状態の輝度値 1.0 パノラマ画像変換 0.8 指先の輝度値 肌色情報を用いた手領域抽出 0.6 指先画像を用いた テンプレートマッチング 0.4 デバイスから指先が離れている状態の輝度値 0.2 指先までの距離を推定 0.0 ジェスチャの認識 1 89 177 265 353 441 529 617 フレーム数（≒経過時間） デバイスから指先までの距離を次式で線形補間 各アプリケーションの処理 12

15. 認識可能なジェスチャの種類 (a) 1本指で　　触れる　 (c) 2本の指を　　遠ざける　 (d) 2本の指を　　近づける　　 (b) 1本指を　　離す　　 (g) 右手親指で　　触れる　　 (h) 右手親指を　　離す　　 (e) 左手親指で　　触れる　　 (f) 左手親指を　　離す　　 ジェスチャの認識 入力画像 パノラマ画像変換 肌色情報を用いた手領域抽出 指先画像を用いた テンプレートマッチング 指先の二次元座標 ＋ デバイスから指先までの距離 指先までの距離を推定 ジェスチャの認識 指先の三次元位置を取得 　　状態遷移モデルにより 　　ジェスチャとして認識 各アプリケーションの処理 13

16. 評価実験1：デバイスから指先までの　　　　距離を用いたポインティング操作評価実験1：デバイスから指先までの　　　　距離を用いたポインティング操作 • 被験者数：8名 • 試行回数：30回 • ターゲットまでの距離：ランダム 実験の様子 14

17. 8 タスク達成時間 (秒) 被験者１ 7 被験者２ 被験者３ 6 被験者４ 被験者５ 被験者６ 5 被験者７ 被験者８ 4 3 2 1 0 0 100 200 300 400 500 600 ターゲットまでの距離 (画素) 評価実験1：実験結果 ＜考察＞ • ターゲットの位置に関わらず同程度の時間でポインティングできた ⇒　手のモデルと指先までの距離の間で 　　１対１の対応関係が構築しやすかったため 15

18. （b） 垂直方向 （a） 水平方向 （c） 複数方向 評価実験2：指先位置を用いた　　　　　　　　ポインティング操作 • 被験者数：5名 • 試行回数：90回 • ターゲット配置：３通り • ターゲット間距離：小，中，大の３種類 実験の様子 16

19. 0.3 0.25 0.2 スループット 水平方向 垂直方向 0.15 複数方向 0.1 0.05 0 300 500 700 ターゲットまでの距離 (画素) 評価実験2：実験結果 • スループットによる評価 • ポインティングデバイスの使いやすさの指標 :ターゲット間隔　　　:ターゲット幅 　　：ポインティングに要する時間 ＜考察＞ • 水平方向に比べ垂直方向の移動が困難 ⇒　試作システムの操作面が狭く，操作しづらかった 17

20. 操作の快適性 操作の快適性 5 5 4 4 回転操作 の精度 移動操作 の精度 疲れにくさ 疲れにくさ 3 3 2 2 1 1 0 0 操作方法は 理解しやすいか 拡大・縮小操作 の精度 拡大・縮小操作 の精度 操作方法は 理解しやすいか デバイスの操作に すぐ慣れたか デバイスの操作に すぐ慣れたか アプリケーションの主観評価 • マップナビゲーション，３Dビューア • ５名の被験者による主観評価を実施 ＜考察＞ • 操作方法は直感的で慣れやすい • 2名の被験者から認識率が悪いという意見が挙げられた ⇒　指先の大きさ，形，反射率などの個人差が大きかったため マップナビゲーション 3Dビューア 18

21. まとめと今後の課題 • “利用の制約が少なく，インタラクションの自由度が高いジェスチャインタフェース”の提案 • 全方位視覚センサと照明装置を用いて環境非依存のシステムを実現 • 輝度値を用いて指先の三次元位置を推定してそれを用いたインタラクションを実現 • 試作システムを用いた評価実験を実施したところ被験者によって認識率が低くなるケースが見られた • 今後の課題 • ユーザごとのパラメータの自動設定 • 指先位置の検出精度，ジェスチャの認識率の向上 • 指先の圧力（押し加減）を用いた操作 19

22. デバイスを押さえる指先の力の加減によって変化する輝度値の領域デバイスを押さえる指先の力の加減によって変化する輝度値の領域 指先でデバイスを強く押し込んだ状態の輝度値 1.0 0.8 指先の輝度値 0.6 デバイスと指先が触れている状態の輝度値 0.4 0.2 0.0 1 48 95 142 189 236 283 330 377 424 471 518 565 612 659 706 フレーム数 今後の課題（圧力センサへの応用） • 指先の押し加減によって輝度値が変化

23. ご清聴ありがとうございました

24. 8 被験者１ 7 被験者２ 被験者３ 6 被験者４ 被験者５ 被験者６ 5 被験者７ 被験者８ タスク達成時間 (秒) 4 3 2 1 0 0 100 200 300 400 500 600 ターゲットまでの距離 (画素)

25. 0.3 0.25 0.2 スループット 水平方向 垂直方向 0.15 複数方向 0.1 0.05 0 300 500 700 ターゲットまでの距離 (画素)

26. 12 10 タスク達成時間 (秒) 8 水平方向 6 垂直方向 複数方向 4 2 0 300 500 700 ターゲットまでの距離 (画素)

27. 評価実験3：クリック操作 • 被験者数：8名 • 実験準備 • 被験者ごとにクリック操作を10回の行わせて動作を学習 • 指先とデバイスの接触時間を計測 • 試行回数：20回 ＜考察＞ • 平均で約83％の認識率 • 認識率が極端に低かった被験者は，指先を離したときの状態を誤認識してしまった 17

28. パノラマ画像例 問題点：指先がきれてしまう 左右に並べたパノラマ画像例 パノラマ画像変換 パノラマ画像へ変換 （解像度：174×57） 入力画像 パノラマ画像変換 肌色情報を用いた手領域抽出 指先画像を用いた テンプレートマッチング パノラマ画像を左右に繋げた画像を生成（解像度：348×57） 指先までの距離を推定 ジェスチャの認識 各アプリケーションの処理

29. (a)上向き (c)右向き (b)左向き 除外 探索範囲 指先画像を用いたテンプレートマッチング 3種類の指先テンプレート画像 入力画像 パノラマ画像変換 肌色情報を用いた手領域抽出 2指の間の距離関係を考慮することで 1つの指先に複数のテンプレートが一致するのを防ぐ 指先画像を用いた テンプレートマッチング 指先までの距離を推定 ジェスチャの認識 前フレームの指先位置から探索範囲を設定 各アプリケーションの処理 10

30. デバイスと指先が触れている状態 1.0 0.8 指先の輝度値 0.6 0.4 デバイスから指先が離れている状態 0.2 デバイスから指先が離れすぎて検出できなかった状態 0.0 1 89 177 265 353 441 529 617 フレーム数（≒経過時間） 指先輝度値の変化の様子 • デバイス表面に“触れる，離す”という一連の操作を4回繰り返したときの指先輝度値を計測

31. 1本指で • 　　触れる (b) 1本指を　　離す　　 (c) 2本の指を　　遠ざける　 (d) 2本の指を　　近づける　　 (g) 右手親指で　　触れる　　 (e) 左手親指で　　触れる　　 (f) 左手親指を　　離す　　 (h) 右手親指を　　離す　　 認識可能なジェスチャの種類

32. 基本動作実験１　～実験方法～ ターゲットと指のモデルの距離 Y デバイスと指先が 接触した状態 ターゲット X 指のモデル デバイスから指先までの距離 近 遠

33. （b） 垂直方向 （c） 複数方向 （a） 水平方向 基本動作実験３（カーソル移動）