バーチャルリアリティ・制作

1. バーチャルリアリティ・制作　 ～第二回～システムの実装（１）　センサシステム

2. （復習）Virtual Realityの三要素D.Zeltzer, MIT (1992) • 臨場感(Presence) • コンピュータが作り出した環境が，人間にとって自然な三次元空間（バーチャル空間）を構築していること • 対話機能(Interaction) • バーチャル空間の中で自由に行動でき，バーチャル空間との相互作用が自然に実時間に生じること • 自律性(Autonomy) • 単なる人間とコンピュータ間のインタフェースではなく，そのバーチャル空間が自律的に存在すること

3. （復習）Virtual Realityの要素技術 • 臨場感(Presence) • ディスプレイシステム各感覚器の入力を合成し実際には存在しない外界を錯覚させる。システムから人間への情報の流れ。視覚に限らない。 • 対話機能(Interaction) • センサシステム人間からのシステムの入力動作を処理する。 • 自律性(Autonomy) • シミュレーションシステムコンピュータ内での人工的な因果関係の連鎖を作り出す。

4. Virtual Realityシステムの標準構成（復習） real space virtual space Display system Simulation system Person Sensing system computer

5. システム構成 • ディスプレイシステム • stereo, sound, force, tactile and olfactory display (Presence) • システム→人間 (Interaction) • センサシステム • 人間→システム (Interaction) • 体動（位置，姿勢，動作）センサ • 意志，感情センサ • シミュレーションシステム • ディスプレイとセンサ（入出力）の因果関係を規定 (Autonomy)

6. システム構成 • ディスプレイシステム • stereo, sound, force, tactile and olfactory display (Presence) • システム→人間 (Interaction) • センサシステム • 人間→システム (Interaction) • 体動（位置，姿勢，動作）センサ • 意志，感情センサ • シミュレーションシステム • ディスプレイとセンサ（入出力）の因果関係を規定 (Autonomy)

7. センサシステム • 「どこで」「どんな」行為が行われたか？ • 「どこで」の計測 • 三次元空間での位置と方向（姿勢） • ６自由度（6 Degree Of Freedom : 6DOF） • 位置　各座標軸方向の並進成分（ｘ，ｙ，ｚ） • 姿勢　座標軸周りの回転成分（オイラー角） • “Tracker” • 「どんな」の計測 • 手の形や体の姿勢，これらの運動 • CG画像が生成され，提示 • 操作意図のコンピュータへの入力

8. オイラー角 • 3軸の回転により物体の姿勢を表現 • 回転のルールを与える • 第一回目の回転軸（3通り）→第二回目の回転軸（一回目を除く2軸のいずれか）→第三回目の回転軸（二回目を除く2軸のいずれか），の計12通りの表現方法 • よく利用されるのは次の表現 • z, y, z • z, y, x

9. zyz-オイラー角 • z軸のまわりに角度α回転 • 回転後のy軸のまわりに角度β回転 • 回転後のz軸のまわりに角度γ回転 • 二軸回転時の回転角を（heading, pitch, bank）とも言う

10. (X,Y,Z)：基準座標系，(x,y,z)：物体座標系 zyx-オイラー角 • z軸のまわりに角度α回転 • 回転後のy軸のまわりに角度β回転 • 回転後のx軸のまわりに角度γ回転 • 三軸回転時の回転角を（azimuth, elevation, roll），または（yaw，pitch，roll）とも言う

11. α zyx-オイラー角 • z軸のまわりに角度α回転 • 点Aについて，回転した後の座標軸上でのx座標を，元の(X,Y)で表現する Ｙ y A Ｙ x b x a Ｘ Ｘ Z

12. b b α zyx-オイラー角 • z軸のまわりに角度α回転 • 点Aについて，回転した後の座標軸上でのx座標を，元の(X,Y)で表現する Ｙ y A Ｙ x x a Ｘ Ｘ Z

13. α zyx-オイラー角 • z軸のまわりに角度α回転 • 点Aについて，回転した後の座標軸上でのy座標を，元の(X,Y)で表現する Ｙ y A Ｙ b’ a’ x y y Ｘ Ｘ Z

14. α zyx-オイラー角 • z軸のまわりに角度α回転 • 点Aについて，回転した後の座標軸上でのy座標を，元の(X,Y)で表現する Ｙ y A Ｙ a’ x y Ｘ Ｘ Z

15. Ｘ α zyx-オイラー角 • z軸のまわりに角度α回転 • 点Aについて，回転した後の座標軸上でのy座標を，元の(X,Y)で表現する Ｙ y A Ｙ b’ x y Ｘ Ｘ Z

16. zyx-オイラー角

17. オイラー角：補足 • 三軸回転時のオイラー角を(yaw, pitch, roll)と呼び，座標系の取り方により次のように表す • yaw : 鉛直軸周りの回転角 • pitch : 前後の傾き角 • roll : 左右の傾き角 回転例

18. ＜「どこで」の計測＞Trackerの要件 • 位置（並進成分３自由度）と姿勢（回転成分３自由度）の合計６自由度の計算ができること。 • １回の計測に要する時間がリアルタイムであること。 • 計測のサンプリングレートがユーザの自然な動きを表すのに十分であること。 • 計測精度が各種感覚器官の精度に対して許容範囲であること。 • Trackerの計測可能範囲が想定する作業内容や人の動きの範囲をカバーすること。 • Trackerを身体に装着する場合には，人の運動をできるだけ拘束せず，センシングする環境に対する拘束も少ないこと。

19. 磁気による空間位置計測＜基本原理＞ • ファラデーの電磁誘導の法則 • 「磁束の変化によってコイルに起電力が生じる」＝「誘導起電力」 • 「誘導起電力の大きさは，コイルを貫く磁束の時間変化率に比例する」 • レンツの法則 • 「誘導起電力の向きは，原因となった磁束の変化を妨げる向きである」

20. 磁気による空間位置計測＜原理＞ 起電力の発生 V=f (x,y,z,α,β,γ) 　発信源からの距離と，磁束方向とコイ 　ル断面のなす角（コイルを貫く磁束）に 　依存して変化 受信コイル (x,y,z,α,β,γ) 磁界の発生と 変化（交流電圧） V=f (x,y,z,α,β,γ) V=f (x,y,z,α,β,γ) 発信コイルも同様に直交コイル化 順番に励磁 発信コイル （基準：固定） ９つの式，６つの未知数

21. コントロール ドライブ回路 検出回路 ユニット 磁気による空間位置計測＜システム＞ 磁界 レシーバー トランスミッター (直交コイル) (直交コイル) 出力(x、y、z、Roll、Yaw、Pitch)

22. 磁気による空間位置計測＜特徴＞ • 長所 • 理想的環境では比較的高い精度で計測可 • 位置精度数ミリ，角度精度1度以下 • 機械式と異なり非接触計測であるため動作が拘束されない • 超音波式と異なり物理的な障害物に影響されない • 小型軽量のため装着による動作拘束は少ない • 短所 • 高価 • 測定範囲が狭い（固定コイル中心，半径数m程度），レシーバケーブルの長さにも依存する • 周りの磁性体の影響を受け精度が劣化する。スチール製の机でも影響は大きい • レシーバの数を増やすとサンプリングレートが低下する • ある特定の位置や姿勢の近傍で計測値が不安定になる（連立方程式の解法に除算を含むため）。

23. 磁気による空間位置計測＜製品例１＞ • POLHEMUS社製　3SPACEシステム ISOTRAKII FASTRAK

24. 磁気による空間位置計測＜製品例１＞

25. 磁気による空間位置計測＜使用例＞

26. 磁気による空間位置計測＜製品例２＞ • Ascension Technology Corporation Flock of Birds mimiBird

27. 磁気による空間位置計測＜製品例２＞

28. 磁気による空間位置計測＜製品比較：動作原理＞磁気による空間位置計測＜製品比較：動作原理＞ • 磁界発生方式の違い • POLHEMUS • 交流磁界 • Ascension Technology • 直流パルス式磁場 • 直流パルス磁場の方が金属物体など周囲の磁性体の影響を受けにくい

29. 得られた距離を半径として 超音波受信 距離を求める Trackerの傾き（姿勢）が求まる 超音波による空間位置計測＜原理：二次元の場合＞ A 交点位置が発信器Aの場所となる B Tracker 発信器を２つ持つ 円弧状のどこかに 発信器がある 同様に発信器Bの位置を求める 受信機（固定）

30. 超音波による空間位置計測＜特徴＞ • 3つの発信器と3つの受信機により6DOFの計測が可能 • 長所 • 安価 • 計測が容易 • 周辺磁場の影響は受けない • 短所 • 音速変化による誤差 • 計測範囲はあまり広くないが複数台リレーする事で広くする事は可能 • 反射の影響をうける • 障害物があっては測定できない

31. 超音波による空間位置計測＜Ivan Sutherlandの方法＞ • ヘルメット上に３つの超音波発信素子 • 37, 38.6, 40.2kHz • 周囲４隅に超音波受信素子を配置 • 連続超音波を送信し，受信後に分離，受信超音波と送信超音波の位相ずれ（12通り）から距離を推定する • 送信3素子，受信4素子なので，位置と姿勢が推定できる

32. 超音波による空間位置計測＜製品例＞ • ジャイロセンサ（姿勢計測）との組み合わせ • InterSense社　IS-900 • 広範囲のトラッキングが可能 • 3m×3m～15m×15m • 測定精度 • 位置　4mm • 角度　0.2度～0.4度 • センサ 約3cm～4cm • データレート　180Hz

33. 画像処理による点追跡＜原理＞ • 位置が分かっている２台のカメラを利用した立体測量

34. 画像処理による点追跡＜特徴＞ • かなり広い範囲をカバーする事が可能，ただしその場合は画素数に依存して精度が劣化する • 多点同時計測が可能 • 計測を確実にする（対応点を見つけやすくする）ためにLEDを用いたりマーカーを用いたりする。 • カメラパラメータ（レンズ中心位置や焦点距離など）の測定が必要 • ある角度でカメラに写らなくなった場合に計測不可

35. ＜「どんな」の計測＞グローブ型デバイス • １点位置計測＝三次元カーソルの動き • もっと細かな人間の姿勢や動きの入力＝「操作意図」の入力 • たとえば，「手指の動き」 • 対話的な関わりの時にもっとも頻繁に利用する部位 • 自由度は20～30，1点計測型センサでは。。 グローブ型デバイス

36. グローブ型デバイス＜基本原理＞ • 手指に簡単なセンサを装着，その変形（曲げ角度）を測定 • 光ファイバの利用 • 指の曲がり具合による光の透過率の変化 • VPL社，DataGlove, 1987 • 導電性インクの利用 • 指の曲がり具合による抵抗値の変化 • Virtual Technologies社，CyberGlove • コンピュータ内のCGの手との対応

37. グローブ型デバイス＜原理：光ファイバ＞ • 透過率が指の曲がり具合により変化 • 曲線形状は個人差があるためキャリブレーションによりC，αの値を決定する • 指数関数的な変化をするため，曲げ角が大きくなったときの検出精度が低下する。 受光素子出力データ r ファイバ曲げ角θ

38. グローブ型デバイス＜製品例：光ファイバ＞ • VPL社　DataGlove 1987 • 光ファイバの曲がる部分にキズが付けられ，曲げに対して光が漏れやすいように工夫 • LEDから発した光がU字型のファイバを一周して，フォトトランジスタにより受光される • 1本の指に2本のファイバ＝第1,2関節の曲げを測定（ちなみに第一関節とは指先の方）＝10自由度の計測 • ソフトウェアによる動きの近似

39. グローブ型デバイス＜原理：導電性インク＞ • 導電性インク • 炭素など導電性をもつ粒子を含ませた液体 • 曲げ角度に応じてセンサの長さが変化，抵抗値が変化する • 柔軟性・伸縮性があるため手指にフィットし易い • 曲げ角度に対する出力が線形であるため精度が高い • 外側への曲げも計測可能 短い＝低い抵抗値 長い＝高い抵抗値 導電性インクによる曲げ角度センサ

40. グローブ型デバイス＜製品例：導電性インク＞グローブ型デバイス＜製品例：導電性インク＞ • Virtual Technologies社，CyberGlove • センサ数：18 or 22 • 18モデル • 第一関節を除く各指2関節，親指付け根，手首の関節の曲げ，回転 • 22モデル • 18モデル+4つの第一関節 • 精度：0.5度 • リフレッシュレート：149レコード/秒 • 価格　\2,486,000- (18センサ)

41. グローブ型デバイス＜使用例：CyberGlove＞

42. グローブ型デバイス＜その他の例＞ • Virtual Technologies社 • Display system (Haptic)としてのGlove CyberTouch CyberGrasp

43. モーションキャプチャ＜基本原理＞ • ユーザの体の各部にTrackerを取り付け，各部位の三次元位置座標の変化を記録する。 • ユーザの体の各部に取り付けられた反射マーカの位置を複数のカメラで計測してその位置を特定する。 • 記録されたモーションデータを，ユーザの体と同じ骨格構造でモデリングされたキャラクタのアニメーションシーケンスとして与える。 • 計測点の数（自由度）が増加したことによる，精度向上のためのキャリブレーション作業，ユーザ骨格構造とCGキャラクタの形状モデルの構造との一致，計測データとCGキャラクタとの対応，などが問題

44. モーションキャプチャ＜関節角度計＞ • ポテンショメータ • 回転型抵抗器（オーディオの音量調節のようなもの）を関節部に取り付け屈曲角を測定する。 • 回転軸が固定のため自由度が少ない。 • VPL社のDataSuitで腰と膝に利用された。 • フレキシブル屈曲センサ • ストレインゲージを用い，伸縮時の圧力による電気抵抗変化を利用 • 光ファイバや導電性インクもこの部類

45. モーションキャプチャ＜製品例1＞ • VPL社　DataSuit • 光ファイバセンサ（屈曲） • 首，肩，肘，胴部，手首，腰，膝，足首 • ポテンショメータ（ひねり） • 腰，膝 • 3SPACE（位置・姿勢） • 手首，頭，腰 • 圧力センサ（着地検出） • かかと • 合計66自由度

46. モーションキャプチャ＜製品例2＞ • Motion Analysis社　HiRES • 反射マーカの位置を複数のカメラで特定する光学式（赤外線および赤色光反射方式） • 最大16台のカメラ使用 • 解像度　649×491 • 240フレーム/秒 • 反射マーカは3mm～25mm，円錐型のラバーコーン，200個まで認識済み 歩行解析例

47. モーションキャプチャ＜製品例3＞ • Ascension Technology, MotionStar • 磁気センサによるリアルタイムトラッキング • ワイヤレスタイプ有り • 光学式よりも高コストパフォーマンス • センサ数に関係なく100Hzのデータレート • １人当たり20センサー，合計80センサーまで可能 • 計測範囲：半径3mの半球内 • 金属の影響はごくわずか（直流パルス式） • 価格　\15,100,000- (ワイヤレスタイプ，20センサシステム，スーツ，制御用PCなどは別)

48. Motion Star 2003.11.6 NAVSにて

49. Motion Star モーションキャプチャの様子

50. モーションキャプチャ＜製品例4＞ • ReActor • 赤外線方式であり，光学式の精度と磁気センサ式のリアルタイム性をもつ • ユーザの体のマーカから赤外線が照射，12本のフレームの500個以上のカメラセンサにより動き検出 • フレーム固定のためキャリブレーション不要 • マーカはIDを持つため複数同時キャプチャも可能 • データレート　900Hz(1マーカー) キャプチャ イメージ CGイメージ マーカ