Composantes matérielles/logicielles en RV

1. Composantes matérielles/logicielles en RV Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2. Plan • Introduction • Architecture d’un système de VR • Systèmes d’interaction avec le monde de réalité virtuelle/augmentée • Entrées • Sorties

3. Plan (suite)1 • Entrées • Interaction avec l’utilisateur • Tracking de la position • Critères de choix d’un système de tracking • Types de systèmes de tracking • Tracking du corps • Commandes physiques • Interaction avec le monde • Capteurs

4. Plan (suite)2 • Sorties • Affichages visuels • Indices visuels d’information 3D • Propriétés des types d’affichage • Types • Stationnaires • Mobiles (« head-mounted ») • Transportables (« hand-based ») • Affichages auditifs • Indices auditifs de positionnement spatial • Propriétés des types d’affichage auditif

5. Plan (suite)3 • Sorties (suite) • Affichages haptiques • Propriétés • Types • Tactiles • End-effectors • Robotiques • 3D • Autres affichages

6. Schéma d’un système de RV/A

7. Remarques préliminaires • L’immersion et l’interaction sont deux des éléments les plus importants en RV • L’immersion dépend des informations sensorielles expérimentées par l’utilisateur dans l’environnement

8. Remarques préliminaires (2) • L’environnement doit également connaître les actions de l’utilisateur afin de moduler les informations qui lui sont transmises pour maximiser la sensation d’immersion • Pour atteindre cet objectif, il faut • Détecter les actions de l’utilisateur • Détecter les actions du monde virtuel

9. Remarques préliminaires (3) • La détection des actions de l’utilisateur s’obtient par: • La détection de la position de l’utilisateur dans l’EV • La détection et l’interprétation des actions de l’utilisateur dans l’EV • Ces deux activités sont par conséquent reliées aux entrées fournies à l’EV

10. Entrées-sorties dans les EV ENTREES Détection des actions de l’utilisateur (user monitoring)

11. Détection des actions de l’utilisateur • Il existe trois moyens principaux de détection des actions de l’utilisateur dans l’EV: • Tracking de sa position • Tête • Corps • Actions sur des dispositifs physiques (physical controls)

12. Détection des actions de l’utilisateur (2) • Tracking de la position: • Cette activité consiste à utiliser un capteur qui retourne à l’EV la position et/ou l’orientation de l’utilisateur dans l’espace • Le capteur de position/orientation est le dispositif le PLUS IMPORTANT dans un système de RV car c’est celui qui affecte le plus la qualité de l’immersion • Le tracking de la tête est spécialement important

13. Détection des actions de l’utilisateur (2) • Tracking de la position – critères à considérer lors du choix d’une technologie: • Exactitude, précision et rapidité • Encombrement (câbles, etc.) • Interférences entre le capteur et l’environnement physique (matériaux de construction, etc.)

14. Détection des actions de l’utilisateur (3) • Tracking de la position – technologies disponibles: • Électromagnétique • Mécanique • Ultrasonique • Optique • Vidéométrique • Inertiel • Neuronique

15. Détection des actions de l’utilisateur (4) • Tracking de la position – capteurs électromagnétiques • Combinaison émetteur – récepteur • Avantages: • Simples et faciles à interfacer • Peuvent êtres utilisés à la fois pour la tête et les mains • Relativement peu coûteux • Désavantages: • Interférences électromagnétiques • Faible distance de travail • Encombrement causé par les câbles (bien que des solutions wireless existent)

16. Détection des actions de l’utilisateur (5) • Tracking de la position – capteurs mécaniques • Calcul de cinématique de l’organe terminal d’un bras robotisé • Avantages: • Option « mains libres »! • Compense la gravité • Désavantages: • Limite l’enveloppe d’autonomie de l’utilisateur • L’inertie du système n’est pas si facile à compenser • Ne peuvent être utilisés simultanément pour la tête et les mains à cause des interférences mécaniques

17. Détection des actions de l’utilisateur (6) • Tracking de la position – capteurs ultrasoniques • Principe de triangulation par temps de vol • 3 émetteurs et trois détecteurs sont suffisants pour estimer 6 degrés de liberté (position et orientation) • Avantages: • Peu coûteux pour la RV desktop • Désavantages: • Sensibles au bruit et aux occlusions • Peuvent être encombrants (car une certaine distance entre les émetteurs doit exister pour garantir un niveau de précision acceptable dans l’estimation de la position)

18. Détection des actions de l’utilisateur (7) • Tracking de la position – capteurs optiques • Principe exploitant la vision artificielle (caméras-marqueurs) et la triangulation pour estimer la position et l’orientation (au moins deux caméra sont nécessaires pour obtenir de l’information en 3D) • Avantages: • Permettent de suivre plusieurs utilisateurs simultanément (à condition de pouvoir les identifier sans erreur à chaque instant) • Plus précis que les capteurs ultrasoniques • Désavantages: • Peuvent être coûteux (pour systèmes temps réel) • Sensibles aux occlusions des marqueurs • Nécessitent que les marqueurs demeurent continuellement dans le champ de vision des caméras

19. Détection des actions de l’utilisateur (8) • Tracking de la position – capteurs vidéométriques • Principe exploitant la vision artificielle (caméras-marqueurs) et la triangulation pour estimer la position et l’orientation. La caméra est posée sur l’utilisateur… • Avantages: • Permettent de suivre plusieurs utilisateurs simultanément (à condition de pouvoir les identifier sans erreur à chaque instant) • Plus précis que les capteurs ultrasoniques • Désavantages: • Peuvent être coûteux (pour systèmes temps réel) • Sensibles aux occlusions des marqueurs • Nécessitent que les marqueurs demeurent continuellement dans le champ de vision des caméras

20. Détection des actions de l’utilisateur (9) • Tracking de la position – inertiels • Inclinomètres, accéléromètres, gyroscopes • Avantages: • En principe, on peut obtenir l’information sur les 6 ddl (du moins avec les gyros et les accéléromètres) • Auto-suffisants (ne requièrent aucune autre composante) • Offrent une grande rapidité de mesure (et donc peu de « lag » avec le display) • Prix peu élevés • Désavantages: • Comme ces dispositifs enregistrent la position et l’orientation de manière relative, les erreurs s’accumulent en cours d’expérience • En général, on ne se sert donc de ceux-ci que pour des mesures d’orientation seulement

21. Détection des actions de l’utilisateur (10) • Tracking de la position – neuroniques • Servent à mesurer la position de certaines parties du corps par rapport à d’autres • Par exemple, avec des senseurs sur les muscles du bras de l’utilisateur, il est possible d’estimer la position des doigts (par des modèles calibrés ou avec des réseaux de neurones) • Ces technologies sont encores peu répandues et ne sont pas fréquemment utilisées dans les systèmes courants

22. Détection des actions de l’utilisateur (11) • Tracking du corps: • Tête • Tracking effectué dans presque tous les systèmes • Notamment pour les systèmes d’affichage dits « head-based » • Mains et doigts • Le tracking s’effectue grâce à un gant (sur lequel est monté l’un des dispositifs de tracking vus précédemment) et permet d’interagir (potentiellement via la reconnaissance des gestes) avec l’EV et parfois de naviguer dans celui-ci. • Limitations: il y a généralement un petit nombre de gants dans un EV…et les gants de qualité sont généralement coûteux • Yeux • Peu répandu • Systèmes généralement basés sur la détection de radiation IR

23. Détection des actions de l’utilisateur (12) • Tracking du corps: • Torse • Pour le guidage d’avatars dans les EV. • Intéressant pour les EV immersifs d’entraînement pour les sportifs • Pieds • Utile pour estimer la vitesse de marche d’un utilisateur se déplacant dans un EV • Nécessite d’inclure une interface de locomotion dans l’EV: • Tapis roulant, ou autre (vélo stationnaire, etc.)

24. Détection des actions de l’utilisateur (13) • Tracking – approches pour améliorer la performance des dispositifs • Chaque méthode de tracking a ses avantages et ses inconvénients • Certains de ces inconvénients peuvent être réduits et même éliminés grâce à plusieurs techniques: • Analyse prédictive: l’ordinateur utilise les valeurs passées fournies par le dispositif de tracking pour prédire les prochaines valeurs entre deux lectures. • Calibrage: on peut par exemple construire des tables de look-up pour corriger les lectures de systèmes électromagnétiques dont les lectures sont affectées par les structures avoisinantes • Fusion multicapteurs: combiner les lectures de position et d’orientation fournies par plusieurs capteurs différents

25. Détection des actions de l’utilisateur (14) Actions sur des dispositifs physiques

26. Détection des actions de l’utilisateur (15) • On compte divers types de dispositifs permettant à l’utilisateur d’interagir avec l’EV: • Contrôles physiques: • Boutons, interrupteurs, ascenseurs • Boîtiers de commande (« props »): • Souris (2D et 3D), télécommandes • Plates-formes • « Affichage audio »

27. Détection des actions de l’utilisateur (16) • Contrôles physiques: • Boutons, interrupteurs, ascenseurs • Ce sont des éléments simples servant pour la plupart à choisir entre deux options ( dispositifs binaires tels les boutons et les interrupteurs), ou à faire défiler un ensmble de choix (ascenseurs)

28. Détection des actions de l’utilisateur (17) • Boîtiers de commande (props): • Ce sont des objets qui manipulés par l’utilisateur, ils permettent de transmettre des informations à l’environnement (par exemple, une télécommande de télé, une souris 3D) • Ces objets peuvent être représentés par des composantes de commande dans l’EV lui-même • Ils peuvent être dotés de contrôles physiques (par exemples, des boutons et des interrupteurs) • Ils permettent une interaction plus riche avec l’EV que les contrôles physiques

29. Détection des actions de l’utilisateur (18) • Plates-formes: • Ces dispositifs permettent de recréer (du moins partiellement) l’environnement physique dans lequel l’expérience virtuelle se déroule: • Anneaux • Véhicule (voiture, tank, tracteur, chaise-roulante, etc.) • Cockpit d’avion dans les simulateurs de vol

30. Détection des actions de l’utilisateur (19) • Affichage audio: • Système de reconnaissance de la parole • Ils permettent de transmettre des commandes à l’EV sans l’utilisation des mains • Avantages: • Libère les mains pour utiliser des boîtiers de commande et ainsi contrôler plusieurs éléments de l’EV • Favorise une interaction “naturelle” entre l’utilisateur et l’EV

31. Détection des actions de l’utilisateur (20) • Affichage audio: • Dévantages: • Demande un traitement important de l’information si le système doit accepter des commandes de n’importe quel utilisateur (i.e. sans entraînement) • Si l’EV est muni d’un système de son (soit avec écouteurs ou hauts-parleurs), ou que plusieurs utilisateurs partagent le même EV, le système doit être en mesure de décider s’il reçoit une commande ou si le son est simplement une sortie ou un échange entre les utilisateurs

32. Détection des actions de l’utilisateur (21) • Affichage audio: • Façons de contourner ces dévantages: • Dispositifs “Push to Talk”: le système n’accepte une commande que lorsque l’utilisateur appuie sur un bouton • Dispositifs “Name to Talk”: le système n’accepte une commande que lorsque l’utilisateur prononce un mot précis (ex. Stop, Go, etc.)

33. Entrées-sorties dans les EV Sorties Visuelles, audio, haptiques, autres

34. Sorties – Introduction (1) • Un élément clé en RV est la qualité de l’expérience à laquelle l’utilisateur est soumis • La qualité de cette expérience dépend grandement de la perception qu’a l’utilisateur de l’EV • Le niveau de qualité de l’expérience est d’autant plus élevé que les divers sens de l’utilisateur sont stimulés par les composantes de l’EV

35. Sorties – Introduction (2) • L’EV doit donc offrir le spectre le plus large possible d’affichages (displays): • Visuel • Auditif • Haptique (mécanique et tactile) • Autre (vestibulaire, etc.)

36. Sorties – Introduction (3) • Dans ce qui suit, nous allons aborder les principaux types d’affichages de même que les principes de base pertinents à chacun: • Affichages visuels • Affichages auditifs • Affichages haptiques • Autres

37. Sorties Affichages visuels (Visual Displays)

38. Affichages visuels (1) • L’affichage visuel est très important pour la qualité de l’immersion de l’utilisateur dans l’EV • La qualité de cette immersion est grandement accrue si l’affichage des composantes de l’EV est effectué en trois dimensions

39. Affichages visuels (2) • On retrouve trois principales approches d’affichage visuel 3D en RV: • Les affichages stationnaires: • Aquariums (fishtank VR) • Par projection • Les casques (Head-Based Displays (HBD)) • Les dispositifs tenus en main (Palm VR)

40. Affichages visuels (3) • Pour transmettre à l’utilisateur qu’il perçoit son environnement en 3D, plusieurs principes sont utilisés par les approches d’affichage: • Principes monoculaires • Principes stéréoscopiques • Principes basés sur le mouvement • Principes physiologiques

41. Affichages visuels (4) • Principes monoculaires: • Occlusion: un objet en masquant partiellement (ou complètement) un autre est forcément plus près de l’observateur • Ombrage: les ombres projetées sur le sol par les objets peuvent fournir un indice sur la localisation d’un objet dans l’espace (notamment par rapport à l’éclairage)

42. Affichages visuels (5) • Principes monoculaires (2): • Perspective: dans un système monoculaire, des droites parallèles dans l’espace 3D se croisent au point de fuite dans une image de celles-ci

43. Affichages visuels (6) • Principes monoculaires (3): • Perspective: dans un système monoculaire, des droites parallèles dans l’espace 3D se croisent au point de fuite dans une image de celles-ci • Texture: l’apparence de la texture d’une surface peut donner l’illusion de la profondeur (ex. mur de briques)

44. Affichages visuels (7) • Principes monoculaires (4): • Effets atmosphériques: la présence de brouillard peut fournir une information sur la distance des objets (les objets lointains étant plus masqués par le brouillard que ceux qui sont plus rapprochés de l’observateur • Illuminance des objets: les objets plus clairs donnent l’impression d’être plus rapprochés que les objets lointains

45. Affichages visuels (8) • Principe stéréoscopique (1): • La différence de position entre les images du même objet observé de deux points de vue différents fournit la plus forte information visuelle de distance

46. Affichages visuels (9) • Principes basés sur le mouvement (1) • Les objets situés plus près de l’observateur ont l’air de se déplacer plus vite que les objets éloignés fournissant ainsi une information très riche sur la distance des objets • Le mouvement apporte presque autant d’information sur le caractère 3D d’une scène que la stéréoscopie

47. Affichages visuels (10) • Principes physiologiques: • Ils fournissent des informations 3D, mais à un degré moindre que les principes précédents • On en compte deux principaux: • Accommodation: information de profondeur fournie par les muscles oculaires lors de la mise au foyer de l’image de chaque œil • Convergence: information fournie par les muscles oculaires lors du déplacement des yeux pour l’observation d’une scène

48. Sorties Propriétés des affichages visuels Pour la RV

49. Propiétés physiques des affichages visuels (1) • Plusieurs propriétés physiques doivent être prises en compte pour décrire les affichages visuels: • Couleur: deux approches principales • Trichromie: 3 faisceaux simultanés balaient la surface d’affichage à la même cadence • Champs séquentiels (« field sequential »): 3 faisceaux sont surimposés successivement à chaque point de la surface d’affichage. Cela exige donc une cadence trois fois plus rapide que les systèmes trichromiques, mais offre une meilleure résolution (i.e. plus de pixels au mm carré)

50. Propiétés physiques des affichages visuels (2) • Illustration des deux principes