1 / 40

Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels

Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels. Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG. iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF. Réalité Augmentée (RA). Réalité Virtuelle (RV). Réalité (R). Intégration R+V.

calista-schneider
Download Presentation

Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels Raphaël GrassetJean-Dominique Gascuel iMAGIS-GRAVIR/IMAG iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF

  2. RéalitéAugmentée (RA) Réalité Virtuelle (RV) Réalité (R) Intégration R+V Simulation, AnimationCalculs ComplexesInformations évolutives Métaphores naturelles de communications (verbales, gestuelles expressions)interaction 3D intuitive Motivations

  3. Motivations • Applications • Visualisation scientifique • Architecture, urbanisme • Ingénierie • Jeu • Éducation ..Etc..

  4. Motivations But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur. Difficultés: • Calibrage et Alignement des deux mondes. • Erreur de mesures + latence (délai mesure-vision). • Techniques d’interaction intuitive. • Intégration visuelle des deux mondes (occultations, éclairage). • Gestion multi-utilisateurs. Approche : (simplicité, rapidité) / (fiabilité, robustesse)

  5. Etat de l ’Art Approche Réalité Virtuelle [Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96] Approche Interface Homme-Machine [Well1ner91], [Krueger91], [Rekimoto94], [Berrard99]

  6. Etat de l ’Art Système collaboratif en RA [Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01] [Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99]

  7. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

  8. Architecture Logicielle But : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés. Approche : Architecture modulaire + Configuration par fichier XML. Application GestionObjets( chargement, droit, initialisation..) GestionInteractions( Navigation, Manipulations, Outils) Gestionmatériel(capteur, graphique, vidéo, son..) GestionUtilisateurs(configuration, initialisation ) OpenGL Performer, AL, VL, Qt Unix, X

  9. Gestion matériel But : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système. Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plug’n calib’ n play » ([Studierstube]).Complexité masqué par fichier configuration XML ([RS01]). Application Calibrage + Configuration p->GetData() Fichier XML Environnement

  10. Configuration : Petit Groupe Configuration centralisé : • utilisateur autour d’une table : collaboration face à face. • Aire partagée et Aire privée. Aire partagée Aire personnelle(menu virtuel, donnée privée)

  11. Configuration : Environnement Informatique • Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids. • Interaction: stylo • facilement utilisable. • Tracking: capteur magnétique • rapide, • pas de ligne de visibilité.

  12. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

  13. Head CS Eye CS Transmitter CS HMD Calibration Receptor CS Pen Calibration Image CS Emitter CS Tip CS World CS World Calibration Calibrage But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]).Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide.

  14. Point fixe P4 P1 Calibrage : Méthode • Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel. • Calibrage du stylo ([Fuhrmann99],[Tuceryan95]) : orienter le stylo dans 4 directions très représentatives. • Calibrage du monde ([Fuhrmann99],[Tuceryan95]): sélection de 4 points du plateau. P2 P3

  15. Calibrage : Résultats 2 cm Erreur largement acceptable pour un grand nombre d’applications. Erreur Dynamique : Filtrage de Kalman ([Azuma94]).

  16. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Calibrage : Rapide et Intuitive • Nouvelles Techniques d’interactions • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

  17. Manipulations d ’objets But : manipulation intuitive des objets.Approche : « retour haptique » favorise interaction. => contact avec la table. => respect de la gravité. Métaphore naturelle / Métaphore virtuelle ([Kato00]).Outils dans la zone personnelle de l’utilisateur (déplacer, tourner, détruire, ajout d’objets).

  18. Manipulations d ’objets : Déplacement objets Approche : adapté des méthodes réels (pas de « clic »). Saisir, Soulever, Déplacer Toucher, Pousser

  19. Déplacement d’objets • Méthode « Lever-Déplacer » Stylo Objet virtuel Plan de travail

  20. Déplacement d’objets • Méthode « Glisser » • Animation du déplacement Stylo Objet virtuel Plan de travail

  21. Ajout d ’objets But : ajouter objets réels et virtuels de façon dynamique([Szalavari97], [Kato00]). Approche : -Ajouter des objet virtuels : menu virtuels. -Ajouter des objets réels : digitaliser ces objets. Pourquoi ? Décor (statique), TUI (dynamiques).Quel Type ? Modèle connu/inconnu.

  22. Ajout d ’objets : modèle connu But: obtenir la transformation entre le repère de l’objet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle. Object CS Objet réel Objet virtuel

  23. Ajout d ’objets : modèle connu pion réel

  24. Ajout d ’objets : modèle inconnu But:obtenir la position et la géométrie de l’objet générique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

  25. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

  26. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 2 DOF P1 P2

  27. Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 0 DOF P1 P2

  28. Ajout d ’objets : modèle inconnu

  29. Tangible User Interface (TUI) But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]). Contraintes: un capteur et plusieurs objets réels à manipuler. Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés. Objets réel

  30. Passage RA/RV But : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion)([Kiyokawa99], [Kato00]).Approche : « plonger dans la scène ». ( WIM [Stoakley95]). t1 t1 t2 t2 Arbres Personnage Plan de travail

  31. Utilisateur Visibilité Déplacement Annotation Défaut Architecte Maurice Clients Joe Robert Multi-utilisateurs But : Informations suivant le rôle d’un utilisateur.Approche : vue personnelle( [Smith96], [Agrawala97], [Szalavari98], [Butz99]).Matrice creuse pour chaque objet.

  32. Multi-Utilisateurs : résultats Vue Maître de Jeu Vue Joueur 1 Vue Joueur 2

  33. Vidéos

  34. Conclusions et Futurs Travaux • Environnement de RA basé sur une architecture souple. • Support # utilisateurs, # périphériques, # données. • Techniques de manipulation d’objets réels et virtuels dans un même espace (stylo « mixte » + TUI). • Simulation dans l’espace de travail. • Réalisme de l’intégration : éclairage, ombres. • Occultations mains, doigt, bras. • Déplacement d’objets sans capteurs (TUI + « Real Reality »). • Évaluation.

  35. Travaux précédents • Interactions avec des objets réels • Whitaker[1995] • Shared Space[1999] • Build-IT[1997]

  36. Reconaissance de geste • Problème : passage de commandes rapidement [Starner,1995] • Geste simple : déplacement horizontal sur le plateau de jeu • Extension à une trajectoire complexe : successions de segments • Ex : “CFC “

  37. Premier prototype

  38. Le stylo mixte

  39. Interaction 3D

  40. Plan • Motivations et Etat de l’Art • Configuration : Petit Groupe et Environnement Informatique • Architecture Logiciel • Gestion Souple du Materiel • Configuration de Test • Nouvelles Techniques d ’interactions • Manipulation d ’Objets • Ajout d ’objets • Passage RA<->RV: exocentric egocentric • Gestion multi-utilisateurs • Conclusion et Futurs Travaux

More Related