Adaptive Animated Agent in Ambient Interaction Scenarios

1. Agent Animé Ambiant & Adaptatif Ning TAN, Jean-Claude MARTIN LIMSI / AMI / ACA Co-encadrement de thèse : Yacine BELLIK • Projets • FP7 ATRACO: intelligence ambiante • ANR OTIM: corpus multimodaux

2. Objectif général • Spécifier, implémenter et évaluer un agent animé capable d’adapter son comportement non-verbaldans des scénarios d’interaction ambiante

3. Méthodologie • Spécification • corpus multimodaux • Validations • tests perceptifs • évaluations dans la pièce intelligente (iRoom)

4. Plan • Etude de l’existant • Spécification préliminaire de l’agent • Méthodologie • Perspectives

5. Etude l’existant

6. -Etude l’existant- Intelligence Ambiante • Intelligence ambiante • Les challgences (Weiser 91’; Van Loenen 03’) • « Invisibilité » • « Intelligence » • « Ubiquité » • « Interaction naturelle » • Environnements Intelligents Habitables  (Hagras 07’) • Quels sont les facteurs issus des EIH pouvant impacter sur notre comportement non verbal? • Objet • Evénement • Individu

7. -Etude l’existant- Agents animés adaptatifs • peu utilisés dans l’ambiant • Bruits environnementaux [Haya et al. 04’; Baldassarri et al. 08’) • Intensité des mouvements de l’utilisateur (Miyawaki & Sano 08’) • Expressions faciales de l’utilisateur (Hupont et al. 09’) • peu explorés en termes de considérations des facteurs d’adaptation à la fois statiques et dynamiques • Statique: Personnalité (Ibister et Nass 00’) les utilisateurs se sont amusés plus avec les agents dont les comportements non-verbaux correspondent à leur personnalité différente

8. -Etude l’existant- Corpus Multimodaux • Terrains d’application • Conception IHM: spécification des agents animés • Recherches en Linguistiques, Psychologie (émotion, communication) • Méthodologies • Acté • Orienté tâche • Corpus écologique

9. -Etude l’existant- Corpus Multimodaux • Schémas de codage • Fonctions sémantiques • Formes et dynamique de mouvements • Requêtes sur les relations multimodales • Outils d’annotation • Anvilhttp://www.anvil-software.de/ • Elan

10. Spécification préliminaire des dimensions d’adaptation de l’agent

11. -Spécification-Spécification préliminaire des dimensions d’adaptation de l’agent postures • postures • Expressions non verbales de la personnalité • Personnalité préférée Critère d’adaptation statique • agent animé ambiant adaptatif gestes • gestes • localisation de l’utilisateur • actes communicatifs • disponibilité audio Comportements non verbaux pouvant faire l’objet d’adaptation distance spatiale • distance interpersonnelle Critères d’adaptation dynamiques

12. -Spécification-critère d’adaptation • Facteur statique • Personnalité (Buisine & Martin 08’; Clavel & Martin 09’) • Facteurs dynamiques • Actes communicatifs que doit véhiculer l’agent • Taxonomie DIT++ (Bunt 03’, 09’) • Disponibilité audio de l’utilisateur(ex. si l’utilisateur est au téléphone, l’agent ne doit pas utiliser la parole) • Localisation de l’utilisateur (et distance par rapport à l’agent)

13. Méthodologie

14. -Méthodologie- Schéma de codage des postures • Conversation dyadique • 4 parties (Bull 87’; Kipp 07’) • Bras & mains • Jambes & pieds • Épaule • Tronc • Critères d’annotations • Annoter les positions maintenant au moins 1 sec. • Ne pas annoter s’il n’y a pas de nouvelles postures établies • Ne pas annoter les membres si le corps reste en mouvement • 15 minutes annotées

15. -Méthodologie- Technologie d’agent animé • Pas de génération multimodale dynamique: librairie d’animation Poser • Spécification et conception manuelle d’animations à partir du corpus • Sélection en fonction de paramètres contextuels

16. Perspectives • Spécification des variations non verbales • Gestes • Postures • Validation perceptive • Animations poser extraversion / introversion • Evaluation pièce intelligente (iRoom) • Dimensions d’évaluation de l’adaptabilité • Utilisabilité, satisfaction, influences sociales • Combinaison dynamique d’animations : MARC (Courgeon et al. 09’)