1 / 21

Prototype d’agent émotionnel pour le dialogue

Prototype d’agent émotionnel pour le dialogue. Luca Bisognin ( luca.bisognin@imag.fr ) Sylvie Pesty ( sylvie.pesty@imag.fr ) Equipe MAGMA/ Laboratoire Leibniz. Présentation. Motivations Qu ’est-ce qu ’une émotion? Pourquoi modéliser les émotions dans le traitement du dialogue?

evette
Download Presentation

Prototype d’agent émotionnel pour le dialogue

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Prototype d’agent émotionnel pour le dialogue Luca Bisognin (luca.bisognin@imag.fr) Sylvie Pesty (sylvie.pesty@imag.fr) Equipe MAGMA/ Laboratoire Leibniz

  2. Présentation • Motivations • Qu ’est-ce qu ’une émotion? • Pourquoi modéliser les émotionsdans le traitement du dialogue? • Comment modéliser les émotions? • Indices • Critères • Mécanisme d ’évaluation (modèle OCC) • Aspects architecturaux • Agent Conversationnel • Agent Conversationnel Emotionnel • Rapprochement architectures BDI • Perspectives et Conclusion

  3. Motivations • 1998-2002 (PhD Guillaume Chicoisne) : • recherche sur la dynamique du dialogue • développement d’un agent conversationnel • 2000-2004 (PhD Patricia Jaques) : • recherche sur la modélisation affective d’un apprenant dans un EIAH • développement d’un agent pédagogique expressif • 2003-2004 (contrat RIAM Luca Bisognin): • recherche sur la modélisation d’un agent cognitif émotionnel pour le traitement du dialogue

  4. Qu’est-ce qu’une émotion? • 2 dimensions • Expressive (liée aux modifications physiologiques) • Cognitive (attention, contrôle, motivation, décision, action) • 5 caractéristiques (Scherer 2000) : • Dépendance temporelle • Variabilité quantitative et qualitative (« appraisal ») • Effets physiologiques et expressifs • Réactivité : signal d’autrui ou de son propre corps • Rationalité : cause et but • Exemples : joie, tristesse, colère, peur, surprise, … Quels rôles dans le traitement du dialogue?

  5. Pourquoi modéliser les émotionsdans le traitement du dialogue? • Elles contribuent au sens d’un message en ouvrant une « fenêtre » sur les intentions de l’interlocuteur Que je suis content de vous voir! Oh ça oui!

  6. Pourquoi modéliser les émotionsdans le traitement du dialogue? • Elles orientent le déroulement du dialogue (cf. R. Bertrand & al., R.Vion & al.) dénégation diversion compassion/souhaits prostration évaluation questionnement rationalisation banalisation verbalisation de l’émotion Temps du dialogue Evénement

  7. Émotions de base Intensité ? Comment modéliser les émotions? Préciser les dimensions de l’objet qui vont donner lieu à une mesure, les indicateurs (manifestations) des émotions et les techniques de mesure. valence positif Activation (stimulation) élevé • Dimensions : faible Mais autres dimensions? négatif • Manifestations des émotions : expressions faciales, gestes, tendances à l ’action, expression et contrôle des émotions dans la parole (prosodie), réponses physiologiques, etc…

  8. Comment modéliser les émotions? • Dimension expressive • Support « incarné » (cf. embodied agents) • Traitement de la multimodalité • Dimension cognitive • Mécanismes d’interprétation (quels indices?) • Mécanismes de décision (quels critères?) Notre étude porte essentiellement sur la dimension cognitive

  9. Indices émotionnels • Certains indices d’ordre physiologique et expressifs • pigmentation de la peau, rythme respiratoire • Plusieurs indices d’ordre physionomique • traits du visage, regard, posture • Des indices prosodiques • ton, timbre, rythme de la voix, etc… • Tous les indices verbaux possibles • indices lexicaux, morphologiques, syntaxiques, sémantiques et pragmatiques

  10. Indices verbaux • Les émotions à tous les étages sémantique Procédés d’anti-orientation (mais) syntaxique Phrase expressive : « Délicieux, ce café. » Verbes psychologiques, etc… morphologique Hypocoristiques, diminutifs, etc… lexical Lemmes à dénotation affective Ton, timbre, rythme de la voix phonologique

  11. Critères de décision • En local : fonction de l’état interne de l’agent • En global : fonction de la régulation affective dans le dialogue Décision guidée par une évaluation émotionnelle (« appraisal »)

  12. Le modèle d’Ortony, Clore & Collins (1989)

  13. Un agent conversationnel Un agent situé dans le “temps du dialogue”: • ajout de mécanismes d’interprétation et d’expression en contexte • gestion d’un focus conversationnel par l’agent : image d’un objet commun entre interactants (type du dialogue, objectif et thème, relation sociale,…) • double mécanisme de régulation du dialogue: • régulationlocale à l’échelle de quelques énoncés • mécanisme basé sur des attentes • régulationglobale à l’échelle du dialogue • mécanisme basé sur le focus caractère adaptatif et rationnelde l’agent

  14. Texte Intégration Multi-modale Traits du visage Formalisation Formalisation Postures Formalisation Expression Texte Enonciation Enonciation Répartition Multi-modale Traits du visage Enonciation Postures Interprétation Agent Conversationnel (vision d’ensemble) Chaîne de traitement des entrées Raisonnement (gestion conversationnelle) Environnement Chaîne de traitement des sorties

  15. Formalisation Formalisation Formalisation Expression Enonciation Enonciation Enonciation Réaction (émotions primitives) Interprétation prime- évaluation (appraisal) Agent Conversationnel Emotionnel(une vision d’ensemble) Chaîne de traitement des entrées Texte circuit top-down Intégration Multi-modale Traits du visage Postures Raisonnement Gestion conversationnelle circuit bottom-up Environnement Texte Répartition Multi-modale Traits du visage Postures Chaîne de traitement des sorties

  16. Agent rationnel(une vision d’ensemble) entrées senseurs Agent • perception - > B Environnement physique et social • raisonnement -> D, I, π sorties • execution de π effecteurs

  17. Agent émotionnel(un prototype d’architecture) Texte Génération de Croyances et Révision Reconnaissance de situation Traits du visage Perception Postures Contrôleur de Situations Attendues (Attentes) Planification et Ordonnancement (Focus) Contrôleur de Stimulus Environnement Texte Génération Traits du visage Action Postures

  18. Perspectives de déploiement • Implémentation de l’agent conversationnel • Decodage/encodage des modalités gestuelles, faciales et posturales • Suivi du dialogue par focus à compléter • Implémentation du traitement des indices émotionnels (MAGMA) • Caractérisation des phases de régulation affective dans le dialogue • Implémentation des mécanismes d ’évaluation émotionnelle (en cours) • Implémentation d ’un agent animé expressif (Galilea/Virtual Actors)

  19. Perspectives applicatives • Augmentation du réalisme • jeux vidéos (autonomie des personnages non joueurs, dialogue naturel avec le joueur, projet RIAM Galilea/Virtual Actors…) • Amélioration de l’ergonomie • applications bureautiques (compagnons) • « Optimisation » de l’effet pédagogique • Piaget : « l’affectivité motive l’activité intellectuelle et l’intérêt »

  20. Conclusions • L’émotion : nouveau paradigme? • Reconsidération de la rationalité (Brooks, Harnad) • Prise de décision et Emotion (Damasio, 1994) • Affective Computing (R. Picard, MIT, 1995) Formalisation d ’architectures BDI+E?

  21. Bonus Une démo ?

More Related