Structure du discours et reconnaissance de plans dans le traitement du dialogue homme machine
This presentation is the property of its rightful owner.
Sponsored Links
1 / 83

Structure du discours et reconnaissance de plans dans le traitement du dialogue homme-machine PowerPoint PPT Presentation


  • 54 Views
  • Uploaded on
  • Presentation posted in: General

Structure du discours et reconnaissance de plans dans le traitement du dialogue homme-machine. Cécile Balkanski LIMSI Février 2003. Présentation de 4 articles. "Intention, Attention and the Structure of Discourse", Grosz et Sidner, Computational Linguistics 1986

Download Presentation

Structure du discours et reconnaissance de plans dans le traitement du dialogue homme-machine

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Structure du discours et reconnaissance de plans dans le traitement du dialogue homme machine

Structure du discourset reconnaissance de plansdans le traitement du dialogue homme-machine

Cécile Balkanski

LIMSI

Février 2003


Pr sentation de 4 articles

Présentation de 4 articles

  • "Intention, Attention and the Structure of Discourse",

    Grosz et Sidner, Computational Linguistics 1986

  • "Plans for discourse", Grosz et Sidner 1990

    "Intentions in Communication", Cohen, Morgan et Pollack

    (eds)

  • "Collaborative Plans for Group Activities",

    Grosz et Kraus, IJCAI-93

  • "Using Collaborative Plans to Model the Intentional

    Structure of Discourse",

    K. Lochbaum, ThèsePh.D., Université d’Harvard,1994


Si assez de temps

Si assez de temps

  • Deux applications

    • COLLAGEN (for COLLaborative AGENt) Rich and Sidner, 1996 ) http://www.merl.com/projects/collagen/

    • "Cooperative requests and replies in a collaborative dialogue model" Balkanski et Hurault-Plantet, International Journal of Human-Computer Studies, vol 53, 2000


Pr misses

Prémisses

  • Comprendre un énoncé exige de reconnaître les intentions et croyances de la personne qui a produit cet énoncé.

    Donc, plus globalement: participer à un dialogue de reconnaître les intentions et croyances des personnes qui participent à ce dialogue.

  • Tout dialogue est structuré : D ≠ e1 + e2 + e3 + ...

    Un dialogue n’est pas juste une séquence d’énoncés.

    Donc, le sens d’un dialogue comprend plus que le sens de chaque énoncé

  • La reconnaissance de cette structure est indispensable pour l'interprétation comme pour la génération.

    Mais … (voir transparent 7 et suite)


Dialogue de la boite outils grosz 1981

Dialogue de la boite à outils, Grosz, 1981.

Utilisateur : La boîte à outils est fermée.

Système :

(Pourquoi me dit-il cela? Je sais déjà que la boîte à outils est fermée ...

Je sais que l'utilisateur a besoin d'avoir accès au contenu de la boîte à outils. Peut-être me dit-il que la boîte à outils est fermée parce qu'il pense que je peux l'aider d'une manière ou d'une autre ...

Pour ouvrir la boîte, il faut avoir une clef. L'utilisateur sait cela, et il sait que je le sais également. La clef est dans le classeur. Si l'utilisateur le savait, il ouvrirait simplement la boîte. Donc, c'est qu'il ne le sait pas.

Je peux le lui faire savoir en disant : "La clef est dans le classeur". Mon rôle est de l'aider. Je vais donc le dire.)

La clef est dans le classeur.


Autres exemples

Autres exemples

  • Contexte du réceptionniste :

    A:Connaissez vous le numéro de téléphone de Mr. Dupont?

    B:Non, mais son email est [email protected]

  • Contexte de la cafétéria :

    A:T’as l’heure?

    B:T’en fais pas, la prof est toujours en retard.

  • Contexte d’un système d’aide :

    A:Mon imprimante est en panne.

    B:D’accord, fait enregistré.

  • Un client qui parle à un psychiatre lacanien :

    Client:May I ask you three questions?

    Psychiatrist:Yes, but that will cost you $1000

    Client:Isn't that rather expensive?

    Psychiatrist:Yes. What's the third question?


Exemple de l importance de la structure de dialogue

Exemple de l’importance de la structure de dialogue:

U: A fire's been reported near Lexington Reservoir. Show me the area east of there.

S: [displays map]

U: The fires are here [pointing with mouse]

S: By the way, some of the equipment from Station 3 is

being used for a kitchen fire in town.

U: Can you tell me what equipment is left?

S: All the big trucks, the water tank trucks, and the bulldozers

U: OK. Then we're in good shape. The fire isn't too big yet.

S: I suggest a firebreak here. [pointing with mouse]

U: Isn't the area too steep?


Questions

Questions :

  • Sur quoi repose la structure d’un discours ?

  • Comment la déterminer ?

  • Quelles infos sont pertinentes ?

  • Quelles sont les relations entre les segments de cette structure?

    Questions de fond :

  • Quelle est la nature de la cohérence d'un discours?

  • Comment expliquer le rôle d'un segment du discours par rapport au discours en entier?


Quelques approches

Quelques approches

  • Relations rhétoriques

    • Cohérence du discours repose sur un ensemble fini de relations rhétoriques. Par ex. purpose, enablement, circumstance, background, motivation

    • "discourse", "rhetorical", "coherence" relations

    • Ex: Hobbs (79,83), Lehnert (81), Reichman (81), Mann et Thompson (86), McKeown (85) parmi les premiers

    • Mais :

      • choix et définition des relations? (comment sait-on qu'on les a toutes, et qu'elles sont toutes bonnes?)

      • diversité des intentions sous-jacentes aux discours par opposition à un ensemble fini de relations


Quelques approches suite

Quelques approches (suite)

  • Grammaires

    • Cohérence du discours repose sur un ensemble fini de règles de décomposition (grammaire; type d'information à la base des règles varie selon les modèles)

    • ex : "story grammar", Rumelhart (1975)

      • story setting episodes

      • setting  state-desc

      • setting  state-desc setting

      • episodes  episode

      • episodes  episode episodes

      • episode  events reactions

      • events  event-desc

      • events  event-desc events


Quelques approches suite1

Quelques approches (suite)

  • Grammaires (suite)

    • ex : « argument grammar", Reichman (1984)

      • argument claim support

      • support  authority citation

      • support  narrative

      • support  proposition

  • Mais :

    • choix des règles?

    • notion de structure correcte ou incorrecte?

    • comment choisir quelle règle appliquer?


  • Approche de grosz et sidner

    Approche de Grosz et Sidner

    • Cohérence (structure) du discours repose sur un ensemble infini d'intentions et un petit ensemble de relations entre intentions

      "intentional relations are the root of discourse structure" (1986)

      “the natural segmentation of a discourse

      reflects intentional behavior" (1990)

    • Problème subsidiaire : comment reconnaître les intentions

       reconnaissance de plans


    Attention intentions and the structure of discourse grosz et sidner 1986

    “Attention, Intentions and the Structure of Discourse”Grosz et Sidner (1986)

    Un modèle de dialogue en trois composantes

    interdépendantes :

    • structure linguistique : segmentation du discours

      "linguistic structure" : discourse segments and an embedding relationship between them

    • structure intentionnelle : intentions et relations "intentional structure": discourse segment purposes (DSPs) and the relationships of dominance and satisfaction-precedence

    • état attentionnel : segments de discours, entités et intentions

      "attentional state " : an abstraction of the discourse participants' focus of attention as their discourse unfolds, containing the entities that are salient to the segment, as well as its DSPs.


    Discourse structures gs86

    Discourse Structures (GS86)

    linguistic

    intentional

    purposes

    segments

    focus spaces

    attentional

    • Segmentation

    • Focus of attention

    • Plans underlying discourse


    Structure linguistique

    Structure linguistique

    • Structure hiérarchiquecomposée d'énoncés regroupés en segments ("discourse segments"),

    • Interaction bidirectionnelle entre la structure linguistique et les énoncés:

      • la structure linguistique permet de contraindre l'interprétation des énoncés (cf. la référence).

      • les expressions linguistiques (intonation, "cue phrases", "tense shift") peuvent communiquer des informations concernant la structure linguistique

    "In essence, the OCP must judge for each utterance whether it start a new segment, ends the current one (and possible some of its embedding segments), or contributes to the current one."


    Etat attentionnel

    Etat attentionnel

    • Structure dynamique composée d'informations contextuelles concernant les objets, propriétés, relations et intentions qui sont les plus pertinents à un moment donné.

    • Permet de limiter l'information contextuelle disponible pour l'interprétation et la génération d'énoncés (cf. référence) 

    • Modélisation: une pile de "focus spaces", un par segment de discours encore ouvert, contenant, chacune,

      • les entités mentionnées dans le segment correspondant (« quoi? »)

      • et une représentation du "discourse segment purpose" (« pourquoi? »)

    "The focusing structure is the central repository for the contextual information needed to process utterances at each point in the discourse. It distinguishes those objects, properties, and relations that are most salient at that point and, moreover, has links to relevant parts of both the linguistic and intentional structures."


    Structure intentionnelle

    Structure intentionnelle

    • Structure composée d'intentions ("discourse segment purpose", DSP), reliées entre elles par les relations de "dominance" et de "satisfaction-precedes".

    • "Discourse segment purpose": (DSP) la raison pour laquelle les locuteurs engagent le segment de discours en question

      • ne sont pas nécessairement explicitement formulés dans un énoncé

      • n'existent pas en nombre fini

      • doivent être reconnus

    "A rather straightforward property of discourse, namely, that they (or, more accurately, those who participate in them) have an overall purpose, turns out to play a fundamental role in the theory of discourse structure. In particular, some of the purposes that underlie discourse, and their component segments, provide the means of individuating discourses and of distinguishing discourse that are coherent form those that are not".


    Structure intentionnelle suite

    Structure intentionnelle (suite)

    • Relations

      • "dominance" : DSP1 domine DSP2 si DSP2 contribue une partie de la satisfaction de DSP1

      • "satisfaction-precedes": DSP1 "satisfaction-precedes" DSP2 si DSP1 doit être satisfaite avant DSP2

    "These relations represent respectively, the fact that satisfaction of one intention contributes to the satisfaction of a second, and the fact that one intention needs to be satisfied before another. (...)

    Determination of discourse segment purposes depends in part on recognition of these relationships, in part on domain knowledge, and in part on other features of the discourse context."


    Segments de discours tat attentionnel et structure intentionnelle

    Segments de discours,état attentionnel et structure intentionnelle

    • Figure 1 p.181

    • Exemple : dialogue dirigé par la tâche

      • Dialogue en fig.5 p.186

      • Structure linguistique sur même figure

      • Etat attentionnel fig.7 p.191

      • Structure intentionnelle fig.6 p.187


    Reconnaissance des dsps

    Reconnaissance des DSPs

    "The OCP must identify both the intention that serves as the discourse

    segment purpose and its relationship to other discourse-level intentions."

    • si l'énoncé débute un nouveau segment :

      "OCP must recognize the DSP of that segment, as well as its relationship to the other DSPs underlying the discourse and currently in focus."

    • si l'énoncé termine le segment en cours :

      " OCP must come to believe that the DSP of that segment has been satisfied."

    • si l'énoncé contribue segment en cours :

      " OCP must determine the effect of the utterance on the segment's DSP."


    Reconnaissance des dsps suite

    Reconnaissance des DSPs (suite)

    "Two issues that are central to the recognition problem are what information

    the OCP can utilize in effecting the recognition and at what point in the

    discourse that information becomes available."

    • L'information disponible pour la reconnaissance des DSP inclut :

      • des marqueurs linguistiques ( "cue phrases", par ex. "by the way"; intonation; changement de temps "tense shifts" )

      • les intentions an niveau des énoncés (les DSP peuvent combiner les intentions de plusieurs énoncés)

      • les connaissances générales, partagées entre les interlocuteurs, sur les objets et les actions du domaine du discours

        "It remains an open research question what inferences are needed and how complex

        it will be to compute supports and generates relationships if the dominance

        relationship is not directly indicated in a discourse."


    Importance des marqueurs linguistiques

    Importance des marqueurs linguistiques

    • « that reminds me »

      • new discourse segment, that is embedded with respect to the previous one

      • new DSP that is dominated by previous one

      • new PS that is pushed onto the stack

    • « First, … then »

      • two discourse segments that follow each other

      • two DSPs, with a «Satisfaction-Precede» relation between them

      • one FS that is popped off the stack before the second is pushed onto it.

    • « but anyway », « in any case »

      • no new segment, nor FS, nor DSP

      • FS : pop to some other space back in the stack

      • return to an old DSP, no change in intentional structure


    Importance de l intonation

    Importance de l’intonation

    • Hirschberg & Litman (1987)

      • I’m 58 now and [uh] they forced me off the job … [deictic]

      • My husband retired and [uh] this is the first year, now what’s this about [uh] quarterly income tax …

        [cue phrase  new discourse segment]

      • So in other words I will have to pay the full amount of the [of the uh] tax now what about PA state tax?

        [Mary told Jane she won the prize.]


    Importance des intentions au niveau des nonc s

    Importance des intentions au niveau des énoncés

    • Le DSP d’un segment peut être

      • identique à l’intention au niveau de l’énoncé de l’un des énoncés du segment

      • ou bien il peut combiner les intentions de plusieurs énoncés

        « I want you to arrange a trip for me to Palo Alto.

        It will be for two weeks.

        I only fly on TWA »

         « the process can be quite complex »


    Importance des connaissances sur le domaine

    Importance des connaissances sur le domaine

    • Les relations qui existent entre les actions mentionnées dans le segments de discours peuvent permettre de dériver une relation entre les deux DSPs correspondants.

    • Exemple : une relation de “génération” entre actions (Goldman 1970) peut induire une relation de dominance entre les DSPs correspondants.

      • DSP1 : l’intention d’apprendre sa leçon (A1)

      • DSP2 : l’intention de lire ses notes (A2)

      • DSP3 : l’intention de lire les articles mentionnés (A3)

      • génération((A2,A3), A1)

      • Alors : dom(DSP1,DSP2) et dom(DSP1, DSP3)


    Conclusion gs 86

    Conclusion GS 86

    • Deux limitations principales

      • structure intentionnelle peu développée

      • pas de proposition de modèle de traitement ("computational mechanism") pour reconnaître la structure d’un discours (malgré la présentation d’infos utiles à cette reconnaissance)

    • Grosz et Sidner 1990 (86-87): "Plans for Discourse"

      • introduction du modèle des plans partagés ("Shared Plans", SP), dans le but de mieux spécifier la composante intentionnelle de la structure du discours.

    • Lochbaum 1994 (thèse): "Using Collaborative Plans to Model Intentional Structure in Discourse"

      • présentation d'un modèle de reconnaissance de la structure intentionnelle d'un discours et specification du rôle des SP dans ce processus.


    Plans for discourse grosz et sidner 1990

    "Plans for Discourse"Grosz et Sidner (1990)

    • Prémisses

      • Le dialogue est une instance de comportement collaboratif

        "Discourses are fundamentally examples of collaborative behavior. The participants in a discourse work together to satisfy various of their individual and joint needs."

      • La collaboration ne peut pas être modélisée par la simple juxtaposition de plans individuels

      • Les plans sont des attitudes mentales complexes plutôt que des structures de données abstraites 


    Introduction

    Introduction

    • Constat :

      • Inadéquation des travaux existants dans le domaine de la planification et de la reconnaissance de plans pour le traitement du dialogue ("discourse situations")

    • Conséquence : cet article, qui

      • présente les caractéristiques de la "situation du discours"

      • évalue et critique les travaux précédents sur la planification et la reconnaissance de plans dans le domaine du TAL

      • propose un nouveau type de plans, et montre comment celui-ci peut servir à contraindre le processus de reconnaissance de plans.


    Id e centrale

    Idée centrale

    • Pour qu'une collaboration réussisse, les participants à un dialogue doivent avoir des croyances mutuelles concernant les buts à atteindre, les actions à exécuter, ainsi que les capacités, intentions, et engagements des participants. La représentation formelle de ces aspects des états mentaux des participants est appelé un plan partagé.


    Le mod le des plans partag s shared plans

    Le modèle des Plans Partagés : «Shared Plans»

    • ensemble de croyances et d'intentions nécessaires à la collaboration (Pollack 1986)

    • au départ : un plan partagé partiel, puis complété au fur et à mesure du dialogue, avec des intentions et croyances exprimées dans les énoncés.

    • processus de compréhension et de génération : définis par rapport à la contribution de chaque énoncé au plan partagé partiel

    • les interlocuteurs sont perçus comme cherchant à établir, à travers leurs énoncés, lesattitudes mentales requises pour une collaboration.


    Particularit s des plans dans le domaine du discours

    Particularités des plans dans le domaine du discours

    • La reconnaissance de plans repose sur des informations partielles

    • Les plans ont pour but d'être reconnus (cf. Grice, 1969)

    • Des marqueurs linguistiques fournissent des informations explicites au sujet des intentions

    • Les participants à un dialogue sont à la fois acteurs et agents inferrants

    • Ils ont des croyances privées, qui ne sont pas nécessairement complètes, ni parfaites, ni identiques

      "Thus, the plan recognition process for discourse entails incremental

      recognition on the basis of partial information, accomodation of

      uncertainty, and strategies for resolving inconsistencies in beliefs among

      participants."


    Insuffisances des mod les de planification existants

    Insuffisances des modèles de planification existants

    • l'hypothèse du maître et de l'esclave ("the master/slave assumption" )

    • l'hypothèse de connaissances complètes et correctes (de l’agent inferrant)

    • l'hypothèse d'un domaine limité à un seul agent (représentation des plans)

    • formalismes de représentation de type STRIPS (difficultés à raisonner au sujet du temps, des actions multi-agents, de différentes relations entre actions; sémantique et utilisation variées)


    Rappel formalisme strips fikes nilsson 1971

    Rappel : formalisme STRIPS(Fikes & Nilsson, 1971)

    • Actions modélisées par des opérateurs

    • États spécifiés par des conjonctions de formules atomiques

    • Schéma d’opérateur :

      • Entête (nom de l’action)

      • Liste de préconditions

      • Liste d’effets (« add and delete lists »)

      • Corps (pas toujours)

  • Exemple : actes de langage de Allen et Perrault 1980)

    • INFORM(speaker, hearer, P)

      • Precondition : KNOW(speaker, P)

      • Effect : KNOW(hearer, P)


  • Pollack 1986 1990

    Pollack (1986, 1990)

    "There are plans and there are plans. There are the plans that an agent "knows": essentially recipes for performing particular actions or for achieving particular goal states. And there are the plans that an agent adopts and that subsequently guide his action. This distinction is between knowing that a plan for assassinating the president is shooting him, and actually planning to assassinate the president by shooting him."

    A: I want to talk to Kathy, so I need to find out the phone number of St.

    Eligius.

    B: St. Eligius closed last month. Kathy was at Boston General, but she's already been discharged. You can call her at home. Her number is

    555-1238.


    Qu est ce qu un plan

    Qu’est-ce qu’un plan?

    • Travaux antérieurs :

      • Une « recette » indiquant comment exécuter une action, ou bien comment atteindre un but.

      • « I know that a way to assasinate the president is to shoot him. »

      • Importance accordée aux données du plan.

    • Pollack :

      • L’état mental d’un agent (intentions et croyances)

      • « John Hinckley intends to assasinate Reagan by shooting him »

      • Importance accordée aux états mentaux associés à un plan.

        « The definition of a plan must account for the ways in which the intentions

        of the agent who is (about) to perform the actions and his beliefs about

        those actions affect the appropriateness and success of the plan ».


    Les plans individuels simples pollack

    Les plans individuels «simples» (Pollack)

    Simple Plan(G, n, [1, …, n-1], t2, t1)

    Agent G has at time t1 a simple plan to do n,, consisting of doing the set of

    acts {1, …, n-1} at t2

    • BEL(G, EXEC(i,G, t2), t1), for i = 1, …, n belief that the agent can perform each of the i

    • BEL(G, GEN(i, i+1,G, t2), t1), for i = 1, …, n-1 belief that the performance of the set of i entails the performance of 

    • INTEND(G, i, t1, t2), for i = 1, …, n intentions to do each of the i

    • INTEND(G, by(i, i+1) t2 , t1), for i = 1, …, n-1 intention to do A by doing the i


    Les plans individuels suite

    Les plans individuels (suite)

    • Importance du rôle des intentions et croyances

      • Croyances au sujet des relations entre actions

      • Croyances au sujet de l’exécutabilité des actions

      • Intentions concernant ces actions

        « mental state view of plans »

        « Pollack’s definitions of intentions and of the simple plan of an agent provide a much richer and cleaner model of an agent’s plan to achieve some desire on the basis of a simple action or sequence of actions. The richenesss originates with the addition of intentions, and beliefs about execution and generation among actions. Her model clearly distinguishes among believing that actions fit together in certain regular ways, believing that one can execute those actions, and actually intending to act. »


    Que veut donc dire avoir un plan

    Que veut donc dire« avoir un plan » ?

    J’ai un plan qui consiste à obtenir une thèse (A) en étudiant le domaine associé (B1), développant une solution à un problème donné (B2), rédigeant un document (B3), et présentant mon travail devant un jury (B4).

    Croyances :

    • Je crois que je peux exécuter B1, B2, B3 et B4.

    • Je crois que l’exécution de B1, B2, B3 et B4 aboutira à l’obtention de ma thèse (A).

      Intentions :

    • J’ai l’intention d’exécuter B1, B2, B3 et B4.

    • J’ai l’intention d’obtenir ma thèse en exécutant de B1, B2, B3 et B4.


    Les plans partag s but

    Les Plans Partagés : but

    • un formalisme de représentation de plans multi-agents dans des situations de collaboration, utile

      • pour le langage (actions et plans linguistiques)

      • ainsi que pour d'autres formes de comportement collaboratif (actions et plans non-linguistiques).

        "In a more practical vein, the concept of shared plans provides

        a foundation for theories of collaborative behavior that could

        provide for more flexible and fluent interactions between

        computer systems and users undertaking joint problem-solving

        activities."


    Les plans partag s d finition

    Les Plans Partagés : définition

    Shared Plan(G1, G2, A)

    Agents G1 and G2 have a shared plan to do A ,consisting of

    doing the set of acts {1, …, n}

    • MB(G1, G2, EXEC(i,Gi), for i = 1, …, n 

    • MB(G1, G2, contr(i,A)), for i = 1, …, n-1 

    • MB(G1, G2, INTEND(Gi, i )), for i = 1, …, n 

    • MB(G1, G2, INTEND(Gi, by(i, A))), for i = 1, …, n

    • INTEND(Gi, i )), for i = 1, …, n 

    • INTEND(Gi, by(i, A))), for i = 1, …, n


    Les plans partag s d finition suite

    Les Plans Partagés :définition (suite)

    • la croyance mutuelle que l'agent de i peut effectuer I (pour tous les i)

    • la croyance mutuelle que l'exécution de l'ensemble des i entraîne l'exécution de A

    • la croyance mutuelle que l'agent de i a l'intention d’exécuter i (pour tous les i)

    • la croyance mutuelle que l'agent de i a l'intention d’exécuter idans le but d’exécuter A(pour tous les i)

    • l'intention individuelle de l'agent de i d’exécuter i (pour tous les i)

    • l'intention individuelle de l'agent de i d’exécuter i dans le but d’exécuter A(pour tous les i)


    Les plans partag s utilisation

    Les Plans Partagés : utilisation

    • Croyances mutuelles :

      "multiple agents cannot act with any assurance unless there is such mutual beliefs.

    • Pertinence :

      les énoncés pertinents sont ceux qui contribuent aux intentions et croyances faisant partie du plan partagé.

    • les plans partagés constituent donc un contexte essentiel pour le traitement de la langue, permettant de guider le dialogue à la fois pour

      • l'interprétation : les énoncés produits contribuent des intentions et croyances au plan partagé

      • et la génération : les énoncés à produire doivent adresser les croyances et intentions "manquantes"


    D marrage d un plan partag cdr1

    Démarrage d’un plan partagé : CDR1

    • Les participants d'un dialogue viennent à démarrer un plan partagé par le biais d'une règle conversationnelle par défaut similaire aux principes conversationnels de Grice.

    • CDR1 : If

      • the participants believe that one of them, say G1, has a particular desire, say to achieve a state in which P holds (or to perform action A)

      • and they are cooperative

      • and they are communicating about the desire to achieve P (perform A)

        Then

      • they mutually believe that G1 has a desire for them to construct a SharedPlan to achieve P (or perform A)


    Du plan partag partiel psp au plan partag

    Du plan partagé partiel (PSP) au plan partagé

    • CDR1 est une règle par défaut, n'établissant que la croyance mutuelle du désir de l'un d'entre eux (G1) d'accomplir un plan partagé

    • Pour démarrer ce plan, les autres agents doivent acquiescer, explicitement ou implicitement, au désir du premier.

    • Quand l'ensemble des agents ont le désir d'accomplir le plan partagé, mais n'ont pas encore établi ce plan, on dit qu'ils ont un plan partagé partiel

    • La reconnaissance de plans consiste alors à « remplir » ce PSP, chaque énoncé contribuant des intentions et croyances nécessaires à l’élaboration du plan partagé complet


    Exemple actions simultan es

    Exemple : actions simultanées

    • S1. I want to lift the piano.

    • S2. OK.

    • I will pick up this [deictic to keyboard] end.

    • S1.OK.

    • I will pick up this [deictic to foot] end.

    • S2.OK.

    • Ready?

    • S1.Ready.


    Exemple analyse

    Exemple : analyse

    Hypothèse: une analyse comme celle de Perrault's, utilisant des règles par

    défaut pour déterminer les conséquences immédiates de chaque énoncé.

    • (1’) MB(S1, S2, Desire(S1, lift(piano)))

      • à partir de (1’), CDR1 et des hypothèses de coopération

        MB(S1, S2, Desire (S1, Achieve (SP (S1, S2, lift(piano)))))

    • (2) S2 exprime le fait qu’il est d’accord

      • MB(S1, S2, Desire (S1, S2, Achieve (SP (S1, S2, lift(piano)))))

    • (3’) MB(S1, S2, INT(S2, lift(keyboard-end)))

      • expression des intentions mentionnées dans clauses (3) et (5) du SP pour l’un des i

      • implicite: la croyance (individuelle) de S2 que S2 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’un des i)


    Exemple analyse suite

    Exemple : analyse (suite)

    • (4) S1 exprime le fait qu’il est d’accord

      • croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’un des i

      • croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’un des i

      • croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’un des i

    • (5) MB(S1, S2, INT(S1, lift(foot-end)))

      • Analogue à (3) : expression des intentions mentionnées dans clauses (3) et (5) du SP pour l’autre i

      • implicite: la croyance (individuelle) de S1 que S1 peut exécuter l’action qu’il a l’intention de faire (une partie de clause (1) du SP pour l’autre i)


    Exemple analyse suite1

    Exemple : analyse (suite)

    • (6) S2 exprime le fait qu’il est d’accord

      • croyance mutuelle de l’exécutabilité : clause (1) du SP pour l’autre i

      • croyance mutuelle des intentions : clauses (3) et (5) du SP pour l’autre i

      • croyance mutuelle de la contribution de cette action par rapport l’action souhaitée: clause (4) du SP pour l’autre I

    • (7) et (8)confirmation

      • croyance mutuelle que les actions prévues sont suffisantes pour réaliser leur but : clause (2) du SP


    Exemple analyse suite2

    Exemple : analyse (suite)

    SharedPlan(S1, S2, lift(piano))

    • MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2))

    • MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano)))

    • MB(S1, S2, INT(S1, lift(foot-end))) & MB(S1, S2, INT(S2, lift(kb-end)))

    • MB(S1, S2, INT(S1, BY(lift(foot-end), lift(piano)))) & MB(S1, S2, INT(S2, BY(lift(kb-end), lift(piano))) )

    • INT(S1, lift(foot-end)) & INT(S2, lift(kb-end))

    • INT(S1, BY(lift(foot-end), lift(piano))) & INT(S2, BY(lift(kb-end), lift(piano)))


    Plan partag remarque

    Plan Partagé : remarque

    • Problèmes avec l’opérateur INT (Grosz et Kraus 1993)

      • intention d’exécuter une action : INT-TO

      • intention qu’une proposition tienne : INT-THAT

    • Rectification définition SP :

      • MB(S1, S2, EXEC(lift(foot-end), S1) & EXEC(lift(kb-end), S2))

      • MB(S1, S2, GEN-simult(lift(foot-end) & lift(kb-end), lift(piano)))

      • MB(S1, S2, INT-TO(S1, lift(foot-end))) & MB(S1, S2, INT-TO(S2, lift(kb-end)))

      • MB(S1, S2, INT-THAT(S1, contr(lift(foot-end), lift(piano)))) & MB(S1, S2, INT-THAT(S2, contr(lift(kb-end), lift(piano))) )

      • INT-TO(S1, lift(foot-end)) & INT-TO(S2, lift(kb-end))

      • INT-THAT(S1, contr(lift(foot-end), lift(piano))) & INT-THAT(S2, contr(lift(kb-end), lift(piano)))


    Reconnaissance de plans en r sum

    Reconnaissance de plans :en résumé

    "The recognition process for SPs as sketched in this paper proceeds essentially as follows: the initial utterances put on the table a proposal that there be a SP developed and carried out to satisfy the initiating conversational participant's desire; the subsequent utterances must somehow address this proposal, either accepting or denying it; assuming the proposal is accepted, subsequent utterances can provide information about any of the beliefs or intentions embedded in the definition of a SP."

    • Travail futur

      • spécification de relations plus complexes entre actions

      • détails sur le processus de reconnaissance 


    Collaborative plans for group activities grosz et kraus 1993

    "Collaborative Plans for Group Activities" Grosz et Kraus, 1993

    Revised and expanded version of SP: 1990 version of SP:

    • accommodates actions involving treated only actions which directly

      groups of agents as well as complex decomposed into actions by single

      actions that decompose into multi-agentagents

       actions

    • allows for contracting out certain situation not accounted for

      actions

    • describes the mental states of agents did not specify in any detail the notion

      who do not know a complete recipe for of a partial SharedPlan which was

      accomplishing their joint action intended to represent this kind of partiality


    Comparaison suite

    Comparaison (suite)

    Revised and expanded version of SP : 1990 version of SP :

    • provides a model with the features for ex.: did not account for the

      required in Bratman's account of commitment of an agent to the success

      shared cooperative activity (1992). of a collaborative partner's actions.

    • presents a reformulation of the model

      of individual plans that corresponds to

      the definition of SPs. 

      Remarque: important débat philosophique sous-jacent :

      existe-il une notion "d'intention mutuelle" comme on a des croyances mutuelles?


    Grosz et kraus formalisme

    Grosz et Kraus :Formalisme

    • Intention and belief

      • INT.TO and INT-TH

      • BEL and MB

    • Executability

      • CBA (can bring about) and BCBA (belief that one can bring about)

    • individual plans (IP)

      • PIP (partial) and FIP (full)

    • shared plans (SP)

      • PSP (partial ) and FSP (full) 

    • Axioms and/or theorems for all of the above


    Structure du discours et reconnaissance de plans dans le traitement du dialogue homme machine

    FSP(GR, , Tp, T, R, C)A group of agents GR have a full shared plan at time Tp to perform act  at time T using recipe R in context C

    • GR has a recipe for 

    • For each single-agent constituent act i of the recipe, there is an agent Gi  GR, such that

      • Gi intends to perform i and there’s a recipe Ri for i such that

        • Gi believes that it can perform i according to the recipe

        • Gi has a FIP for i according to the recipe

      • The group GR mutually believe (2a)

      • The group GR is committed to GI’s success

    • For each multi-agent constituent act i of the recipe, there is a subgroup of agents GRi  GR such that

      • There is a recipe Ri for i such that

        • GRi mutually believe that they can perform i according to the recipe

        • GRi has a FSP for i according to the recipe

      • The group GR mutually believe (3a)

      • The group GR is committed to GRI’s success


    Travail futur

    Travail futur

    • « interesting new problems »

      • The need to develop more flexible methods for reasoning about resources and resource conflicts in the context of collaborative activity, and to examine the tradeoffs among them.

      • The need to develop more complex methods for groups to construct and agree on recipes.

      • The need to understand more fully the ways in which communication supports collaboration and to develop a more complete set of communication axioms.

    • Fuller specification of certain aspects of the formalization

      • Reasoning mechanisms that individual agents utilize for elaborating partial shared plans

      • Axioms for the attitude of intending-that

      • Mechanisms for reconciling intentions

      • Formalism of commitment


    A collaborative planning model of intentional structure lochbaum 1994 1998 c l

    “A Collaborative planning model of intentional structure”, Lochbaum 1994, 1998 (C.L.)

    • Bases théoriques

      • model du discours : Grosz and Sidner 1986

        • mais pas de proposition de modèle de traitement du modèle de structure proposé

      • planification : Shared Plans (Grosz/Sidner 1990, Grosz/Kraus 1993)

        • mais n'indique pas de connection entre SP et la structure du discours

    • Contribution principale de ce travail:

      • un modèle de reconnaissance de la structure intentionnelle d'un discours reposant sur les plans partagés. Ces plans sont utilisés

        • pour représenter les composantes de la structure intentionelle

        • pour raisonner au sujet de cette structure intentionnelle lors de l'interprétation et la génération d'énoncés.

      • de plus : un travail sur la formalisation des "préconditions de connaissance » 


    Id es principales

    Idées principales

    • Chaque segment du discours est modélisé en utilisant un plan partagé.

    • Le but de chaque segment (DSP) est interprété comme une intention (tenue par l'initiateur du segment) des interlocuteurs à former ce plan

    • Les énoncés faisant partie du segment sont interprétés à travers leur contribution au plan partagé correspondant.

    • Les interlocuteurs sont donc perçus comme cherchant à établir, à travers leurs énoncés, les attitudes mentales requises pour une collaboration.

    • Les relations entre les DSP reposent sur des relations subsidiaires entre les plans partagés correspondants. (Un plan, SP1, est subsidiaire à un autre, SP2, si la réalisation de SP1 contribue à la réalisation de SP2, c’est à dire, si SP1 établit une des croyances ou intentions nécessaires à l’établissement de SP2.)


    Interpr tation

    Interprétation

    • G1 interprète les énoncés de G2 par le biais de la contribution de ces énoncés à leur PSP. Cette interprétation peut prendre une des 3 possibilités suivantes :

      • indication de l'initiation d'un SP subsidiaire

      • de la fin du SP courant

      • ou d'une contribution au SP courant.

    • Ces trois cas correspondent au problème de déterminer si un énoncé débute un nouveau segment de discours, complète le segment courant, ou bien y contribue.

    • Dans chaque cas, G1 commence par attribuer une attitude mentale à G2 à partir de son énoncé, puis raisonne au sujet de la pertinence de cette attitude mentale par rapport à leur PSP.


    G n ration

    Génération

    • Les croyances et intentions de G1 et G2 nécessaires à l’établissement de leur SP, mais manquantes à leur PSP sont maintenues dans un "agenda".

    • Les énoncés de G1 sont formés à partir de cet agenda, et peuvent à leur tour, résulter en de nouvelles croyances ajoutées à l'agenda.

    • Chez Lochbaum, l'organisation de cet agenda, ainsi que la procédure de sélection d'un élément de l'agenda à poursuivre, ne sont pas traitées. La mise en oeuvre fait appel à un "oracle" .


    Le r graph arbre de planification

    Le «R-Graph»:arbre de planification

    une représentation

    • dynamique

    • résultant de la composition et de l'instantiation de recettes

    • représentation concrète de croyances mutuelles et intentions faisant partie du plan partagédes interlocuteurs et concernant les actions mentionnées dans le dialogue

    • utilisée pour la modélisation du processus de raisonnement par lequel l'agent détermine la contribution d'un énoncé (interprétation ou génération) au plan partagé partiel des interlocuteurs.

    • construit par le "Rgraph construction algorithm"


    Pr conditions de connaissance

    Préconditions de connaissance

    • Pour pouvoir exécuter une action, l’agent doit satisfaire à la fois

      • les préconditions physiques (par ex. la main du robot doit être vide pour qu’il puisse ramasser un objet)

      • et les préconditions de connaissance (le robot doit savoir comment ramasser un objet)

    • Révision des opérateurs de «capabilité » de Grosz et Kraus


    Balkanski et hurault plantet 2000

    Balkanski et Hurault-Plantet (2000)

    • A computational model of dialogue

      • which supports the representation of, reasoning about and execution of communicative and non-communicative actions.

      • and allows for cooperative human-machine communication in written dialogues

    • Theoretical fondations 

      • Grosz and Sidner's theory of collaborative discourse + Shared Plans 

      • Lochbaum's computational model for discourse processing

    • Research objective : modelling cooperative behavior

      • To allow the agent being modelled to interpret and manifest a type of cooperative behaviour which follows Grosz and Kraus’s formalization of the commitment of each collaborative agent towards the actions of the other collaborative agents.


    Diagramme sch matique du mod le de dialogue

    Diagramme schématique du modèle de dialogue


    Exemple de recette

    Exemple de recette

    talkToPerson recipe


    Exemple de mise jour du graphe de planification

    Exemple de mise à jour du graphe de planification


    Etude de corpus

    Etude de corpus

    • Corpus

      • Transcription of human-human task-oriented dialogues (Castaing 1993)

      • setting: telephone switchboard in an industrial setting

    • Exemple de dialogue

      • L : <appel>

      • S: CNRS

      • L: bonjour Mme euh je voudrais le Mr A svp

      • S: Mr A. $oui$$ quel est son poste

      • L: c'est euh il travaille avec Mme Muzeu

      • S: Mme

      • L: MUZEU

      • S: A. j'connais pas Muzeu ça m'dit vous savez où elle se trouve dans quel…

      • L: hou la la la la c'est au LEI mais

      • $ah oui effectivement$$

      • S: 22-26 j'vous la passe hein


    Exemples de recettes

    Exemples de recettes

    establishCommunication recipe


    Recettes suite

    Recettes (suite)

    establishCommByIntermediary recipe


    Recettes suite1

    Recettes (suite)

    constraint G3  Entities

    transferPerson recipe


    Actions communicatives

    Actions communicatives

    achieveHaveValueByRequestachieveHaveValueByConfirm

    recipe recipe


    Exemple de dialogue

    Exemple de dialogue

    • <telephone call>

    • System:Hello.

    • User:Hello. I would like to speak to Mr. B.

    • System:Mr. B?

    • User:No, Mr. D.

    • System:OK, here he is.


    Planification graph action statuses

    Planification Graph:Action statuses

    • the agents have not discussed the act, but the system believes that it will be part of their joint recipe (action projetée)

    • the agents have discussed the act and agree that it is an element of their joint recipe

    • the act is basic and the agents have agreed to its performance

    • the act is complex and the agents have agreed to a particular recipe for the act

    • the act has been performed


    Planification graph after the interpretation of the phone call in 1

    Planification Graph after the interpretation of the phone call in (1)

    (1) phone call (2) "Hello"

    (3) "Hello, I would like to speak to Mr.B"


    Partial view of the planification graph after the interpretation of utterance 3

    Partial view of the Planification Graph after the interpretation of utterance (3)


    Suite

    (suite)


    Partial view of the planification graph before the generation of utterance 4

    Partial view of the Planification Graph before the generation of utterance (4)

    (4) "Mr.B?"(5) "No, Mr.D"


    Conclusion

    Conclusion

    • A model for interpreting and generating both communicative and non-communicative actions in the context of task-oriented dialogues ;

    • Interpretation and Task Advancement algorithms allowing for cooperative human-machine communication in written dialogues ;

      • cooperative behaviour of the agent being modelled rests on the use of communicative actions allowing agents to share additional knowledge and assist each other in performing their actions

    • Extensions to Lochbaum’s work

      • Interpretation algorithm that allows for a more extensive search through the Rgraph, and for the treatment of a wider range of dialogues,

      • algorithm of Task Advancement that allows for the interleaving of execution and planning, and that handles generation


    Collagen rich et sidner 1997

    COLLAGENRich et Sidner (1997)

    • Goal:   allow a human user and an artificial agent to collaborate on a task following the rules and conventions of human discourse.

    • Theoretical foundations

      • discourse structure: Grosz and Sidner 86

      • collaboration: SharedPans: Grosz/Sidner 90, Grosz/Kraus 93, Lochbaum 93

    • Important note: no natural language understanding (!)

      • practical point of view: difficult problem in its own right

      • theoretical point of view: "discourse theory addresses the content of collaborative communicationt a very fundamental level, regardless of what language is used".

      • language used:  an artificial language developped by Sidner (AAAI'94)

      • communication between agent and user is by English sentences,generated from this artificial language using simple string templates


    Implementation

    Implementation

    • a prototype toolkit called Collagen (for Collaborative Agent)

      • application-independent component: underlying discourse structures and processing

      • application-specific component: domain specific knowledge

    • an air travel application using it

      • direct-manipulation interface to an airline schedule database,

      • and a simple constraint checker.

    • typical problem to be solved:

      "You are a Boston-based sales representative planning a trip to visit  customers in Dallas, Denver, and San Francisco next week. You would prefer to leave on Wednesday morning, but can leave on Tuesday night if necessary. Your customer in Denver is only available between 11a.m. and 3p.m. on Thursday. You would prefer to fly as much as possible on American Airlines, as you have almost enough frequent-flyer miles to qualify for a free trip this summer. You absolutely must be home by 5p.m. on Friday in order to attend you son's piano recital.


    Agent s internal discourse state

    Agent's internal discourse state

    • Focus Stack: contains open segments

      • mutually believed info 

    • Recipe Tree: a concrete representation of some of the mutual beliefs in SPs

      • mutually believed info (Fig 4, IUI'97)

      • composed of alternating act and recipe nodes, each having associatedbindings and constraints  

    • History List: contains toplevel segments that have been popped off the stack


    Algorithmes

    Algorithmes

    • Discourse interpretation algorithm :

       reimplementation of Lochbaum's rgraph augmentation algorithm

    • Discourse generation algorith

       the inverse of the interpretation algorithm


    System 3 way interaction

    System:3-way interaction:

    • Communication between user and agent : via home-window

      • agent to user: printing English text in the agent's home window

      • user to agent: by the user selecting from a dynamically-changing"user communication menu", appearing in user's home page [more below] 

    • Observation between user and agent

      • user observes agent's actions by watching the agent's cursor

      • agent observes user's actions by virtue of a layer in the application 

    • Interaction between user/agent and shared application

      • user and agent both have a cursor, and can both use the samegraphical interface to modify the state of the application

      • note: state of the application may also be queried andmodified using the application's programming interface


  • Login