Architectures d’agents intelligents

1. Architectures d’agents intelligents Procedural Reasoning System (PRS)Belief Desire Intention (BDI) Module Intelligence artificielle P. De Loor - enib - 2001/2002

2. Introduction • Entités autonomes « intelligentes » : • Pro-Activité (but) • Autonomie (refus, échec) • Robustesse • Apprentissage • Les autres • Comportements complexes

3. Introduction • Spécifier un comportement • code « en dur », • modèles -> « interpréteur », • bas niveau : équadiff, behavior net, rdn, -physique et biologie- • haut niveau : règles (IA), script, storytelling -psychologie- • association des deux -robotique-

4. I.A Classique (cognitive) modèle générique capteurs actionneurs modéliser planifier agir Grandeurs physiques Grandeurs physiques Symboles Inférence • lent • global • pro-activité , échec ? • dynamicité ? STRIP, Chrdlu, Allen, (Pert ?)

5. IA « Comportementale » (réactive) • Pas de planification/inférence • Pas de représentation symbolique (?) capteurs actionneurs Fonction sans mémoire Grandeurs physiques Grandeurs physiques • rapide • modulaire • pro-actif : oui et non • la notion d’échec n ’existe pas mais réaction possible • pas d ’inférence • dynamicité : au niveau perception, pas comportement

6. Problème • A la fois réactif et cognitif ? • abstraction • Adaptation à un environnement dynamique • échec d ’une action • modification d ’un but • Deux exemples d ’approches • Architecture de P. Maës • Architecture des BDI

7. Approche Symbolique : Beliefs Desires Intentions • Architecture formelle   • Origines • psychologique, « Practical Reasoning » [BRA 87] • robotique, « Procedural Reasoning System » [GEO 86] • Puis : • modèles formels [Coh90], [Woo94], [Rao91] • aspect sociaux [Woo94] • raisonnement des agents rationnels [Woo00]

8. Formaliser théorie formaliser système formel réel prédire fonctionne seul

9. Mots clés des formalistes Langage formel : syntaxe Modèle : théorie des modèles Interprétation sémantique Axiomatique : théorie de la démonstration concept Interprétation syntaxique

10. Les liens modèle-axiomatique complétude axiomatique modèle réel adéquation Notion de vérité {v,f} de validité Notion de preuve : théorèmes

11. Procedural Reasoning System PRS Réactif Notion d ’échecs procédures Cognitif planification aspect déclaratif

12. Procedural Reasoning System • Ce dont on part : • But et environnement dynamique. • Connaissance de tâches (processus) • déclarative (précondition, effet) • procédurale (plan d ’actions) • Ce que l ’on fait : • Raisonner sur les processus/état/but • « means ends reasoning» • Lancer les processus (donc les actions). • Réévaluer en fonction des succès/échecs

13. Exemple de processus • Precondition : exist(a)  ... • Effect : position(a,3) • Connaissance procédurale action1 action2 • Action : prédicats du 1er ordre • formules : (on a b)(on b c), • comportements : (WALK a, b) • qui peuvent échouer. succes action3

14. Processus • c<P>g le processus P permet d ’atteindre un but c, s ’il s ’exécute avec succès à partir de l ’état (partiel) c. • un processus est en échec si toutes les solutions possibles ont été évaluées • difficulté : connaissant P définir c et g de la façon la plus complète

15. Planifier = Hiérarchisation de Plans • Raisonner à un niveau donné défini par les circonstances • Abstraire les « détails » non prévisibles à un niveau donné • Etre dynamique : modifier ses intentions (plan d ’actions) • Préserver un but

16. Exécution but A pre:true effect : !A unification pre:true effect : !A C Lien environnement : capable de répondre succès ou échec

17. Un P.R.S : Bras manipulateur sur navette spatiale Monitor Entrées Base de données (faits, croyances) (Procedures) process assertion Capteurs Shuttle Subsystems Interpréteur (Raisonnement) Interface Utilisateur Buts Procedures actives Actionneurs Sorties Génération de commande

18. P.R.S • Interpréteur • faits et buts ---> processus « activables » • choix de l ’un d ’entre eux en tête de pile d ’exécution • ajout dynamique de faits et de buts donc de processus « activables » • LISP • Problème : maintient de la cohérence

19. P.R.S : exemples d ’applications • Bras manipulateur [GEO 86] • Système de Control de la réaction de la NASA [ING 92] • Robocup [BER 97]

20. Ajout d ’un niveau supplémentaire • Niveau « méta » • règles de choix des procédures • auto-création de nouveaux buts • nouveaux désirs, croyances, intentions • même syntaxe et sémantique que le modèle précédent : même interpréteur • B.D.I.

21. B.D.I • Principe de P.R.S • Formalisation des concepts B.D.I (BGI) • Règles de mise à jours liées aux concepts • Caractérisation d ’un agent • Preuves • Aspects « multi » : • partage de croyances • appartenance à un groupe

22. Croyances • Affirmation : • connaissance … • sur l ’environnement. • sur soi (croyances(intentions) ..

23. Désirs • Buts pouvant être atteints. • peuvent être contradictoires. • « moteurs » de l ’agent.

24. Intentions ([Brat87]) • But(s) ou désirs non contradictoires • Plan à exécuter pour satisfaire un désir • Réside d ’un choix à partir des croyances et des désirs. • influent sur des délibérations à venir. • re-considération «régulière» (réactif-pro-actif )

25. BDI [Wei 99] Capteur/entrée maj brf beliefs generate options desires Processus itératif filter délibération intentions action sortie

26. Architecture abstraite : • Interpréteur de base • états = formules (différentes logiques) • file d ’événements (externes/internes) • retour : événement ‘échec ’ ou ‘ succès ’ d ’actions • une option : fonction, plan, règle, tache, automate...

27. Architecture Abstraite [Sin 99] • Interpréteur BDI initialize-state(); do options:= option-generator(event-queue, B,G,I); selected-options = deliberate(option, B,G,I); update-intention(selected-options,I); execute(I); get-new-external-events(); drop-successful-attitudes(B,G,I); drop-impossible-attitudes(B,G,I); until quit. Maj = prise en compte d ’événements : belief-add, belief-remove… + compatibilité : belief-compatible, goal-compatible, intention-compatible état

28. Formaliser les BDI • Formaliser : préciser ??? • syntaxe • « grammaire » + « formules acceptables » • « proof theory » : liens et substitutions entre formules (axiomes et règles d ’inférences) • sémantique • « model theory » : lien avec la réalité (simplifiée) • les systèmes formels sont à « l ’exécution » ce que les méthodologies objets sont à la P.O.O.

29. Formaliser les BDI • Axiomes des BDI • caractéristiques « statiques » • déduction et inférence (B G I) • compatibilité entre-eux • ajout, retrait : interpréteur • mise à jour «dynamique» • vers l ’action • vers la « personnalisation » (esprit simple, ouvert)

30. Formalisation des BDI • Différentes Propositions • Logique du premier ordre : Intention/Engagement [Gen 87] • Bel(Janine,Father(Zeus,Chronos)) • problème d ’expressivité • Logiques Modales : • mondes possibles • buts/désirs [Coh90], [Woo94] • buts/désirs/intentions/croyances/plan [Rao91] • « social plan » [Rao92] • Voire annexes

31. Exemple de spécification en BDI BEL(inevitable (have-soda;fill-glass;drink)quenched-thirst) BEL(inevitable (open-tap;fill-glass;drink)quenched-thirst) BEL(inevitable (open-fridge;remove-soda)have-soda) BEL(optional (have-soda;fill-glass;drink)) BEL(optional (open-tap;fill-glass;drink)) BEL(optional (open-fridge;remove-soda)) BEL(inevitable (¬(soda-in-fridge)inevitable¬ (remove-soda)) GOAL(inevitable (quenched-thirst))

32. Exemples d ’interprétation • Axiomes en annexes • agent aveugle : l ’agent n ’accepte pas (comme but) qu’on lui demande de ne pas remplir son verre si dans ses buts il veut boire. Il n ’accepte pas (comme croyance) qu’il n ’y ait plus de soda non plus ! • Esprit simple : si il n ’y a plus de soda dans le frigo, l ’agent le croit et garde l ’option de l ’eau. N ’accepte pas qu’on lui demande de ne pas remplir son verre. • Esprit ouvert : accepte de ne plus boire si on lui demande de ne pas remplir son verre.

33. Implémenter les BDI • Interface avec l ’environnement • mondes ? (taille) • environnement -> état « cognitif » • état cognitif-> action -> environnement • Représentation des buts … • Primitives exécutables ? • ...

34. Une Implémentation [Sin 99] • restrictions (temps/mémoire) • croyance de « faits », pas de conséquence • croyances et buts courant = prédicats sans disjonctions ou implications • formules de logique modale = plan = graphe • pour atteindre un but : « means-end reasoning » • plans hiérarchiques • croyances de plans • intentions = plans

35. Interpréteur « réalisable » • Mise à jour I,G,B • buts à atteindre • ajoutés à la liste des intentions / hiérarchie • exécution des buts atomiques • but atteints • retirés des intentions • ajoutés aux croyances • mise à jour des intentions encore « réalistes »

36. Conclusions sur les BDI • Nombreux travaux • Approche formelle • Idées sur les concepts • Difficulté de leur mise en œuvre • Réaliste ?

37. Conclusions sur les BDI • Aspect « multi » peu traité (Rao 92) • Mutual BEL … • Joint GOAL .. • Langages logiques SMA : • Congolog • MetateM

38. Annexe BDI : Unification : décomposition d’actions • Problème d ’unification but->processus • exemple : si le but est : ! (pq) unification avec deux sortes de processus c<P1>(!p) c<P2>(!q) c<P1>f(#c) c<P2>f (#c) • c<P1|P2> (!(p q))

39. Annexe : Exemple : CTL BDI [Rao91] Logique CTL BDI • Etats (propositions) • Chemins • next O • eventually  • always  • until U • BEL() • GOAL() • INTEND() • succeeded(e) • failed(e) • done(e) • does(e) • occured(extern) optionnels, inévitables

40. Annexe : Formalisation des BDI • Modèle des BDI • M = <W,E,T,, U, B,G,I,> • B  W x T x W • G  W x T x W • I  W x T x W • Monde w de W = <Tw,Aw,Sw,Fw> • plus sub-world, sémantique, et …. j ’arrête là Lien entre formules du premier ordre (pour chaque monde à chaque instant) et U mondes événements univers du discourt ! relation de succession entre instants instants Sous ensemble de T Sous ensemble de  Tw x Tw  E = événements réussis Tw x Tw  E = événements échecs

41. Annexe : Formalisation des BDI • Exemples d ’axiomes « statiques » • AI1 : GOAL()  BEL() un nouveau but ne peut être possible que s ’il est cru (goal-compatible). • AI2 : une intention ne peut être possible que si elle fait partie des buts (intention-compatible) • AI3 : INTEND(does(e))  does(e) : un agent tente une action ‘ a ’ si does(a) fait partie de ses intentions. • AI4 : un agent ayant l ’intention Ø ajoute cette intention dans ses croyances (BEL(INTEND(Ø)) • AI5 : un agent ayant le but Ø ajoute celui ci dans ses croyances (BEL(GOAL(Ø)) • AI7 : un agent ajoute à ses croyances le fait qu’il tente une action • AI8 : INTEND()  inevitable(¬INTEND()) un agent peut changer d ’avis.

42. Annexe : Formalisation des BDI • Exemple d ’axiome de déduction • si INTEND(inevitable(INTEND(does(e)))) alors BEL(optional(INTEND(does(e))) et BEL(optional(BEL(does(e))))

43. Annexe : Axiomes du changement • Aveugle : AI9a • Garde le but dans ses intentions jusqu’à ce qu’il le croit atteint. • Refuse de croire des choses incompatibles avec ses intentions • INTEND(inévitable( )) (inévitable(INTEND(inévitable  ))U(BEL()) (notons l ’axiome done(e)  BEL(done(e)) drop-impossible-attitude met dans les croyances le but associé à l ’intention retirée. belief-compatible retourne false sur belief-add(Ø) si on a  tel que INTEND() et que BEL(Ø) implique BEL(¬ )

44. Annexe : Axiomes du changement • Esprit simple AI9b, • Engagement par les buts, ouverture sur les croyances • Les intentions persistent tant qu’on les croit atteignables • L ’agent accepte de croire des choses en contradiction avec ses intentions et donc de les retirer • INTEND(inevitable ( )) (inévitable(INTEND(inévitable  ))U(BEL()  ¬BEL(optional  ))) belief-compatible : toujours vrai drop-impossible-attitudes : retire les intentions qui ne sont plus en accord avec les croyances

45. Annexe : Axiomes du changement • Esprit ouvert AI9c • accepte de changer de buts (en fonction de croyances) • maintient des intentions tant qu’elles font parties des buts. • INTEND(inevitable ( )) (inévitable(INTEND(inévitable  ))U(BEL()  ¬GOAL(optional  ))) goal-compatible : toujours vrai(sauf si en contradiction avec AI1) drop-impossible-aptitude : retire les intentions qui ne sont plus des buts ou qui sont exclues des croyances

46. Bibliographie [All 94] J.M Alliot et T. SCHIEX, Intelligence artificielle& Informatique théorique, cépadues édition, ISBN 2-85428-324-4. [Arb 81] M.A. Arbib, Perceptual strucutures and distributed motor control, Handbook of Physiology -- The nervous System II, ed. V. Brooks, 1981. [Arb 95] M.A. Arbib, Schema Theory, The Handbook of Brain Theory and Neural Networks, ed M. Arbib, MIT Press, Cambridge MA, pp. 830-834, 1995. [Ark 87] R.C. Arkin, Motor schema based navigation for a mobile robot: an approach to programming by behavior, proceedings of the 1987 IEEE International Conferenceon Robotics and Automation, pp. 264-271, 1987. [Ark 98] R.C. Arkin, Behavior-based robotics, MIT Press, Cambridge MA, 1998. [Arn 00] P. Arnaud, Des moutons et des robots, Presses Polytechniques et universitaires romandes, 2000. [BER 97] Bersano-Begey et al. Multi-Agent Teamwork, Adaptative Learning and Adversial Planning in Robocup Using a PRS Architecture », in IJCAI97. [Bra 87] M.E Bratman, Intentions, Plans and Practical Reason, Havard University Press, Cambridge, MA, 1987. [BRO 86] R. Brooks, A robust layered control system for a mobile robot, IEEE Journal of Robotics and Automation, RA-2/1, pp. 14-23, mars 1986. [Cav 01] M. Cavazza, F. Charles and J.M. Steven, Characters in Search of an Author: AI-Based Virtual Storytelling, ICVS 2001, LNCS 2197, pp.145-154,2001. [Del00] De Loor Pand Chevaillier P, Generation of Agent Interactions from Temporal Logic Specifications, 16 th IMACS World congress on Scientific Computation, Applied Mathematics and Simulation, Lausanne, 2000. [Don 01] S. Donikian, HPTS : a behaviour modelling language for autonomous agents. In: Fifth International Conference on Autonomous Agents. Montreal, Canada, mai 2001. [Coh 90] Cohen and Levesque, Intention is choice with commitment. Artificial Intelligence, 42(3), 1990. [GBR 95] J.P. Granieri et al Behavioral control for real-time simulated human agents. Symposium on Interactive 3D Graphics, pp. 173-180, 1995.

47. Bibliographie (suite) [Geo 86] M.P. Georgeff, A. L. Lansky, Procedural Knowledge, Proceedings of the IEEE Vol 74, N° 10, October 1986. [Gen 87] Genesereth, M.R. and Nilson N. Logical Foundations of Artifical Intelligence. Morgan Kaufmann Publishers, San Mateo, CA, 1987. [Hay 95] Haye-Roth, B., An Architecture for Adaptive Intelligent Systems, Artificial Intelligence : Special Issue on Agents and Interactivity, (72), 1995. [Hin 62, J. Hintikka, Knowledge and Belief, Cornell University Press: Ithaca, NY. [Kri 63 Semantical analysis of modal logic. Zeitschrift für Mathematische Logik und Grundlagen der Mathematik, 9:67-96. [MAES 89] P. Maes, The dynamics of action selection, Proceedings of the international Joint Conference on Artificial Intelligence, IJCAI-89, 1989. [Mat97] M. Mateas An Oz-Centric Review of Interactive Drama and Believable Agents, Internal report CMU-CS-97-156, 1997. [PG 96] K. Perlin, A. Golderg, Improv: A system for scripting interactive actors in virtual worlds. In SIGGRAPH ’96 - 1196. [Rao92] Rao A.S. Georgeff M.P and Sonenberg E.A. SOCIAL PLANS: A PRELIMINARY REPORT, decentralized A.I - 3, 1992. [Sin 99] Singh M P. Rao A.S. and Georgeff M.P. Formal Methods in DAI : Logic-Based Representation and Reasoning, in « Multiagent Systems », edited by Gerhard Weiss, The MIT Press. [TOP99] X. Topin, C. Régis, MP. Gleizes et P. Glize, Comportement individuels adaptatifs dans un environnement dynamique pour l ’exploitation collective de ressources , Intelligences arrificielle située, Hermes, 1999. [Van 91] K.VanLehn, Architectures for Intelligence. Lawrence Erlbaum Associates, New Jersey, 1991. [Woo 94] Wooldridge, M. Coherent social action. In Proceedings of the Eleventh European Conference on Artificial Intelligence (ECAI-94), pages 279-283, Amsterdam, 1994. [Woo 95] M. Wooldridge and R.Jennings, Intelligent Agents : Theory and practice. The knowledge Engineering Review, 10(2), p115-152, 1995.