Thèse de doctorat spécialité informatique Université Claude Bernard, Lyon 1 Luc Damas 15/12/2003

1. Etude théorique et pratique dela production d'effets d'amorçage de la mémoireApplication à l'assistance à la remémorationchez l'utilisateur d'un système informatiquepour une tâche d'apprentissage Thèse de doctorat spécialité informatique Université Claude Bernard, Lyon 1 Luc Damas 15/12/2003 Direction : Alain Mille Rémy Versace

2. Problématique • Cadre : assistance à l'utilisateur • Constat : la mémoire est omniprésente. • La remémoration permet la poursuite de la tâche. • Idée : Assister une tâche en assistant la remémoration • 1er effet bénéfique : utile à court terme • 2ème effet bénéfique : renforcement à long terme • Problématique : Est-il possible d’assister la remémoration d’un utilisateur ?

3. Plan de la présentation • Idée • Modélisation de la mémoire • Modélisation • Simulations • Validation • Assistance à la remémoration • Expérimentation • Evaluation • Conclusion, perspectives

4. Système informatique simulateur de mémoire Outil informatique utilisé Alter-ego de l'tilisateur 1 observe interactions amorce 4 2 Utilisateur transmet 3 remémoration Assistant Idée

5. Validation et évaluation • Validation du simulateur de mémoire • Expérimentations • Simulations • PUIS • Évaluation de l'assistance basée sur ce principe • Mise en oeuvre de l’alter-ego • Expérimentation • Approche incrémentale

6. Étape 1/2 : modélisation de la mémoire

7. Modélisation de la mémoire • Modèle épisodique à traces multiples • Conteneur d'expériences • Succession de traces • Processus • Ecphorie synergique [Tulving, 1973] • Modèle choisi : • Minerva 2 [Hintzman, 1986]

8. activations sonde mémoire trace temps écho intensité Minerva 2

9. Capacités de minerva 2 • Prise en compte de • Catégorisation • Reconnaissance • Rappel indicé • Plus généralement : tâches d’abstraction • Reconstruction de parties de traces

10. Exemple : catégorisation • Expérimentation • Catégorisation d’items • Prototype 1 : C3X1 • Prototype 2 : F9G4 • Tâche d’entraînement • Catégorisation d’items plus ou moins prototypiques • C3X2 C5X8 V3E1 F1G4 F9G8 A9B4 • Feedback • Tâche de test • Idem • Pas de feedback

11. Codage de l’item Codage de la catégorie Sonde C7R1 Exemple : catégorisation C2X1 Proto 1 C3X1 F9B4 Proto 2 F9G4 F1G4 C3X2 C5X8 A9B4 V3E1

12. Limitations de minerva 2 • Limitations inhérentes au modèle • Pas de prise en compte du temps • Aucune influence mutuelle des traces • Aucun effet d’amorçage possible • Aucun effet de position possible • Primauté et récence • Espacement pendant l’apprentissage

13. Limitations de Minerva 2 • Limitations de méthodologie • Méthode de codage peu explicitée • Que mettre dans les traces ? • Peu de prise en compte des tâches mnésiques • Comment construire la sonde ? • Mauvaises interprétations • L’intensité de l’echo renseigne peu • L’évolution des activations et le contenu de l’écho sont plus précis

14. Extension du modèle : conservation des états • Définition d’un état de mémoire • Sonde + Écho + Activations • Conservation à court terme de l’état de mémoire Sonde 1 Sonde 2 Sonde 3 Activation d’une trace t en mémoire : Minerva 2 temps Activation d’une trace ten mémoire : Minerva 2 étendu temps

15. Extension du modèle : codage • Item + contexte (temporel, situationnel) Minerva 2 item catégorie Minerva 2 étendu description de l’item temporel catégorie situationnel item contexte

16. Extension du modèle : tâches mnésiques • Apprentissage, entraînement • Rappel librevs autres tâches sonde stimuli mémoire écho

17. Validation • Primauté, récence • Catégorisation • Amorçage

18. Primauté / récence • Objectif : obtenir la courbe en U typique des effets de primauté/récence • Les premiers et derniers items sont mieux rappelés que les items intermédiaires • Expérimentation • Apprendre une liste de 8 pseudo-mots • COTI, MADU, RIVO, SOLA, BUHO, NICU, FAZI, KAXA • Rappel libre

19. Primauté / récence Probabilité de rappel (%) Simulation Minerva 2 étendu Expérimentation 69 61 15 Minerva 2 Position sérielle 1 COTI 2 MADU 3 RIVO 4 SOLA 5 BUHO 6 NICU 7 FAZI 8 KAXA

20. Primauté / récence : pourquoi ça marche ? • Primauté • Les premiers items appris sont mieux encodés • Car peu « brouillés » par de nombreux items antérieurs • Récence • Les derniers items appris restent activés • Ils sont donc immédiatement rappelés • Que se passe t-il si on attend avant le rappel ?

21. Primauté / récence • Objectif : reproduire des effets typiques de rappel libre • Variations • Délai inter-item lors de l’apprentissage (t) • Délai post-apprentissage (T) • Exemple • Plus le temps de distraction T après l’apprentissage est grand, plus les effets de récence sont faibles.

22. Primauté / récence • Simulations à l’aide de Minerva 2 étendu Performance en rappel libre (%) 100 T=1 T=2 T=4 T=6 T=10 80 Minerva 2 étendu 60 40 20 Minerva 2 Position sérielle 1 2 3 4 5 6 7 8 9 10 11 12

23. Primauté / récence : conclusion • Effet typique de l’influence temporelle • Effet omni-présent dès qu’il y a rappel libre • D’un point de vue simulation • Mélange « plus ou moins pur » des traces • Primauté, récence à long terme • Conservation des activations • Récence à court terme (Mémoire à Court Terme)

24. Catégorisation • Objectif double • Montrer que Minerva 2 étendu fait aussi bien que Minerva 2 • Montrer que Minerva 2 étendu peut faire mieux • Tâche de catégorisation • Variations • Variations de prototypie et de ressemblance inter-items • Explicitation des catégories

25. 75.0 65.0 12.0 2.0 1a 1b 2 3 4 6 5 7 SANS explicitation des catégories dans la phase d’apprentissage AVEC explicitation des catégories Catégorisation Expérimentation Gain de performances en catégorisation 2.0 Minerva 2 étendu 1.8 1.6 1.4 1.2 1.0 Modèle épisodique de type Minerva 2 0.8 0.6 0.4 0.2 Expérience

26. Catégorisation : conclusion • Comportement initial de Minerva 2 conservé • Pas de modification du principe d’ecphorie • Spécificité dans la tâche : explicitation de la catégorie • Traits spécifiques de la trace • Meilleures activations • Prise en compte des spécificités des tâches dans le codage des traces

27. Amorçage • Objectif : reproduire en simulation des effets d’amorçage obtenus en expérimentation • Amorce : un stimulus qui influence le traitement de stimuli ultérieurs • Expérimentation : catégorisation • Etude des capacités d’amorçage d’un item en fonction de sa prototypie • p : prototypique • np : non prototypique • dis : distracteur

28. réponse du sujet = categ. 1 ou 2 Amorçage • Exemple 1 : prototypique p • Amorce : C4X2 (catégorie 1, proto = C3X1) • Cible : C4X0 • Exemple 2 : non prototypique np • Amorce : F9G1 (catégorie 2, proto = F9G4) • Cible : C4X0 • Exemple 3 : distractrice dis • Amorce : Z8T8 (jamais vu) • Cible : C4X0 amorce cible à catégoriser t

29. Pourcentage de bonnes réponses 100% 100% 60% 60% Expérimentation Simulation p np dis p np dis Amorçage • Expérimentation et simulation de catégorisation

30. Amorçage : conclusion • Obtenu grâce à la conservation des activations amorce cible à catégoriser t Activations d’une cible amorce prototypique temps Activations d’une cible temps amorce distractive

31. Modélisation de la mémoire : conclusion • Modèle unificateur • Multiples tâches • Peu de mécanismes ajoutés ou modifiés • Méthodologie de simulation • Simulation de la totalité d’une expérimentation • Matériel puis déroulement puis interprétation • Validation

32. Étape 2/2 : évaluation de l’assistance

33. Évaluation • Objectif : • Evaluer le principe d’assistance basé sur l’utilisation d’un alter-ego mnésique de l’utilisateur • Expérimentation • Mise en oeuvre en situation écologique • Hypothèse • Les résultats validés en expérimentation et simulation restent valables à un niveau de complexité supérieur

34. Système informatique simulateur de mémoire Outil informatique utilisé Alter-ego de l'tilisateur 1 observe interactions amorce 4 2 Utilisateur transmet 3 remémoration Assistant Scénario

35. Expérimentation • Application « jouet » d'apprentissage

36. Expérimentation : apprentissage • Etude et annotation de 10 documents • Annotation par mots-clés • Durées courtes • Objectifs • Vue synthétique • Obtenir des éléments d’interaction

37. Expérimentation : exercice 1 • rappel indicé • Indice = document • Documents affichés • Objectif : restituer un maximum de mots-clés

38. Expérimentation : exercice 2 • rappel libre • Documents non affichés • Absence d’indice • Rappeler un maximum de pages • Saisie de tous les mots-clés d’une page • Validation

39. Expérimentation : Conditions expérimentales • Sans aide • Aide aléatoire • Sur demande • Aide = un mot-clé tiré au hasard • Aide adaptée • Sur demande • Aide = le mot-clé ayant fait le plus d’effet à l’alter-ego

40. Évaluation Pourcentages de rappel (%) Exercice 1 Rappel indicé 100% 75% Exercice 2 Rappel libre 50% 25% sujets aide aléatoire sans aide aide adaptée alter-ego

41. Analyse intra-individuelle • Deux sujets ont repris plusieurs fois l’expérience • Conditions identiques • Domaines différents • Ou • Conditions différentes • Domaines différents • Ou • Conditions différentes • Domaines identiques  Différences inter-domaine • Gain de performances pour aide adaptée MAIS différences inter-domaines  Gain de performances pour aide adaptée

42. Conclusion • Modélisation de la mémoire d’un utilisateur • Simulateur validé expérimentalement • Comportement situé en contexte • Limitation aux interactions • Portabilité de résultats expérimentaux • Possibilité d’assisterla remémoration • Assistance basée sur l’observation de l’utilisateur • Assistance basée sur l’utilisation de l’agent alter-ego

43. Perspectives : Psychologie cognitive • Modélisation multi-modale, collective • Modules parallèles communicants • Mêmes principes • Traces multiples • Activations • Conservation de l'état de la mémoire

44. Perspectives : informatique • Confirmer la validation • Situations identiques • Plus de sujets • Plus de conditions expérimentales • Influence du domaine • Influence des temps d’apprentissage • Biais de connaissances préalables • Liberté de navigation • Variations de l’espace documentaire

45. Perspectives : informatique • Tâches médiées par l’outil informatique • Classements / recherches • Fichiers • URLs • E-mails • Agendas • Conception • Jeux

46. Merci pour votre attention...

49. Effets de contexte • Objectif : étudier l’influence d’un contexte visuel sur le rappel libre • Contexte visuel = couleur • Apprentissage : quelques mots rouges parmis des mots noirs • 4 Conditions • Les 4 premiers sur 16 mots sont rouges • Le deuxième quart de la liste est rouge • Le troisième quart de la liste est rouge • Les 4 derniers sont rouges

50. Effets de contexte pantalon crayon poisson meringue chateau 5 4 3 2 1 voiture éléphant 6 arbre pigeon corde 7 8 9 10 banane coiffure 11 chocolat caisse bouteille tasse 16 15 12 13 14