Mémoire Sémantique et Sons de l’Environnement

1. Mémoire Sémantique et Sons de l’Environnement Travail de thèse présenté par Yannick Gérard et réalisé sous la direction du Pr. Emmanuel Bigand

2. Système de mémoire unique Système de mémoire multiple La Mémoire Sémantique Tulving (1972, p.386) propose de la définir comme : C’est un thésaurus mental, le savoir organisé qu’un individu possède pour les mots, les autres symboles verbaux, leurs significations et leurs référents, leurs relations et les règles, formules, algorithmes pour la manipulation de ces symboles, concepts et relations. «La mémoire nécessaire pour l’utilisation du langage. La mémoire sémantique n’enregistre pas les propriétés perceptives des stimuli mais plutôt les référents cognitifs des signaux d’entrée». Comment une stimulation (mot, images, sons,…) prend du sens? Caramazza et al. (1990,1994) propose qu’il n’existe pas de différence au niveau du stockage quelle que soit la nature des stimulations. Paivio (1971,1986) propose deux systèmes de stockage distincts selon la nature verbale ou non (images) des stimulations.

3. Les recherches effectuées en mémoire sémantique s’articulent sur une distinction verbale/non-verbale restreinte aux mots et aux images qui reste insuffisante pour rendre compte de son organisation. Aphasie Optique correspond au manque du mot, la forme, la fonction et le sens sont reconnus Littérature plus importante dans le domaine des objets visuels Images - Snodgrass & Vanderwart (1980) Sons de l’environnement - Fabiani et al. (1996) Complexité des sons de l’environnement comparée aux images (Fabiani et al., 1996)  Intérêt pour l’étude des sons de l’environnement

4. Vers le choix d’une méthodologie: Le paradigme d’amorçage Pourquoi le paradigme d’amorçage? Meyer & Schvaneveldt (1971) Paires (Haut/bas)Exemples de stimuliRéponse attendueTemps de réaction (ms) 1 * Mot/mot associés « Bread » « Butter » Oui 855 2 * Mot/mot non associés « Bread » « Nurse » Oui 940 3 * Mot/non-mot « Doctor » « Marb » Non 1087 4 * Non-mot/mot « Marb » « Butter» Non 904 5 * Non-mot/non-mot « Herk » « Stur » Non 884 Permet d’étudier la mémoire sémantique Théorie de la propagation de l’activation, Collins & Loftus (1975) Théorie de l’indice composite, Ratcliff & McKoon (1988) Littérature abondante dans le domaine du langage et des objets visuels Expérience du groupe musique dans le domaine de l’amorçage

5. Lt Lc Entrée «Mot» Seuil Ct Cc Entrée «Image» Entrée «Tâche» Entrée «Cible» Modèle CSM (Conceptual Selection Model) Bloem, van den Boogaard, & La Heij (sous presse) Interférence sémantique - compétition entre Lt et Lc Facilitation sémantique - seuil (une image n’active pas automatiquement L) - un mot active d’autres mots sémantiquement reliés - l’activation de L décroît plus vite que celle de C

6. Hypothèses de départ Les sons de l’environnement, Activent des structures de connaissances abstraites Ballas (1993), Mot/Son (Confirmation de la source) Van Petten & Rheinfelder (1995), Son/Mot (Décision lexicale) Cette activation se propage Au même titre que pour :  Le langage (Meyer et Schvaneveldt, 1971)  La musique (Bigand et al., 1999)  Les images (Palmer, 1975)

7. Etude 1 - Amorçage en court contexte Expérience 1 - Amorçage répété avec des sons de l’environnement Expérience 2 - Amorçage sémantique avec des sons de l’environnement Expérience 3 - Amorçage répété inter-format entre des sons et leurs labels linguistiques Expérience 4 - Amorçage sémantique inter-format entre des sons et leurs labels linguistiques Etude 2 - Organisation des sons de l’environnement en mémoire Expérience 1 - Association libre Expérience 2 - Catégorisation libre de sons de l’environnement Expérience 3 - Amorçage associatif avec des sons de l’environnement Etude 3 - Amorçage en long contexte Expérience 1 - Amorçage en long contexte linguistique avec des sons de l’environnement Expérience 2 - Amorçage en long contexte sonore avec des sons de l’environnement Plan expérimental Conclusion générale

8. Étude 1 Amorçage en court contexte

9. Tâche de catégorisation sémantique Amorce Cible Animé ou Inanimé ISI 400 ou 1000 ms 200 ou 400 ms 1000 ms 40 paires de stimuli présentées aléatoirement au sein d’un bloc Mesure du TR Présentation de 4 blocs par participant, soit 160 essais Principe général Expériences de l’Etude 1

10. Cible répétée Amorce ISI Cible non répétée Expérience 1 Amorçage répété avec des sons de l’environnement Tâche de catégorisation sémantique Animé ou Inanimé 200 ou 400 ms 1000 ms 400 ms Mesure du TR

11. Cible répétée ISI Cible non répétée Amorce Expérience 1 Amorçage répété avec des sons de l’environnement Tâche de catégorisation sémantique Animé ou Inanimé 200 ou 400 ms 1000 ms 400 ms Mesure du TR

12. Cible reliée Amorce ISI Cible non reliée Expérience 2 Amorçage sémantique avec des sons de l’environnement Tâche de catégorisation sémantique Animé ou Inanimé 200 ou 400 ms 1000 ms 400 ms Mesure du TR

13. Cible reliée ISI Cible non reliée Amorce Expérience 2 Amorçage sémantique avec des sons de l’environnement Tâche de catégorisation sémantique Animé ou Inanimé 200 ou 400 ms 1000 ms 400 ms Mesure du TR

14. Expérience 2 - amorçage sémantique Expériences 1 & 2 Expérience 1 - Amorçage répété Effet principal de la Relation de répétition, p <. 01 Effet principal de la Catégorie («animé» vs. «inanimé»), p < .001 Pas d’effet de la Relation sémantique, n.s. Effet principal de l’ISI (200 vs. 400), p < . 01

15. Expérience 1 La présentation d’une amorce identique à la cible facilite le traitement de cette dernière en comparaison à une amorce non répétée Expérience 2 Nous n’observons pas d’effet de la relation sémantique : Le bruit d’un trousseau de clés n’amorce pas le traitement du bruit de l’ouverture d’une porte Dans une expérience contrôle, un effet significatif de la relation est observé lors de l’utilisation de labels linguistiques correspondant aux sources des sons de l’environnement Différences de traitement entre les items «animé» et «inanimé» French & Mareschal (1998) Effet de l’ISI Brièveté de l’ISI de 200 ms

16. 1 - Les sons de l’environnement n’activent pas de structures de connaissances abstraites Suggère que les résultats de l’Expérience 1 sont uniquement dus la répétition des caractéristiques acoustiques des sons. Les données de la littérature ne sont pas en accord avec cette hypothèse (Ballas, 1993; Van Petten & Rheinfelder, 1995) 2 - Les sons de l’environnement activent des connaissances conceptuelles mais ne s’organisent pas comme le suggèrent les modèles d’activation ou épisodique

17. Cible répétée Amorce «Coq» ISI Cible non répétée Expérience 3 Amorçage répété inter-format avec des sons de l’environnement et des labels linguistiques Tâche de catégorisation sémantique Animé ou Inanimé 1000 ms 400 ms 1000 ms Mesure du TR

18. Cible répétée ISI «Train» Cible non répétée Amorce Expérience 3 Amorçage répété inter-format avec des sons de l’environnement et des labels linguistiques Tâche de catégorisation sémantique Animé ou Inanimé 400 ms 1000 ms 1000 ms Mesure du TR

19. Cible reliée Amorce «Poule» ISI Cible non reliée Expérience 4 Amorçage sémantique inter-format avec des sons de l’environnement et des labels linguistiques Tâche de catégorisation sémantique Animé ou Inanimé 1000 ms 1000 ms 400 ms Mesure du TR

20. Cible reliée ISI «Vapeur» Cible non reliée Amorce Expérience 4 Amorçage sémantique inter-format avec des sons de l’environnement et des labels linguistiques Tâche de catégorisation sémantique Animé ou Inanimé 1000 ms 1000 ms 400 ms Mesure du TR

21. Expérience 4 - Amorçage sémantique Expériences 3 & 4 Expérience 3 - Amorçage répété Pas d’effet de la Relation sémantique (sémantique vs. non reliée), n.s. Effet principal de la Répétition (répétée vs. non répétée), p < .01 Interaction croisée Catégorie X Relation,p < .001 Effet principal du Format de présentation (M/S vs. S/M), p < .01 Effet de la Catégorie («animé» vs. «inanimé»), p < .001 Pas d’effet simple de la Catégorie («animé» vs. «inanimé»), n.s. Pas d’effet du format de présentation (M/S vs. S/M), n.s.

22. Expérience 3 Nous observons un effet facilitateur d’amorçage répété inter-format avec des sons de l’environnement et leurs labels linguistiques en accord avec les études précédentes (Ballas, 1993; Van Petten & Rheinfelder, 1995)  Un son de l’environnement active une structure de connaissance abstraite Expérience 4 L’amorçage sémantique pour les sons de l’environnement dépend de leur appartenance catégorielle («animé» vs. «inanimé») Caramazza et al. (1990,1994) French & Mareschal (1998) Ballas (1993)

23. Étude 1 - Discussion 1 - Un son de l’environnement active des connaissances conceptuelles de manière similaire aux mots, à la musique et aux images (Expériences 1 & 3) 2 - Propagation de l’activation conceptuelle Nos résultats sont beaucoup moins clairs. La seule influence de la relation sémantique s’observe avec les items de la catégorie «animé» et uniquement dans l’Expérience 4 L’organisation des sons de l’environnement semble se faire selon des liens qui ne sont pas de nature sémantique  Comment les sons de l’environnement s’organisent en mémoire?

24. Étude 2 Organisation des sons de l’environnement en mémoire

25. Tâche d’association libre Inducteur «donnez le premier mot associé qui vous vient à l’esprit» Mot ou 2 listes, 27 sons et leurs 27 labels linguistiques correspondant 1000 ms 2000 ms 1000 ms Son Présentation bloquée par liste tous les mots puis tous les sons ou inversement Fenêtre de réponse Expérience 1 Association libre

26. Son/mot Mot/Son Son Son Mot Mot Expérience 1 Exemple  Bus Voyage Camion Foreuse Délai

27. Différences entre les mots et les sons en association libre Entendre un son active son label linguistique Lire un mot en évoque un autre associativement relié Limite temporel ? Médiation linguistique ? Les sons s’organisent peut-être selon d’autres liens que ceux entretenus par les mots, de nature acoustique par exemple

28. Expérience 2 Catégorisation libre de sons de l’environnement Expérience 2A : Classement associatif Expérience 2B : Classement acoustique 2 groupes de sujets indépendants 20 min pour réaliser la tâche 27 sons de l’environnement Exemple de présentation sous PowerPoint Former des catégories en fonction de liens associatif (2A) ou acoustique (2B) à l’issue le sujet donne les critères qui ont conduit à la formation des groupements

29. Objets Animaux Expérience 2A Dendogramme «associatif» «Moyens de transport» «Bruits d’intérieur» «Animaux des vacances» «Animaux de la ferme»

30. Expérience 2B Dendogramme acoustique «Sons longs et continus» «Sons aigus, saccadés, rythmés» «Sons dont l’amplitude complexes» «Sons graves, saccadés, agréables»

31. Une organisation en mémoire pour les sons selon des caractéristiques associative et acoustique? Classer un même ensemble de sons en fonction de critères associatif ou acoustique conduit à observer deux représentations arborées différentes Associatif Les sons s’organisent en fonction du lieu (mer, rue, ferme, …) où nous pouvons les entendre ensemble Acoustique Les regroupements sont moins homogènes mais permettent tout de même de dégager une organisation

32. Expérience 3 Amorçage associatif avec des sons de l’environnement

33. Expérience 3 Pas d’effet de la Relation (AA vs. As vs. Ac vs. NR), n.s. Effet de la Catégorie («animé» vs. «inanimé»), p < .001 Interaction Catégorie X Relation, p < .001

34. Impact des caractéristiques acoustiques sur le traitement des sons émis par des objets Impact des caractéristiques associative et acoustique sur le traitement des sons émis par des animaux

35. Étude 2 - Discussion Les sons de l’environnement semble s’organiser en mémoire en fonction - du lieu où nous sommes amenés à les entendre ensemble - de leurs caractéristiques acoustiques Homogénéité des populations de sons Nos sons d’animaux sont beaucoup plus homogènes que nos sons d’objets Médiation langagière : entendre un son active son label linguistique Un son unique n’est peut-être pas un prédicteur efficace pour un autre son un contexte plus écologique pourrait être plus adéquat Des effets d’amorçage en long contexte sont rapportés avec: Des images - Biederman, Mezzanote, & Rabinowitz (1982) Des mots - Bassili & Smith (1989) De la musique - Bigand et al. (2003)

36. Étude 3 Amorçage en long contexte

37. E1 Phrase prononcée Cible congrue Tâche de catégorisation ISI E2 Grand-petit Ambiance sonore Cible incongrue 1000 ms Mesure du TR 60 paires de stimuli présentées aléatoirement au sein d’un bloc Présentation de 2 blocs par participant, soit 120 essais Expériences 1 & 2 Principe générale E1: 2,2 à 4,1 s E2: 10 s 400 ms

38. Cible congrue Phrase prononcée Cible incongrue Expérience 1 Amorçage en long contexte linguistique avec des sons de l’environnement Tâche de catégorisation ISI Grand-petit 1000 ms 2175 à 4130 ms 400 ms Mesure du TR

39. Expérience 1 Effet principal de la Relation (congrue vs. Incongrue), p < . 01 Pas d’effet simple de la Taille (petite vs. grande), n.s.

40. avec des mots (Bassili & Smith, 1989) • avec des images (Federmeier & Kutas, 2001) • - avec de la musique (Poulin-Charronat, sous presse) 6 Utilisation d’ambiance sonore dans l’Expérience 2 Nos résultats en long contexte avec des sons de l’environnement sont en accord avec ceux rapportés lors de l’utilisation d’autres stimuli Changement de tâche associé à une activation plus importante (long contexte) permet d’observer un effet facilitateur d’amorçage non observé en court contexte Reste le problème de la médiation langagière Biederman (1981) et Bigand et al. (2003)

41. Cible congrue Ambiance sonore Cible incongrue Expérience 2 Amorçage en long contexte sonore avec des sons de l’environnement Tâche de catégorisation ISI Grand-petit 1000 ms 10000 ms 400 ms Mesure du TR

42. Expérience 2 Effet de la Relation (congrue vs. incongrue), p < .04

43. Il est plus rapide de juger de la taille de la source du son s’il n’est pas en rapport avec le contexte Hollingworth & Henderson (1998) Schémas mémoriels Hypothèse attentionnelle Phénomène de «pop-out» (Loftus & Mackworth, 1978; Treisman & Gelade, 1980)

44. Étude 3 - Discussion Effet d’amorçage inverse en fonction de la nature du contexte, linguistique ou scène auditive Le contexte linguistique contraint plus les attentes sur la cible, mais ne permet pas d’expliquer l’inversion des effets Linguistique - Collins & Loftus (1975) Objets reliés a priori Scène auditive Schéma dépendant du lieu qui ne crée pas d’attentes sur les objets «probables»

45. Propagation de l’activation Conclusions Vous lisez : “Clef” “Porte” Vous entendez : ? Un son de l’environnement active des connaissances conceptuelles mais cette activation ne se propage pas comme pour le langage, la musique ou encore les images

46. Conclusions L’organisation des connaissances relative aux sons de l’environnement se structure en fonction : - du lieu où nous sommes amenés à entendre ces sons ensemble - des caractéristiques acoustiques des sons Nous posséderions en mémoire des schémas basés sur des liens associatif et acoustique dépendant du lieu où nous évoluons

47. Merci de votre attention