Cours 4

1. Cours 4 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 16/01/2012 (& 19/01/2012) http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr

2. Plan des cours • Introduction à la Programmation Bayésienne : incomplétude, incertitude • Programmation bayésienne : exemple détaillé • Classes de modèles probabilistes, distributions usuelles, Programmation bayésienne des robots • Modélisation bayésienne de la perception et de l’action • Comparaison bayésienne de modèles • Compléments : inférence, apprentissage, principe d’entropie

3. Plan • Résumé + questions ! • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique : (Ernst & Banks, 02) détaillé • Causal Inference • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur, Modèle de minimum variance • Modélisation de la perception et de l’action • Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

4. Specification • Variables • Decomposition Description • Parametrical Forms or Recursive Question Program Identification Question Inference Bayesian Program = Description + Question • Preliminary Knowledge p • Experimental Data d

5. Learning Reactive Behaviors • Khepera Robot • Avoiding Obstacle • Contour Following • Piano mover • Phototaxy • etc. Lebeltel, O., Bessière, P., Diard, J. & Mazer, E. (2004) Bayesian Robot Programming; Autonomous Robots, Vol. 16, p. 49-79 Lebeltel, O. (1999) Programmation bayésienne des robots; Thèse INPG

6. Description Utilization Question Reactive behaviours Specification • Variables • Decomposition • Parametrical Forms Program •  Preliminary Knowledge p Identification • Joystick Remote Control  Experimental Data d d1 pushing obstacles d2 contour following d3 obstacle avoidance d d

7. Description Utilization Question Sensor Fusion Model Specification • Variables ThetaL, DistL, Lm0, …, Lm7 • Decomposition (Conditional Independance Hypothesis) • Parametrical Forms Program Identification • No free parameters

9. Description Utilization Question Object Recognition (Model) Specification • Variables Nlt, Nrt, Per, Llsl, O = {0, 1, 2, …} • Decomposition (Conditional Independance Hypothesis) • Parametrical Forms Program Identification • Identification of the Laplace succession laws and Gaussians

10. Bayesian Bot Specification • Variables • Decomposition • Parametric Forms • Perception: L Life, W Weapon, FW Foe Weapon, N Noise,FN Foe Number, PW Proximity Weapon,PL Proximity Life • State: St, St+1 {Attack, Weapon Search, Life Search, Exploration, Escape, Danger Detection} Description P(St St+1 L W FW N FN PW PL) = P(St) P(St+1 | St) P(L | St+1) P(W | St+1) P(FW | St+1) P(N | St+1) P(FN | St+1) P(PW | St+1) P(PL | St+1) Program Tables Identification Question Utilization • Playing: P(St+1 |St L W FW N FN PW PL)

11. Inférence exacte • sommation, propagation des incertitudes • Inférence approximée • décisions intermédiaires (tirage de points), propagation d’une partie des incertitudes

12. Plan • Résumé + questions ! • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique : (Ernst & Banks, 02) détaillé • Causal Inference • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur, Modèle de minimum variance • Modélisation de la perception et de l’action • Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

13. Pour aller plus loin… • Reviews, introductions, … • Numéro spécial Trends in Cognitive Sciences 2006, 10(7) • l’édito : N. Chater, J. B. Tenenbaum, and A. Yuille. Probabilistic models of cognition: Conceptual foundations. Trends in Cognitive Sciences, 10(7):287–291, 2006. • F. Colas, J. Diard, and P. Bessière. Common bayesian models for common cognitive issues. Acta Biotheoretica, 58(2-3):191–216, 2010. • ambiguities, fusion, multimodality, conflicts, modularity, hierarchies and loops • N. Chater, M. Oaksford, U. Hahn, and E. Heit. Bayesian models of cognition. WIREs Cognitive Science, 1(6), 2010. • plus « cognitif » : categorization, learning and causality, language processing, inductive and deductive reasoning, argumentation • R.A. Jacobs and J.K. Kruschke. Bayesian learning theory applied to human cognition. WIREs Cognitive Science, 2010. • M. Jones and B. Love. Bayesian fundamentalism or enlightenment? on the explanatory status and theoretical contributions of bayesian models of cognition. Behavioral and Brain Sciences, 34:169–231, 2011. • Article cible BBS, suivi de commentaires

14. Pour aller plus loin… • Modèles sensori-moteurs en robotique • O. Lebeltel, P. Bessière, J. Diard, and E. Mazer. Bayesian robot programming. Autonomous Robots, 16(1):49–79, 2004. • Modèles sensoriels et moteurs en sciences du vivant • D. Kersten, P. Mamassian, and A. Yuille. Object perception as bayesian inference. annu Rev Psychol, 55:271–304, 2004. • D. M. Wolpert. Probabilistic models in human sensorimotor control. Human Movement Science, 26:511–524, 2007. • Statistiques bayésiennes • J. K. Kruschke. Bayesian data analysis. WIREs Cognitive Science, 1:658–676, 2010. • J. K. Kruschke. What to believe: Bayesian methods for data analysis. Trends in Cognitive Science, 14:293–300, 2010.

15. Plan • Résumé + questions ! • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique : (Ernst & Banks, 02) détaillé • Causal Inference • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur, Modèle de minimum variance • Modélisation de la perception et de l’action • Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

16. Modélisation de la perception multi- • Multi-? • Intramodale : multi-indice • Multimodale : multi-sensorielle • Modèle de pondération linéaire (Lambrey, 2005)

17. Modèle de pondération sensorielle

18. perception stimulus Modélisation de la perception • Perception • Un problème inverse (Poggio, 1984) • Modèle bayésien • Inversion + hypothèse d’indépendance conditionnelle sensations

19. Vision • Perception des plans : préférence pour des plans rigides, stationnaires (Colas, 06) • Perception des formes (Kersten et al., 04) : • préférence pour les objets convexes • préférence pour des lumières venant du haut, stationnaires • préférence pour un point de vue situé au dessus de la scène

20. Cube de Necker Ambigüités • P(V | S) • inversion de P(S | V) • Distribution à plusieurs pics : ambigüité • Cas classique • image rétinienne 2 D  objet réel en 3D

21. Forme tirée du mouvement MPI-BC

22. Forme tirée du mouvement MPI-BC

23. Forme tirée des ombres

24. Proprioception (Laurens, 07)

25. Fusion multi-indices • Haptique : géométrie et force (Drewing & Ernst, 06) • Vision (Kersten et al., 04) • Fusion multi-sensorielle • Visuo-acoustique • Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) • Reconnaissance de voyelles (Gilet, 06) • Visuo-haptique (Ernst & Banks, 02)

26. Fusion visuo-acoustique :effet McGurk

27. Effet McGurk • Audio : ba • Lèvres fermées • Vidéo : /ga/ • Lèvres ouvertes • Situation de conflit : perception /da/

28. Fusion trimodale • Stimuli audio, visuels et tactiles • Tâche : compter dans chaque modalité (Wozny, Beierholm and Shams, 2008)

29. Fusion trimodale

30. Plan • Résumé + questions ! • Modélisation bayésienne de la perception • Introduction à la perception multi- • Perception visuo-haptique : (Ernst & Banks, 02) détaillé • Causal Inference • Questions ouvertes • Modélisation bayésienne de l’action • Introduction au contrôle moteur, Modèle de minimum variance • Modélisation de la perception et de l’action • Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

31. Nature, 429–433, 2002

32. Humans integrate visual and haptic information in a statistically optimal fashion • Mécanisme d’integration visuo-haptique par fusion de gaussiennes • Utilisé par les humains

33. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données

34. Matériel expérimental

35. Stimuli visuels

36. Stimuli et tâche • 4 niveaux de bruit visuel : 0% 67% 133% 200% • 1 niveau haptique • 1 s de présentation • Tâche de choix forcé • laquelle de ces deux barres est la plus grande ?

37. Cas mono-modal • 2 barres en séquence • L’une à 55 mm (standard stimulus) • L’autre de taille variable, entre 47 et 63 mm (comparison stimulus)

38. Cas mono-modal

39. Cas multi-modal • 2 barres en séquence • L’une composée d’une taille visuelle SVet d’une taille haptique SH • | SH - SV | = D = 0, 3 ou 6 mm • (SH + SV) / 2 = 55 mm  standard stimulus • L’autre de taille variable entre 47 et 63 mm  comparison stimulus

40. Integration visuo-haptique 0%

41. Integration visuo-haptique 0% 67%

42. Integration visuo-haptique 0% 67% 133%

43. Integration visuo-haptique 0% 67% 133% 200%

44. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données

45. Modèle bayésien de fusion « naïve »

46. Modèle bayésien de fusion « naïve »

47. Modèle bayésien de fusion « naïve » • Estimateur de maximum de vraisemblance • Par opposition à Bayésien • « Statistiquement optimal » • Moindre variance :

48. Plan • Protocole expérimental • Modèle bayésien de fusion capteurs • Comparaison du modèle au données

49. Quelles gaussiennes ? T = 0.085 x 55 mm • Choix d’une gaussienne parmi 2 • L’inversion est une sigmoïde… • Point d’égalité subjective • PSE : moyenne • Seuil de discrimination 0.04 x 55 mm

50. Integration visuo-haptique • Comparison stimulus • visual and haptic heights equal • vary in 47-63 mm • Standard stimulus • visual and haptic heights differ • Δ = {±6 mm, ±3 mm, 0} • mean is 55 mm