GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin

1. GERBILGesture Recognition using a Brain Lightweight HeadsetJoël Dumoulin Défense de thèse – Mars 2011

2. Sommaire • Introduction • Etat de l'art • Analyse • Conception • Implémentation • Conclusion

3. Introduction Introduction Etat de l'art ⌃ • GERBIL–GEsture Recognition using a BraIn Lightweight Headset • Reconnaissance de gestes en utilisant un dispositif neuronal léger • Domaine du BCI • Reconnaissance de gestes • Capteurs physiologiques • Chaise roulante électrique • Contrôle : interface neuronale

4. Contexte Introduction Etat de l'art ⌃ • MAGI [1] • Thèse de doctorat de Francesco Carrino • Intégration de capteurs physiologiques • Système de reconnaissance de gestes  Enrichir la capacité à contrôler les objets de tous les jours • Casque Emotiv EPOC [2] • Projets internes récents • Traitement peu fiable • Traitement des signaux bruts • SmartWheelchair

5. Objectifs Introduction Etat de l'art ⌃ • Etat de l'art • BCI • Gesture Recognition • BCI & Gesture Recognition • Analyse technologique • Casque EPOC • Framework OpenVibe • SmartWheelchair • Développement • Système BCI • Démonstrateur • Piloter la SmartWheelchair

6. Etat de l'art Introduction Etat de l'art Analyse ⌃ • Qu'est-ce qu'un système BCI? • Que signifient les termes EEG, ECoG, ERD, ERS? • Quelles sont les possibilités et techniques? • Objectif : parcourir la littérature scientifique • Répondre à ces questions • Acquérir les connaissances nécessaires à la mise en place d'un système BCI

7. BCI Introduction Etat de l'art Analyse ⌃ • Brain Computer Interface (Interfaces Neuronales Directes) • Interface de communication directe • Cerveau  dispositif électronique • Assister, améliorer, réparer des fonctions humaines de cognition ou d'action défaillantes • Champs d'applications variés • Assistance aux personnes handicapées • Jeux vidéo • …

8. BCI Introduction Etat de l'art Analyse ⌃ [3]

9. BCI Introduction Etat de l'art Analyse ⌃

10. Dispositifs d'enregistrements Introduction Etat de l'art Analyse ⌃ • Enregistrement de l'activité électrique • Dispositifs invasifs • Dispositifs partiellement invasifs • Dispositifs non invasifs

11. EEG Introduction Etat de l'art Analyse ⌃ • Technologie non invasive la plus utilisée • Facile à mettre en place • Economique • Bonne résolution temporelle • Pas de risques pour le sujet • Signal bruité • Nécessite un entrainement intensif du patient

12. Techniques Introduction Etat de l'art Analyse ⌃ H P300

13. Techniques Introduction Etat de l'art Analyse ⌃ SSVEP

14. Imagerie motrice Introduction Etat de l'art Analyse ⌃ Main droite Pieds [4] Main gauche • Imagination d'un mouvement • Main gauche / main droite / pied ( / langue) • Oscillations particulières des ondes cérébrales : ERD / ERS • ERD / ERS – Event Related Desyncronization / Syncronization • Diminution / augmentation d'amplitude des rythmes mu/beta • Changements occasionnés • Imagination ≅réalisation "Reconnaissance de gestes" (2-4 gestes maximum)

15. Graz [5, 6] Introduction Etat de l'art Analyse ⌃ • Scénario de stimuli, précisant le paradigme de base • Le sujet effectue une tâche mentale en réponse à un stimulus donné • Acquisition d'échantillons pour la phase d'entrainement • Entrainer le classifieur (algorithme de classification) • En analysant les caractéristiques des signaux (ERD/ERS), en fonction des stimuli (gauche / droit)

16. Graz Introduction Etat de l'art Analyse ⌃

17. AnalyseEPOC [2] Etat de l'art Analyse Conception ⌃ ⌃ • Facilité de mise en place et d'utilisation • Prix • Qualité des signaux (bruités) • Placement approximatif du casque (capteurs) • Suite logicielle fermée

18. OpenVibe [7] Etat de l'art Analyse Conception ⌃ ⌃ • Framework OpenSource • Base solide + fonctionnalités avancées pour facilement • Concevoir … • Mettre en place … • Connecter à un environnement de réalité virtuelle … … un système BCI • Caractéristiques • Modularité • Différents types d'utilisateurs impliqués • Portabilité • Connexion avec la réalité virtuelle (VRPN) • Driver pour le casque EPOC

19. OpenVibe Etat de l'art Analyse Conception ⌃ ⌃ OpenVibe Designer

20. OpenVibe Etat de l'art Analyse Conception ⌃ ⌃ Visualisations

21. OpenVibe Etat de l'art Analyse Conception ⌃ ⌃ Stimuli visuels

22. SmartWheelchair Etat de l'art Analyse Conception ⌃ ⌃ Interfaçage : RS232 Contrôle via Joystick virtuel

23. Conception Analyse Conception Implémentation ⌃ ⌃ • Vocabulaire • Main gauche • Main droite • Mouvements "économiques" • Architecture

24. Scénarios OpenVibe Analyse Conception Implémentation ⌃ ⌃ Acquisition

25. Scénarios OpenVibe Analyse Conception Implémentation ⌃ ⌃ Entrainement du classifier

26. Scénarios OpenVibe Analyse Conception Implémentation ⌃ ⌃ Online Graz

27. Application GERBIL Analyse Conception Implémentation ⌃ ⌃

28. ImplémentationBonnet d'expérimentation Conception Implémentation Conclusion ⌃ [8] Constance dans le placement des capteurs Localisation des positions C3/C4

29. Vidéo Conception Implémentation Conclusion ⌃

30. ConclusionProblèmes rencontrés Implémentation Conclusion ⌃ • Spécialiste BCI • OpenVibe • Forum • Casque EPOC • Batterie faible  pertes de connexion • Acquisition des données d'entrainement • Tâche "pénible" • Entrainement : validité temporaire (position du casque) • Pas le cobaye adapté!

31. Objectifs atteints Implémentation Conclusion ⌃ • Objectifs fixés • Etat de l'art • base de connaissance complète • Analyse technologique • Informations sur les éléments logiciels et matériels • Système BCI • fonctionnel • facilitera le travail futur • Prototype • contrôle de la chaise • configuration flexible • (mais nécessite clairement une amélioration des taux de classification)

32. Améliorations Implémentation Conclusion ⌃ • OpenVibe • Formats de fichiers d'enregistrement • ERD/ERS • Visualisation / quantification • Algorithmes de classification • > 2 classes • Application GERBIL • Eléments de configuration (partie VRPN) • Eléments statistiques • Statistiques Graz • Faire évoluer le paradigme pour l'utilisation en-ligne Fenêtre temporelle

33. Perspectives futures Implémentation Conclusion ⌃ • Approfondir les tests • Cobayes • Améliorer les taux de classification, afin de déterminer si le casque EPOC est réellement utilisable ou non • > 75% • Développer de nouveaux prototypes • Systèmes de navigation virtuelle • Google Earth • Google Street View • Google Art Project • … • Contrôle de bras robotisés • …

34. Impressions personnelles Implémentation Conclusion ⌃ • Projet ludique • Cadre motivant • "Aide aux personnes handicapées" • Objectifs fixés : atteints

35. Merci de votre attention!

36. Références [1] Francesco Carrino. MAGI System – Mind Augmented Gesture Interaction. http://magisystem.project.eia-fr.ch [2] Emotiv systems. Emotiv – BCI Technology. www.emotiv.com [3] J.R. Wolpaw, N. Birbaumer, D.J. McFarland, G. Pfurtscheller, and T.M. Vaughan, "Brain-Computer interfaces for communication and control," in Clin Neurophysiol., 2002, vol. 113, pp. 767-791. [4] G. Pfurtscheller and C. Neuper, "Motorimageryactivatesprimarysensorimotor area in humans," in Neurosci. Lett., 1997, vol. 239, pp. 65-68. [5] Laboratory of Brain-Computer Interfaces – Graz. http://bci.tugraz.at [6] G. Pfurtscheller and C. Neuper, "MotorImagery and Direct Brain-Computer Communication," in Proceedings of the IEEE., 2001, vol. 89, pp. 1123-1134. [7] INRIA – Institut national de recherche en informatique et automatique. OpenVibe. http://openvibe.inria.fr [8] Répartition spatiale du système 10-20. www.bem.fi/book/13/13.htm