1 / 74

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance.

Download Presentation

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo Soutenance de thèse d’Antoine Picot Lundi 9 novembre 2009

  2. L’hypovigilance Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso) • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue… • Dégradation des facultés de conduite • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)

  3. État de l’art • Deux types d’approches:

  4. Situation • Ressenti au volant: • Difficulté à garder les yeux ouverts • Manque de réactivité • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997) • Majorité des systèmes: soit orientés physiologie, soit vidéo Détection d’hypovigilance par fusion des informations cérébrales et visuelles

  5. Plan de la présentation • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  6. Détection d’hypovigilance par analyse de l’activité cérébrale

  7. Difficultés • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…) • Obtention de données cérébrales d’hypovigilance • Expertise de ces données • S’affranchir des différences interindividuelles

  8. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  9. L’électroencéphalogramme (EEG) • EEG: mesure de l’activité électrique du cerveau

  10. Description de l’EEG 2s d’EEG • d[0,5-4Hz] Sommeil profond • q [4-8Hz] Méditation et somnolence • a [8-12Hz] Hypovigilance, relaxation et yeux fermés • b [12-26Hz] Concentration active • g [26-100Hz] Fonctions motrices etcognitives

  11. L’hypovigilance dans l’EEG • Augmentation de l’activité a et q(Gillberg et al., 1996) • Baisse de l’activité b(Makeig et al, 2000) • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)

  12. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  13. Le système de détection • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

  14. La comparaison de moyenne (MCT) • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe • La variable suit une loi normale • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT -u1-lMCT/2<u<u1-lMCT/2 x1mi s²1i x2mi s²2i

  15. Le système de détection • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique ‘‘Fatigué’’?

  16. Les artéfacts • Artéfacts: perturbation électrique du signal d’origine non cérébrale • Origines: biologiques ou environnementales • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG

  17. La comparaison de variances (VCT) • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe • La variable suit une loi de Fisher • Egalité de variances éprouvée par un test bilatéral de seuil lart Flart/2<F<F1-lart/2 s²1i s²2i

  18. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  19. La base de données • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg • 60 heures de conduite à partir de 20 conducteurs différents • 2 sessions de conduite de 1h30: • Sans privation de sommeil: le conducteur a dormi une nuit complète • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement

  20. Contenu • Conduite sur simulateur • 1 vidéo de contrôle • 4 canaux EEG • 1 canal EOG

  21. Expertise • Données expertisée toutes les 20s selon l’échelle OSS • Constitue une vérité de terrain • Attention: pas d’échelle standard (contrairement au sommeil) Échelle OSS (Muzet et al., 2003)

  22. Évaluation des performances • Binarisation de la décision experte 3 2 1 Éveillé 0 t(s) Binarisation Fatigué Fatigué Éveillé t(s)

  23. Évaluations des performances • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué » Expert 20s 40s 60s t(s) Notresystème 20s 40s 60s t(s)

  24. Évaluation des performances • Présentation par courbe COR: • TPrate: taux de bonnes détections • FPrate: taux de fausses alarmes • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)

  25. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Caractérisation de l’hypovigilance par EEG • Système de détection • Données de validation • Résultats obtenus • Détection d’hypovigilance par analyse des signes visuels • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  26. Choix du canal (résultats obtenus sur la bande a) lMCT=1,5 • Meilleurs résultats pour le canal P3 • Résultats peu dégradés lorsque lMCT varie • Indépendant du conducteur • Pour la suite, on utilise uniquement le canal P3 Classifieur aléatoire lMCT=5

  27. Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3) • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude • Ce type d’artéfact ne représente que 2% de la base de données • Pour la suite, on prend en compte la présence d’artéfacts

  28. Résultats pour les différentes bandes de fréquence • a est le meilleur indicateur • q n’apporte pas d’informations pertinentes • b et (a+q)/b donnent des résultats corrects Indices: • Alpha • Beta • Theta • Alpha|Theta • (a+q)/b a et b sont les meilleurs indicateurs

  29. Détection par fusion floue des informations a et b m(MCTa) m(MCTb) Fuzzification MCTa MCTb & mEEG { DEEG=« fatigué » si mEEG>0,5 DEEG=« éveillé » sinon

  30. Résultats de la fusion • Résultats améliorés en fusionnant les informations a et b • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1)) • TPrate=84,6% et FPrate=17,9% Indices: • Alpha • Beta • Fusion

  31. Comparaison à la littérature

  32. Bilan • Détection par fusion des informations a et b • Fonctionne à partir d’un canal unique (P3) • Détecteur d’artéfact pour évaluer la qualité du signal • Indépendant du conducteur • Performances: TPrate=84,6% et FPrate=17,9%

  33. Détection d’hypovigilance par analyse des signes visuels

  34. Problématique • Clignements: indicateurs d’hypovigilance • Deux techniques: • EOG: peu ergonomique • Vidéo: plus pratique Dans quelle mesure la vidéo peut elle remplacer l’EOG? Quelle caractérisation d’hypovigilance possible par analyse vidéo?

  35. Difficultés • Détection des yeux, quel que soit leur état • Caractériser précisément les clignements • Obtention de données oculaires d’hypovigilance • Expertise de ces données • S’affranchir des différences interindividuelles

  36. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  37. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Caractérisation de clignements par analyse vidéo • Comparaison des caractérisations vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  38. Détection de clignements par analyse vidéo • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil (A. Benoit, 2006) Testé sur la base BioID (1521 visages) 97% de bonnes détections

  39. Détection des clignements EOPL (contoursstatiques) EIPL (contours mobiles) Clignement validé! SIPL

  40. Indicateurs de l’hypovigilance à partir d’un clignement • Plusieurs indicateurs peuvent être extraits des clignements • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements TF TO D EOPL (contours statiques) EIPL (contours mobiles) A D50 P80 EF EO

  41. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Caractérisation de clignements par analyse vidéo • Comparaison des caractérisations vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  42. Base de données de comparaison • 14 participants (11 hommes, 3 femmes) • Enregistrements de 1min EOG (250Hz) et vidéo • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps

  43. Comparaison entre vidéo et EOG • Détection des clignements par analyse vidéo

  44. Comparaison entre vidéo et EOG • L’évolution des différents indicateurs est liée à l’hypovigilance • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière. • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

  45. Coefficients de corrélation entre vidéo et EOG

  46. Bilan • Intérêt d’utiliser une caméra rapide (200fps) • Variables communes à la vidéo et à l’EOG: • Durée • Durée à 50% • Fréquence • P80 • A/PCV • Variable spécifique à la vidéo: • EF corrélé à la vitesse de fermeture

  47. Plan • Détection d’hypovigilance par analyse de l’activité cérébrale • Détection d’hypovigilance par analyse des signes visuels • Comparaison entre vidéo et EOG • Détection d’hypovigilance par analyse vidéo • Analyse des différents variables • Système de détection • Résultats • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

  48. Préambule • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables? • Analyse réalisée sur les données EOG de la base de données du CEPA • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée • Base de données du CEPA très riche • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo

  49. Méthode EOG Fenêtre d’analyse (20s, 40s ou 60s) Seuil de détection fixeou par apprentissage Variableconsidérée t(s) Fatigué Décision Éveillé t(s)

  50. Évaluation des performances • Binarisation des décisions expertes • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué » « Éveillé » « Fatigué »

More Related