D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o
This presentation is the property of its rightful owner.
Sponsored Links
1 / 74

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo PowerPoint PPT Presentation


  • 22 Views
  • Uploaded on
  • Presentation posted in: General

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance.

Download Presentation

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009


L hypovigilance

L’hypovigilance

Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)

  • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…

  • Dégradation des facultés de conduite

  • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)


Tat de l art

État de l’art

  • Deux types d’approches:


Situation

Situation

  • Ressenti au volant:

    • Difficulté à garder les yeux ouverts

    • Manque de réactivité

  • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997)

  • Majorité des systèmes: soit orientés physiologie, soit vidéo

    Détection d’hypovigilance par fusion des informations cérébrales et visuelles


Plan de la pr sentation

Plan de la présentation

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection d hypovigilance par analyse de l activit c r brale

Détection d’hypovigilance par analyse de l’activité cérébrale


Difficult s

Difficultés

  • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)

  • Obtention de données cérébrales d’hypovigilance

  • Expertise de ces données

  • S’affranchir des différences interindividuelles


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


L lectroenc phalogramme eeg

L’électroencéphalogramme (EEG)

  • EEG: mesure de l’activité électrique du cerveau


Description de l eeg

Description de l’EEG

2s d’EEG

  • d[0,5-4Hz]

Sommeil profond

  • q [4-8Hz]

Méditation et somnolence

  • a [8-12Hz]

Hypovigilance, relaxation et yeux fermés

  • b [12-26Hz]

Concentration active

  • g [26-100Hz]

Fonctions motrices etcognitives


L hypovigilance dans l eeg

L’hypovigilance dans l’EEG

  • Augmentation de l’activité a et q(Gillberg et al., 1996)

  • Baisse de l’activité b(Makeig et al, 2000)

  • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Le syst me de d tection

Le système de détection

  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?


La comparaison de moyenne mct

La comparaison de moyenne (MCT)

  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

  • La variable suit une loi normale

  • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT

    -u1-lMCT/2<u<u1-lMCT/2

x1mi

s²1i

x2mi

s²2i


Le syst me de d tection1

Le système de détection

  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?


Les art facts

Les artéfacts

  • Artéfacts: perturbation électrique du signal d’origine non cérébrale

  • Origines: biologiques ou environnementales

  • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG


La comparaison de variances vct

La comparaison de variances (VCT)

  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

  • La variable suit une loi de Fisher

  • Egalité de variances éprouvée par un test bilatéral de seuil lart

    Flart/2<F<F1-lart/2

s²1i

s²2i


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


La base de donn es

La base de données

  • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg

  • 60 heures de conduite à partir de 20 conducteurs différents

  • 2 sessions de conduite de 1h30:

    • Sans privation de sommeil: le conducteur a dormi une nuit complète

    • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement


Contenu

Contenu

  • Conduite sur simulateur

  • 1 vidéo de contrôle

  • 4 canaux EEG

  • 1 canal EOG


Expertise

Expertise

  • Données expertisée toutes les 20s selon l’échelle OSS

  • Constitue une vérité de terrain

  • Attention: pas d’échelle standard (contrairement au sommeil)

Échelle OSS (Muzet et al., 2003)


Valuation des performances

Évaluation des performances

  • Binarisation de la décision experte

3

2

1

Éveillé

0

t(s)

Binarisation

Fatigué

Fatigué

Éveillé

t(s)


Valuations des performances

Évaluations des performances

  • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »

Expert

20s

40s

60s

t(s)

Notresystème

20s

40s

60s

t(s)


Valuation des performances1

Évaluation des performances

  • Présentation par courbe COR:

    • TPrate: taux de bonnes détections

    • FPrate: taux de fausses alarmes

  • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Choix du canal r sultats obtenus sur la bande a

Choix du canal (résultats obtenus sur la bande a)

lMCT=1,5

  • Meilleurs résultats pour le canal P3

  • Résultats peu dégradés lorsque lMCT varie

  • Indépendant du conducteur

  • Pour la suite, on utilise uniquement le canal P3

Classifieur aléatoire

lMCT=5


Influence de la d tection d art facts r sultats obtenus sur la bande a et le canal p3

Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3)

  • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude

  • Ce type d’artéfact ne représente que 2% de la base de données

  • Pour la suite, on prend en compte la présence d’artéfacts


R sultats pour les diff rentes bandes de fr quence

Résultats pour les différentes bandes de fréquence

  • a est le meilleur indicateur

  • q n’apporte pas d’informations pertinentes

  • b et (a+q)/b donnent des résultats corrects

Indices:

  • Alpha

  • Beta

  • Theta

  • Alpha|Theta

  • (a+q)/b

a et b sont les

meilleurs indicateurs


D tection par fusion floue des informations a et b

Détection par fusion floue des informations a et b

m(MCTa)

m(MCTb)

Fuzzification

MCTa

MCTb

&

mEEG

{

DEEG=« fatigué »simEEG>0,5

DEEG=« éveillé »sinon


R sultats de la fusion

Résultats de la fusion

  • Résultats améliorés en fusionnant les informations a et b

  • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1))

  • TPrate=84,6% et FPrate=17,9%

Indices:

  • Alpha

  • Beta

  • Fusion


Comparaison la litt rature

Comparaison à la littérature


Bilan

Bilan

  • Détection par fusion des informations a et b

  • Fonctionne à partir d’un canal unique (P3)

  • Détecteur d’artéfact pour évaluer la qualité du signal

  • Indépendant du conducteur

  • Performances: TPrate=84,6% et FPrate=17,9%


D tection d hypovigilance par analyse des signes visuels

Détection d’hypovigilance par analyse des signes visuels


Probl matique

Problématique

  • Clignements: indicateurs d’hypovigilance

  • Deux techniques:

    • EOG: peu ergonomique

    • Vidéo: plus pratique

Dans quelle mesure la vidéo peut elle remplacer l’EOG?

Quelle caractérisation d’hypovigilance possible par analyse vidéo?


Difficult s1

Difficultés

  • Détection des yeux, quel que soit leur état

  • Caractériser précisément les clignements

  • Obtention de données oculaires d’hypovigilance

  • Expertise de ces données

  • S’affranchir des différences interindividuelles


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

      • Caractérisation de clignements par analyse vidéo

      • Comparaison des caractérisations vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection de clignements par analyse vid o

Détection de clignements par analyse vidéo

  • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil

(A. Benoit, 2006)

Testé sur la base BioID (1521 visages)

97% de bonnes détections


D tection des clignements

Détection des clignements

EOPL

(contoursstatiques)

EIPL

(contours

mobiles)

Clignement validé!

SIPL


Indicateurs de l hypovigilance partir d un clignement

Indicateurs de l’hypovigilance à partir d’un clignement

  • Plusieurs indicateurs peuvent être extraits des clignements

  • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements

TF

TO

D

EOPL

(contours

statiques)

EIPL

(contours

mobiles)

A

D50

P80

EF

EO


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

      • Caractérisation de clignements par analyse vidéo

      • Comparaison des caractérisations vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Base de donn es de comparaison

Base de données de comparaison

  • 14 participants (11 hommes, 3 femmes)

  • Enregistrements de 1min EOG (250Hz) et vidéo

  • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps

  • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps


Comparaison entre vid o et eog

Comparaison entre vidéo et EOG

  • Détection des clignements par analyse vidéo


Comparaison entre vid o et eog1

Comparaison entre vidéo et EOG

  • L’évolution des différents indicateurs est liée à l’hypovigilance

  • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.

  • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.


Coefficients de corr lation entre vid o et eog

Coefficients de corrélation entre vidéo et EOG


Bilan1

Bilan

  • Intérêt d’utiliser une caméra rapide (200fps)

  • Variables communes à la vidéo et à l’EOG:

    • Durée

    • Durée à 50%

    • Fréquence

    • P80

    • A/PCV

  • Variable spécifique à la vidéo:

    • EF corrélé à la vitesse de fermeture


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différents variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Pr ambule

Préambule

  • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvéesPertinence de ces variables?

  • Analyse réalisée sur les données EOG de la base de données du CEPA

    • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée

    • Base de données du CEPA très riche

    • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo


M thode

Méthode

EOG

Fenêtre d’analyse (20s, 40s ou 60s)

Seuil de détection fixeou par apprentissage

Variableconsidérée

t(s)

Fatigué

Décision

Éveillé

t(s)


Valuation des performances2

Évaluation des performances

  • Binarisation des décisions expertes

  • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »

« Éveillé »

« Fatigué »


R sultats

Résultats

  • Meilleurs résultats avec un seuil fixe

  • Meilleurs résultats avec une fenêtre d’analyse de 20s

  • Variables les plus pertinentes: D50, P80, A/PCV et F


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différentes variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection par fusion floue des variables pertinentes

Détection par fusion floue des variables pertinentes

Fuzzification

m(D50)

m(P80)

m(A/PCV)

m(F)

D50

P80

A/PCV

F

S

mvidéo

{

Dvidéo=« fatigué »simvidéo>0,5

Dvidéo=« éveillé »sinon


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différents variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


R sultats1

Résultats

  • Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1))

Indices:

  • Fusion

  • A50

  • P80

  • F

  • A/PCV

TPrate=81,4% et FPrate=13,1%


Comparaison la litt rature1

Comparaison à la littérature


Bilan2

Bilan

  • Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG

  • D50, P80, A/PCV et F sont les plus pertinents

  • Détection par fusion de ces variables pertinentes

  • Indépendant du conducteur

  • Performances: TPrate=81,4% et FPrate=13,1%


D tection d hypovigilance par fusion des approches c r brale et visuelle

Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Difficult s2

Difficultés

  • Interaction entre EEG et vidéo

  • Synchronisation des approches développées

  • Obtention de données EEG et vidéo d’hypovigilance

  • Expertise de ces données


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

    • Système de fusion

    • Résultats


Objectif

Objectif

  • Hypovigilance caractérisée par l’activité cérébraleetl’activité oculaire

  • Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection


Pr sentation g n rale

Présentation générale

Éveillé

Fatigué

Trèsfatigué

Vidéo

EEG


M thode de fusion

Méthode de fusion

Fusion

DEEG

DétectionEEG

0

DEEG

“éveillé”

0

EEG

1

Dart

Dart

Détectiond’artéfacts

0 & Dart=1

“fatigué”

Synchronisation temporelle

0

Dvidéo

“très fatigué”

1

1

Dvidéo

Détectionvidéo

Vidéo


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

    • Système de fusion

    • Résultats


R sultats2

Résultats

Notre méthode

Expert

Fusion « aveugle »

Notre système

  • Meilleurs résultats avec notre méthode

  • Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1))

  • 80,6% de bonnes classifications sur 3 niveaux


Comparaison la d tection vid o seule

Comparaison à la détection vidéo seule

  • Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance

Vidéo seule

TPrate=81,4%

FPrate=13,1%

Vidéo + EEG:

TPrate=79,6%

FPrate=5,2%

  • Forte diminution du taux de fausses alarmes

  • Meilleurs résultats avec l’apport de l’information EEG(c²McNemar=428,62>>c²(1))


Comparaison la litt rature2

Comparaison à la littérature


Conclusions et perspectives

Conclusions et perspectives


Difficult s du probl me

Difficultés du problème

  • But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo

  • Difficultés engendrées:

    • Analyse et caractérisation des signaux EEG

    • Caractérisation de l’hypovigilance à partir de la vidéo

    • S’affranchir des différences interindividuelles

    • Interaction entre EEG et vidéo

    • Obtention de données d’hypovigilance

    • Expertise de ces données


Solutions propos es

Solutions proposées

  • Approche EEG utilisant un seul canal

  • Approche vidéo par caméra rapide

  • Système de détection d’hypovigilance par fusion d’informations EEG et vidéo

  • Indépendant du conducteur

  • Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents


Perspectives

Perspectives

  • À court terme:

    • Validation sur une base de données EEG et vidéo rapide synchronisée

  • À plus long terme

    • Améliorer la détection EEG

    • Explorer les possibilités offertes par la vidéo

    • Ajout des informations contextuelles

    • Boucler ce système avec une approche orientée véhicule


Merci de votre attention

Merci de votre attention!


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o1

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009


Param tres eog pertinents

Paramètres EOG pertinents

1:très important, 2: important, 3:peu important


  • Login