Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo - PowerPoint PPT Presentation

D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o
Download
1 / 74

  • 32 Views
  • Uploaded on
  • Presentation posted in: General

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance.

I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.

Download Presentation

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009


L hypovigilance

L’hypovigilance

Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)

  • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…

  • Dégradation des facultés de conduite

  • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)


Tat de l art

État de l’art

  • Deux types d’approches:


Situation

Situation

  • Ressenti au volant:

    • Difficulté à garder les yeux ouverts

    • Manque de réactivité

  • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997)

  • Majorité des systèmes: soit orientés physiologie, soit vidéo

    Détection d’hypovigilance par fusion des informations cérébrales et visuelles


Plan de la pr sentation

Plan de la présentation

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection d hypovigilance par analyse de l activit c r brale

Détection d’hypovigilance par analyse de l’activité cérébrale


Difficult s

Difficultés

  • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)

  • Obtention de données cérébrales d’hypovigilance

  • Expertise de ces données

  • S’affranchir des différences interindividuelles


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


L lectroenc phalogramme eeg

L’électroencéphalogramme (EEG)

  • EEG: mesure de l’activité électrique du cerveau


Description de l eeg

Description de l’EEG

2s d’EEG

  • d[0,5-4Hz]

Sommeil profond

  • q [4-8Hz]

Méditation et somnolence

  • a [8-12Hz]

Hypovigilance, relaxation et yeux fermés

  • b [12-26Hz]

Concentration active

  • g [26-100Hz]

Fonctions motrices etcognitives


L hypovigilance dans l eeg

L’hypovigilance dans l’EEG

  • Augmentation de l’activité a et q(Gillberg et al., 1996)

  • Baisse de l’activité b(Makeig et al, 2000)

  • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Le syst me de d tection

Le système de détection

  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?


La comparaison de moyenne mct

La comparaison de moyenne (MCT)

  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

  • La variable suit une loi normale

  • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT

    -u1-lMCT/2<u<u1-lMCT/2

x1mi

s²1i

x2mi

s²2i


Le syst me de d tection1

Le système de détection

  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?


Les art facts

Les artéfacts

  • Artéfacts: perturbation électrique du signal d’origine non cérébrale

  • Origines: biologiques ou environnementales

  • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG


La comparaison de variances vct

La comparaison de variances (VCT)

  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

  • La variable suit une loi de Fisher

  • Egalité de variances éprouvée par un test bilatéral de seuil lart

    Flart/2<F<F1-lart/2

s²1i

s²2i


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


La base de donn es

La base de données

  • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg

  • 60 heures de conduite à partir de 20 conducteurs différents

  • 2 sessions de conduite de 1h30:

    • Sans privation de sommeil: le conducteur a dormi une nuit complète

    • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement


Contenu

Contenu

  • Conduite sur simulateur

  • 1 vidéo de contrôle

  • 4 canaux EEG

  • 1 canal EOG


Expertise

Expertise

  • Données expertisée toutes les 20s selon l’échelle OSS

  • Constitue une vérité de terrain

  • Attention: pas d’échelle standard (contrairement au sommeil)

Échelle OSS (Muzet et al., 2003)


Valuation des performances

Évaluation des performances

  • Binarisation de la décision experte

3

2

1

Éveillé

0

t(s)

Binarisation

Fatigué

Fatigué

Éveillé

t(s)


Valuations des performances

Évaluations des performances

  • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »

Expert

20s

40s

60s

t(s)

Notresystème

20s

40s

60s

t(s)


Valuation des performances1

Évaluation des performances

  • Présentation par courbe COR:

    • TPrate: taux de bonnes détections

    • FPrate: taux de fausses alarmes

  • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

    • Caractérisation de l’hypovigilance par EEG

    • Système de détection

    • Données de validation

    • Résultats obtenus

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Choix du canal r sultats obtenus sur la bande a

Choix du canal (résultats obtenus sur la bande a)

lMCT=1,5

  • Meilleurs résultats pour le canal P3

  • Résultats peu dégradés lorsque lMCT varie

  • Indépendant du conducteur

  • Pour la suite, on utilise uniquement le canal P3

Classifieur aléatoire

lMCT=5


Influence de la d tection d art facts r sultats obtenus sur la bande a et le canal p3

Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3)

  • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude

  • Ce type d’artéfact ne représente que 2% de la base de données

  • Pour la suite, on prend en compte la présence d’artéfacts


R sultats pour les diff rentes bandes de fr quence

Résultats pour les différentes bandes de fréquence

  • a est le meilleur indicateur

  • q n’apporte pas d’informations pertinentes

  • b et (a+q)/b donnent des résultats corrects

Indices:

  • Alpha

  • Beta

  • Theta

  • Alpha|Theta

  • (a+q)/b

a et b sont les

meilleurs indicateurs


D tection par fusion floue des informations a et b

Détection par fusion floue des informations a et b

m(MCTa)

m(MCTb)

Fuzzification

MCTa

MCTb

&

mEEG

{

DEEG=« fatigué »simEEG>0,5

DEEG=« éveillé »sinon


R sultats de la fusion

Résultats de la fusion

  • Résultats améliorés en fusionnant les informations a et b

  • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1))

  • TPrate=84,6% et FPrate=17,9%

Indices:

  • Alpha

  • Beta

  • Fusion


Comparaison la litt rature

Comparaison à la littérature


Bilan

Bilan

  • Détection par fusion des informations a et b

  • Fonctionne à partir d’un canal unique (P3)

  • Détecteur d’artéfact pour évaluer la qualité du signal

  • Indépendant du conducteur

  • Performances: TPrate=84,6% et FPrate=17,9%


D tection d hypovigilance par analyse des signes visuels

Détection d’hypovigilance par analyse des signes visuels


Probl matique

Problématique

  • Clignements: indicateurs d’hypovigilance

  • Deux techniques:

    • EOG: peu ergonomique

    • Vidéo: plus pratique

Dans quelle mesure la vidéo peut elle remplacer l’EOG?

Quelle caractérisation d’hypovigilance possible par analyse vidéo?


Difficult s1

Difficultés

  • Détection des yeux, quel que soit leur état

  • Caractériser précisément les clignements

  • Obtention de données oculaires d’hypovigilance

  • Expertise de ces données

  • S’affranchir des différences interindividuelles


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

      • Caractérisation de clignements par analyse vidéo

      • Comparaison des caractérisations vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection de clignements par analyse vid o

Détection de clignements par analyse vidéo

  • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil

(A. Benoit, 2006)

Testé sur la base BioID (1521 visages)

97% de bonnes détections


D tection des clignements

Détection des clignements

EOPL

(contoursstatiques)

EIPL

(contours

mobiles)

Clignement validé!

SIPL


Indicateurs de l hypovigilance partir d un clignement

Indicateurs de l’hypovigilance à partir d’un clignement

  • Plusieurs indicateurs peuvent être extraits des clignements

  • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements

TF

TO

D

EOPL

(contours

statiques)

EIPL

(contours

mobiles)

A

D50

P80

EF

EO


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

      • Caractérisation de clignements par analyse vidéo

      • Comparaison des caractérisations vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Base de donn es de comparaison

Base de données de comparaison

  • 14 participants (11 hommes, 3 femmes)

  • Enregistrements de 1min EOG (250Hz) et vidéo

  • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps

  • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps


Comparaison entre vid o et eog

Comparaison entre vidéo et EOG

  • Détection des clignements par analyse vidéo


Comparaison entre vid o et eog1

Comparaison entre vidéo et EOG

  • L’évolution des différents indicateurs est liée à l’hypovigilance

  • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.

  • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.


Coefficients de corr lation entre vid o et eog

Coefficients de corrélation entre vidéo et EOG


Bilan1

Bilan

  • Intérêt d’utiliser une caméra rapide (200fps)

  • Variables communes à la vidéo et à l’EOG:

    • Durée

    • Durée à 50%

    • Fréquence

    • P80

    • A/PCV

  • Variable spécifique à la vidéo:

    • EF corrélé à la vitesse de fermeture


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différents variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Pr ambule

Préambule

  • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvéesPertinence de ces variables?

  • Analyse réalisée sur les données EOG de la base de données du CEPA

    • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée

    • Base de données du CEPA très riche

    • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo


M thode

Méthode

EOG

Fenêtre d’analyse (20s, 40s ou 60s)

Seuil de détection fixeou par apprentissage

Variableconsidérée

t(s)

Fatigué

Décision

Éveillé

t(s)


Valuation des performances2

Évaluation des performances

  • Binarisation des décisions expertes

  • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »

« Éveillé »

« Fatigué »


R sultats

Résultats

  • Meilleurs résultats avec un seuil fixe

  • Meilleurs résultats avec une fenêtre d’analyse de 20s

  • Variables les plus pertinentes: D50, P80, A/PCV et F


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différentes variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


D tection par fusion floue des variables pertinentes

Détection par fusion floue des variables pertinentes

Fuzzification

m(D50)

m(P80)

m(A/PCV)

m(F)

D50

P80

A/PCV

F

S

mvidéo

{

Dvidéo=« fatigué »simvidéo>0,5

Dvidéo=« éveillé »sinon


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

    • Comparaison entre vidéo et EOG

    • Détection d’hypovigilance par analyse vidéo

      • Analyse des différents variables

      • Système de détection

      • Résultats

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle


R sultats1

Résultats

  • Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1))

Indices:

  • Fusion

  • A50

  • P80

  • F

  • A/PCV

TPrate=81,4% et FPrate=13,1%


Comparaison la litt rature1

Comparaison à la littérature


Bilan2

Bilan

  • Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG

  • D50, P80, A/PCV et F sont les plus pertinents

  • Détection par fusion de ces variables pertinentes

  • Indépendant du conducteur

  • Performances: TPrate=81,4% et FPrate=13,1%


D tection d hypovigilance par fusion des approches c r brale et visuelle

Détection d’hypovigilance par fusion des approches cérébrale et visuelle


Difficult s2

Difficultés

  • Interaction entre EEG et vidéo

  • Synchronisation des approches développées

  • Obtention de données EEG et vidéo d’hypovigilance

  • Expertise de ces données


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

    • Système de fusion

    • Résultats


Objectif

Objectif

  • Hypovigilance caractérisée par l’activité cérébraleetl’activité oculaire

  • Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection


Pr sentation g n rale

Présentation générale

Éveillé

Fatigué

Trèsfatigué

Vidéo

EEG


M thode de fusion

Méthode de fusion

Fusion

DEEG

DétectionEEG

0

DEEG

“éveillé”

0

EEG

1

Dart

Dart

Détectiond’artéfacts

0 & Dart=1

“fatigué”

Synchronisation temporelle

0

Dvidéo

“très fatigué”

1

1

Dvidéo

Détectionvidéo

Vidéo


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Plan

  • Détection d’hypovigilance par analyse de l’activité cérébrale

  • Détection d’hypovigilance par analyse des signes visuels

  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle

    • Système de fusion

    • Résultats


R sultats2

Résultats

Notre méthode

Expert

Fusion « aveugle »

Notre système

  • Meilleurs résultats avec notre méthode

  • Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1))

  • 80,6% de bonnes classifications sur 3 niveaux


Comparaison la d tection vid o seule

Comparaison à la détection vidéo seule

  • Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance

Vidéo seule

TPrate=81,4%

FPrate=13,1%

Vidéo + EEG:

TPrate=79,6%

FPrate=5,2%

  • Forte diminution du taux de fausses alarmes

  • Meilleurs résultats avec l’apport de l’information EEG(c²McNemar=428,62>>c²(1))


Comparaison la litt rature2

Comparaison à la littérature


Conclusions et perspectives

Conclusions et perspectives


Difficult s du probl me

Difficultés du problème

  • But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo

  • Difficultés engendrées:

    • Analyse et caractérisation des signaux EEG

    • Caractérisation de l’hypovigilance à partir de la vidéo

    • S’affranchir des différences interindividuelles

    • Interaction entre EEG et vidéo

    • Obtention de données d’hypovigilance

    • Expertise de ces données


Solutions propos es

Solutions proposées

  • Approche EEG utilisant un seul canal

  • Approche vidéo par caméra rapide

  • Système de détection d’hypovigilance par fusion d’informations EEG et vidéo

  • Indépendant du conducteur

  • Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents


Perspectives

Perspectives

  • À court terme:

    • Validation sur une base de données EEG et vidéo rapide synchronisée

  • À plus long terme

    • Améliorer la détection EEG

    • Explorer les possibilités offertes par la vidéo

    • Ajout des informations contextuelles

    • Boucler ce système avec une approche orientée véhicule


Merci de votre attention

Merci de votre attention!


D tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o1

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009


Param tres eog pertinents

Paramètres EOG pertinents

1:très important, 2: important, 3:peu important


  • Login