d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o n.
Download
Skip this Video
Download Presentation
Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Loading in 2 Seconds...

play fullscreen
1 / 74

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo - PowerPoint PPT Presentation


  • 48 Views
  • Uploaded on

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo' - florrie-morris


Download Now An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009

l hypovigilance
L’hypovigilance

Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)

  • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…
  • Dégradation des facultés de conduite
  • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)
tat de l art
État de l’art
  • Deux types d’approches:
situation
Situation
  • Ressenti au volant:
    • Difficulté à garder les yeux ouverts
    • Manque de réactivité
  • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997)
  • Majorité des systèmes: soit orientés physiologie, soit vidéo

Détection d’hypovigilance par fusion des informations cérébrales et visuelles

plan de la pr sentation
Plan de la présentation
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
difficult s
Difficultés
  • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)
  • Obtention de données cérébrales d’hypovigilance
  • Expertise de ces données
  • S’affranchir des différences interindividuelles
slide8
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
l lectroenc phalogramme eeg
L’électroencéphalogramme (EEG)
  • EEG: mesure de l’activité électrique du cerveau
description de l eeg
Description de l’EEG

2s d’EEG

  • d[0,5-4Hz]

Sommeil profond

  • q [4-8Hz]

Méditation et somnolence

  • a [8-12Hz]

Hypovigilance, relaxation et yeux fermés

  • b [12-26Hz]

Concentration active

  • g [26-100Hz]

Fonctions motrices etcognitives

l hypovigilance dans l eeg
L’hypovigilance dans l’EEG
  • Augmentation de l’activité a et q(Gillberg et al., 1996)
  • Baisse de l’activité b(Makeig et al, 2000)
  • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)
slide12
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
le syst me de d tection
Le système de détection
  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

la comparaison de moyenne mct
La comparaison de moyenne (MCT)
  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
  • La variable suit une loi normale
  • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT

-u1-lMCT/2<u<u1-lMCT/2

x1mi

s²1i

x2mi

s²2i

le syst me de d tection1
Le système de détection
  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

les art facts
Les artéfacts
  • Artéfacts: perturbation électrique du signal d’origine non cérébrale
  • Origines: biologiques ou environnementales
  • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG
la comparaison de variances vct
La comparaison de variances (VCT)
  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
  • La variable suit une loi de Fisher
  • Egalité de variances éprouvée par un test bilatéral de seuil lart

Flart/2<F<F1-lart/2

s²1i

s²2i

slide18
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
la base de donn es
La base de données
  • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg
  • 60 heures de conduite à partir de 20 conducteurs différents
  • 2 sessions de conduite de 1h30:
    • Sans privation de sommeil: le conducteur a dormi une nuit complète
    • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement
contenu
Contenu
  • Conduite sur simulateur
  • 1 vidéo de contrôle
  • 4 canaux EEG
  • 1 canal EOG
expertise
Expertise
  • Données expertisée toutes les 20s selon l’échelle OSS
  • Constitue une vérité de terrain
  • Attention: pas d’échelle standard (contrairement au sommeil)

Échelle OSS (Muzet et al., 2003)

valuation des performances
Évaluation des performances
  • Binarisation de la décision experte

3

2

1

Éveillé

0

t(s)

Binarisation

Fatigué

Fatigué

Éveillé

t(s)

valuations des performances
Évaluations des performances
  • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »

Expert

20s

40s

60s

t(s)

Notresystème

20s

40s

60s

t(s)

valuation des performances1
Évaluation des performances
  • Présentation par courbe COR:
    • TPrate: taux de bonnes détections
    • FPrate: taux de fausses alarmes
  • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)
slide25
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
choix du canal r sultats obtenus sur la bande a
Choix du canal (résultats obtenus sur la bande a)

lMCT=1,5

  • Meilleurs résultats pour le canal P3
  • Résultats peu dégradés lorsque lMCT varie
  • Indépendant du conducteur
  • Pour la suite, on utilise uniquement le canal P3

Classifieur aléatoire

lMCT=5

influence de la d tection d art facts r sultats obtenus sur la bande a et le canal p3
Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3)
  • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude
  • Ce type d’artéfact ne représente que 2% de la base de données
  • Pour la suite, on prend en compte la présence d’artéfacts
r sultats pour les diff rentes bandes de fr quence
Résultats pour les différentes bandes de fréquence
  • a est le meilleur indicateur
  • q n’apporte pas d’informations pertinentes
  • b et (a+q)/b donnent des résultats corrects

Indices:

  • Alpha
  • Beta
  • Theta
  • Alpha|Theta
  • (a+q)/b

a et b sont les

meilleurs indicateurs

d tection par fusion floue des informations a et b
Détection par fusion floue des informations a et b

m(MCTa)

m(MCTb)

Fuzzification

MCTa

MCTb

&

mEEG

{

DEEG=« fatigué » si mEEG>0,5

DEEG=« éveillé » sinon

r sultats de la fusion
Résultats de la fusion
  • Résultats améliorés en fusionnant les informations a et b
  • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1))
  • TPrate=84,6% et FPrate=17,9%

Indices:

  • Alpha
  • Beta
  • Fusion
bilan
Bilan
  • Détection par fusion des informations a et b
  • Fonctionne à partir d’un canal unique (P3)
  • Détecteur d’artéfact pour évaluer la qualité du signal
  • Indépendant du conducteur
  • Performances: TPrate=84,6% et FPrate=17,9%
probl matique
Problématique
  • Clignements: indicateurs d’hypovigilance
  • Deux techniques:
    • EOG: peu ergonomique
    • Vidéo: plus pratique

Dans quelle mesure la vidéo peut elle remplacer l’EOG?

Quelle caractérisation d’hypovigilance possible par analyse vidéo?

difficult s1
Difficultés
  • Détection des yeux, quel que soit leur état
  • Caractériser précisément les clignements
  • Obtention de données oculaires d’hypovigilance
  • Expertise de ces données
  • S’affranchir des différences interindividuelles
slide36
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
slide37
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
      • Caractérisation de clignements par analyse vidéo
      • Comparaison des caractérisations vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
d tection de clignements par analyse vid o
Détection de clignements par analyse vidéo
  • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil

(A. Benoit, 2006)

Testé sur la base BioID (1521 visages)

97% de bonnes détections

d tection des clignements
Détection des clignements

EOPL

(contoursstatiques)

EIPL

(contours

mobiles)

Clignement validé!

SIPL

indicateurs de l hypovigilance partir d un clignement
Indicateurs de l’hypovigilance à partir d’un clignement
  • Plusieurs indicateurs peuvent être extraits des clignements
  • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements

TF

TO

D

EOPL

(contours

statiques)

EIPL

(contours

mobiles)

A

D50

P80

EF

EO

slide41
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
      • Caractérisation de clignements par analyse vidéo
      • Comparaison des caractérisations vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
base de donn es de comparaison
Base de données de comparaison
  • 14 participants (11 hommes, 3 femmes)
  • Enregistrements de 1min EOG (250Hz) et vidéo
  • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps
  • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps
comparaison entre vid o et eog
Comparaison entre vidéo et EOG
  • Détection des clignements par analyse vidéo
comparaison entre vid o et eog1
Comparaison entre vidéo et EOG
  • L’évolution des différents indicateurs est liée à l’hypovigilance
  • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.
  • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.
bilan1
Bilan
  • Intérêt d’utiliser une caméra rapide (200fps)
  • Variables communes à la vidéo et à l’EOG:
    • Durée
    • Durée à 50%
    • Fréquence
    • P80
    • A/PCV
  • Variable spécifique à la vidéo:
    • EF corrélé à la vitesse de fermeture
slide47
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différents variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
pr ambule
Préambule
  • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables?
  • Analyse réalisée sur les données EOG de la base de données du CEPA
    • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée
    • Base de données du CEPA très riche
    • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo
m thode
Méthode

EOG

Fenêtre d’analyse (20s, 40s ou 60s)

Seuil de détection fixeou par apprentissage

Variableconsidérée

t(s)

Fatigué

Décision

Éveillé

t(s)

valuation des performances2
Évaluation des performances
  • Binarisation des décisions expertes
  • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »

« Éveillé »

« Fatigué »

r sultats
Résultats
  • Meilleurs résultats avec un seuil fixe
  • Meilleurs résultats avec une fenêtre d’analyse de 20s
  • Variables les plus pertinentes: D50, P80, A/PCV et F
slide52
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différentes variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
d tection par fusion floue des variables pertinentes
Détection par fusion floue des variables pertinentes

Fuzzification

m(D50)

m(P80)

m(A/PCV)

m(F)

D50

P80

A/PCV

F

S

mvidéo

{

Dvidéo=« fatigué » si mvidéo>0,5

Dvidéo=« éveillé » sinon

slide54
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différents variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
r sultats1
Résultats
  • Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1))

Indices:

  • Fusion
  • A50
  • P80
  • F
  • A/PCV

TPrate=81,4% et FPrate=13,1%

bilan2
Bilan
  • Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG
  • D50, P80, A/PCV et F sont les plus pertinents
  • Détection par fusion de ces variables pertinentes
  • Indépendant du conducteur
  • Performances: TPrate=81,4% et FPrate=13,1%
difficult s2
Difficultés
  • Interaction entre EEG et vidéo
  • Synchronisation des approches développées
  • Obtention de données EEG et vidéo d’hypovigilance
  • Expertise de ces données
slide60
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
    • Système de fusion
    • Résultats
objectif
Objectif
  • Hypovigilance caractérisée par l’activité cérébraleetl’activité oculaire
  • Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection
pr sentation g n rale
Présentation générale

Éveillé

Fatigué

Trèsfatigué

Vidéo

EEG

m thode de fusion
Méthode de fusion

Fusion

DEEG

DétectionEEG

0

DEEG

“éveillé”

0

EEG

1

Dart

Dart

Détectiond’artéfacts

0 & Dart=1

“fatigué”

Synchronisation temporelle

0

Dvidéo

“très fatigué”

1

1

Dvidéo

Détectionvidéo

Vidéo

slide64
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
    • Système de fusion
    • Résultats
r sultats2
Résultats

Notre méthode

Expert

Fusion « aveugle »

Notre système

  • Meilleurs résultats avec notre méthode
  • Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1))
  • 80,6% de bonnes classifications sur 3 niveaux
comparaison la d tection vid o seule
Comparaison à la détection vidéo seule
  • Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance

Vidéo seule

TPrate=81,4%

FPrate=13,1%

Vidéo + EEG:

TPrate=79,6%

FPrate=5,2%

  • Forte diminution du taux de fausses alarmes
  • Meilleurs résultats avec l’apport de l’information EEG(c²McNemar=428,62>>c²(1))
difficult s du probl me
Difficultés du problème
  • But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo
  • Difficultés engendrées:
    • Analyse et caractérisation des signaux EEG
    • Caractérisation de l’hypovigilance à partir de la vidéo
    • S’affranchir des différences interindividuelles
    • Interaction entre EEG et vidéo
    • Obtention de données d’hypovigilance
    • Expertise de ces données
solutions propos es
Solutions proposées
  • Approche EEG utilisant un seul canal
  • Approche vidéo par caméra rapide
  • Système de détection d’hypovigilance par fusion d’informations EEG et vidéo
  • Indépendant du conducteur
  • Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents
perspectives
Perspectives
  • À court terme:
    • Validation sur une base de données EEG et vidéo rapide synchronisée
  • À plus long terme
    • Améliorer la détection EEG
    • Explorer les possibilités offertes par la vidéo
    • Ajout des informations contextuelles
    • Boucler ce système avec une approche orientée véhicule
d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o1

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009

param tres eog pertinents
Paramètres EOG pertinents

1:très important, 2: important, 3:peu important