d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o
Download
Skip this Video
Download Presentation
Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Loading in 2 Seconds...

play fullscreen
1 / 74

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo - PowerPoint PPT Presentation


  • 48 Views
  • Uploaded on

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo. Soutenance de thèse d’ Antoine Picot Lundi 9 novembre 2009. L’hypovigilance.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo' - florrie-morris


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009

l hypovigilance
L’hypovigilance

Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)

  • Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…
  • Dégradation des facultés de conduite
  • Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)
tat de l art
État de l’art
  • Deux types d’approches:
situation
Situation
  • Ressenti au volant:
    • Difficulté à garder les yeux ouverts
    • Manque de réactivité
  • Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire(Renner & Mehring, 1997)
  • Majorité des systèmes: soit orientés physiologie, soit vidéo

Détection d’hypovigilance par fusion des informations cérébrales et visuelles

plan de la pr sentation
Plan de la présentation
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
difficult s
Difficultés
  • Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)
  • Obtention de données cérébrales d’hypovigilance
  • Expertise de ces données
  • S’affranchir des différences interindividuelles
slide8
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
l lectroenc phalogramme eeg
L’électroencéphalogramme (EEG)
  • EEG: mesure de l’activité électrique du cerveau
description de l eeg
Description de l’EEG

2s d’EEG

  • d[0,5-4Hz]

Sommeil profond

  • q [4-8Hz]

Méditation et somnolence

  • a [8-12Hz]

Hypovigilance, relaxation et yeux fermés

  • b [12-26Hz]

Concentration active

  • g [26-100Hz]

Fonctions motrices etcognitives

l hypovigilance dans l eeg
L’hypovigilance dans l’EEG
  • Augmentation de l’activité a et q(Gillberg et al., 1996)
  • Baisse de l’activité b(Makeig et al, 2000)
  • Principalement en zones pariétale (P) et centrale (C)(Bittner et al., 2001; Oken et al. 2006)
slide12
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
le syst me de d tection
Le système de détection
  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

la comparaison de moyenne mct
La comparaison de moyenne (MCT)
  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
  • La variable suit une loi normale
  • Egalité de moyennes éprouvée par un test bilatéral de seuil lMCT

-u1-lMCT/2<u<u1-lMCT/2

x1mi

s²1i

x2mi

s²2i

le syst me de d tection1
Le système de détection
  • But: analyser les variations de l’activité dans les bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

les art facts
Les artéfacts
  • Artéfacts: perturbation électrique du signal d’origine non cérébrale
  • Origines: biologiques ou environnementales
  • But: détection d’artéfacts de haute amplitude pour évaluer la qualité du signal EEG
la comparaison de variances vct
La comparaison de variances (VCT)
  • But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe
  • La variable suit une loi de Fisher
  • Egalité de variances éprouvée par un test bilatéral de seuil lart

Flart/2<F<F1-lart/2

s²1i

s²2i

slide18
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
la base de donn es
La base de données
  • Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg
  • 60 heures de conduite à partir de 20 conducteurs différents
  • 2 sessions de conduite de 1h30:
    • Sans privation de sommeil: le conducteur a dormi une nuit complète
    • Avec privation de sommeil: le conducteur a dormi 4 heures uniquement
contenu
Contenu
  • Conduite sur simulateur
  • 1 vidéo de contrôle
  • 4 canaux EEG
  • 1 canal EOG
expertise
Expertise
  • Données expertisée toutes les 20s selon l’échelle OSS
  • Constitue une vérité de terrain
  • Attention: pas d’échelle standard (contrairement au sommeil)

Échelle OSS (Muzet et al., 2003)

valuation des performances
Évaluation des performances
  • Binarisation de la décision experte

3

2

1

Éveillé

0

t(s)

Binarisation

Fatigué

Fatigué

Éveillé

t(s)

valuations des performances
Évaluations des performances
  • Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »

Expert

20s

40s

60s

t(s)

Notresystème

20s

40s

60s

t(s)

valuation des performances1
Évaluation des performances
  • Présentation par courbe COR:
    • TPrate: taux de bonnes détections
    • FPrate: taux de fausses alarmes
  • Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2n01: nombre d’échantillons bien classés par d2 mais pas par d1Equivalence si (c²(1)=3,84 pour a=0,05)
slide25
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
    • Caractérisation de l’hypovigilance par EEG
    • Système de détection
    • Données de validation
    • Résultats obtenus
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
choix du canal r sultats obtenus sur la bande a
Choix du canal (résultats obtenus sur la bande a)

lMCT=1,5

  • Meilleurs résultats pour le canal P3
  • Résultats peu dégradés lorsque lMCT varie
  • Indépendant du conducteur
  • Pour la suite, on utilise uniquement le canal P3

Classifieur aléatoire

lMCT=5

influence de la d tection d art facts r sultats obtenus sur la bande a et le canal p3
Influence de la détection d’artéfacts (résultats obtenus sur la bande a et le canal P3)
  • Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude
  • Ce type d’artéfact ne représente que 2% de la base de données
  • Pour la suite, on prend en compte la présence d’artéfacts
r sultats pour les diff rentes bandes de fr quence
Résultats pour les différentes bandes de fréquence
  • a est le meilleur indicateur
  • q n’apporte pas d’informations pertinentes
  • b et (a+q)/b donnent des résultats corrects

Indices:

  • Alpha
  • Beta
  • Theta
  • Alpha|Theta
  • (a+q)/b

a et b sont les

meilleurs indicateurs

d tection par fusion floue des informations a et b
Détection par fusion floue des informations a et b

m(MCTa)

m(MCTb)

Fuzzification

MCTa

MCTb

&

mEEG

{

DEEG=« fatigué » si mEEG>0,5

DEEG=« éveillé » sinon

r sultats de la fusion
Résultats de la fusion
  • Résultats améliorés en fusionnant les informations a et b
  • Confirmé par le test de McNemar (c²McNemar=66,01>>c²(1))
  • TPrate=84,6% et FPrate=17,9%

Indices:

  • Alpha
  • Beta
  • Fusion
bilan
Bilan
  • Détection par fusion des informations a et b
  • Fonctionne à partir d’un canal unique (P3)
  • Détecteur d’artéfact pour évaluer la qualité du signal
  • Indépendant du conducteur
  • Performances: TPrate=84,6% et FPrate=17,9%
probl matique
Problématique
  • Clignements: indicateurs d’hypovigilance
  • Deux techniques:
    • EOG: peu ergonomique
    • Vidéo: plus pratique

Dans quelle mesure la vidéo peut elle remplacer l’EOG?

Quelle caractérisation d’hypovigilance possible par analyse vidéo?

difficult s1
Difficultés
  • Détection des yeux, quel que soit leur état
  • Caractériser précisément les clignements
  • Obtention de données oculaires d’hypovigilance
  • Expertise de ces données
  • S’affranchir des différences interindividuelles
slide36
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
slide37
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
      • Caractérisation de clignements par analyse vidéo
      • Comparaison des caractérisations vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
d tection de clignements par analyse vid o
Détection de clignements par analyse vidéo
  • But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil

(A. Benoit, 2006)

Testé sur la base BioID (1521 visages)

97% de bonnes détections

d tection des clignements
Détection des clignements

EOPL

(contoursstatiques)

EIPL

(contours

mobiles)

Clignement validé!

SIPL

indicateurs de l hypovigilance partir d un clignement
Indicateurs de l’hypovigilance à partir d’un clignement
  • Plusieurs indicateurs peuvent être extraits des clignements
  • EOG (mesure de l’activité électrique de l’œil) sert traditionnellement à la caractérisation des clignements

TF

TO

D

EOPL

(contours

statiques)

EIPL

(contours

mobiles)

A

D50

P80

EF

EO

slide41
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
      • Caractérisation de clignements par analyse vidéo
      • Comparaison des caractérisations vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
base de donn es de comparaison
Base de données de comparaison
  • 14 participants (11 hommes, 3 femmes)
  • Enregistrements de 1min EOG (250Hz) et vidéo
  • Durée moyenne d’un clignement ~150ms: seulement 5 images à 30fps
  • 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps
comparaison entre vid o et eog
Comparaison entre vidéo et EOG
  • Détection des clignements par analyse vidéo
comparaison entre vid o et eog1
Comparaison entre vidéo et EOG
  • L’évolution des différents indicateurs est liée à l’hypovigilance
  • Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.
  • Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.
bilan1
Bilan
  • Intérêt d’utiliser une caméra rapide (200fps)
  • Variables communes à la vidéo et à l’EOG:
    • Durée
    • Durée à 50%
    • Fréquence
    • P80
    • A/PCV
  • Variable spécifique à la vidéo:
    • EF corrélé à la vitesse de fermeture
slide47
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différents variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
pr ambule
Préambule
  • But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées Pertinence de ces variables?
  • Analyse réalisée sur les données EOG de la base de données du CEPA
    • Difficulté d’obtenir une base de données vidéo d’hypovigilance expertisée
    • Base de données du CEPA très riche
    • Précautions quant aux variables utilisées: même performances attendues si on travaille à partir de la vidéo
m thode
Méthode

EOG

Fenêtre d’analyse (20s, 40s ou 60s)

Seuil de détection fixeou par apprentissage

Variableconsidérée

t(s)

Fatigué

Décision

Éveillé

t(s)

valuation des performances2
Évaluation des performances
  • Binarisation des décisions expertes
  • Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »

« Éveillé »

« Fatigué »

r sultats
Résultats
  • Meilleurs résultats avec un seuil fixe
  • Meilleurs résultats avec une fenêtre d’analyse de 20s
  • Variables les plus pertinentes: D50, P80, A/PCV et F
slide52
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différentes variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
d tection par fusion floue des variables pertinentes
Détection par fusion floue des variables pertinentes

Fuzzification

m(D50)

m(P80)

m(A/PCV)

m(F)

D50

P80

A/PCV

F

S

mvidéo

{

Dvidéo=« fatigué » si mvidéo>0,5

Dvidéo=« éveillé » sinon

slide54
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
    • Comparaison entre vidéo et EOG
    • Détection d’hypovigilance par analyse vidéo
      • Analyse des différents variables
      • Système de détection
      • Résultats
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
r sultats1
Résultats
  • Résultats meilleurs avec la logique floue qu’avec les variables seules (c²McNemar=327,81>>c²(1))

Indices:

  • Fusion
  • A50
  • P80
  • F
  • A/PCV

TPrate=81,4% et FPrate=13,1%

bilan2
Bilan
  • Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG
  • D50, P80, A/PCV et F sont les plus pertinents
  • Détection par fusion de ces variables pertinentes
  • Indépendant du conducteur
  • Performances: TPrate=81,4% et FPrate=13,1%
difficult s2
Difficultés
  • Interaction entre EEG et vidéo
  • Synchronisation des approches développées
  • Obtention de données EEG et vidéo d’hypovigilance
  • Expertise de ces données
slide60
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
    • Système de fusion
    • Résultats
objectif
Objectif
  • Hypovigilance caractérisée par l’activité cérébraleetl’activité oculaire
  • Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection
pr sentation g n rale
Présentation générale

Éveillé

Fatigué

Trèsfatigué

Vidéo

EEG

m thode de fusion
Méthode de fusion

Fusion

DEEG

DétectionEEG

0

DEEG

“éveillé”

0

EEG

1

Dart

Dart

Détectiond’artéfacts

0 & Dart=1

“fatigué”

Synchronisation temporelle

0

Dvidéo

“très fatigué”

1

1

Dvidéo

Détectionvidéo

Vidéo

slide64
Plan
  • Détection d’hypovigilance par analyse de l’activité cérébrale
  • Détection d’hypovigilance par analyse des signes visuels
  • Détection d’hypovigilance par fusion des approches cérébrale et visuelle
    • Système de fusion
    • Résultats
r sultats2
Résultats

Notre méthode

Expert

Fusion « aveugle »

Notre système

  • Meilleurs résultats avec notre méthode
  • Confirmés par le test de McNemar (c²McNemar=302,47>>c²(1))
  • 80,6% de bonnes classifications sur 3 niveaux
comparaison la d tection vid o seule
Comparaison à la détection vidéo seule
  • Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance

Vidéo seule

TPrate=81,4%

FPrate=13,1%

Vidéo + EEG:

TPrate=79,6%

FPrate=5,2%

  • Forte diminution du taux de fausses alarmes
  • Meilleurs résultats avec l’apport de l’information EEG(c²McNemar=428,62>>c²(1))
difficult s du probl me
Difficultés du problème
  • But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo
  • Difficultés engendrées:
    • Analyse et caractérisation des signaux EEG
    • Caractérisation de l’hypovigilance à partir de la vidéo
    • S’affranchir des différences interindividuelles
    • Interaction entre EEG et vidéo
    • Obtention de données d’hypovigilance
    • Expertise de ces données
solutions propos es
Solutions proposées
  • Approche EEG utilisant un seul canal
  • Approche vidéo par caméra rapide
  • Système de détection d’hypovigilance par fusion d’informations EEG et vidéo
  • Indépendant du conducteur
  • Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents
perspectives
Perspectives
  • À court terme:
    • Validation sur une base de données EEG et vidéo rapide synchronisée
  • À plus long terme
    • Améliorer la détection EEG
    • Explorer les possibilités offertes par la vidéo
    • Ajout des informations contextuelles
    • Boucler ce système avec une approche orientée véhicule
d tection d hypovigilance chez le conducteur par fusion d informations physiologiques et vid o1

Détection d’hypovigilance chez le conducteur par fusion d’informations physiologiques et vidéo

Soutenance de thèse d’Antoine Picot

Lundi 9 novembre 2009

param tres eog pertinents
Paramètres EOG pertinents

1:très important, 2: important, 3:peu important

ad