Hugo mercier equipe tci directeur de recherche patrice dalle
Download
1 / 16

Analyse automatique des expressions du visage - PowerPoint PPT Presentation


  • 94 Views
  • Uploaded on

Hugo MERCIER - Equipe TCI Directeur de Recherche: Patrice DALLE. Analyse automatique des expressions du visage. Application à la Langue des Signes. 1/16. Sommaire. Problématique Etat de l'art Expressions du visage et Langue des Signes Formalisme proposé Architecture proposée. 2/16.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Analyse automatique des expressions du visage' - boyce


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Hugo mercier equipe tci directeur de recherche patrice dalle l.jpg

Hugo MERCIER - Equipe TCI

Directeur de Recherche: Patrice DALLE

Analyse automatique des expressions du visage

Application à la Langue des Signes

1/16


Sommaire l.jpg
Sommaire

  • Problématique

  • Etat de l'art

  • Expressions du visage et Langue des Signes

  • Formalisme proposé

  • Architecture proposée

2/16


Introduction l.jpg
Introduction

  • Domaine émergent

  • Applications

    • IHM (modalité d'intéraction)

    • Animation

    • Compression (adaptée au visage)

    • Psychologie, linguistique

  • Ici expressions = composantes langagières

  • En lien avec travaux TCI

    • Guillemette JAUSIONS

    • AS IG

    • Equipe projet

3/16


Probl matique l.jpg
Problématique

  • Analyse pour l’interprétation des expressions:

    • Formalisme de représentation

    • Coût de l'analyse

    • Architecture système

  • Langue des Signes ?

    • Hypothèse de continuum avec les expressions du co-verbal

4/16


Etat de l art formalismes l.jpg
Etat de l'art: formalismes

  • FACS (Facial Action Coding System)

    • Ekman, Friesen, 1978

    • Décomposition élémentaire des mouvements du visage

    • 46 'Action Units' (Action Faciales)

    • Analyse manuelle

AU 26

AU 15

AU 10

AU 1

5/16


Etat de l art formalismes6 l.jpg
Etat de l'art: formalismes

  • MPEG4 (Moving Picture Experts Group)

    • Face and Body AdHoc Group, 2001

    • Mesures relatives

    • Plus bas niveau que FACS

6/16


Expressions et langue des signes l.jpg
Expressions et Langue des Signes

  • Plusieurs rôles:

    • Lexical

      • Composante de définiton d'un Signe

      • Quantifiants (gros, grand, ...)

    • Syntaxique

      • Mode du discours (conditionnel, interrogatif, ...)

    • Sémantique

      • Emotions en Transfert Personnel

  • Formalisme ?

    • Intégration de l’aspect langagier: les informations de bas niveau sur les états musculaires ne suffisent pas

7/16


D finitions linguistiques l.jpg
Définitions linguistiques

  • Quantifiants

    • “Plissement des yeux, froncement du nez et des sourcils, lèvres serrées et projetées vers l'avant: minuscule”

    • “Joues légèrement gonflées, front plissé, air dur, mâchoires serrées: fort, costaud”

  • Expressions modales

    • Hypothèse mentale: “clignement très bref des yeux suivi d'une fuite du regard ultra-rapide vers le haut”

  • Intégration de ces connaissances ?

    • Mesures floues

    • Aspect temporel

    • Définitions subjectives

8/16


Formalisme propos l.jpg
Formalisme proposé

  • Inspiré du formalisme des experts (linguistes)

    • A base de règles

  • Règles de compositions de connaissances

  • Connaissances élémentaires

    • États musculaires

  • Connaissances composées

    • Opérateurs de composition (spatiale et temporelle)

9/16


Formalisme propos compositions l.jpg
Formalisme proposé: compositions

  • Types de compositions:

    • Redéfinitions (symétrie et autre)

    • Actions faciales (simple, tremblement, ...)

    • Expressions

  • Opérateurs

    • Conjonction ','

    • Disjonction '||'

    • Séquencement '+'

    • Négation '-'

    • Eventualité '?'

10/16


Traduction des d finitions linguistiques l.jpg
Traduction des définitions linguistiques

  • Redéfinitions

    • Sourcils-relevés <=> sourcil-gauche-relevé, sourcil-droit-relevé

    • Souffle-air <=> bouche-ouverte, joues-gonflées

  • Actions faciales

    • Tremblement-joues <=> af-tremblement [ gonflement-joues ]

  • Expressions

    • Gonflement des joues, plissement des yeux, souffle d'air en continu: grande quantité de

    • Grande-quantité <=> (joues-gonflées, yeux-plissés) + souffle-air ( durée = longue )

  • Représentation sous forme XML

11/16


Interpr tation l.jpg
Interprétation

  • Buts:

    • Rester proche de la compréhension humaine

    • Analyser à moindre coût

  • Limites de l'analyse classique

    • Il est trop coûteux d'extraire les informations indépendamment sur chaque image

  • Idée

    • Il est moins coûteux de prédire et vérifier des informations plutôt que de les extraire sur chaque image de la séquence vidéo

12/16


Architecture propos e l.jpg
Architecture proposée

  • Analyse bi-directionnelle

    • Analyse ascendante classique (extraction)

      • Partir des données brutes (images de la séquence) pour déduire des connaissances de haut niveau

    • Analyse descendante (prédiction / vérification)

      • Rester à haut niveau et se contenter de vérifier certaines connaissances par prédiction

  • Basculement critique

    • L’analyse descendante nécessite une analyse ascendante (initialisation, apport de nouvelles informations, reprise sur erreurs)

  • Mécanisme de contrôle ?

13/16


Algorithme l.jpg
Algorithme

  • Prédiction / vérification simple

    • Par défaut, opérateur d’extraction (ascendant)

    • Règle en partie validée sur une image:

      • Mise en priorité des opérateurs de vérification

    • Règle dont une partie temporelle a été validée:

      • Mise en priorité de la règle sur l’image suivante

  • Mise en priorité ~ Prédiction

14/16


Algorithme illustration l.jpg
Algorithme: illustration

  • Gros <=> (joues-gonflées, bouche-fermée) + (joues-neutres, bouche-ouverte)

  • Joues: pas d'opérateur d'extraction (vérification uniquement)

15/16


Conclusion l.jpg
Conclusion

  • Proposition d'un formalisme et d'une architecture pour l'interprétation des expressions en Langue des Signes

  • A faire:

    • Valider le formalisme

      • linguistes

    • Valider l’architecture

      • Implantation

      • Opérateurs extraction / vérification

      • Mécanisme de contrôle

    • Traiter les problèmes d’occultation et de changement de pose très présents en Langue des Signes

    • Envisager d'autres niveaux d'analyse ? (statistique des Expressions du visage en Langue des Signes)

16/16


ad