slide1
Download
Skip this Video
Download Presentation
David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE

Loading in 2 Seconds...

play fullscreen
1 / 62

David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE - PowerPoint PPT Presentation


  • 100 Views
  • Uploaded on

David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE Examinateurs : Rachid DERICHE André GAGALOWICZ Directrice: Bernadette DORIZZI Encadrant: Patrick HORAIN .

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE' - aida


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
David Antonio Gómez Jáuregui

Rapporteurs: Bill TRIGGS

Frédéric LERASLE

Examinateurs: Rachid DERICHE

André GAGALOWICZ

Directrice: Bernadette DORIZZI

Encadrant: Patrick HORAIN

Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis(ED S&I - UEVE)Acquisition 3D des gestes par vision artificielle et restitution virtuelle

application environnements virtuels collaboratifs evcs
Application:Environnements Virtuels Collaboratifs (EVCs)
  • Animation des avatars prédéfinie.
  • Menus difficiles à gérer.
  • La perception des gestes est amoindrie.

David Gomez

capteurs pour l acquisition 3d des gestes
Capteurs pour l’acquisition 3D des gestes
  • Difficiles à

Étalonner !!

Optique

Magnétique

Mécanique

Encombrants !!

Très chers !!

Centralesinertielles

David Gomez

acquisition 3d des gestes par vision monoscopique en temps r el
Acquisition 3D des gestes par vision monoscopique en temps-réel

(Marques Soares et al., 2004)

  • Temps-réel
  • Sans marqueurs
  • Utilisation d’une webcam
  • PC grand public
    • avec puissance variable

David Gomez

difficult s
Difficultés
  • Manque d’information de profondeur
  • Grand nombre de degrés de liberté
  • Occlusions des parties du corps
  • Plusieurs vêtements
  • Proportions du corps différentes
  • Des mouvements imprédictibles
  • Environnements complexes

David Gomez

contribution de la th se
Contribution de la thèse
  • Améliorer la robustesse et la précision de l’acquisition 3D des gestes par vision monoculaire en temps réel.
  • Des analyses expérimentales sont effectuées afin de démontrer l’amélioration des résultats en temps réel.
  • Adaptation à la plateforme.

David Gomez

plan de l expos
Plan de l’exposé
  • Travaux antérieurs.
  • Notre approche pour l’acquisition 3D des gestes.
  • Recalage sur les régions et les contours.
  • Filtrage particulaire en temps réel avec heuristiques.
  • Démonstration du système.
  • Conclusions et perspectives

David Gomez

slide8
Travaux antérieurs:

état de l’art de l’acquisition 3D des gestes par vision artificielle

caract ristiques d image
Caractéristiques d’image
  • La couleur

(Broekhuijsen et al., 2006),

(Fontmarty et al., 2006),

(Bernier et al, 2009)

  • Les silhouettes

(Deutscher et al., 2005),

(Agarwal et al., 2006),

  • Les contours

(Noriega et al., 2007),

(Ramanan et al., 2003)

  • Le mouvement

(Sminchisescu et al., 2001),

(Bregler et al., 2004)

(Howe, 2006)

(Sminchisescu et al, 2001)

David Gomez

estimation de la pose 3d
Estimation de la pose 3D

Deux approches (Poppe, 2007) :

  • Génératives:recalent un modèle 3D du corps en minimisant un coût d’association.
      • Estimation Top-down (Delamarre et al., 2001) , (Sminchisescu et al., 2002)
      • Estimation Bottom-up (Hua et al., 2007), (Noriega et al., 2007)
  • Discriminatives:classer la pose 3D directement à partir des images.
      • Apprentissage d’un mapping(Agarwal and Triggs, 2006)
      • A partir des exemples. (Toyama et al., 2002), (Stenger et al., 2003)

David Gomez

mod lisation probabiliste du mouvement humain
Modélisation probabiliste du mouvement humain
  • Haute dimensionnalité
    • Clustering des poses (Caillete et al. 2005)
  • Faible dimensionnalité
    • PCA (Rius et al., 2009)
    • Processus gaussiens (GPLVM, GPDM) (Urtasun et al., 2006)

(Urtasun et al., 2006)

David Gomez

limitations des travaux ant rieurs pour l acquisition 3d des gestes
Limitations des travaux antérieurs pour l’acquisition 3D des gestes

 La plupart des approches restent éloignées du temps réel.

 Besoin de plusieurs caméras (approches multi-vues).

 Peu d’évaluations quantitatives.

 Parfois limités à quelques activités spécifiques (marcher, courir, swing pour le golf).

David Gomez

slide13
Notre approche pour l’acquisition 3D

des gestes par vision monoculaire en temps réel

notre approche pour l acquisition des gestes
Notre approche pour l’acquisition des gestes

Recaler un modèle 3D articulé de la moitié supérieure du corps humain sur des séquences vidéo

Vecteur de paramètres de la pose du modèle :

6 paramètres globaux (position & orientation)

17 angles d’articulations

David Gomez

approche recalage 3d 2d

primitives

primitives

Approche : recalage 3D / 2D

Evaluation du recalage

Contraintes biomécaniques

Optimisation

du recalage

David Gomez

slide17
Recalage sur les régions et recalage sur les contourspour l’acquisition 3D des gestes en temps réel par vision monoscopique
valuation du recalage taux de non recouvrement ouhaddi 1999
Évaluation du recalage :taux de non recouvrement (Ouhaddi, 1999)

?

  • où :
    • m= nombre de classes de couleur
    • Ac= pixels classe c(vidéo segmentée)
    • Bc= pixels classe c(modèle projeté)
    • q= paramètres articulatoires

David Gomez

recalage sur les r gions avantages et inconv nients
Recalage sur les régions :Avantages et inconvénients

 Robustesse à l’initialisation

Un recouvrement partiel suffit

 Précision limitée

Pixels des contours peu nombreux par rapport aux pixels intérieurs

David Gomez

recalage sur les contours distance r siduelle entre contours
Recalage sur les contours:Distance résiduelle entre contours

?

où :

DRC= distance résiduelle entre contours

Icd = carte de distance aux contours

pi = point de contour occultant

N = nombre des points de contours occultants

David Gomez

pr cision du recalage sur les contours
Précision du recalage sur les contours

☺ Contours → Recalage plus précis

Modèle recalésur contours

Modèle recalésur régions

David Gomez

contrainte du temps r el
Contrainte du temps-réel
  • Temps réel

 temps de calcul limité (< 100 ms par image)

 nombre d’itérations limité →  précision 

  • Objectif: compromis entre les deux caractéristiques (région colorées et contours) en fonction du nombre d’itérations disponibles.
  • Evaluation du résultat:
    • La robustesse:
      • nombre de décrochages: erreur résiduelle > seuil
    • La précision de la pose 3D
      • proximité à la vérité terrain

David Gomez

analyse exp rimentale
Analyse expérimentale

Expérimentation sur plusieurs séquences vidéo avec divers gestes

GRETA

Pelachaud

et al.

David Gomez

analyse exp rimentale de la robustesse
Analyse expérimentale de la robustesse
  • Recalage sur les régions
    • converge plus vite
    • plus robuste (après 200 itérations)
  • Recalage sur les contours
    • plus précis

 Combien d’itérations faut-il allouer à chaque étape afin d’avoir la meilleure précision en temps réel?

David Gomez

evaluation de la pr cision de la pose estim e
Evaluation de la précision de la pose estimée

où :

D(x,x̃) = erreur résiduelle de la pose 3D

xm = coordonnée 3D (vérité terrain)

xm= coordonnée 3D (pose estimée)

M= nombre d‘articulations

David Gomez

compromis en temps r el
Compromis en temps réel

Répartition optimale du nombre d’itérations

 Adaptation automatique à la puissance de calcul disponible

David Gomez

slide29
Filtrage particulaire en temps réel avec heuristiques pour l’acquisition 3D des gestes par vision monoscopique
ambig it s des images monoculaires
Ambigüités des images monoculaires

Plusieurs poses 3D peuvent coïncider avec la même observation 2D

David Gomez

suivi avec plusieurs hypoth ses
Suivi avec plusieurs hypothèses
  • Filtrage particulaire:

Approches de Monte-Carlo séquentielles

 Flexibles, parallélisables, faciles à implémenter et à modifier

David Gomez

filtrage particulaire
Filtrage particulaire

particule représentant un état du système

poids associé à chaque particule en fonction des mesures.

  • Représentation de la f.d.p. par un ensemble de N particules avec des poids associés:

Fonction de vraisemblance:

David Gomez

algorithme de filtrage particulaire isard and blake 1998
Algorithme de filtrage particulaire (Isard and Blake, 1998)

 Limitation: très couteux dans des espaces de haut dimensionnalité

David Gomez

filtrage particulaire classique isard and blake 1998
Filtrage particulaire classique (Isard and Blake, 1998)

 Particules mal guidées (200 particules)

David Gomez

filtrage particulaire pour l acquisition 3d des gestes travaux ant rieures
Filtrage particulaire pour l’acquisition 3D des gestes: travaux antérieures
  • Plusieurs stratégies et améliorations:
    • Filtrage particulaire partitionné
      • (MacCormick et al., 2000)
    • Filtre particulaire avec recuit simulé
      • (Deutscher et al., 2000)
    • Echantillonnage avec l’optimisation locale
      • (Cham et al., 1999), (Sminchisescu and Triggs, 2001)
    • Inférence analytique
      • (Lee et al., 2002)
    • Echantillonnage déterministe
      • (Saboune et Charpillet, 2005)

David Gomez

notre approche du filtrage particulaire pour l acquisition 3d des gestes
Notre approche du filtrage particulaire pour l’acquisition 3D des gestes
  • Limitations des approches antérieures:

 Eloignées du temps réel.

 Deux ou plusieurs caméras.

  • Notre approche:nouvelles heuristiques à la méthode de CONDENSATION pour guider les particules dans un espace de grande dimension :

Dimension 20 : nombre d’angles articulatoires

 En temps-réel → 100 à 500 particules

 En traitant les ambigüités 3D / 2D

David Gomez

limitation du r chantillonnage probabiliste
Limitation du rééchantillonnage probabiliste
  • Utilisation des poids comme probabilités d’occurrence des particules (Gordon, 1993).
    • Propagation de particules avec des poids faibles

 Temps de calcul limité → pas assez de particules

    • Solution : rééchantillonnage déterministe pour propager uniquement les particules avec des poids importants.

Prediction

Measurement

Resampling

David Gomez

r chantillonnage d terministe par poids
Rééchantillonnage déterministe par poids
  • Particules avec poids faibles → pas d’enfant
  • Particules avec poids forts → famille de particules

David Gomez

r chantillonnage d terministe contribution la pr cision 3d et robustesse
Rééchantillonnage déterministe: contribution à la précision 3D et robustesse
  • Précision réduite par rapport
  • au nombre d’itérations
  • Réduction du nombre de
  • décrochages.

David Gomez

limitation de la pr diction
Limitation de la prédiction
  • Échantillonnage aléatoire de tous les paramètres à chaque instant.

 Les particules n\'explorent pas l\'espace d‘état de manière efficace.

    • Solution: appliquer la diffusion aléatoire uniquement aux parties du corps qui ont bougé d’une trame à l’autre.

Prediction

Measurement

Resampling

David Gomez

chantillonnage partitionn bas e mouvement
Échantillonnage partitionné basée mouvement

Détection de mouvement

Echantillonnage partitionné

David Gomez

chantillonnage partitionn bas e mouvement contribution la pr cision 3d et robustesse
Échantillonnage partitionné basée mouvement: contribution à la précision 3D et robustesse
  • Amélioration de la précision
  • pour les gestes avec du
  • mouvement fronto parallèle
  • Amélioration de la robustesse:
  • meilleure performance sur
  • les gestes avec du mouvement
  • fronto parallèle

David Gomez

limitation de la pr diction1
Limitation de la prédiction
  • Échantillonnage aléatoire:

 Grand nombre de particules pour explorer l’espace d’état.

    • Solution: optimisation locale pour guider de façon déterministe les groupes de particules vers les minimums.

Prediction

Measurement

Resampling

David Gomez

pr diction avec l optimisation locale et chantillonnage al atoire
Prédiction avec l’optimisation locale et échantillonnage aléatoire
  • Grands groupes → descente du simplex
  • Petits groupes → échantillonnage aléatoire

David Gomez

pr diction avec l optimisation locale contribution la pr cision 3d et robustesse
Prédiction avec l’optimisation locale: contribution à la précision 3D et robustesse
  • Pas d’amélioration de la précision:
    • l’optimisation locale ne peut
    • pas gérer les ambigüités 3D / 2D

 Amélioration du recalage 2D

 Pas d’amélioration de la précision 3D

David Gomez

limitation de la pr diction dans les images monoculaires
Limitation de la prédiction dans les images monoculaires
  • Plusieurs poses 3D peuvent générer la même projection 2D (Ambigüités).

 La sélection de la mauvaise pose 3D conduit aux décrochages.

    • Solution: générer analytiquement plusieurs hypothèses qui donnent la même projection (Sminchisescu and Triggs 2003).

Prediction

Measurement

Resampling

David Gomez

echantillonnage par sauts cin matiques contribution la pr cision 3d et robustesse
Echantillonnage par sauts-cinématiques: contribution à la précision 3D et robustesse

 Pas d’amélioration significative

 Amélioration de la robustesse:

meilleure performance sur

les gestes avec du mouvement

vers la profondeur

David Gomez

limitation du suivi de la pose 3d dans des image monoculaires
Limitation du suivi de la pose 3D dans des image monoculaires

 Les angles articulatoires ne permettent pas de modéliser l’incertitude de la profondeur.

  • Solution: un paramétrage qui permet de séparer l’incertitude de la profondeur et l’incertitude dans le plan image.

Prediction

Measurement

Resampling

David Gomez

changement de param trage contribution la pr cision 3d
Changement de paramétrage: contribution à la précision 3D
  • Amélioration de la précision
  • pour les gestes avec des
  • mouvements vers la profondeur
  • Amélioration de la robustesse:
  • meilleure performance sur les
  • mouvements vers la profondeur

David Gomez

acc l ration par gpu
Accélération par GPU

Prediction

Measurement

Resampling

David Gomez

algorithme de filtrage particulaire en temps r el avec heuristiques
Algorithme de filtrage particulaire en temps réel avec heuristiques

Particules

parents

Rééchantillonnage

Particules

enfants

Prédiction

Echant.

Partitionné +

End-effector

Sauts

Cinématiques

Mesurer

Buffer (GPU)

David Gomez

r sultat du filtrage particulaire avec heuristiques pr cision 3d
Résultat du filtrage particulaire avec heuristiques: précision 3D

 Amélioration significative de la précision 3D pour toutes les séquences vidéo (80 – 120 mm).

David Gomez

r sultat du filtrage particulaire avec heuristiques robustesse
Résultat du filtrage particulaire avec heuristiques: robustesse

 Amélioration significative de la robustesse pour toutes les séquences vidéo.

David Gomez

filtrage particulaire en temps r el avec heuristiques r sultats qualitatifs
Filtrage particulaire en temps réel avec heuristiques: Résultats qualitatifs

 Acquisition 3D des gestes plus précise et robuste avec un faible nombre de particules (200).

David Gomez

filtrage particulaire en temps r el avec heuristiques r sultats qualitatifs1
Filtrage particulaire en temps réel avec heuristiques: résultats qualitatifs

Résultats antérieurs

(Marques Soares et al., 2004)

Résultats actuels

David Gomez

publications
Publications
  • David Antonio Gomez Jauregui, Patrick Horain, Manoj Kumar Rajagopal, SenanayakSesh Kumar Karri. “Real-Time Particle Filtering with Heuristics for 3D Motion Capture by Monocular Vision”, IEEE International Workshop on Multimedia Signal Processing 2010 (MMSP\'10), Saint-Malo, France, October 4-6, 2010
  • David Antonio Gomez Jauregui, Patrick Horain, « Acquisition 3D des gestes par vision artificielle et restitution virtuelle ». A3DM \'10 : Journée scientifique du colloque "Analyse 3d du mouvement", 17-18 juin 2010, Poitiers, France, 2010
  • Patrick Horain, José Marques Soares, Dianle Zhou, Zhenbo Li, David Antonio Gomez Jauregui, YannickAllusse, “Perceiving and rendering users in a 3D interaction”, Proceedings of the Second IEEE International Conference on Intelligent Human Computer Interaction (IHCI 2010), January 16-18, 2010, Allahabad, India, Springer (ISBN 978-81-8489-540-7), pp. 42-53.
  • Zhenbo Li, Jun Yue, David Antonio GómezJáuregui, "A new virtual reality environment used for e-Learning", IEEE International Symposium on IT in Medicine & Education, 14-16 August 2009 (ITIME \'09 external), Vol. 1, p. 445-449.

David Gomez

publications1
Publications
  • David Antonio Gómez Jáuregui, Patrick Horain, « Recalage sur les contours et recalage sur les régions pour l\'acquisition 3D des gestes en temps réel par vision monoscopique », Actes en ligne d\'ORASIS\'09 - Congrès des jeunes chercheurs en vision par ordinateur, Trégastel, France, 8 au 12 juin 2009.
  • David Antonio GómezJáuregui, Patrick Horain, "Region-based vs. edge-based registration for 3D motion capture by real time monoscopic vision", Proceedings of MIRAGE 2009, 4-6 May, 2009, INRIA Rocquencourt, France, A. Gagalowicz and W. Philips (Eds.), LNCS 5496, Springer-Verlag, 2009, pp. 344–355.
  • David Antonio Gómez Jáuregui, Patrick Horain & Fawaz Baroud, « Acquisition 3D des gestes par vision monoscopique en temps réel », Actes de MajecSTIC 2008, Marseille, 29 au 31 octobre 2008.

David Gomez

ad