Extremal Human Curves: a New Human Body Shape and Pose Descriptor

Extremal Human Curves: a New Human Body Shape and Pose Descriptor Réalisé par Rim SLAMA Encadré par Hazem WANNOUS Mohamed DAOUDI

Plan 2 • Introduction • Etat de l’art • Approche proposée: EHC • Descripteur statique • Descripteur Temporel • Résultats et Evaluation • Recherche de pose par contenu • Identification de trames similaires dans les vidéos • Conclusion et perspectives

Introduction - Context et motivation 3 • Amélioration des méthodes d’acquisition de corps humains: statique et dynamique • Présence de multiple BD de vidéos 3D de corps humain en mouvement synthétiques (animation) et réelles (système multi-vue) • Applications potentielles • Compression • Reconnaissance d’action • Concaténation de vidéo • Indexation de vidéo

Introduction - Problématique 4 • Observations • Vidéo 3D = séquence maillages fermés / différentes poses • Variation de pose • Changement de connectivité du maillage • Déformation surfacique : vêtements, cheveux • Questions • Comment représenter le corps humain dans chaque trame? • Comment représenter une séquence de trame ? • Comment comparer 2 trames? • Comment comparer 2 séquences ? • Quelles sont les bases existantes de vidéos 3D et leurs qualités ?

Etat de l'art 5

Etat de l’art - Représentation du corps humain 6 • Représentation • Invariante aux déformations géométriques: Rotation et translation • Invariante aux déformations élastiques: • Compression\étirement • Résistante aux changement de topologie • Résistante aux changement de connectivité • Description de la forme et de la pose à la fois • Métrique de similarité • Plus bas taux de reconnaissance MDS: Histogramme: Reeb graph Squelette: • Connaissance de la Relation entre les jointures • Pas assez discriminant pour distinguer différentes poses

Approche proposée – Descripteur de pose et de forme 7 Représentation Comparaison

Approche proposée – Descripteur de pose et de forme 8 pi Elastic matching of Extremal Curves Curve Extraction preprocessing Feature Extraction Elastic Shape analysis framework Similarity Score s(pi ,qj) qj Temporal similarity : ST Convolution with a time filter T(Nt) séquence

Extraction des points caractéristiques 9 • Points de références: • Sommets « caractéristiques»; • Sommets « les plus éloignés» • Distances géodésiques ³ : • Invariance affine et isométrique; • Algorithme de Dijikstra. • Méthode: (*) • v1, v2 2 S : sommets les plus distants ; • f1(v) =³ (v, v1), f2(v) =³ (v, v2) 8 v 2 S ; • F = F1 \ F2 (F1,F2 : extrema de f1, f2). = Å • Propriétés : • Invariance aux transformation géométriques • Invariance aux changement de pose [(*) J.Tierny et al. 3DPVT 06]

Extraction des courbes 10 • Chemin géodésique : • Invariance affine et isométrique • Faible invariance par rapport à la pose • Courbe ¯ = chemin géodésique entre 2 extrémités • 5 extrémités  10 courbes géodésiques • Représentation • Collection de courbes = {¯n} n=1:10 • Sélection de meilleur combinaison

Pourquoi cette représentation? 11 1- Courbes entre extrémités : information sur la pose 2- Comparer 2 maillages • Comparer leur courbes • Mesure de similarité : Espace de courbes

Mesure de similarité Cadre Riemannien d’analyse des courbes 12 SRVF Translation Mise à l’échelle Rotation Paramétrisation [Joshi et al.IEEE CVPR 2007] [(*) S. Joshi CVPR07]

Géodésique Distance géodésique entre Chemin géodésique où Mesure de similarité Cadre Riemannien d’analyse des courbes 13 α(τ) Φ=<q1,q2> Cercle

Mesure de similarité 14 d=0.2889 d=0.7603

Descripteur statique 15 Matrice de confusion: similarité Inter-personnes Walk (Per1) Trame requête Courbe de similarité Walk (Per1) Walk (Per2) 4 Minimas locaux 8 Minimas locaux

Descripteur temporel 16 Walk (Per1) Query frame Convolution avec le filtre de temps! Walk (Per1) Walk (Per2)

Protocole d’éxpérimentation (1) Recherche de pose par contenu Query DB Dataset:18Poses 338 models Results 4. S=0.29 1. S=0.21 2. S=0.25 3. S=0.27

Résultats 18 Courbes Rappel/Précision Matrice de confusion

Sélection des courbes Courbes Rappel/Précision F-Tier Combinaison des courbes

Protocole d’éxpérimentation (2) 20 Identification de trames similaires 3D video Walk Dancing • i3dPost: • Synthetic DB : • 14 poeple • 28 motions 26/08/2010 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Protocoled’éxpérimentation (2) 21 Courbes ROC VT ECD SH Statique SHT ECDT

Protocoled’éxpérimentation (2) EHC_T • 3ieme meilleur performance • aMGRGT sensible aux changement de topologie • SHRT couteuse en temps de calcul Courbes ROC

Conclusion et perspectives 23 • Conclusion • Descripteur de pose et de forme: • Recherche de pose par contenu • Filtrage temporel  similarité dans les vidéos 3D limites : • Forte dépendance au chemin géodésique • Sensibilité au bruit • Perspectives • Comparaison entre séquences de vidéos: actions similaires • Reconnaissance d’action : analyse des déformations des courbes dans le temps

Publications • Rim Slama, HazemWannous, Mohamed Daoudi, ExtremalHumanCurves: a New Human Body Shape and Pose Descriptor, IEEE Automatic Face and Gesture Recognition FG 2013 Shanghai en Chine du 22 au 26 avril 2013.(Accepted) • Hassen Drira, Rim Slama, Boulbaba Ben Amor, Mohamed Daoudi, Srivastava Anuj."Une nouvelle approche de reconnaissance de visages 3D partiellement occultés". RFIA 2012, Lille. • H. Drira, B. Ben Amor, A. Srivastava, M. Daoudi and R. Slama, 3D Face Recognition Under Expressions, Occlusions and Pose Variations. TPAMI. (MinorRevision).

25 Merci pour votre attention

P24: les coupes LBP pour les images de profondeur Stan et all 2005

Corps Humain ? 28 Différentes formes différentes poses Sans vêtements Analyse des déformations surfaciques du corps humain Trasfert de mouvement Animation Création des espace de pose et espace de forme Avec vêtements Analyse du mouvement du corps Reconnaissance de l’action Indexation des vidéos Compression Concaténation des vidéos

20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Courbes ROC par action Utilisant 10 courbes Rouge: Temp Nt=4 Bleu : Statique 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Sélection des courbes en statique Courbe ROC 14x28 utilisant 5 ourbes et 10 courbes 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Courbe ROC 14x28 utilisant Stat et Temp Nt=4 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Nt=2 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

MDS

My computation of Temporal Ground truth for jigna in the action: run circle left Ct Cp Cv + 0,5x = 0,5x = Distance euclidienne entre xi’ et yi’ Temporal Ground truth for jigna in the action: run circle lef as presented in IJCV 2010 http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf(Page 10) Ct

Temporal Ground truth for jigna in the action: run circle lef As presented in IJCV 2010 http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf(Page 10) 20th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010

Extremal Human Curves: a New Human Body Shape and Pose Descriptor