Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

1. AFIG 2001 Modélisation de cheveux à partir d’images par étude des variations d’apparence en fonction des conditions d’éclairage Stéphane Grabli François Sillion iMAGIS est un projet commun CNRS–INPG–INRIA-UJF

2. But Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies. 3D

3. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

4. Motivations • But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant l’identification visuelle • Applications: visioconférence, jeux vidéos www.cyberware.com Shag Hair de Digimation (pour 3DS-Max)www.digimation.com

5. Problématique • Complexité de la géométrie des cheveux (échelle, nombre) • Echec des techniques classiques de numérisation 3D • Problème non résolu

6. Approche choisie • Etude de la réflectance, sur des images, pour en extraire la géométrie • Sujet fixe, point de vue fixe et source lumineuse mobile.

7. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

8. Etat de l’art • Modélisation de cheveux à partir d’images • modélisation géométrique d’un volume de cheveux [MN]

9. Etat de l’art • Modèle d’éclairement du cheveu • Kajiya, Kay[KK89] • Goldman [Gol97]

10. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

11. Acquisition des données • Contrôle et connaissance des positions de caméra et de lumière • Système d’acquisition deStanford • Précision au pixel:méthodologie • Sujet: perruque

12. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

13. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

14. Extraction des directions de mèches dans chaque image • Dans 1 pixel ~ 1 mèche • Extraction de la direction de cette mèche

15. Extraction des directions de mèches dans chaque image

16. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

17. p p p p p Construction d’un masque de vecteurs pour la séquence Pixel p { t0, t1, ..., tn }

18. p p p p p { t0, t1, ..., tn } Construction d’un masque de vecteurs pour la séquence Pixel p bruit

19. Construction d’un masque de vecteurs pour la séquence • 1er test: nombre de vecteurs de la collection NON OUI • 2ème test: variance en angle des vecteurs NON

20. Pixel p0 Pixel p0 Construction d’un masque de vecteurs pour la séquence

21. Méthode Construction de mèches 3D Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

22. Informations géométriques sur T Génération des vecteurs 3D candidats t Centre optique de la caméra Image

23. Informations géométriques sur T Génération des vecteurs 3D candidats t Plan TT Centre optique de la caméra Image

24. Informations géométriques sur T Génération des vecteurs 3D candidats t Plan TT Vecteurs 3D candidats Centre optique de la caméra Image

25. Les profils de pixel mesurés • Informations de réflectance sur T p Profil de pixelmesuré(courbe RGB) p p 255 n 1 0 0 1 2 ... n 0 0 n

26. Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée

27. Etude de corrélation • Pb: ombre mesurée mais pas modélisée • 2 solutions:- compléter le modèle ([Ban94], [Gol97]) • - tronquer les mesures

28. Etude de corrélation • Comment mesurer cette corrélation ? • Introduction d’une fonction d’énergie:Edist

29. Election et mesure de confiance • Choix du minimum des Edist • Cas OK:

30. Election et mesure de confiance • Cas problématiques (3) (1) Coefficient de confiance (2)

31. Election et mesure de confiance

32. Affinage du masque de vecteurs 3D

33. Méthode Construction de mèches 3D Extraction des directions de mèches dans chaque image

34. Construction de mèches • Dans l’espace image • Méthode inspirée des contours adaptatifs

35. Construction de mèches • Masque de vecteurs 3D + mèches 2D -> mèches 3D

36. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

37. 1 séquence d’images

38. plusieurs séquences d’images

39. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

40. Conclusion • Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente • Limitations - positionnement des vecteurs de cheveux 3D approximatif • Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif

41. Merci... Questions ?

42. T L P E E’ Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée • Paramètres du modèle:- T, L , E connu dépendent de P

43. T L P E E’ Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée • Paramètres du modèle:- T, L , E connu dépendent de P

44. t p L P Image E Centre optique Synthèse des profils de pixel théoriques • Approximation: Ellipsoïde pour simuler la surface descheveux. • P = intersection (Ellipsoïde, rayon p->oeil)

45. Etat de l’art Représentations • Représentations explicites [WS92] utilise un prisme trigonal pour modéliser un cylindre [VW97] An Interactive fur modeling techniqueA.V. Gelder, J. Wilhelms

46. Texels reference volume Etat de l’art Représentations • Représentations alternatives: - Texels – [KK89], [MN98], [Len00a], [Len00b] [Len00b] Real-time fur over arbitrary surfaces,Jed Lengyel [MN98] Interactive volumetric textures, A. Meyer, F. Neyret

47. Etat de l’art Représentations [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

48. Etat de l’art Remarque • Algorithmes issus du « Shape from Shading » non applicables • Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks http://www.eerie.fr/~vision/alquier/Work/shape.html

49. Notre méthode Extraction des directions de mèches dans chaque image • Filtre de Sobel horizontal: • Filtre de Sobel vertical: -1 -2 -1 0 0 0 1 0 1 -1 0 1 -2 0 2 -1 0 1

50. Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques • Implémentation: algorithme k-mean • Particularité: regroupement dans l’espace TLS, en utilisant L, calcul des nouveaux centres dans l’espace RGB