Identification automatisée d’espèces d’arbres dans des scans lasers 3D

1. Identification automatisée d’espèces d’arbres dans des scans lasers 3D De l'Acquisition à la Compression des objets 3D (AC3D)Porquerolles 2013 OTHMANI Ahlem 2013

2. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon 01

3. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Gestion des forêts • Surface boisée en France métropolitaine • 161 000 Km2 • 29,5 % du territoire • Office National des forêts • Gère 25% des forêts française (forêts publiques) • 45 % du volume • Inventaire annuel 02 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

4. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Inventaire forestier • Evaluer la ressource d’une forêt à un moment donné • Espèce et diamètre • Hauteur de peuplement Inventaire manuel OTHMANI Ahlem 2013 03 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

5. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Inventaire forestier amélioré • Plus précis, plus détaillé, plus rapide • Meilleure connaissance de la ressource Utilisation de scans laser Lidar Terrestre ou Aérien OTHMANI Ahlem 2013 04 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

6. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Inventaire forestier à l’ONF Campagne d’acquisition terrain Nuage de points 3D : de l’ordre de 40 millions de points par nuage. Traitement des nuages de points avec le logiciel Computree développé par l’ONF 1 2 3 OTHMANI Ahlem 2013 05 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

7. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D DéterminerL’espèce Dans le cadre de cette thèse, on ne s’intéresse que à l’identification de l’espèce d’arbre. les bourgeons • La forme des cimes(le houppier) Les feuilles Les fruits Les feuilles OTHMANI Ahlem 2013 06 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

8. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D • l’inventaire forestier est réalisé pendant l’hiver ( hors de période de croissance des arbres ) • Les feuilles • Les bourgeons • Les fruits • la cime des essences, tout seul, n’est pas suffisant pour la discrimination • Il y a beaucoup d’effet de flou ( chevauchement des branches, ..) • le nombre de point de scans diminuent avec l’hauteur • C’est très difficile de décrire le houppier et la branchaison • La forme des cimes L’écorce des troncs d’arbres OTHMANI Ahlem 2013 07 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

9. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Charme (cannelure) Hêtre (lisse) Chêne (lanières verticales) Pin (crevasses) Epicéa(cicatrices circulaires ) Merisier ( lanières horizontales) OTHMANI Ahlem 2013 08 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

10. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Extraction des caractéristiques Extraction des morceaux de troncs Nuage de points 3D Depliage Technique de segmentation ou d’analyse d’images Maillage3D Image segmentée Vecteur caractéristiques Analyse de texture Classification Classifieur Pré-traitement Carte de hauteur ou profondeur Extraction image de profondeur 2,5D Lissage [ … ] Patch 3D FiltrageTriangulation Information De profondeur Images 2,5D a: hêtre b: épicéa c: pin d: chêne e: charme Image segmentée Image de Profondeur 2,5 D 4 5 1 2 3 Maillage3D Information De profondeur 09 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

11. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Texture Géométrique Les textures géométriques est l’ensemble de détails géométriques 3D du maillage original surfacique texturé Mo par rapport à la version lissée Ms du maillage. Les détails géométriques 3D sont représenté par la déviation géométrique entre le maillage original Mo et sa version lissée Ms. OTHMANI Ahlem 2013 10 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

12. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Maillage original Maillage lisse Itérer l’algorithme de lissage jusqu’au avoir un maillage suffisamment lisse 5Itérations 70Itérations 40Itérations 20Itérations OTHMANI Ahlem 2013 11 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

13. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D • L’algorithme de lissage λ/μde Taubin : • résout le problème de rétrécissement de certains algorithmes de lissage. • 2 étapes de lissage laplacien avec différents facteurs d’échelles λ et μ. • une première étape avec λ>0 (shrinkage step) • unedeuxièmeétape avec μ<-λ<0 (unshrinkage step) • La nouvelle position v'i du ièmevertex • L’opérateur laplacien λ = 0.6307 et μ = −0.6732 ( valeurssuggérées par Taubin) OTHMANI Ahlem 2013 12 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

14. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Texture Géométrique Il faut itérer l’algorithme de lissage jusqu’à ce que le maillage devient suffisamment lisse.  supprimer tous les détails géométriques 3D. Etude de l’évolution de courbures minimales et maximales en fonction du nombre d’itération de lissage. La pente de la tangente <=-0.01 Figure : Le médian des courbures maximales en fonction du nombre d’itération de lissage 13 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

15. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Réduction de Dimension • ISOMAP (Tenenbaum, et al, 00) • LLE (Roweis, Saul, 00) • LaplacianEigenmaps (Belkin, Niyogi, 01) • Local Tangent Space Alignement (Zhang, Zha, 02) • HessianEigenmaps (Donoho, Grimes, 02) • Diffusion Maps ( Coifman, Lafon, et al, 04) • Kernal PCA (Schoelkopf, et al, 98) • Maximum Variance Unfolding (Weinberger & Saul. 04) • Geodesicnullspaceanalysis (Brand. 04) • Conformaleigenmaps (Sha & Saul. 05) 14 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

16. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Linear versus non linear 15 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

17. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D PCA et MDS peuvent s’appliquer seulement sur des projections linéaires. Nous avons besoin d’une extension non linéaire . ISOMAP Idée clé: Préserver les distances géodésiques mesurée le long du submanifold. Algorithme : Construire le graphe d’adjacence (k-nearestneighbors) estimer la distance géodésique par chemin le plus court ( l'algorithme de Djikstra) Utiliser les distances géodesiques pour calculermatrice de Gram dans MDS Les points de faiblesse : Très lent pour calculer les distances géodésiques et diagonaliser la matrice de Gram. 16 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

18. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D 17 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

19. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D La ligne de partage des eaux : Watershed Segmentation Segmentation fondée sur les régions ( A region-based segmentation approach) : considère l’image comme un relief topologique si l’on associe le niveau de gris de chaque point à une altitude. • Trois éléments dans une image : • les minima régionaux • les bassins versants ( catchement bassin) • les lignes de partage des eaux (watershedlines) 18 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

20. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Algorithme a) Percer des trous dans chaque minimum régional b) La topographie 3D est inondé par le bas progressivement c) Lorsque la montée des eaux dans les bassins versants distincts est sur ​​le point de fusionner, on construit un barrage pour empêcher la fusion. d) Les barrages correspondent aux lignes de partage des eaux qui doiventêtreextraites par notrealgorithme de segmentation. 19 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

21. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Fonction de segmentation la plus utiliséele module du gradient morphologique D : Dilatation E : Erosion les lignes de partage des eaux se placent de façon privilégiée sur les lignes de gradient élevé (contours). Détecteur de contours • Approche filtrage • les marqueurs • Approche hiérarchique Une grande sensibilité au bruit • Fonction de segmentation : Top hat Transformation : • Détecteur de crêtes • Mettre en évidence les taches les plus saillantes 20 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

22. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D HYBRID SEGMENTATION USING A WATERSHED AND REGION MERGING BASED METHOD MedianFiltering ContrastAdjustement Top hat transformation Removesmallobjectsfrom the image Fillsmallholes Initial segmentation withwatersheds FastNearestRegionMergingBased on weakboundaries 21 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

23. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Les résultats de la segmentation initiale de la ligne de partage des eaux sur- segmentation Fusion de régions ?? Measure de Dissimilarité ?? Homogénéité des régions Faiblesse des contours (Boundariesweakness) 22 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

24. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Map des contours (MapEdge) On fusionnedeuxrégionsadjacentessi le coûtaffecté à ce contour Ei,jestinférieur à un seuil ( fixé à 0.5) nest le nombre de pixels d’un contour commun à deuxrégionsadjacentes et = 0.25 = 0.75 n1est le nombre de pixels du contour considéréscomme du noir(grayscale < 0.8) n2est le nombre de pixels du contour considéréscomme du blanc (grayscale > 0.8)  23 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

25. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Images de profondeur Segmentation Initiale Après Fusion 24 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

26. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Features : Une région est caractérisée par un ensemble de caractéristiques Caractéristiques de géométrie et de forme : Longueur de l'axe majeur et mineur Aire et périmètre Circularité Convexité Orientation Compacité Sphéricité Concavité et convexité Exentricité • Caractéristiques d’intensité : • Maximum Intensity • Minimum Intensity • MeanIntensity 25 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

27. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Résultats • test 1 : 10 cross-validation on D1 • test 2 : 10 cross-validation on D2 • test 3 : Training on D1 and testing on D2 • test 4 : Training on D2 and testing on D1 26 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

28. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Le scanner laser FARO 120 • Portée : 60 cm à 120 m • Champs de scan : 360°(H) x 320°(V) • Précision :  2 mm à 25 m Résol. 1/4 • Résolution : 41M de points • Distance entre 2 points à 10 m : 6,3 mm • N.B. : Résolution maximale possible : 1,6 mm à 10 m (1h30) OTHMANI Ahlem 2013 27 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

29. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D accuracy = 95% precision = 89% accuracy = 97% precision = 92% 28 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

30. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D • Conclusion • Les lignes des partages des eaux est l’approche la plus adaptée pour l’étude de surface • cette approche est trop sensible au bruit • nos images de profondeur sont fortement bruitées à cause de l’interpolation = les contours ne sont pas bien dessiné • Fallait il vraiment faire le passage vers la 2D ?? 29 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

31. Introduction Approches Résultats et perspectives Identification automatisée d’espèces d’arbres dans des scans lasers 3D Identification automatisée d’espèces d’arbres dans des scans lasers 3D Burst Wind Segmentation (othmani et al. 2013) • l’information de profondeur présente le relief topologique . • les minima régionaux à l’aide l’information de courbure . • simuler un vent fort 30 A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon A. Othmani, A. Piboule, C. Stolz and L.F.C. Lew Yan Voon

32. Merci de votre attention OTHMANI Ahlem 2013