1 / 42

Reconstruction 3D par mono vision avec des trajectoires fortement contraintes

Reconstruction 3D par mono vision avec des trajectoires fortement contraintes. Joan Sol à LAAS-CNRS Toulouse, France. Revue du projet PICAS$O 3 novembre 2005. Utilisation du SLAM-FKE. On parle de…. Observabilit é du 3D en vision SLAM par mesures angulaires ( ou SLAM par mono vision )

edmund
Download Presentation

Reconstruction 3D par mono vision avec des trajectoires fortement contraintes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Reconstruction 3D parmono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005

  2. Utilisation du SLAM-FKE On parle de… • Observabilité du 3D en vision • SLAM par mesures angulaires (ou SLAM par mono vision) • Initialisation des Amers • Performances: • FDPs Gaussiennes • Trajectoires fortement contraintes

  3. Contenu • Observabilité en vision: pourquoi je ne fais pas la stéréo? • Un peu de SLAMà observabilité totale • Le Problème de l’initialisation des amers dans le SLAM par mono vision • Le Rayon Géométrique: une représentation efficace de la FDP de la position de l’amer • Méthodes retardées et non retardées • Solution Temps Réel: • L'initialisation par Partage Fédératif de l’Information (PFI)

  4. Observabilité stéréo   : angle qui ferme la région Objet proche

  5. Observabilité stéréo Objet lointain Augmenter la base stéréoscopique

  6. Observabilité stéréo Objet lointain Augmenter la base stéréoscopique

  7. Observabilité stéréo Objet lointain Augmenter la précision du banc stéréo

  8. Observabilité stéréo Objet lointain Augmenter la précision du banc stéréo

  9. Observabilité stéréo Objet lointain Augmenter la base et la précision

  10. Observabilité stéréo Objet encore plus loin Problème mécanique: Augmenter la base fait diminuer la précision du banc. Une base longue rend impossibleun calibrage ‘a vie’. Un auto calibrage en ligne serait nécessaire. Ce n’est pas facile. Augmenter la base et la précision

  11. Observabilité stéréo  : angle entre mesures  : angle qui ferme la région  : précision du système capteur n   minminn

  12. 70 60 50 40 30 20 10 0 Base longue avec auto calibrage Observabilité stéréo Base longue pré calibrée min Base courte

  13. SLAMpar mesuresangulaires SFMStructureFromMotion Et plus loin? Modélisation 3D par vision mono en mouvement 70 60 50 Base longue pré calibrée 40 Modélisation 3Dpar vision stéréo 30 20 10 0

  14. R 1 2 3 4 5 SLAM: de l’anglais, Simultaneous Localization And Mapping 2 5 1 4 3

  15. Le problème du cas angulaire:Initialisation des Amers • L’approche naïve ? tactuel ? tprecedent tactuel Te

  16. Le problème:Initialisation des Amers • Considération des incertitudes ? Le point 3Dest dedans tactuel tprecedent tactuel Te

  17. Le problème:Initialisation des Amers • Les cas Content et Pas Content Peu Content Content Pas Content

  18. L'idée CLÉ INITIALISATIONretardée ? prenons la voie facile Le derniermembreest facilementincorporé L’approximationinitialeest facile La sélection des membres est facile et sûre Initialisationimmédiate

  19. Définition du Rayon Géométrique Remplir l’espace entre rmin i rmax • Avec le nombre minimal de termes • Tout en respectant les contraintes de linéarisation Définir une série géométrique de Gaussiennes 4 r4 3 r3  = i / ri  = ri / ri-1 [ rmin rmax] xR : position de la camera

  20. Les bénéfices du Rayon Géométrique • Facteur de forme, base géométrique et limites de distance • Le nombre de termes est logarithmique en rmax / rmin: • On obtient des nombres très petits : • Les membres étant Gaussiens, ils sont facilement manipulables avec FKE. [rmin , rmax]   Ng = f( log(rmax / rmin) 1 2

  21. Comment ça marche La première observation détermine le Rayon Conique

  22. Comment ça marche J’approche le Rayon Coniqueavec le Rayon Géométrique Je peux initialiser les membres maintenant : J’obtiens une méthodeimmédiate.

  23. Comment ça marche Je me déplace et réaliseune deuxième observation Je peux distinguer les membres dans l’image

  24. Comment ça marche Je calcule vraisemblanceset actualise crédibilités C’est comme modifier la forme du rayon

  25. Comment ça marche J'élimine les membresinvraisemblables C’est une opération triviale et sure

  26. Comment ça marche Avec des méthodesimmédiates je peux corriger la carte SLAM

  27. Comment ça marche Je continue...

  28. Comment ça marche Et un jour il ne resteraqu’un seul membre. 3 Ce membre est déjà Gaussien! Si je l’initialise maintenant j’ai une méthoderetardée

  29. Trajectoires non contraintes min

  30. Trajectoires fortement contraintes : Méthodesretardéesetimmédiates Pas content immédiates Peu Content retardées immédiates Content retardées immédiates min

  31. Méthodesretardéesetimmédiates Champ de vue Champ de vue immédiates retardées retardées immédiates immédiates retardées retardées immédiates immédiates

  32. Méthodes retardéesetimmédiates • Un algorithme naïve • Un algorithme consistent • L’algorithme d’Actualisation en Bloc retardées • L’algorithme multicarte • L’algorithme du Partage Fédératif de l’Information immédiates

  33. L’algorithme multicarte • Initialiser tous les membres comme amers en cartes séparées • Lors des observations postérieures: • Actualiser les crédibilités des cartes et n’éliminer les mauvaises • Réaliser des corrections sur les cartes comme dans SLAM-FKE • Quand il ne reste qu’une carte: • Rien à faire immédiate méthode hors ligne

  34. L'algorithme du Partage Fédératif de l’Information (PFI) • Initialiser les membres comme des amers différents dans la même carte • Lors des observations postérieures : • Actualiser les crédibilités et éliminer les mauvais membres • Effectuer une correction douce fédérée • Quand il ne reste qu’un membre: • Rien à faire immédiate

  35. {y,R1 } {y,R2} … {y,RN } Partage de l’Information: Privilège des vraisemblances: Coefficient Fédératifi : L'algorithme PFI • La Correction Douce Fédérée: Partager l’Information correctionFKE avec membre 1 immédiate correctionFKE avec membre 2 Observation {y, R} … correctionFKE avec membre N

  36. L'algorithme PFIet le Cas Pas Content immédiate

  37. L'algorithme PFIet le Cas Pas Content Vue de oiseau Vue latérale immédiate

  38. L’inclusion de nouvelles bornes Diviser l’image en sous images. Choisir celles ou c’est intéressantd’y inclure une nouvelle borne. Y faire une recherche de pointsde Harris.

  39. Les mesures des bornes Carte: bornes 3D Région de recherche Signature de la borne Maximum decorrélation Stratégie de recherche: Globale à double espace Locale à simple espace Résultat sous pixellique Pixel trouvé: MESURE Projection sur l’image

  40. Le suivi des bornes

  41. Conclusions La reconstruction 3D dans des situationsà très faible observabilité est rendu possible. Le mouvement précis de la camera dans la scèneest acquis simultanément. On est en disposition d’y intégrer des objetsmobiles. Pour cela, des hypothèses sur la vitesse de chaque point seront d’abord lancées et postérieurement validées (ou non) et raffinées par les observations.

  42. Merci!

More Related