Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG - PowerPoint PPT Presentation

slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG PowerPoint Presentation
Download Presentation
Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

play fullscreen
1 / 122
Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG
149 Views
Download Presentation
manton
Download Presentation

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG Président du jury : J. Crowley Rapporteurs: D. Aubert J-M. Lavest Examinateurs: F. Devernay S. Cornou R. Horaud

  2. Le contexte Le centre de recherche et développement de Renault • Centre de recherche et développement Renault : ~12 000 personnes • Direction de la recherche : ~ 120 personnes • Electronique pour l’aide à la conduite : ~ 20 personnes

  3. La problématique Les différentes prestations d’aide à la conduite • Des prestations intelligentes pour améliorer la sécurité et le confort • Régulateur de distance (ACC) • Détection de franchissement de marquage routier (Lane Keeping Assist) • Détection anticipée de collision (Collision Warning ou Precrash) http://www.mobileye.com/uploaded/AWSclips/2CriticalSeconds.22MB.mpg http://www.gavrila.net/Media_Coverage/media_coverage.html Gavrila et al [GBS05]

  4. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar

  5. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar • Caméra • Caméra • Semble avoir des performances similaires • Coût attractif • Peut remplacer plusieurs capteurs

  6. La problématique Les objectifs de la thèse • L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques. • Identifier ces problèmes et les solutions possibles • Application exemple : régulateur de distance (ACC) • Trois fonctions primordiales : • Le calibrage • La détection d’obstacles • La mesure de vitesse relative

  7. Plan de la présentation • Modèles mathématiques • Calibrage • Détection d’obstacles • Mesure de vitesse 3-D • Conclusions

  8. Modèles mathématiques Modélisation d’une caméra Un objet 3-D caméra Plan image Centre optique

  9. Modèles mathématiques Modélisation d’une caméra Ligne de vue rayon optique Un objet 3-D Plan image Objet projeté Centre optique

  10. Modèles mathématiques Modélisation d’une caméra

  11. Modèles mathématiques Modélisation d’une caméra inconnu connu

  12. Modèles mathématiques Reconstruction 3-D connu inconnu ?

  13. Modèles mathématiques Reconstruction 3-D connus inconnu

  14. I. calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

  15. Calibrage Objectif • Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

  16. I. Calibrage 1. Objectif et principe ≠

  17. I. Calibrage 1. Objectif et principe • Connaître la fonction de projection P connu inconnu connu • Distance focale • Taille des pixels • Nombre de pixels • Distorsions • …

  18. I. Calibrage 1. Objectif et principe • Points 3-D connus : une mire connu

  19. I. Calibrage 1. Objectif et principe • Acquisition d’images de la mire avec le système

  20. I. Calibrage 1. Objectif et principe • Extraction des marques fiduciaires connu connu

  21. I. Calibrage 1. Objectif et principe • Estimation par optimisation des paramètres p connu connu connu inconnu

  22. I. Calibrage 2. Définition de la qualité du calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

  23. I. Calibrage 2. Définition de la qualité du calibrage • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • Le système doit être conçu pour atteindre ces performances. • La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.

  24. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

  25. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

  26. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre le point 3-D réel et estimé : • Dénommée « erreur de reconstruction » • Se mesure en mètres • Du point du vue du constructeur,c’est le critère essentiel de qualitédu système

  27. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre les points 2-D observés et les projections du point reconstruit • Dénommée « erreur de reprojection » • Se mesure en pixels • Minimiser cette différence estimportant pour les algorithmes

  28. I. Calibrage 3. Les sources d’imprécision • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Respect du modèle • Qualité du calibrage • Variation de la géométrie du capteur au cours du temps • Quantifier la qualité du système embarqué

  29. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle Centre optique Caméra

  30. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle ? Caméra Respect du modèle 1 Pare-brise

  31. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  32. I.Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  33. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  34. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps

  35. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps Variation des paramètres 5

  36. I. Calibrage 4. Quantifier la qualité du système embarqué • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

  37. I. Calibrage 4. Quantifier la qualité du système embarqué • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

  38. I. Calibrage 4.A. Quantifier la qualité du système embarqué : respect du modèle Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec SrikumarRamalingamet Peter Sturm) • Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

  39. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécisions • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

  40. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • La qualité du système dépend de : • La configuration du système • La mire • Les algorithmes de calibrage • Les erreurs de détection de la mire • Les imperfections de construction de la mire • … • Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : • Système complexe rendant la modélisation analytique difficile, • Permet de tester de nombreuses configurations.

  41. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire

  42. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication

  43. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection Paramètres réels

  44. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection

  45. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage calibrage Paramètres calibrés

  46. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection calibrage Paramètres réels

  47. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction calibrage Paramètres calibrés

  48. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

  49. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Cette méthode par simulation permet de tester : • les différents algorithmes, • les différentes configurations de système et • les différentes mires • Outil d’aide à la conception simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

  50. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage 6 mm de focale, capteur 1/3’’, ligne de base 40 cm * Erreur RMS