Détermination automatique des volumes fonctionnels en imagerie d’émission pour les applications en oncologie

1. Soutenance de thèse – 3 décembre 2008 Détermination automatique des volumes fonctionnels en imagerie d’émission pour les applications en oncologie Mathieu Hatt Sous la direction de Christian Roux et Dimitris Visvikis INSERM U650 Laboratoire de Traitement de l’Information Médicale (LaTIM) Equipe «Imagerie multi-modalité quantitative pour le diagnostic et la thérapie »

2. Plan • Contexte et motivations • Enjeux et imagerie TEP/TDM (PET/CT) • Objectif et état de l’art • Méthodes et données • Approches développées • Données de validation et analyse • Résultats • Optimisation • Résultats et applications • Discussion et perspectives

3. Oncologie • Traitements: • Chirurgie • Chimiothérapie • Radiothérapie • Utilisation massive de l’imagerie: • Scanner X (TDM) • Imagerie par résonance magnétique (IRM) • Imagerie d’émission (TEP, TEMP) Souvent combinés Imagerie multi-modalité • TEMP/TDM puis TEP/TDM (2000) • Outil de référence pour le diagnostic • D’autres applications récentes: • Suivi thérapeutique • Radiothérapie Contexte et motivations Enjeux Cancer 2002: 11 millions de nouveaux cas et 7 millions de décès Prévisions 2030: 11 millions de décès Pour optimiser l’utilisation de l’imagerie dans ce contexte: • Correction de divers effets réduisant la qualité des images: résolution spatiale, recalage, mouvements respiratoires, bruit, artefacts… • (semi-)automatisation de certaines procédures comme l’extraction de paramètres quantitatifs Exploitation des images encore largement visuelle et manuelle (grande variabilité) L’imagerie quantitative n’est pas exploitée de façon optimale

4. Reconstruction 1 à 3 mm 180° +/- 0.25° Contexte et motivations Imagerie TEP Principes physiques de la TEP TEP (Tomographie par Emission de Positons) Principe de base : détection de l’annihilation d’un positon (+) et d’un électron (-) Anneaux de détecteurs Coïncidences ‘lignes de réponse’

5. Contexte et motivations Imagerie TEP/TDM (PET/CT) Imagerie multi-modalité et fusion Scanner à rayons X (TDM) et scanner TEP avec un seul lit d’examen Philips GEMINI Siemens Biograph GE Discovery LS

6. Contexte et motivations Imagerie TEP/TDM (PET/CT) Imagerie multi-modalité et fusion

7. Coupe axiale TDM Coupe axiale TEP Contexte et motivations Imagerie TEP/TDM (PET/CT) Multi-modalité: bénéfices et inconvénients • Utilisation de l’information anatomique pour corriger la fonctionnelle • Combinaison de l’information anatomique et fonctionnelle dans un même statif • Permet de localiser anatomiquement les fixations détectées sur l’image TEP • Recalage parfois incorrect et introduction d’erreurs • Absence éventuelle de corrélation entre les structures anatomiques et fonctionnelles • Différence de résolution spatiale

8. image simulée (sans mouvement respiratoire) image simulée (cycle respiratoire de 5 sec) Parcours du positon et non colinéarité Contraste 8 180° +/- 0.25° coincidences diffusées image corrigée (transformations élastiques incorporées à la reconstruction) 4x4 mm 2x2 mm 10% 40% 1 à 3 mm Contraste 4 Contexte et motivations Imagerie TEP/TDM (PET/CT) Problèmes spécifiques à l’imagerie TEP L’imagerie TEP souffre de plusieurs défauts: • Résolution spatiale (5 mm) médiocre par rapport à la taille des objets d’intérêt (<1-10 cm) : EVP • Bruit important dû à la nature de l’acquisition et à de nombreuses sources d’erreurs • Sensibilité aux mouvements respiratoires • Scanners et reconstruction: artefacts et bruits spécifiques , échantillonnage spatial

9. Volume tumoral 2 Contexte et motivations Objectif • Volume tumoral • L’objectif est d’obtenir automatiquement ces contours, de façon • précise malgré le bruit et le flou • robuste par rapport à la grande variabilité des images

10. Contexte et motivations Etat de l’art • L’analyse manuelle souffre d’une grande variabilité intra- et inter-utilisateurs, est longue et fastidieuse (3D) • < 2007: la majorité des solutions proposées pour l’analyse semi-automatique utilisent des approches trop simplistes et assez mal validées • 2007-2008: plusieurs approches intéressantes ont été publiées, mais elles ne résolvent pas tous les problèmes • On peut classer les approches en deux catégories: • Utilisant des seuillages • Faisant appel à des approches de segmentation d’images plus complexes

11. Contexte et motivations Etat de l’art Seuillages • Un seuil fixe (par exemple 42% du maximum[1]) est inapproprié car très peu robuste aux variations de paramètres (22 mm / 1 min / 8:1) (22 mm / 5 min / 8:1) Sensible au bruit 42% 42% +14% erreur sur le volume -11% Sensible à la taille Sensible au contraste (22 mm / 1 min / 4:1) (17 mm / 5 min / 8:1) 42% 42% +8% +80% [1] N.C. Krak et al, European Journal of Nuclear Medicine and Molecular Imaging, 2005

12. Contexte et motivations Etat de l’art Seuillages • Seuillages adaptatifs • Résolution spatiale du scanner et sélection manuelle des tissus [1] • Définitions manuelles de régions d’intérêt sur le fond [2] [3] • Optimisations pour chaque scanner et reconstruction [1] [2] [3] (en utilisant des acquisitions de sphères homogènes) Nécessitent de nombreuses informations a priori Dépendance • à l’utilisateur • au système • binaire [1] J. A. van Dalen et al, Nuclear Medicine Communications, 2007 [2] U. Nestle et al, Journal of Nuclear Medicine, 2005 [3] J.F. Daisne et al, Radiotherapy Oncology, 2003

13. Fuzzy C-Means W. Zhu et al, IEEE NSS-MIC conference records, 2003 • Champs de Markov (sans modélisation floue) • sur les images d’origine • sur les décompositions en ondelettes O. Demirkaya, IEEE NSS-MIC conference records, 2003 D. W. G. Montgomery et al, Medical Physics, 2007 • Ligne de partage des eaux (« watersheds ») P. Tylski et al, IEEE NSS-MIC conference records, 2006 • Débruitage & déconvolution puis segmentation par gradient • Seuillage adaptatif suivi par un contour actif (modèle déformable) X. Geets et al, European Journal of Nuclear Medicine and Molecular Imaging, 2007 • Classification basée sur l’analyse de textures et apprentissage d’un arbre de décision H. Li et al, Medical Physics, 2008 H. Yu et al, IEEE Transactions on Medical Imaging, 2008 Contexte et motivations Etat de l’art Autres approches • Dépendance forte vis-à-vis de pré- ou post-traitements • Validées seulement sur des fantômes simplistes, des configurations de contraste ou de bruit irréalistes des tumeurs homogènes ou des données cliniques sans vérité terrain • Généralement binaires seulement • Performances rarement supérieures à celles de seuillages adaptatifs

14. Plan • Contexte et motivations • Enjeux et imagerie TEP/TDM (PET/CT) • Objectif et état de l’art • Méthodes et données • Approches développées • Données de validation et analyse • Résultats • Optimisation • Résultats et applications • Discussion et perspectives

15. Méthodes et données Méthodes développées Hypothèse de travail • L’objet d’intérêt à segmenter est déjà identifié et isolé dans une boîte de sélection • La boîte de sélection doit : • Contenir l’objet entier • Contenir suffisamment de fond Elle n’est pas forcément cubique

16. Critère MAP, MPM Segmentation Méthodes et données Méthodes développées Contexte méthodologique Segmentation statistique d’images 1. Estimer (caché) à partir de (observation disponible) 2. Pas de lien déterministe entre et On utilise une approche probabiliste (inférence bayésienne) Modèles de Markov (champs, chaînes, arbres…) Global Modèle a priori (spatial ou contextuel) Aveugle, contextuel, adaptatif… Local Modèle d’observation (bruit) Gaussien, gaussien généralisé, beta, gamma… déterministe (EM) stochastique (SEM) hybride (ICE) Estimation itérative des paramètres

17. Ground-truth Modélisation standard “dure” Modélisation floue [1,2] : Mesure de Dirac sur la classe c : Mesure continue de Lesbegue sur [1] H. Caillol et al, IEEE Transactions on Geoscience Remote Sensing, 1993 [2] F. Salzenstein and W. Pieczynski, Graphical Models and Image Processing,1997 Méthodes et données Méthodes développées Contexte méthodologique • L’aspect probabiliste et statistique permet de prendre en compte l’incertitude de la classification • L’aspect flou permet de modéliser l’imprécision inhérente aux données acquises • Combiner les deux permet de prendre en compte l’aspect bruité et flou des images d’émission Seulement deux classes dures

18. Hypothèse de Markov : Probabilités de transition Probabilités initiales Attache aux données • Pour passer de l’image (2D ou 3D) à la chaîne (1D), on utilise un parcours fractal d’Hilbert-Peano [1] • tout pixel de la chaîne possède comme voisins, deux pixels voisins sur l’image (pas l’inverse) Méthodes développées Chaînes de Markov floues Définitions Méthodes et données … … [1] S. Kamata, et al, IEEE Transactions on Image Processing, 1999

19. Dans le contexte d’une chaîne floue, chaque prend ses valeurs dans • Hypothèse de chaîne stationnaire. Les densités a priori peuvent être déduites d’une densité jointe définie sur le couple [1] • Densités de transitions • Densités initiales Méthodes développées Chaînes de Markov floues Loi a priori Méthodes et données Avec : [1] F. Salzenstein, C. Collet, S. Lecam, M. Hatt, Pattern Recognition Letters, 2007

20. En pratique on opère une discrétisation de l’intervalle [1] • On définit alors un certain nombre de niveaux de flou avec des valeurs associées Méthodes développées Chaînes de Markov floues Loi des observations Méthodes et données • Loi des observations : • 2 classes dures 0 et 1 de moyennes et variances • pour chaque niveau de flou, on détermine les moyennes et variances : • Nombre de niveaux de flou et valeurs associées à définir • Pour chaque classe dure on peut définir les distributions comme gaussiennes ou d’autres distributions avec le système de Pearson [2] [1] F. Salzenstein, C. Collet, S. Lecam, M. Hatt, Pattern Recognition Letters, 2007 [2] Y. Delignon, et al, IEEE Transactions on Image Processing, 1997

21. Segmentation avec le critère MPM [1] adapté au cas flou [2] : • la décision bayésienne affectant une étiquette à chaque élément t correspond à : où est une fonction de coût Méthodes développées Chaînes de Markov floues Segmentation MPM Méthodes et données • en pratique cela revient à minimiser la fonction : • Ce qui nécessite le calcul des densités a posteriori [1] J. Maroquin et al, Journal of the American Statistical Association, 1987 [2] F. Salzenstein and W. Pieczynski, Graphical Models and Image Processing,1997

22. … … Méthodes développées Chaînes de Markov floues Procédure forward-backward Méthodes et données • Procédures forward-backward : calcul récursif direct sur la chaîne [1] [1] P. Devijver, Pattern Recognition Letters, 1985

23. Méthodes développées Chaînes de Markov floues Estimation SEM Méthodes et données • Estimation itérative SEM (Stochastic Expectation Maximization) [1] • estimation empirique des paramètres par la méthode des moments • sur une réalisation a posteriori de X qu’il faut simuler • Utilisation des calculs forward-backward pour la simulation: • premier élément : • transitions : • Estimation de tous les paramètres sur cette réalisation : [1] G. Celeux et J. Diebolt, Revue de statistique appliquée, 1986

24. Vecteur 1D à valeurs réelles : Y Hilbert-Peano 3D Estimation stochastique (SEM) Paramètres estimés : • Modèle a priori (probabilités initiales et de transitions) • Modèle de bruit (moyennes et variances) Carte de segmentation Segmentation (MPM) Hilbert-Peano 3D inverse Vecteur 1D à valeurs dans {0,1,F1,F2} : X Méthodes développées Chaînes de Markov floues Résumé Méthodes et données Image 3D [1] M. Hatt et al, Physics in Medicine and Biology, 2007

25. Indicés par t : prise en compte de la position dans l’image • Loi des observations : identique au cas des chaînes Méthodes développées Approche locale adaptative (FLAB) Loi a priori et loi des observations Méthodes et données • Chaque prend toujours ses valeurs dans • Pas d’hypothèse de Markov : modèle local et non global • Probabilités a priori [1] [2] : [1] H. Caillol et al, IEEE Transactions on Geoscience Remote Sensing, 1993 [2] M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

26. Cube centré sur le voxel t. Taille à définir ! • On peut également les utiliser pour la segmentation : Calculer pour chaque voxel la probabilité a posteriori Si elle est maximale avec c = 1 ou c = 0, affecter la classe 1 ou 0 Sinon, choisir le niveau de flou qui maximise Méthodes développées Approche locale adaptative (FLAB) Estimation SEM et segmentation Méthodes et données • On utilise le même principe d’estimation que dans le cas des chaînes • Nécessité de calculer les probabilités a posteriori de chaque [1] [2] : • On peut alors générer une réalisation a posteriori et estimer les paramètres : Information contextuelle prise en compte dans l’estimation [1] H. Caillol et al, IEEE Transactions on Geoscience Remote Sensing, 1993, [2] M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

27. Méthodes développées Approche locale adaptative (FLAB) Extension à trois classes dures Méthodes et données • On modélise les mélanges entre chaque paire de classes dures uniquement 1 3 2 M. Hatt et al, IEEE NSS-MIC conference records, 2007 & 2008 Brevet : FR08 / 56089

28. Méthodes développées Approche locale adaptative (FLAB) Extension à trois classes dures Méthodes et données • Probabilités a priori: AB transition floue entre classes dures A et B • Loi des observations M. Hatt et al, IEEE NSS-MIC conference records, 2007 & 2008 Brevet : FR08 / 56089

29. Méthodes développées Approche locale adaptative (FLAB) Extension à trois classes dures Méthodes et données • Probabilités a posteriori : • On peut alors générer une réalisation a posteriori et estimer les paramètres puis segmenter comme dans le cas binaire M. Hatt et al, IEEE NSS-MIC conference records, 2007 & 2008 Brevet : FR08 / 56089

30. Estimation stochastique (SEM) Paramètres estimés : • Modèle a priori (probabilités pour chaque voxel) • Modèle de bruit (moyennes et variances) Carte de segmentation Carte de segmentation Segmentation (chaînes) Méthodes développées Approche locale adaptative (FLAB) Résumé Méthodes et données Image 3D M. Hatt et al, IEEE NSS-MIC conference records, 2007 & 2008 M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

31. Méthodes et données Méthodes développées Exploitation de la carte de segmentation Carte de segmentation Volume fonctionnel Regroupement • Niveaux de flou associés aux voxels affectés par les effets de volume partiel (EVP) : • Voxels du fond dont la valeur a été rehaussée • Voxels de l’objet dont la valeur a été diminuée M. Hatt et al, IEEE NSS-MIC conference records, 2007 M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

32. Mesure de performance : Vérité terrain Image TEP Segmentation Erreurs Erreur de volume : Erreur de classif. globale : Erreur de classif. : Méthodes et données Données de validation Objectifs et analyse • Précédentes publications : lacunes sur la validation • Utilisation de données simulées ou de fantômes peu réalistes uniquement • Absence de considération de paramètres importants (taille de voxel, bruit, système…) • Utilisation de données cliniques sans vérité terrain connue • Mesures de performances parfois peu pertinentes • Nous voulons valider sur des objets de synthèse et simulés réalistes, sur des acquisitions réelles, et sur des données cliniques pour lesquelles une vérité terrain est disponible

33. Méthodes et données Données de validation Fantôme • Sphères de diamètre 37, 28, 22, 17, 13 et 10 mm

34. Méthodes et données Données de validation Fantôme : acquisitions • Paramètres considérés : • contraste sphère/fond : de 4/1 à 10/1 • durée d’acquisition : 1, 2 et 5 min • taille du voxel : de 2 à 5 mm de côté • Scanners (Philips et Philips TF, GE, Siemens) et algorithmes associés (RAMLA, TF MLEM et OSEM) avec protocoles cliniques standards RAMLA OSEM TF MLEM Siemens Biograph Philips Gemini GE Discovery LS Philips Gemini TF A B 1 2 1 2 1 1 2 A = 4:1 or 5:1, B = 8:1 or 10:1 1 = 2x2 mm, 2 = 4x4 or 5x5 mm

35. Méthodes et données Données de validation Fantôme : acquisitions • Philips GEMINI (RAMLA)

36. Méthodes et données Données de validation Objets synthétiques Contraste 10:5:1 Bruit faible Contraste 10:5:1 Bruit fort Contraste 10:7:4 Bruit faible Contraste 10:7:4 Bruit fort Vérité terrain FWHM environ 6 mm Voxels 2x2x2 mm3

37. Contours manuels RhinocerosTM Incorporation + Vérité terrain Fantôme NCAT (NURBS) Modèle de scanner TEP Tumeur NURBS (Non-Uniform Rational Basis Splines) Simulation GATE et reconstruction Calcul d’erreurs Extraction de tumeur Segmentation Tumeur simulée Carte de segmentation Image simulée Méthodes et données Données de validation Tumeurs simulées : procédure TEP Image de patient TDM

38. Petite et homogène Clinique Simulée Méthodes et données Données de validation Tumeurs simulées : exemples • 20 tumeurs (pulmonaires, ORL, hépatiques) • diamètre maximum de 12 à 82 mm • Hétérogénéité : de aucune à forte • Formes : certaines presque sphériques, d’autres de formes complexes Grande et hétérogène Clinique Simulée

39. TDM TEP Méthodes et données Données de validation Tumeurs réelles et histologie • 18 tumeurs (pulmonaires) ayant fait l’objet d’une étude macroscopique [1] • diamètre maximum de 15 à 90 mm (moyenne 44, écart type 21) • Hétérogénéité : de aucune à forte • Formes : certaines presque sphériques, d’autres de formes complexes [1] A. Van Baardwijk, et al, International Journal of Radiation Oncology Biolology Physics, 2007

40. 4:1 1,5:1 2,5:1 Cas 3 4:2,5:1 7:2:1 7.5:0.5:1 Cas 5 4:1 6:1 8:1 Cas 6 6,5:1 4:1 3:1 Méthodes et données Données de validation Suivi thérapeutique : 8 cas 4 1 2 3 Temps 8:4:1 Cas 1 8:4:1 10:7:1 12:1

41. Plan • Contexte et motivations • Enjeux et imagerie TEP/TDM (PET/CT) • Objectif et état de l’art • Méthodes et données • Approches développées • Données de validation et analyse • Résultats • Optimisation • Résultats et applications • Discussion et perspectives

42. 1 min 2 min 5 min Résultats Optimisation Paramètres • Paramètres à optimiser : • Nombre de niveaux de flou et valeurs associées • Type de distribution utilisé pour les observations • Taille du cube d’estimation (FLAB uniquement)

43. Résultats Optimisation Paramètres • Les meilleurs résultats sont obtenus avec : • 2 niveaux de flou par transition, avec valeurs et M. Hatt et al, Physics in Medicine and Biology, 2007

44. Résultats Optimisation Paramètres • Les meilleurs résultats sont obtenus avec : • Distributions gaussiennes (le système de Pearson détecte des lois bêta mais sans amélioration significative des résultats) M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

45. Résultats Optimisation Paramètres • Les meilleurs résultats sont obtenus avec : • Cube de taille 3x3x3 (pour FLAB) M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

46. Résultats Optimisation Reproductibilité • Sur cinq acquisitions indépendantes de 1 min chacune Ecart type sur les 5 réalisations M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

47. Résultats Optimisation FLAB contre chaînes (FHMC) • Sur sphères homogènes (2x2x2 mm3) (4x4x4 mm3) M. Hatt et al, IEEE Transactions on Medical Imaging, 2008

48. Résultats Résultats sur sphères Robustesse (et précision) • Sur l’ensemble des acquisitions de fantôme (tous scanners, algorithmes, paramètres…) M. Hatt et al, IEEE NSS-MIC conference records, 2008

49. Résultats Résultats sur objets synthétiques Non binaires Vérité terrain Contraste 10:5:1 Bruit faible Contraste 10:5:1 Bruit fort Contraste 10:7:4 Bruit faible Contraste 10:7:4 Bruit fort T42 20 % 23 % 31 % 27 % 83 % 85 % 8 % 9 % T50

50. Résultats Résultats sur objets synthétiques Non binaires Vérité terrain Contraste 10:5:1 Bruit faible Contraste 10:5:1 Bruit fort Contraste 10:7:4 Bruit faible Contraste 10:7:4 Bruit fort Tbckg 15 % 17 % 90 % 38 % 21 % 42 % 21 % 25 % TSBR