Lecture critique d’une méta-analyse

1. Lecture critique d’une méta-analyse Catherine Hill Biostatistique et Epidemiologie Institut de cancérologie Gustave Roussy Membre de nombreux comités de surveillance d’essais dont, dans le SIDA : PENTA, DART, ESPRIT, MDP,..

2. Définition Méta-analyse : synthèse quantitative exhaustive des résultats des études étudiant la même question Indispensable pour aboutir à une conclusion unique, aussi argumentée que possible. Une méta-analyse est plus qu’une revue systématique, qui fait la même chose sans la synthèse quantitative

3. Pourquoi faire une méta-analyse ? Supposez que vous vouliez étudier les relations entre - circoncision et - infection par le VIH chez les homosexuels masculins

4. 17 études de la relation entre circoncision et infection par le VIH chez les homosexuels masculins 9 ne trouvent pas de différence significative 5 concluent que la circoncision est significativement protectrice 1 conclut que la circoncision est presque significativement protectrice 1 conclut que la circoncision augmente significativement le risque 1 ne trouve pas de différence globale mais un effet protecteur en cas de rapport anal actif

5. Quelle conclusion tirer de l’ensemble de ces études ? • Les résultats sont-ils cohérents : plus de la moitié ne montrent pas d’effet protecteur de la circoncision : est-ce seulement parce que l’effet n’est pas très important et que ces études sont trop petites ? • Si les résultats sont significativement hétérogènes, pouvons nous expliquer l’hétérogénéité par une ou plusieurs caractéristiques des études ou des sujets ?

6. Méta-analyse de Millett et al. JAMA 2008, erratum 27 mars 2009 Circumcision status and risk of HIV and sexually transmitted infections among men who have sex with men, a meta-analysis. Objectif : Evaluer l’association entre circoncision et risque d’infection par le VIH ou autres infections sexuellement transmises chez les homosexuels masculins

7. Comment faire une méta-analyse • Définir la question à étudierLe risque d’infection à VIH est-il plus bas chez les homosexuels circoncis que chez les non circoncis ? • Chercher systématiquement les études dans : Bases de publications Medline, Science direct,… jusqu’en fév. 2008, études contenant les mots clés circoncision (ou circoncis) et homosexuel (ou gay, MSM,…). Plus dans références d’articles pertinents, compte rendu de congrès,…

8. Comment faire une méta-analyse, suite Définir les critères de sélection des études, Dans la méta-analyse de Millett, étude devant • incluredes homosexuels masculins dans la population étudiée • avoir la circoncision comme variable étudiée • donner une information quantitative (valeur ou p) sur l’association entre circoncision et prévalence du VIH

9. Millett et al. JAMA 2008

10. Processus de sélection des études, méta-analyse de Millett 4337 références -4304 ne parlent pas des homosexuels masculins 33 pertinentes -15 exclues : 3 commentaires, 8 sans étude du risque d’infections 4 sans séparation des homo et des hétérosexuels 18 études mesurant l’association entre circoncision et risque d’infection (VIH ou infections sexuellement transmissibles) chez des homosexuels masculins - 3 études : 1 avec seulement des homosexuels VIH+ 2 sans envoi de donnéescomplémentaires ou envoi non interprétable

11. Résultats d’une méta-analyse Description des études sélectionnées Études du risque d’infection VIH 8VIH et sex. transmises6 Sexuellement transmises1Total15

12. Référence Type étude* Effectif%circoncis%VIH+ Bartholow (USA+..)Prosp5 09086%7% Begley (USA)Transv77284%13% Buchbinder (USA)Prosp3 25788% Buchbinder (USA)Prosp1 78756%4% Calzavara (Canada)Cas/tém1573% Kreiss (USA)Transv49985%63% Kumta (Inde)Transv12222%17% Lai (Taiwan)Transv55628%6% Millett (USA black)Transv1 07974%52% Millett (USA latino)Transv95733%36% Mor (USA)Transv 20 83260%72% Reid (UK)Transv13 85122%5% Sanchez (Perou+Equ)Transv2 8844%11% Tabet (Perou)Transv4408%19% Templeton (Australie)Prosp1 42666%3% Total53 567 * Étude Prospective (suivi de 6 mois), Transversale, Cas-témoin Information déclarée versus vérifiée

13. Référence Circoncis Non circoncis VIH+/Total(%)VIH+/Total(%) Bartholow (USA+..)315/4 3817%47/7097% Begley (USA)81/646 13%19/12615% Buchbinder (USA)?? Buchbinder (USA)52/9995%28/7884% Calzavara (Canada) 2/1118%2/450% Kreiss (USA)254/42260%59/7777% Kumta (Inde)2/277%19/9520% Lai (Taiwan)5/1543%28/4027% Millett (USA black)425/79454%138/28548% Millett (USA latino)116/31737%232/64036% Mor (USA)8 942/12 57771%5 960/8 25572% Reid (UK)188/30896%538/10 7625% Sanchez (Perou+Equ)13/12311%301/2 76111% Tabet (Perou)?? Templeton (Australie)29/9383%13/4883%

14. OR et IC95% RéférenceNb sujets OR(IC95%) Bartholow (USA+..)50901.09 (.79-1.50) Begley (USA)772 0.81 (.47-1.39) Buchbinder (USA)32570.53 (.30-0.94) Buchbinder (USA)17871.49 (.93-2.38) Calzavara (Canada)150.22 (.02-2.67) Kreiss (USA)4990.46 (.26-0.81) Kumta (Inde)1220.32 (.07-1.47) Lai (Taiwan)5560.45 (.17-1.18) Millett (USA black)10791.23 (.94-1.61) Millett (USA latino)9571.01 (.77-1.34) Mor (USA)208320.95 (.89-1.01) Reid (UK)138511.23 (1.04-1.46) Sanchez (Perou + Equat)28840.97 (.54-1.74) Tabet (Perou)4400.24 (.06-1.02) Templeton (Australie)1 4261.17 (.60-2.25) Total53 5670.95 (.81-1.11) OR: odds ratio ≈rapport risque d’infection circoncis/non circoncis

15. OR et IC95% RéférenceNb sujets OR(IC95%) Bartholow (USA+..)50901.09 (.79-1.50) Begley (USA)772 0.81 (.47-1.39) Buchbinder (USA)32570.53 (.30-0.94) Buchbinder (USA)17871.49 (.93-2.38) Calzavara (Canada)150.22 (.02-2.67) Kreiss (USA)4990.46 (.26-0.81) Kumta (Inde)1220.32 (.07-1.47) Lai (Taiwan)5560.45 (.17-1.18) Millett (USA black)10791.23 (.94-1.61) Millett (USA latino)9571.01 (.77-1.34) Mor (USA)208320.95 (.89-1.01) Reid (UK)138511.23 (1.04-1.46) Sanchez (Perou + Equat)28840.97 (.54-1.74) Tabet (Perou)4400.24 (.06-1.02) Templeton (Australie)1 4261.17 (.60-2.25) Total53 5670.95 (.81-1.11) OR: odds ratio ≈rapport risque d’infection circoncis/non circoncis Test d’hétérogénéité : 142=34,7 p=0,002 0.1 1.0 3.0

16. Exploration de l’hétérogénéité • Les résultats sont hétérogènes. • Pour explorer l’hétérogénéité, en fonction d’une caractéristique, par exemple la qualité des études, on regroupe les résultats des études en fonction de leur qualité et on compare les résultats dans les études les mieux faites et dans les autres études.

17. 0.25 Circoncision mieux 1.00 | 4.00 Circoncision moins bien Sous groupes Odds Ratio Test d’hétérogénéité (a) Circoncision p = 0.48 Déclarée Examinée (b) Statut HIV p = 0.60 Déclaré Testé (c) Etude p = 0.50 Prospective Transversale (d) Pays p = 0.58 USA Autre développé En développement (e) HAART p = 0.001 Avant HAART Après HAART (f) Qualité de l’étude p = 0.70 Meilleure Moins bonne

18. Grille de lecture d’une méta-analyse Est-ce que les résultats sont valides ? Objectif bien défini Critère de sélection des études adéquat Quels sont les résultats Résultat global Précision de ce résultat Utilité du résultat en pratique

19. Grille de lecture d’une méta-analyse Est-ce que les résultats sont valides ? Oui dans les limites des études réalisées Objectif bien défini Oui Critère de sélection des études adéquat Oui Quels sont les résultats Résultat global Pas de réduction du risque Précision de ce résultat Insuffisante pour conclure Utilité du résultat en pratiqueA discuter

20. Grille de lecture d’une méta-analyse Est-ce que les résultats sont valides ? Oui dans les limites des études réalisées Objectif bien défini Oui Critère de sélection des études adéquat Oui Probabilité études importantes manquentNon Qualité des études évaluéeOui Évaluation des études reproductible Oui Résultats des différentes études similaires Oui Quels sont les résultats Résultat global Pas de réduction du risque Précision de ce résultat Insuffisante pour conclure Utilité du résultat en pratiqueA discuter

21. Discussion du problème Toutes ces données sont des données d’observation On dispose des données de trois essais randomisés, certes dans le contexte de la transmission essentiellement hétérosexuelle, mais … J’aurais tendance à considérer l’ensemble de ces données

22. Circoncision mieux | Pas de circoncision mieux Méta-analyses des trois essais randomisés de circoncision HIV + / Total Essai Circoncision Témoin O-E Variance Odds Ratio OR [95% CI] Auvert 0.61 [0.34;0.77] 20/1582 49/1546 -5.6 11.2 0.40 [0.23;0.68] Bailey 22/1391 47/1393 -11.5 12.5 0.49 [0.28;0.84] Gray 22/2474 45/2522 -8.8 12.3 0.49 [0.35;0.68] Total 64/5447 141/5461 -25.8 36.1 Test d’hétérogénéité : 2 0.25 1.00 4.00 = 1.06 p = 0.59 2 Effet de la circoncision p < 0.0001 Calcul et graphique : Charlotte Baey, équipe de méta-analyse de l’Institut Gustave Roussy

23. Quelques erreurs à éviter Additionner chacune des 4 colonnes de données (HIV+/- × Circoncis Oui/non), il faut faire la synthèse des comparaisons intra études. Exemple van Howe 1999 corrigé par O’Farrell 2000) Odds ratio 0.94 (0.89-0.99) versus 1.67 (1.25-2.24) ! Erreur de calcul : Millett 2008

24. Les questions essentielles en fonction du type d’étude Évaluation thérapeutique • L’attribution des traitements a t’elle été faite par tirage au sort • Tous les patients inclus dans l’essai sont-ils pris en compte dans l’analyse principale Étude diagnostique • Y a t’il comparaison à l’aveugle avec un outil diagnostique de référence • La population étudiée inclut-elle tous les types de sujets auxquels le test va s’appliquer

25. Les questions essentielles en fonction du type d’étude Étude de risque • Les groupes étudiés étaient-ils bien identifiés et comparables pour les autres déterminants du risque que celui étudié • L’exposition et le risque étaient-ils mesurés de la même façon dans les groupes comparés Étude pronostique • La population de patients est-elle bien définie • Le suivi est-il assez long et complet

26. Bibliographie Greenhalgh T. How to read a paper. Papers that summarise other papers (systematic reviews and meta-analyses. BMJ 1997 Oxman et coll. Users’guide to the medical literature: How to use an overview. JAMA 1994