Expertise: la recherche des “évidences” & l’approche de Monte Carlo pour réaliser une expertise collégiale

1. Expertise: la recherche des “évidences” & l’approche de Monte Carlo pour réaliser une expertise collégiale ECOLE NATIONALE VETERINAIRE T O U L O U S E PL Toutain UMR 181 Physiopathologie et Toxicologie Expérimentales INRA/ENVT Toulouse, le 28 novembre 2008

2. Objectifs du cours • Rappeler ce qu’est un expert et l’expertise • Rappeler les 3 valences que doit réunir l’expert (connaissance, expérience et éthique) • Expliquer les spécificités de l’acquisition des connaissances pour servir l’expertise avec comme fil conducteur la Médecine Basée sur les Faits Prouvés • Présenter un outil utilisé pour réaliser une expertise collective: les simulations de Monte Carlo avec comme exemple d’application l’évaluation du risque des APE

3. Qu’est-ce qu’une expertise(norme AFNOR NFX-50-110) • Une expertise, est un « ensemble d'activités ayant pour objet de fournir à un client, en réponse à la question posée, une interprétation, un avis ou une recommandation, aussi objectivement fondé que possible, élaboré à partir des connaissances disponibles et de démonstrations accompagnées d'un jugement professionnel : les démonstrations incluent essais, analyses, inspections, simulations, etc. » • Nécessite une synthèse des connaissances à un moment donné • Un jugement professionnel ce qui implique de l’expérience

4. Avis & recommandations • Un avis, au sens de la norme AFNOR, est « une opinion résultant d'une analyse ou d'une évaluation, en réponse à la question posée et n'ayant pas force de décision, formulée par l'organisme d'expertise ». • Une recommandation, est « un avis émis par l'organisme d'expertise sur ce qu'il convient de faire ou de ne pas faire ».

5. Qu’est-ce qu’un expert • au sens de la norme AFNOR, « personne dont la compétence, l'indépendance et la probité lui valent d'être formellement reconnue apte à effectuer des travaux d'expertise ». • la compétence intègre des savoirs au sens large: • savoir (connaissance) • savoir-faire (expérience) • savoir-être (dimension éthique)

6. Types d’expertise(normes AFNOR) • Expertise individuelle : • « expertise réalisée par un seul expert sous sa propre responsabilité » • Expertise institutionnelle / Expertise collective : • « expertise conduite sous la responsabilité propre d'une institution, et réalisée par un ou plusieurs experts habilités par elle même, expertise réalisée par plusieurs experts appartenant à une même entité (organisme, entreprise…) » • Expertise collégiale : • « expertise réalisée par un collège d'experts choisis par chacune des parties clientes à une question déterminée ou par l'autorité compétente, l'expertise étant conduite sous la responsabilité collective des experts. L'un des experts est désigné pour coordonner l'expertise ».

7. Les différents types d’expertise Modèle judiciaire Modèle AFSSA Modèle médiatique Transfuge (notoriété dans un autre domaine) Emettent des avis Séparation fonctionnelle de l’appréciation du risque et de sa gestion Prescripteurs d’opinion Recommandations prise de décisions

8. Le modèle dominant actuel de l’expertise Doit être: • Collective • Contradictoire • Transparente

9. Les 3 valences à réunir pour être un expert Des connaissances validées: Données issues de la recherche et leurs niveaux de preuve Dogmatique Prise en compte de l’intérêt du bénéficiaire (patient, institution, société…) Valeurs, éthique, conflit d’intérêt… De l’expérience du domaine expert cynique Empirique

10. Ce qui n’est plus de l’expertise Tout avis ou toute recommandation n’est pas forcement le fruit d’une expertise JB affirme appliquer le principe de précaution en détruisant les instruments de recherche et de culture expérimentale Le tribunal de Montpellier en 2001 a estimé que « c’est à tort qu’ils invoquent à leur bénéfice un principe de précaution qu’ils mettent en échec par leurs agissements puisque l’une des exigences de ce principe est une obligation de recherche. » Différence entre croire et savoir L’expertise est fondée sur des faits prouvés (« evidences en anglais ») Notion de « junk science » ou science de caniveau

11. Expertise clinique & qualité des soins et âge du praticien Cliquer sur l’image pour accéder à l’article Ann Int Med 2005, 142 260-272

12. Les connaissances et l’expert

13. Connaissances & expérience Capital Expérience Connaissances Age

14. Le déclin des connaissances d’un médecin au cours du temps

15. Les connaissances et l’expert • Doivent refléter l’état de l’art à un moment donné • Valides et pertinentes • Nécessité pour l’expert d’entretenir ses connaissances (veille) et de s’approprier les nouvelles connaissances dans son domaine d’expertise • Obsolescence rapides de certaines connaissances • Ex: thérapeutique, épidémiologie…. • Surabondance des nouvelles connaissances • Difficulté pour un expert de s’approprier de façon critique certaines données et résultats issus de la recherche à partir de la littérature primaire • Ex: résultats d’un essai clinique contrôlé qui implique pour être jugé de façon critique d’avoir des connaissances en méthodologie statistique qu’une majorité de cliniciens n’ont pas

16. Les connaissances et l’expert doivent refléter l’état de l’art à un moment donné

17. Le capital connaissance de l’expert:les deux difficultés • La surabondance des informations • La capacité de l’expert à s’approprier des connaissances qui lui sont indispensables mais qui ont été générées dans des domaines qui ne relèvent plus de son expertise • essais cliniques pour la plupart des cliniciens

18. Comment se maintenir informer: Comment gérer le flot des informations L’expert clinicien ne peut pas suivre de façon prospective toute la littérature primaire pertinente de son domaine Il devra , pour l’essentiel, faire appel de façon rétrospective à des outils documentaires adaptés à son budget « temps »

19. Combien de temps consacrez-vous par semaine à lire des documents professionnels

20. Une équation pour décrire l’utilité d’une d’information • Une information médicale, pour être utile, doit réunir 3 conditions: • Être pertinente • Être valide • Ne pas demander trop de temps pour être trouvée et comprise • Être applicable

21. Comment s’approprier de façon critique et utile les données publiées Un premier exemple pour illustrer la nécessité de maîtriser certains concepts

22. Comment s’approprier de façon critique et utile les données publiées • Un premier exemple (inventé) pour illustrer une difficulté d’ordre conceptuelle • Le problème: Un confrère a utilisé une aiguille recyclée pour faire une injection IM à un cheval de grand prix; le cheval a développé un abcès au point d’injection et le propriétaire demande réparation; les assureurs du propriétaire et du confrère demandent un avis à leurs experts respectifs sur une éventuelle faute professionnelle afin de discuter de la répartition des dédommagements • Deux études ont été publiées sur ce sujet par des journaux de référenceet les deux experts vont fonder leurs conclusions sur ces deux mêmes études

23. Interprétation des données de la littérature par l’expert de l’assureur du propriétaire Conclusion: les aiguilles recyclées sont plus dangereuses que les aiguilles à usage unique et il y a eu faute professionnelle

24. Interprétation des données de la littérature par l’expert de l’assureur du confrère Conclusion: les aiguilles recyclées sont moins dangereuses que les aiguilles à usage unique et il n’y a pas faute professionnelle

25. Pour les explications, voir le paradoxe de Simpson(fréquent en pharmacovigilance) Divers AINS

26. Le paradoxe de Simpson • N’est pas un paradoxe mais un résultat surprenant et contre intuitif • Ce paradoxe correspond à l’inversion des conclusions selon que l’analyse porte individuellement sur chaque groupe ou sur l’ensemble des données qui ont été fusionnées en un seul groupe

27. Le paradoxe de Simpson • Pourquoi cette inversion: • Un pourcentage moyen n’est pas la moyenne des pourcentages! • 2 conditions pour rencontrer le paradoxe de Simpson • Des différences dans les taux dans les 2 essais considérés • Des groupes de taille différente • Conséquences: cela crée des déséquilibres (unbalanced data), l’un des essais pouvant avoir un impact disproportionné sur les résultats globaux

28. Conséquences du paradoxe de Simpson • L’analyse d’un essai clinique en formant, a posteriori, des sous groupes peut conduire à des biais de conclusions.

29. Comment s’approprier de façon critique et utile les données publiées Un second exemple pour illustrer la nécessité de maîtriser le vocabulaire scientifique et technique

30. Comment s’approprier de façon critique et utile les données publiées • « Comme analgésique, le butorphanol est de 4 à 8 fois plus puissant que la morphine, de 30 à 40 fois plus puissant que la mépéridine (pethidine) et de 16 à 24 fois plus puissant que la pentazocine »  • Cette donnée est valide Question: Un confrère a utilisé de la morphine pour gérer la douleur postopératoire chez un chat persan ayant subi une lourde intervention chirurgicale. Le propriétaire remet en cause le traitement en affirmant que le meilleur analgésique n’a pas été utilisé pour éviter des souffrances inutiles à son chat et il porte plainte contre son vétérinaire pour mauvais traitement à animal.

31. Comment s’approprier de façon critique et utile les données publiées Le butorphanol est 8 fois plus puissant que la morphine Question: quel sera votre avis d’expert sur la question de la supériorité clinique du butorphanol sur la morphine chez le chat

32. Confusion fréquente entre la notion de puissance d’un médicament et de son efficacité cliniqueCette confusion est soigneusement entretenue par les services marketing des firmes pharmaceutiques

33. Les 3 paramètres de structure d’une relation dose-effet Pente sensibilité ED50 Emax 1 1 1 Emax 1 2 raide 2 2 Emax 2 douce ED501 ED502 • Range of useful concentrations • Selectivity Efficacy Efficacité (powerful) Potency puissance

34. Effets comparés des différents analgésiques morphiniques • BUTORPHANOL • is a kappa agonist with moderate sedative effects capable of providing mild analgesia. • Often the sedation outlasts the analgesia. • Canine studies have failed to demonstrate analgesia past 45 minutes. Feline studies have failed to show analgesia past 90 minutes. In fact some studies have failed to show analgesia of any significance in dogs and cats. • research in cats failed to demonstrate a difference in the analgesic intensity or duration as the dose was increased from 0.1 mg/kg to 0.8 mg/kg. • A significant number of these healthy cats demonstrated dysphoria when butorphanol was used as a sole agent. •  MORPHINE • remains one of the most attractive opioid agents. It is the most cost-effective and versatile mu agonist. • At appropriate doses, morphine is a very useful feline analgesic.

35. Effets comparés des différents analgésiques morphiniques

36. Les 2 théorèmes de Kaplan • Théorème 1: • 50 % des problèmes dans le monde proviennent de gens qui utilisent le même mot pour parler de choses différentes • Théorème 2 : • Les 50% autres problèmes proviennent des gens qui utilisent des mots différents pour parler de la même chose • ex.: • danger vs risque • Analyse « per protocole » vs. « en intention de traiter » • Odd ratio (rapport de côte) vs. risque relatif Puissance n’est pas synonyme d’efficacité ni d’efficience

37. Vocabulaire français / anglais

38. La recherche et l’appropriation des faits prouvés « evidence »)

39. Médecine basée sur les preuves (Evidence Based Medicine ou EBM)

40. Evidence Based Medicine ou EBM • Traductions françaises de l’EBM • Médecine basée sur les preuves (terminologie de réseau francophone Cochrane) • Médecine fondée sur des preuves • Médecine fondée sur des faits prouvés • Médecine factuelle(Office de la langue française) • Médecine fondée sur des données probantes

41. « La médecine basée sur les preuves consiste en l’utilisation raisonnée, explicite et judicieuse des preuves scientifiques les plus robustes dans la décision des soins à donner à un patient particulier. La pratique de la médecine basée sur les preuves implique l’intégration de l’expertise clinique individuelle et des meilleures preuves externes issues de la recherche. » Médecine basée sur les preuves: définition (Sackett et al., 1996. Evidence based medicine: what it is and what it isn't.BMJ, 312: 71-2)

42. Les deux stratégies (voies) possibles pour résoudre une question clinique Voie traditionnelle Voie de l’EBM Le problème clinique Décision sur le diagnostic et le traitement Reformuler la question de façon appropriée Expertise, expérience, physiopathologie Analyse critique de l’info Chercher et obtenir l’information pertinente (preuves) et prête à l’emploi

43. Origine & justification de l’EBM C’est une réponse: • Aux pratiques usuelles • Trop souvent les décisions cliniques sont fondées sur la routine, sur ce qui a été transmis par compagnonnage ou doctement par une autorité plutôt que sur l’état de l’art • L’explosion de la quantité d’informations mise à la disposition des cliniciens • Les capacités d’un clinicien à s’approprier de façon critique les informations pour le bénéfice du patient

44. Critiques des pratiques médicales traditionnelles

45. Du charlatanisme à la médecine factuelle en passant par le compagnonnage & la pontification Je crois Je sais Je ne sais pas encore mais je vais apprendre Je vais faire croire

46. Les 5 étapes de la médecine factuelle • Formuler explicitement le problème clinique à résoudre dans l’intérêt du malade • Réaliser une revue de la littérature en ne retenant que les articles méthodologiquement non critiquables (validité de l’information) • Evaluer l’applicabilité des conclusions des publications (valeur de l’information) • Intégrer cette évaluation des preuves avec l’expérience clinique et les attentes du patient pour appliquer les résultats dans la pratique clinique • Évaluer la performance de l’application clinique des preuves

47. Les sources de documentation en pratique médicale • Documentation primaire • Livres, traités et ouvrages (« textbook ») • Périodiques : articles de recherche et de revue Littérature grise : thèses, brevets, comptes rendus de congrès, rapports de recherche • Documentation secondaire • ensemble des moyens d’accès, manuels ou informatisés, permettant de retrouver ces documents primaires

48. PubMed Interface utilisée pour interroger la base Medline

49. PubMed: les filtres

50. Limiter la recherche • Les filtres permettent de limiter la recherche de documents sur certains critères comme les essais cliniques ne portant que sur l’homme ou au contraire des essais portant sur l’animal; pour l’homme on peut sortir les essais portant spécifiquement sur une tranche d’âge, sur des essais publiés entre deux dates etc. • Pour appliquer ces limites, cliquez sur LIMITS