Methodologie van Clinical trials

1. Methodologie van Clinical trials Luc Smits PhD Capaciteitsgroep Epidemiologie, UM

2. Eerste clinical trial • James Lind: “A Treatise of the Scurvy in Three Parts” (1753) • Scurvy = scheurbuik • Zwellingen en bloedingen van het tandvlees en bloedingen aan de benen, fataal indien onbehandeld

3. Eerste clinical trial (2) • 12 patiënten, 6 experimentele behandelingen: • Cider • Zwavelzuurhoudend drankje • Azijn • Zeewater • Laxerend drankje • Sinaasappels en citroenen

4. Eerste clinical trial (3) • “The most sudden and visible good effects were perceived from the use of oranges and lemons, one of those who had taken them being at the end of six days fit for duty. The other was appointed nurse to the rest of the sick.”

5. Eerste clinical trial (4) • Eerste gerandomiseerde trial: 1948 • Eerste gerandomiseerde placebo-gecontroleerde trial: 1950 • Vanaf midden jaren ‘50: verdere ontwikkeling methodologie clinical trials

6. Inhoud presentatie • Validiteitsproblemen niet-experimenteel interventie-onderzoek • Medicijn X en buikpijn • Randomisatie • Blindering • “Intention to treat” principe • Samenvatting resultaten • Precisie: p-waarde of betrouwbaarheidsinterval? • Interim analyse

7. Gerandomiseerde clinical trial (RCT) • Trial = experiment • Ondervangt validiteitsproblemen van niet-experimenteel (“observationeel”) onderzoek naar het effect van interventies •  geeft best mogelijke evidence

8. Validiteitsproblemen bij niet-experimenteel onderzoek VOORBEELD: Medicijn X en Buikpijn Vraagstelling: Wat is het effect van X (eenmalig toegediend) bij patiënten met buikpijn op de pijnklachten, 4 uur na toediening?

9. Voorbeeld: Medicijn X en buikpijn Observationele studie, N=40 • 20 patiënten met buikpijn kregen X • Aan 20 andere patiënten met buikpijn werd geen medicijn gegeven • X: Bij 15 patiënten was buikpijn binnen 4 uur weg • Geen X: Bij 10 patiënten was buikpijn binnen 4 uur weg

10. Voorbeeld: Medicijn X en buikpijn (2) DUS… X werkzaam tegen buikpijn…!?

11. Voorbeeld: Medicijn X en buikpijn (3) Verantwoordelijk voor waargenomen beloop (wb): • Natuurlijk beloop (nb) • Externe factoren (ef) • Jomanda-effect (placebo-effect) • Gedragsverandering naast medicatie (“advies: rustig aan doen”) • Waarnemingsfout (wf) • Patiënt • Arts • Farmacologisch effect van X (fe)

12. Voorbeeld: Medicijn X en buikpijn (4) Medicijngroep: wbx = nbx + efx + wfx + fex Controlegroep: wbc= nbc + efc + wfc wbx - wbc = (nbx – nbc) + (efx - efc) + (wfx - wfc) + fex We zijn geïnteresseerd in : wbx - wbc = fex

13. Voorbeeld: Medicijn X en buikpijn (5) Dan moet gelden dat (nbx – nbc) + (efx - efc) + (wfx - wfc) = 0 • Aan voldaan als: nbx = nbc efx = efc wfx = wfc

14. Voorbeeld: Medicijn X en buikpijn (6) Natuurlijk beloop vergelijkbaar? nbx = nbc ? • Verschillende indicatie  verschillend natuurlijk beloop (“confounding by indication”)

15. Voorbeeld: Medicijn X en buikpijn (7) Externe factoren vergelijkbaar? efx = efc ? • Verschil in placebo-effect (bij X mogelijk wel placebo-effect, bij C niet) • Verschil in gedragsverandering/advies

16. Voorbeeld: Medicijn X en buikpijn (8) Waarnemingsfout vergelijkbaar? vwx = vwc? • Patiënt informeert sociaal wenselijk/onjuist • Waarneming arts gekleurd

17. Randomisatie • Doel: Vergelijkbaarheid van natuurlijk beloop / prognose • Randomisatie moet ‘blind’ gebeuren! • Onjuist: • Geboortedatum/maand/jaar • Volgorde van binnenkomst • Doos met enveloppes

18. Randomisatie (2) • Na randomisatie kunnen er nog verschillen tussen groepen zijn mbt bepaalde prognostische factoren  lastig! • 2 meningen: • Niets mee doen, dit is (per definitie) random variatie, en zit vervat in betrouwbaarheidsintervallen • Corrigeren middels multivariate technieken  misschien juist introductie van bias?

19. Blindering • “Blind”: niet op hoogte wie welke behandeling krijgt • Wie blinderen? • Patiënten • Behandelaar(s) • Meter(s) van de gezondheidsuitkomst • Data-analyst

20. Blindering (2) • Blinderen patiënten • Behandelingen uiterlijk hetzelfde maken (bijv. d.m.v. placebo-medicijn) • Doelen: • Vergelijkbaar maken van placebo-effect • Vergelijkbaar maken van gedragsveranderingen gerelateerd aan behandeling • Vergelijkbaar maken van waarnemingsfouten

21. Blindering (3) • Blinderen behandelaar(s) • Behandelingen uiterlijk hetzelfde maken (bijv. d.m.v. placebo-medicijn) • Doelen: • Vergelijkbaar maken van gedragsadviezen / co-interventies gerelateerd aan behandeling • Vergelijkbaar maken van waarnemingsfouten

22. Blindering (4) • Blinderen meter(s) van gezondheidsuitkomst • Behandelingen uiterlijk hetzelfde maken of geen informatie verstrekken over behandeling • Doel: • Vergelijkbaar maken van waarnemingsfouten • Deze soort blindering niet altijd nodig! Bijv. bij harde uitkomstmaat zoals overlijden

23. Blindering (5) • Blinderen data-analyst • Behandeling coderen, bijv. als ‘0’ of ‘1’. • Doel: • Vergelijkbaar maken van ‘waarnemings’fouten • Bijv. bij interim-analyse (zie later)

24. ‘Intention to treat’ principe • Drop-outs en patiënten die stoppen met de behandeling: • Relatief gezonden • Relatief zieken • Excluderen uit de analyse? NEE want balans in risk profiel (door randomisatie) wordt zo verstoord

25. ‘Intention to treat’ principe (2) • ITT principe: Wat er ook gebeurt (stoppen medewerking, stoppen medicatie, verhuizen), patiënt blijft meegeteld worden binnen toegewezen behandelingsgroep

26. ‘Intention to treat’ principe (3) • Er moet wel minimaal 1 outcome-meting zijn • Soms te achterhalen via bevolkingsregisters (overlijden) of andere ziekenhuizen • ‘Last observation carried forward’

27. ‘Intention to treat’ principe (3) ITT analyse  ‘Per-protocol’ analyse • Alleen events worden beschouwd die optraden voor stoppen van de behandeling • Geeft vaak een te optimistisch beeld • Geeft beeld van interventie onder “perfecte omstandigheden”

28. Beschrijving van de resultaten • Illustratie a.d.h.v. dichotome (0/1) uitkomstmaat: buikpijn Totaal Buikpijn verdwenen % Medicijn X 20 15 75% Placebo 20 10 50% RR = 75% / 50% = 1.5 RD = 75% - 50% = 25% NNT = 1/RD = 1/0.25 = 4

29. Precisie • Validiteit vs. precisie • Betrouwbaarheidsinterval: kwantificeert (im)precisie van een schatting • Conventioneel: 95%-betrouwbaarheidsinterval

30. Precisie (2) Betekenis 95%-betrouwbaarheidsinterval (95%-BI) Niet: 95% van de waarnemingen valt hierbinnen Praktische interpretatie: Werkelijke waarde ligt met 95% zekerheid in dit interval Smal interval – precieze schatting Breed interval – onbetrouwbare schatting

31. Precisie (3) Kans op remissie Medicijn X: 75% [53-89%] Placebo: 50% [30-70%] RR 1.5 [0.9-2.5] RD 25% [-4-54%]

32. Precisie (4) Schatting + BI versus p-waarde RD=25% [-4 - 54%] p=0.10 • P-waarde: refereert naar toetsing van H0 (nulhypothese): “er is geen verschil” • Zegt niets over sterkte van het effect • Klinische praktijk: “Hoe effectief” belangrijker dan “Of effectief”

33. Precisie (5) Klinische significantie vs Statistische significantie 40.000 pt met buikpijn remissie 20.000: X 75% 51% 20.000: placebo 50% 50% p<0.0000001 p<0.05 • Laat je niet misleiden door een lage p-waarde!! • Omgekeerd: een hoge p-waarde bewijst niet per se afwezigheid van effect, bij kleine studie is er gewoon te weinig evidence

34. Interim analyse • Analyse van resultaten voordat beoogde aantal patiënten is bereikt • RCT’s met lange follow-up • Doel: identificeren onverwacht sterke gunstige effecten / schadelijke bijwerkingen • Meerdere momenten, vooraf gespecificeerd • Uitvoerder: NIET onderzoeker maar onafhankelijk Data Monitoring Committee (DMC)

35. Interim analyse (2) • Op basis van interim-analyse: beslissing stoppen / doorgaan met trial • ‘Stopping rule’ • interim data suggereren effect in de buurt van aan te tonen minimaal klinisch relevant effect (Erel) --> DOORGAAN • effect >>> Erel --> STOPPEN, verder randomiseren ethisch onverantwoord • ongunstige bijwerkingen, geen effect --> STOPPEN

36. Interim analyse (3) • Stopping rule: niet heilig • niet alle mogelijkheden voorzienbaar • andere argumenten spelen ook rol (eerdere kennis, voortschrijdende kennis, statistische, medische en ethische argumenten)

37. Interim analyse (4) • Pitfalls • te vroeg stoppen • extreme verschillen bij een kleine N: ongeloofwaardig • liever even doorgaan om te kijken of trend zich voortzet • ‘multiple comparisons’ • bij vaak vergelijken kans op onterechte bevinding groot • eisen aan precisie strenger

38. James Lind • Geen randomisatie • Geen blindering • patiënten • behandelaar • effectmaat • Precisie???

39. Toch twijfelt niemand meer aan de werkzaamheid van citrusvruchten tegen scheurbuik... • HOE KAN DAT??? • …toch niet zo’n slechte trial?

40. Lind heeft geluk gehad want: • Effect was zeer sterk • Overige behandelingsmethoden waren schadelijk • Placebo-effect was verwaarloosbaar (ernstige aandoening) Daarnaast: • Publicatiebias • ‘History’ bias

41. Voornaamste bron: Hofman A. Grobbee DE, Lubsen J, m.m.v. Tijssen JCP, Verbeek ALM. Klinische epidemiologie (hoofdstuk 5, therapie), Utrecht: Wetenschappelijke uitgeverij Bunge, 1996.(tevens aanbevolen literatuur).

42. Dank voor jullie aandacht!