Effectiviteit in Praktijkgericht Onderzoek Zijn er alternatieven voor RCT’s?

1. Effectiviteit in PraktijkgerichtOnderzoekZijneralternatievenvoor RCT’s? Symposium ‘Praktijkonderzoek in discussie, een pas op de plaats’ HvA/KringAndragologie (UvA)/ZonMw/NOSMO Hogeschool van Amsterdam, Muller-LulofsHuis 23 mei 2014 Em. prof. dr. Louis Tavecchio (UvA/HvA) l.w.c.tavecchio@uva.nll.w.c.tavecchio@hva.nl

2. Het Praktijkcircuit • Professionelepraktijk/hulpverleningstaatcentraal • Belang van professional is cliëntengoedtehelpen • Focus van professional is gericht op ‘zijn/haar’ cliënten/doelgroep en de daarinaanwezigevariëteit • Evaluatievormt vast onderdeel van dagelijksepraktijk, bijv. in het kader van individueelhulpverleningsplanbij casus X of Y of i.h.k.v. meeralgemenereflectie op handelen en optimalisering van aanpak (intervisie; casusbesprekingen)

3. Evidence-basedpractice en kwaliteitseisen aan praktijkgericht onderzoek • Deugdelijkheid data uit kwalitatief onderzoek vaak probleem • Twijfelachtige analyse en synthese • Hoe valide conclusies te trekken uit kwalitatieve data? • Alleen degelijke data mogen leiden tot (verdere toepassing van) resultaten in beleid en praktijk • Dan kan ‘evidence’ uit kwalitatief onderzoek grotere praktijkwaarde krijgen

4. Maar … • Evidence-basedpractice (EBP) is in de praktijk vaak verengd tot (gebruik van) resultaten uit effectiviteitonderzoek - kosteneffectiviteitanalyse (ROI; SROI) bij de selectie van interventies • De RCT staat aan de top van Geddes’ hiërarchie van effectonderzoek • Dit soort gerandomiseerde en gecontroleerde evaluatiestudies vooral mogelijk binnen kwantitatief-statistisch onderzoek en niet of nauwelijks bij onderzoek naar werk van professionals in zorg- en welzijn sector

6. Howe (2004) * • Echte ‘randomselectie’ in de praktijkvaaknietmogelijk • In feitegaat het om ‘aselectetoewijzing’ van personenaanexperimentele en controlecondities • De zgn. ‘zuivere’ (unbiased) schattingen van effectengelden in feitevoor de vrijwilligers die aan het onderzoekmeededen en daarnarandomwordenverdeeld over de groepen • Ookaselectetoewijzing is op grond van politieke, juridische of ethischeoverwegingen in de praktijkvaakonmogelijk * Howe, K. (2004). A Critique of Experimentalism. Qualitative Inquiry, 10 (1), 42-61. Bewijsvoeringbinnenpraktijkgerichtonderzoek

7. De lange en moeizameweg van (bio)medischonderzoeknaar de praktijk Bewijsvoeringbinnenpraktijkgerichtonderzoek

8. Wat is ertoch met al die data gebeurd …? Bewijsvoeringbinnenpraktijkgerichtonderzoek

9. Efficacy vs. Effectiveness • Efficacy: het getoetste effect van eeninterventieonderstriktgecontroleerde (‘laboratorium’) condities • Effectiveness: het getoetste effect van eeninterventieondermin of meer ‘normale’ omstandigheden (minder controle, real-time en in ‘karakteristieke’ context, populatie en condities) • Voor het verbeteren van professioneelhandelen is onderzoeknaar de effectiviteit van interventies in de alledaagsepraktijk (effectiveness) het meest relevant! • Brede programmaevaluatie. Het getoetste effect van eengecombineerde (gemengde) serieinterventies op groteresystemen en populaties. ‘Natuurlijkeexperimenten’ met minimalecontrole en maximalevariabiliteit (ziebijv. Multi-center opzet, volgende sheet) Bewijsvoeringbinnenpraktijkgerichtonderzoek

10. MethodologischeOplossingen en Alternatievenvoor RCT’s • Multi-center opzet: eendeel van de onderzochteinstellingen past interventie toe, de rest werkt met de traditionelemethodiek (Care as usual (CAU); Treatment as usual (TAU)) • Observationele studies (zieShrier et al., • 2007; Rawlins, 2008) • Triangulatie (ZieRPC model, volgende sheet) • Mixed methods (Combinatie van kwantitatief en kwalitatiefonderzoek) • Pragmatische trial, wordt in alledaagsepraktijkuitgevoerd

11. Categorie 1 en 2 van het Range of Possible Changes (RPC) Model (De Los Reyes & Kazdin, 2008) Bewijsvoeringbinnenpraktijkgerichtonderzoek

12. Evidence-basedPractice (EBP)

13. Practice-basedEvidence (PBE)

14. Waarom niet teveel verwachten van de universiteit • Ze publiceren bij voorkeur binnen het dominante paradigma (denk aan de te behalen ‘punten’ en de pijplijn) en bijnanooit over ‘negatieve’ resultaten • Ze schrijven (liever) niet in het Nederlands • Daardoor bereiken ze de professionals in de praktijk indirect en vaak veel later (pijplijn) • Ze zijn minder geïnteresseerd in (relatief) snelle oplossingen en hebben vaak niet de know-how met welke onderzoeksopzetten en –methoden je dan toch ‘valide’ en ‘betrouwbaar’ onderzoek kunt doen • In het universitaire curriculum is nauwelijksplaatsvoor ‘kwalitatievemethoden’, ‘mixed methods’ en ‘praktijkgericht’ onderzoek ‘

15. Literatuur • De Los Reyes, A., & Kazdin, A.E. (2008). When the evidence says, ‘Yes, no, and maybe so’. Attending to and interpreting inconsistent findings among evidence-based interventions. Current Directions in Psychological Science, 17 (1), 47-51. • Rawlins, M. (2008). De testimonio: on the evidence for decisions about the use of therapeutic interventions. Lancet, 372 (9656), 2152-2161. • Shrier, I., et al. (2007). Should Meta-Analyses of Interventions Include Observational Studies in Addition to Randomized Controlled Trials? A Critical Examination of Underlying Principles. American Journal of Epidemiology, 166 (10), 1203-1209. • Tavecchio, Louis & Gerrebrands, Martin (2012). Bewijsvoeringbinnenpraktijkgerichtonderzoek. Den Haag: Boom Lemma. • Tavecchio, L. (2014). Effectiviteit in praktijkgerichtonderzoek. Op zoeknaaralternatievenvoor de randomized controlled trail (RCT). Kwaliteit in Zorg(KiZ), nr. 2, 16-20. Bewijsvoeringbinnenpraktijkgerichtonderzoek

16. Shrier, I., et al. (2007)* Dedenonderzoeknaar het effect van het weglaten of toevoegen van observationele studies aan RCT-resultaten in meta-analyses. Zeconstateerden: “(…) including information from observational studies may improve the inference based on only randomized trials” en “(…) meta-analyses based on observational studies generally produceestimates of effect similar to those from meta-analyses based on randomized controlled trials”. Met anderewoorden, observationele studies doennietondervoor en kunnen even waardevolzijnals RCT’s en dienenduszekernietalstweederangs data tewordenbeschouwd! *American Journal of Epidemiology, 166 (10), 1203-1209. Bewijsvoeringbinnenpraktijkgerichtonderzoek