1 / 15

Theory of Change-evaluatie: weten is m éé r dan meten

Theory of Change-evaluatie: weten is m éé r dan meten. Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam Lezing voor Workshop ‘Evaluatieonderzoek in praktijk’, d.d. 28-3-2013. Inhoud. Beperkingen klassiek evaluatieonderzoek Wat is “ Theory of change”-evaluatie?

garin
Download Presentation

Theory of Change-evaluatie: weten is m éé r dan meten

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Theory of Change-evaluatie: weten is méér dan meten Erik Snel Afdeling Sociologie Erasmus Universiteit Rotterdam Lezing voor Workshop ‘Evaluatieonderzoek in praktijk’, d.d. 28-3-2013

  2. Inhoud • Beperkingen klassiek evaluatieonderzoek • Wat is “Theory of change”-evaluatie? • TOC-evaluatie in vier stappen • Nogmaals het causaliteitsprobleem

  3. TOC-evaluatie als verantwoord en uitvoerbaar alternatief als controlegroep niet lukt… Programmadoelen vaak niet expliciet en onduidelijk Verschillende partijen hebben verschillende doelen, die vaak veranderen in loop der tijd Evaluatie vaak pas achteraf. Geen nul-meting Geen controlegroep (zeker bij buurtinterventies) “Real-life”-interventies: interveniërende factoren “Black box”: zelfs als we effect vaststellen, weten we niet waarom dit tot stand komt

  4. Wat is Theory-of-change-evaluatie? Programma’szijntheorieën Evaluatie is toetsen van theorieën Bron: Ray Pawson

  5. “Theory of change”-evaluatie The concept of grounding evaluation in theories of change takes for granted that social programs are based on explicit or implicit theories about how and why the program will work. The evaluation should surface those theories and lay them out in as fine detail as possible, identifying all the assumptions and sub-assumptions built into the program. The evaluators then construct methods for data collection and analysis that track the unfolding assumptions. The aim is to examine the extent to which program theories hold. (Weiss 1995)

  6. “Theory of change”-evaluatie • “..a theory of how and why an initiative works” (Carroll Weiss) • Veranderingstheorieën in en van de praktijk (vgl. ‘interventietheorie’ of ‘beleidstheorie’)

  7. “TOC”-evaluatie in vierstappen Evaluatie in vierstappen: • Reconstrueren “theory of change” • Onderbouwen “theory of change”: hoe plausibel? • Meten van activiteiten en bedoeldeuitkomsten • Analyseren en interpreteren van resultaten

  8. Reconstrueren veranderingstheorie Centrale vragen: • Wat zijn de doelen op korte, middellange en lange termijn? • “Backward mapping”: welke voorwaarden (‘conditions’) zijn nodig om doelen te bereiken? • Welke interventies moeten worden uitgevoerd om deze voorwaarden te bewerkstelligen?

  9. Reconstrueren veranderingstheorie “Backward mapping” “Forward mapping”

  10. Reconstrueren veranderingstheorie Waarom belangrijk? Kan planning en uitvoering van interventie aanscherpen: kijken alle neuzen in dezelfde richting? Stuurt dataverzameling van evaluatie: wat willen we precies weten? Expliciteren veranderingstheorie en daarover praten, geeft een eerste (maar niet laatste!) idee van beoogde causaliteit (“waarom denkt met door A te doen B te bereiken?”)

  11. Onderbouwenveranderingstheorie Goede veranderingstheorie is uitvoerbaar, meetbaar en plausibel Plausibel? Is er wetenschappelijk bewijs (of ‘common sense’ of praktijkervaring) dat geplande activiteiten tot gewenste uitkomsten leiden? Literatuurreview, interviews met experts: wat weten we over activiteiten en mogelijke effecten? Vgl. lezing Vasco Lub

  12. De effectmeting Benoem meetbare indicatoren van uitgevoerde activiteiten (‘output’) en van doelen op korte, middellange en lange termijn (‘outcome’) Verzamel relevante gegevens over diverse indicatoren (vooral over activiteiten en doelen op korte en middellange termijn) Doe dit liefst samen met betrokkenen!

  13. De effectmeting

  14. Analyse en interpretatie Relevante vragen • Treden in veranderingstheorie voorspelde effecten op? • Zo ja, in welke omstandigheden, bij wie en in welke mate? • Is dit definitief bewijs dat de veranderingstheorie correct is? • Nee, want geen test voor eventuele externe invloeden (controlegroep)

  15. Analyse en interpretatie Vier voorwaarden om te weten of interventie ‘werkt’ • Gespecificeerde en plausibele veranderings-theorie over hoe interventie tot doel leidt • Beoogde interventie (‘output’) adequaat uitgevoerd • Aantoonbare realisatie beoogde uitkomsten (‘outcomes’) op korte, middellange en lange termijn • Geen veranderingen in context die waargenomen effecten zouden kunnen verklaren • Maar geen absolute zekerheid!

More Related