1 / 37

Welke lessen kunnen we trekken uit evaluaties...

Welke lessen kunnen we trekken uit evaluaties. ...met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC . Kort iets over het WODC. Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie www.wodc.nl

connor
Download Presentation

Welke lessen kunnen we trekken uit evaluaties...

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Welke lessen kunnen we trekken uit evaluaties... ...met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC

  2. Kort iets over het WODC • Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie • www.wodc.nl • Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma) • Meer dan de helft wordt door WODC weer uitbesteed • Ruim 100 werknemers • Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer reviewed) • Tijdschrift Justitiële Verkenningen (JV) • WODC-Infodesk: bijna 500 informatievragen • Jaarlijks enkele honderdduizenden unieke bezoeken website

  3. Wetgeving in Nederland • Vastleggen van instituties, bevoegdheden, geldstromen • Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit) • Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen) • De meeste wetten zijn complex van samenstelling • Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies... • Vaak meerdere normaddressaten • Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers • Bijv. Awgb, Wod, Wet Tweede Fase

  4. Voorbeeld van complexe wet: Wet Tweede Fase • Uiteenlopende instrumenten: • Vakkenprofielen • Nieuwe examenprogramma’s • Zelfstandig leren • Meer loopbaanoriëntatie, etc. • 3 doelen: • Modernisering onderwijsprogramma bovenbouw • Aansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren • Meer autonomie school in keuze werkvormen

  5. Wetgeving in Nederland: een paar cijfers Medio april 2014: • 1.958 wetten in werking • 2.257 AMVB’s • 5.278 Ministeriёle regelingen ‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)

  6. Waarom evalueren? • Complexe wetgeving & complexe praktijk • Leren(wat kan beter?) • Transparantie, verantwoording afleggen • Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter) • Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-verhalen’ • Andere (politieke) doelen: • Uitstel van besluitvorming – of juist doorduwen • ‘Munitie’ in het debat • Verdediging van gemaakte beleidskeuzes • ...

  7. Soorten evaluatie • Ex ante: toekomstgericht / beleidsvoorbereiding • Ex post: terugkijkend • Ex durante: gaandeweg (leren) • Procesevaluatie: proces van in (en uit-)voering • Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten • Monitoren: maatschappelijke (doel)indicatoren • Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen

  8. Effectiviteitsevaluatie: twee benaderingen • Campbell (Collaboration) De experimentele invalshoek. Watwerkt? • Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld • Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven? • Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997) • Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten? • Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat?  C-M-O heuristiek • Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)

  9. Experimenteel design à la Campbell Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep. T0eX T1e T0c … T1c

  10. CONTEXT • Factoren die de werking van de wet beïnvloeden • Bijv. kenmerken doelgroepen of economische factoren MECHANISMEN - (Beoogde) Keten van gedragsreacties - Langs welke schakels? Outcome Wet Realist evaluation (CMO): HOE werken wetten? .-

  11. Synthese wetsevaluaties (WODC, 2008) • Hoe staat het met de onderzoekstechnische kwaliteit van wetsevaluaties? • Wat leren we over de aard en werking van de geëvalueerde wetten? • Welke typen interventies bevatten wetten? • Doelbereiking/ effectiviteit? • Tussengelegen processen? • Invloeden vanuit de context?

  12. Nederlandse wetten: typen interventies • ‘Bestuursinstrumenten’: 80% (kaders, instructies) • Voorbeeld: Wet op de Basisvorming • Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven. • Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet • Financiёle prikkels: 10%. Vooral voor burgers en bedrijven • Voorbeeld:Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars

  13. Doelbereiking • 41 uit 58: ‘middelmatig’ • 11: relatief hoog • 6: relatief gering • Meeste doelbereiking in geval van: • Wetten die louter uitvoerders adresseren • Kwaliteit van proces van invoering en uitvoering/handhaving • Meer tijdsverloop tussen invoering en evaluatie • Ambitieniveau

  14. C-M-O in de evaluatiepraktijk ... • Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging) • Relatief veel over Uitkomsten (O) • ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep • Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering? • Gefragmenteerde informatie over Contexten (C)

  15. Beoogde werking in wetten • Institutionele mechanismen, gericht op organisaties met publieke taak • Zelfsturing, checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie • Sociale mechanismen, gericht op burgers en bedrijven • Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie

  16. Werkingsprocessen in werkelijkheid • Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed • De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011) • Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling) • Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden

  17. Voorbeeld: rechtshandhaving in theorie • Een afdwingbaar ge- of verbod (interventie) • bijv. met sancties (straf- /bestuursrechtelijk) • of via de civiele rechter • Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M) • En zo ongewenst gedrag voorkómen of terugdringen (O) • Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen

  18. Rechtshandhaving: de werkelijkheid • Sancties worden in de praktijk nauwelijks opgelegd  controle- en detectiekansen zijn klein • Preventieve werking is gefragmenteerd: hier wel, daar niet • Niettemin is veel naleving bereikt • Hoe dit laatste te verklaren?

  19. Werking in de praktijk: andere voorbeelden • WMCZ: erosie van bestaande medezeggenschapstructuren  ‘crowding out’ • Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s • Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met: • Consultatie • Inzet van toezichts- en handhavingsbevoegdheden • Nalevingsgerichte handhaving • Naleving

  20. Context • Omgevingscondities die het slagen of falen van wetten beïnvloeden Werkelijkheid: • Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen • Grote instellingen en bedrijven ’doen het beter’ • Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’

  21. Voorbeeld: Basisvorming • Bestuurlijke context • Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) • Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering • Schoolcontext • Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken • Individuele context • Kwaliteitsbewustzijn bij leraren maakt verschil

  22. Context in de praktijk op 3 niveaus • Macro: samenleving/economie, wetten & regels • Groei, afname, fusies • Aanpalende wetten en regels, EU-regelgeving • Meso: organisaties & netwerken • Omvang organisaties • ‘Bestuurscultuur’ • Micro: individuen, gevallen • Startniveau (bijv. nieuwkomers, scholieren, leraren) • Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf

  23. Context (het veld) uiterst divers, zo ook werking en doelbereiking Doel Wet/ interventie

  24. Aannames die zijn uitgedaagd • Wet = naleving • Wetten leiden tot Weten… • ...en Weten leidt tot Doen Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking • Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv. • Calculeren detectie-, pak- en sanctiekans • Zijn gevoelig voor financiële prikkels Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan • Regelgeving werkt overal op dezelfde manier / in dezelfde mate De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend

  25. Mechanismen van menselijk gedrag • ....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73) • Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future • Sociale druk, imitatie, groupthink, gewoonte • Verliesaversie • Angstreductie • Padafhankelijkheid, reductie van cognitieve dissonantie • Informatiereductie • Respect

  26. Naar Evidence Based wetgeving? Voor beleid & onderzoek • Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities? Voor beleid • Oog voor de (o.a. sociale, economische en capacitaire) context bij de keuze & implementatie van interventies • Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen • (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnes • Inzet en gebruik van ex ante onderzoek

  27. Ex ante onderzoek • Steeds meer aandacht voor effectief beleid • Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg) • Inmiddels vele toetsen • Kaders: RPE ( Rbv 2008) en IAK (2011) • Wetenschappelijke inzichten over (verplicht) ex ante onderzoek • Nederland • EU

  28. Uitvoerders

  29. Stadium van beleid & onderzochte alternatieven • Hoe verder de planvorming, hoe minder mogelijke doorwerking • Stadium niet exact te bepalen o.b.v. de rapporten • 85% vond plaats voorafgaand aan de besluitvorming • Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject • 15% na nemen besluit verricht • Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven • Gemiddeld zijn 3,4 alternatieven bestudeerd • Afhankelijk van opdrachtgever en uitvoerder • Na besluitvorming toch nog 1,8 opties

  30. Typen studies

  31. Uitgelicht: (M)KBA’s • Verschillende doelen en alternatieven samenbrengen in één analyse • Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten • In MKBA ook maatschappelijke kosten en baten verdisconteerd • Zo mogelijk in geld uitgedrukt (gemonetariseerd) • Uitmondend in een saldo • Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses)

  32. Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof • Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie) • Directe, indirecte en externe effecten vertaald naar kosten en baten • Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid • Indirect: o.a. uitstel van kinderopvanggebruik • Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode • Ervaringscijfers: literatuuronderzoek (buitenland) • Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode) • Conclusie: negatief maatschappelijk saldo • Bandbreedte wel groot • Effecten uitsplitsen naar actoren • Aanknopingspunten voor beleidsoptimalisatie

  33. Uitgelicht: Ex ante evaluaties van potentiële effectiviteit • Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden? • Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt? • In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses) • Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek • De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor • Beleidswetenschappelijke methode • ‘Arenamodel’

  34. Gebruik van ex ante onderzoek in de praktijk • Redelijke mate van kennisname door bijv. Kamerleden, bewindspersonen, het veld • Wisselende mate van standpuntbeïnvloeding/ discussie • Soms kwam de ex ante studie daarvoor te laat • Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen • (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: • Nieuwe minister, van een andere partij • Val van het kabinet-Rutte I

  35. Wat verklaart gebruik van ex ante onderzoek? • Besluitvormingscontext • Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek • Timing • Beleidscyclus ≠ looptijd onderzoek • Contact ‘opdrachtgever- opdrachtnemer’ • bijv. in begeleidingsscommissie of klankbordgroep • Evaluatiekwaliteit • Begrijpelijkheid en verspreiding

  36. Vragen • Eigen ervaringen / praktijken met ex ante en ex post evaluatie? • IAK? • Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan? • Wat voor (soort) vragen zouden dan vooral gesteld moeten worden? • Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg? • Wat zijn redenen om niettot evaluatie over te gaan?

  37. Contact c.m.klein@minvenj.nl 06 46891751

More Related