Welke lessen kunnen we trekken uit evaluaties
This presentation is the property of its rightful owner.
Sponsored Links
1 / 37

Welke lessen kunnen we trekken uit evaluaties... PowerPoint PPT Presentation


  • 73 Views
  • Uploaded on
  • Presentation posted in: General

Welke lessen kunnen we trekken uit evaluaties. ...met het oog op effectieve wet- en regelgeving? Carolien Klein Haarhuis WODC . Kort iets over het WODC. Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie www.wodc.nl

Download Presentation

Welke lessen kunnen we trekken uit evaluaties...

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Welke lessen kunnen we trekken uit evaluaties

Welke lessen kunnen we trekken uit evaluaties...

...met het oog op effectieve wet- en regelgeving?

Carolien Klein Haarhuis

WODC


Kort iets over het wodc

Kort iets over het WODC

  • Wetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie

  • www.wodc.nl

    • Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma)

      • Meer dan de helft wordt door WODC weer uitbesteed

  • Ruim 100 werknemers

  • Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer reviewed)

  • Tijdschrift Justitiële Verkenningen (JV)

  • WODC-Infodesk: bijna 500 informatievragen

  • Jaarlijks enkele honderdduizenden unieke bezoeken website


  • Wetgeving in nederland

    Wetgeving in Nederland

    • Vastleggen van instituties, bevoegdheden, geldstromen

    • Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid, proportionaliteit)

    • Instrumentele doelen (bijv. meer aanbod van donororganen bewerkstelligen)

    • De meeste wetten zijn complex van samenstelling

      • Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete verplichtingen/verboden, sancties, kaders, subsidies...

  • Vaak meerdere normaddressaten

    • Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers

    • Bijv. Awgb, Wod, Wet Tweede Fase


  • Voorbeeld van complexe wet wet tweede fase

    Voorbeeld van complexe wet: Wet Tweede Fase

    • Uiteenlopende instrumenten:

      • Vakkenprofielen

      • Nieuwe examenprogramma’s

      • Zelfstandig leren

      • Meer loopbaanoriëntatie, etc.

    • 3 doelen:

      • Modernisering onderwijsprogramma bovenbouw

      • Aansluiting Middelbaar (HAVO / VWO) met Hoger Onderwijs verbeteren

      • Meer autonomie school in keuze werkvormen


    Wetgeving in nederland een paar cijfers

    Wetgeving in Nederland: een paar cijfers

    Medio april 2014:

    • 1.958 wetten in werking

    • 2.257 AMVB’s

    • 5.278 Ministeriёle regelingen

      ‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)


    Waarom evalueren

    Waarom evalueren?

    • Complexe wetgeving & complexe praktijk

    • Leren(wat kan beter?)

    • Transparantie, verantwoording afleggen

    • Wet van de afnemende meeropbrengsten van beleid / wetgeving (meer van hetzelfde is niet altijd beter)

    • Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-verhalen’

    • Andere (politieke) doelen:

    • Uitstel van besluitvorming – of juist doorduwen

    • ‘Munitie’ in het debat

    • Verdediging van gemaakte beleidskeuzes

    • ...


    Soorten evaluatie

    Soorten evaluatie

    • Ex ante: toekomstgericht / beleidsvoorbereiding

    • Ex post: terugkijkend

    • Ex durante: gaandeweg (leren)

    • Procesevaluatie: proces van in (en uit-)voering

    • Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten

    • Monitoren: maatschappelijke (doel)indicatoren

    • Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen


    Effectiviteitsevaluatie twee benaderingen

    Effectiviteitsevaluatie: twee benaderingen

    • Campbell (Collaboration) De experimentele invalshoek. Watwerkt?

      • Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld

      • Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven?

  • Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997)

    • Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten?

    • Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat?  C-M-O heuristiek

    • Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)


  • Experimenteel design la campbell

    Experimenteel design à la Campbell

    Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep.

    T0eX T1e

    T0c … T1c


    Realist evaluation cmo hoe werken wetten

    CONTEXT

    • Factoren die de werking van de wet beïnvloeden

    • Bijv. kenmerken doelgroepen of economische factoren

    MECHANISMEN

    - (Beoogde) Keten van gedragsreacties

    - Langs welke schakels?

    Outcome

    Wet

    Realist evaluation (CMO): HOE werken wetten?

    .-


    Synthese wetsevaluaties wodc 2008

    Synthese wetsevaluaties (WODC, 2008)

    • Hoe staat het met de onderzoekstechnische kwaliteit van wetsevaluaties?

    • Wat leren we over de aard en werking van de geëvalueerde

      wetten?

    • Welke typen interventies bevatten wetten?

    • Doelbereiking/ effectiviteit?

    • Tussengelegen processen?

    • Invloeden vanuit de context?


    Nederlandse wetten typen interventies

    Nederlandse wetten: typen interventies

    • ‘Bestuursinstrumenten’: 80% (kaders, instructies)

      • Voorbeeld: Wet op de Basisvorming

    • Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven.

      • Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet

    • Financiёle prikkels: 10%. Vooral voor burgers en bedrijven

      • Voorbeeld:Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars


    Doelbereiking

    Doelbereiking

    • 41 uit 58: ‘middelmatig’

    • 11: relatief hoog

    • 6: relatief gering

    • Meeste doelbereiking in geval van:

    • Wetten die louter uitvoerders adresseren

    • Kwaliteit van proces van invoering en uitvoering/handhaving

    • Meer tijdsverloop tussen invoering en evaluatie

    • Ambitieniveau


    C m o in de evaluatiepraktijk

    C-M-O in de evaluatiepraktijk ...

    • Veel beschrijvingen van het implementatieproces (de invoering en deels de tenuitvoerlegging)

    • Relatief veel over Uitkomsten (O)

    • ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep

      • Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering?

    • Gefragmenteerde informatie over Contexten (C)


    Beoogde werking in wetten

    Beoogde werking in wetten

    • Institutionele mechanismen, gericht op organisaties met publieke taak

    • Zelfsturing, checks and balances, integrale aanpak, regierol, organisatorische ingrepen, versobering en transparantie

    • Sociale mechanismen, gericht op burgers en bedrijven

    • Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie


    Werkingsprocessen in werkelijkheid

    Werkingsprocessen in werkelijkheid

    • Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed

    • De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011)

      • Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling)

  • Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden


  • Voorbeeld rechtshandhaving i n theorie

    Voorbeeld: rechtshandhaving in theorie

    • Een afdwingbaar ge- of verbod (interventie)

      • bijv. met sancties (straf- /bestuursrechtelijk)

      • of via de civiele rechter

  • Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M)

  • En zo ongewenst gedrag voorkómen of terugdringen (O)

  • Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen


  • Rechtshandhaving de werkelijkheid

    Rechtshandhaving: de werkelijkheid

    • Sancties worden in de praktijk nauwelijks opgelegd  controle- en detectiekansen zijn klein

    • Preventieve werking is gefragmenteerd: hier wel, daar niet

    • Niettemin is veel naleving bereikt

    • Hoe dit laatste te verklaren?


    Werking in de praktijk andere voorbeelden

    Werking in de praktijk: andere voorbeelden

    • WMCZ: erosie van bestaande medezeggenschapstructuren  ‘crowding out’

    • Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s

    • Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met:

      • Consultatie

      • Inzet van toezichts- en handhavingsbevoegdheden

      • Nalevingsgerichte handhaving

      • Naleving


    Context

    Context

    • Omgevingscondities die het slagen of falen van wetten beïnvloeden

      Werkelijkheid:

    • Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen

    • Grote instellingen en bedrijven ’doen het beter’

    • Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’


    Voorbeeld basisvorming

    Voorbeeld: Basisvorming

    • Bestuurlijke context

    • Andere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis)

    • Schoolbesturen en leraren zijn overbelast, er is (te) weinig capaciteit voor uitvoering

    • Schoolcontext

    • Verschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken

    • Individuele context

    • Kwaliteitsbewustzijn bij leraren maakt verschil


    Context in de praktijk op 3 niveaus

    Context in de praktijk op 3 niveaus

    • Macro: samenleving/economie, wetten & regels

      • Groei, afname, fusies

      • Aanpalende wetten en regels, EU-regelgeving

    • Meso: organisaties & netwerken

      • Omvang organisaties

      • ‘Bestuurscultuur’

    • Micro: individuen, gevallen

      • Startniveau (bijv. nieuwkomers, scholieren, leraren)

      • Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf


    Context het veld uiterst divers zo ook werking en doelbereiking

    Context (het veld) uiterst divers, zo ook werking en doelbereiking

    Doel

    Wet/ interventie


    Aannames die zijn uitgedaagd

    Aannames die zijn uitgedaagd

    • Wet = naleving

      • Wetten leiden tot Weten…

      • ...en Weten leidt tot Doen

        Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking

    • Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv.

      • Calculeren detectie-, pak- en sanctiekans

      • Zijn gevoelig voor financiële prikkels

        Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan

  • Regelgeving werkt overal op dezelfde manier / in dezelfde mate

    De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend


  • Mechanismen van menselijk gedrag

    Mechanismen van menselijk gedrag

    • ....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73)

    • Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future

    • Sociale druk, imitatie, groupthink, gewoonte

    • Verliesaversie

    • Angstreductie

    • Padafhankelijkheid, reductie van cognitieve dissonantie

    • Informatiereductie

    • Respect


    Naar evidence based wetgeving

    Naar Evidence Based wetgeving?

    Voor beleid & onderzoek

    • Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en onder welke condities?

      Voor beleid

    • Oog voor de (o.a. sociale, economische en capacitaire) context bij de keuze & implementatie van interventies

    • Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag doelgroepen

      • (in de VS:) vereenvoudiging van (communicatie van) regels, ‘default’ regels, aanhaken op saillante voorbeelden in campagnes

    • Inzet en gebruik van ex ante onderzoek


    Ex ante onderzoek

    Ex ante onderzoek

    • Steeds meer aandacht voor effectief beleid

    • Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet goed genoeg)

    • Inmiddels vele toetsen

    • Kaders: RPE ( Rbv 2008) en IAK (2011)

    • Wetenschappelijke inzichten over (verplicht) ex ante onderzoek

      • Nederland

      • EU


    Uitvoerders

    Uitvoerders


    Stadium van beleid onderzochte alternatieven

    Stadium van beleid & onderzochte alternatieven

    • Hoe verder de planvorming, hoe minder mogelijke doorwerking

      • Stadium niet exact te bepalen o.b.v. de rapporten

  • 85% vond plaats voorafgaand aan de besluitvorming

    • Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het ontwikkelingstraject

  • 15% na nemen besluit verricht

    • Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven

  • Gemiddeld zijn 3,4 alternatieven bestudeerd

    • Afhankelijk van opdrachtgever en uitvoerder

    • Na besluitvorming toch nog 1,8 opties


  • Typen studies

    Typen studies


    Uitgelicht m kba s

    Uitgelicht: (M)KBA’s

    • Verschillende doelen en alternatieven samenbrengen in één analyse

    • Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten

    • In MKBA ook maatschappelijke kosten en baten verdisconteerd

    • Zo mogelijk in geld uitgedrukt (gemonetariseerd)

    • Uitmondend in een saldo

    • Bandbreedte rond dit saldo afhankelijk van scenario (gevoeligheidsanalyses)


    Voorbeeld mkba langer zwangerschaps en bevallingsverlof

    Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof

    • Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken (huidige situatie)

    • Directe, indirecte en externe effecten vertaald naar kosten en baten

      • Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid

      • Indirect: o.a. uitstel van kinderopvanggebruik

      • Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode

  • Ervaringscijfers: literatuuronderzoek (buitenland)

    • Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode)

  • Conclusie: negatief maatschappelijk saldo

    • Bandbreedte wel groot

  • Effecten uitsplitsen naar actoren

    • Aanknopingspunten voor beleidsoptimalisatie


  • Uitgelicht ex ante evaluaties van potenti le effectiviteit

    Uitgelicht: Ex ante evaluaties van potentiële effectiviteit

    • Kan het doel met voorziene instrumentarium cq. alternatieven bereikt worden?

      • Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt?

      • In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses)

      • Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek

  • De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor

    • Beleidswetenschappelijke methode

    • ‘Arenamodel’


  • Gebruik van ex ante onderzoek in de praktijk

    Gebruik van ex ante onderzoek in de praktijk

    • Redelijke mate van kennisname door bijv. Kamerleden, bewindspersonen, het veld

    • Wisselende mate van standpuntbeïnvloeding/ discussie

      • Soms kwam de ex ante studie daarvoor te laat

      • Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel het SP- als het VVD-standpunt te onderbouwen

    • (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van:

      • Nieuwe minister, van een andere partij

      • Val van het kabinet-Rutte I


    Wat verklaart gebruik van ex ante onderzoek

    Wat verklaart gebruik van ex ante onderzoek?

    • Besluitvormingscontext

      • Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek

  • Timing

    • Beleidscyclus ≠ looptijd onderzoek

  • Contact ‘opdrachtgever- opdrachtnemer’

    • bijv. in begeleidingsscommissie of klankbordgroep

  • Evaluatiekwaliteit

  • Begrijpelijkheid en verspreiding


  • Vragen

    Vragen

    • Eigen ervaringen / praktijken met ex ante en ex post evaluatie?

      • IAK?

  • Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan?

    • Wat voor (soort) vragen zouden dan vooral gesteld moeten worden?

    • Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg?

  • Wat zijn redenen om niettot evaluatie over te gaan?


  • Contact

    Contact

    [email protected]

    06 46891751


  • Login