Hoe projecten evalueren
This presentation is the property of its rightful owner.
Sponsored Links
1 / 24

Hoe projecten evalueren? PowerPoint PPT Presentation


  • 157 Views
  • Uploaded on
  • Presentation posted in: General

Hoe projecten evalueren?. Valérie Pattyn Instituut voor de Overheid, K.U. Leuven. Week van de integrale veiligheid- 27 juni 2011. Focus presentatie. Wat is beleidsevaluatie (niet)? Waarom en wanneer evalueren? Anticiperen op een projectevaluatie: Randvoorwaarden voor evalueerbaarheid

Download Presentation

Hoe projecten evalueren?

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Hoe projecten evalueren

Hoe projecten evalueren?

Valérie Pattyn

Instituut voor de Overheid, K.U. Leuven

Week van de integrale veiligheid- 27 juni 2011


Hoe projecten evalueren

Focus presentatie

  • Wat is beleidsevaluatie (niet)?

  • Waarom en wanneer evalueren?

  • Anticiperen op een projectevaluatie: Randvoorwaarden voor evalueerbaarheid

    • Evaluatievragen en –criteria

    • Beleidstheorie

    • Monitoringinfrastructuur

    • Capaciteit/ Cultuur


Beleidsevaluatie enkele kenmerken

Beleidsevaluatie – enkele kenmerken

“Het bepalen van de meerwaarde (‘merit’) van datgene wat geëvalueerd wordt” (M. Scriven)

  • Informele versus formele evaluatie.

  • Gestructureerd/systematisch proces – Inzet methoden en technieken:

    • Evaluatievraag + Evaluatiecriterium

    • Data-verzameling

    • Data-analyse

    • Beoordeling


Evaluatie van beleid

Evaluatie van beleid

“Beleid” = ?

  • Maatregel

  • Pakket van maatregelen

  • Project (voorbeeld: Project aanpak fietsdiefstal)

  • Programma


Hoe projecten evalueren

Afbakening van beleidsevaluatie

Ten aanzien van andere functies ter ondersteuning van

beleid en beheer

(Widmer, 2005)


Hoe projecten evalueren

Waarom evalueren?

  • MOTIEVEN om beleid te evalueren:

  • Beleidsplanning ondersteunen

  • Verbeteren van de uitvoering van het beleid en bijdragen tot institutionele ontwikkeling van de betrokken organisaties

  • Het afleggen van verantwoording m.b.t. de resultaten van het beleid en de ingezette middelen

  • Beleidsleren: het antwoord op de vraag waarom en hoe beleid wel of niet geslaagd is

    “The purpose of an evaluation conditions the use that can be expected of it” (Chelimsky, 1997)


Hoe projecten evalueren

Wanneer evalueren?


Hoe projecten evalueren

Anticiperen op een projectevaluatie

Toetsing op evalueerbaarheid: “Evaluability Assessment”

  • Aandacht voor de organisatorische en inhoudelijke

    evalueerbaarheid van de evaluatievraag

  • “Is het mogelijk (cf. randvoorwaarden) om het beleid op te volgen en te evalueren (ex ante / tussentijds / ex post)?”

  • = bijzondere vorm van ex ante evaluatie

  • Opstart evaluatie? Ja/Neen

  • Scope evaluatie?


  • Randvoorwaarden evalueerbaarheid

    Randvoorwaarden evalueerbaarheid

    Consensus evaluatievragen/ evaluatiecriteria?

    Beleidstheorie?

    Betrouwbare en valide indicatoren?

    Evaluatiecapaciteit en -cultuur?


    1 consensus evaluatievragen criteria

    (1) Consensus evaluatievragen/Criteria

    • Consensus evaluatievragen tussen verschillende stakeholders?

    • Aard van vragen (beschrijvend; voorspellend..)?

    • Een goede evaluatievraag bevat slechts één evaluatiecriterium


    Hoe projecten evalueren

    Evaluatiecriteria


    2 beleidstheorie

    (2) Beleidstheorie

    • Explicitering beleidstheorie als vertrekpunt voor ‘scoping’ van de evaluatie.

    • Beleidstheorie?

      • Projectlogica

      • het geheel van assumpties die beleidsmakers volgen bij de uitwerking en uitvoering van een concreet beleidsinitiatief

      • Vaak impliciete redeneringen, niet uitgesproken.

        “Waarom dit project precies? Hoe denken we dat dit bepaald resultaat kan genereren in maatschappij?


    2 beleidstheorie1

    (2) Beleidstheorie

    • Een inhoudelijke beschrijving van het beleidsinitiatief en van de wijze waarop dit bepaalde doelstellingen zal bereiken of effecten zal genereren (“Hoe werkt het beleid?”) = “ Causaal Veranderingsmodel”

    • Een oordeel over wat er gedaan moet worden om deze doelstellingen te halen (“Wat moet er concreet gebeuren?”)

       beschrijvend én prescriptief (Chen, 2005)


    Hoe projecten evalueren

    Beleidstheorie-gedreven evaluatie

    • Beschrijvende assumpties:

      • Causale mechanismen ten grondslag van maatschappelijk probleem

      • Causale processen waardoor beleid werkt en de beoogde maatschappelijke verandering optreedt

      • Determinanten: relevante factoren waarop het beleid dient in te spelen om de gewenste effecten te bereiken

      • Veranderingsmodel achter het beleid


    Hoe projecten evalueren

    Beleidstheorie: Veranderingsmodel achter een projectinitiatief

    veranderingsmodel


    Hoe projecten evalueren

    Reconstructie beleidstheorie: Voorbeeld


    2 beleidstheorie2

    (2) Beleidstheorie

    • Solide redenering achter beleid verhoogt slaagkansen

    • Voorwerp van evaluatie (“is beleid goed doordacht?) én

    • Reconstructie beleidstheorie als vehikel tot uitzetten bakens evaluatie.

      • Aandacht voor determinanten waarop het beleid kan ingrijpen.

      • Aandacht voor mogelijke neveneffecten

      • Stuurt selectie van indicatoren voor monitoring en gepaste technieken voor dataverzameling


    3 monitoring en beleidsevaluatie

    (3) Monitoring en beleidsevaluatie

    • Relatie monitoring en beleidsevaluatie:

       Tandem

    • Belang van adequaat monitoringssysteem

    • Functie van indicatoren

      =Indicaties van realiteit

      =Kwantitatieve weergave van kwaliteit/kwantiteit van meetobject

      =Beschrijvend; niet verklarend!


    Stelregels bij opstellen indicatoren

    Stelregels bij opstellen indicatoren

    • Maak gebruik van beleidstheorie

    • Zoek naar bestaande meetpraktijken

    • Betrek stakeholders

    • SMART-principe:

      • Specificiteit: Indicator heeft 1 op 1 relatie met datgene wat gemeten wordt

      • Meetbaar

      • Afgesproken: consensus stakeholders

      • Relevantie

      • Tijdsgebonden (maar stabiel!)

    • Kosten-batenanalyse van de data-verzameling

    • Belang van nulmeting!

    • Betrouwbaarheid en validiteit


    Betrouwbaarheid

    Betrouwbaarheid

    • Garanties van de meting op het vlak van objectiviteit en reproduceerbaarheid

    • Maak steekkaart met meta-info over de indicator


    Hoe projecten evalueren

    Validiteit: “Meet men wat men wil meten?”

    • Valkuilen bij indicatorenontwikkeling

    Men meent onterecht dat de indicator het

    totale meetobject afdekt

    Te weinig aandacht voor moeilijker

    meetbare aspecten van het meetobject

    Reductie: men past het meetobject of

    concept aan de indicator aan, ipv omgekeerd


    Indicatoren soorten

    Indicatoren: soorten

    Cfr. Componenten in schema beleidscyclus

    • Input: Aantal ingezette politiepatrouilles; aantal manuren; Aantal aanwezigen op infosessies “woningbeveiliging”

    • Proces: “Doorlooptijden”

    • Output: aantal gesloten dealpanden; verwerkte PV’s; aantal aanvragen premies inbraakbeveiliging

    • Effect: minder druggebruik in bepaald stadsdeel; aantal mislukte pogingen tot inbraak

    • Impact: lange termijn. Blijvend effect? Veiligheidsgevoel bewoners

    • Efficiëntie: input/output.

    • Effectiviteit: effect/output.

    • Kosteneffectiviteit: effect/input


    4 evaluatiecapaciteit cultuur

    (4) Evaluatiecapaciteit/ Cultuur

    • Capaciteit:

      • Interne versus externe evaluatie

      • Relatieve kostprijs evaluatie i.f.v. projectkost

    • Evaluatiecultuur


    Meer informatie

    Meer informatie?

    Valérie Pattyn

    Instituut voor de Overheid

    [email protected]


  • Login