Workshops pilootbesturen BBC 2011

1. Workshops pilootbesturen BBC2011 Workshop 3 Beleidsevaluatie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

2. Inhoud workshop • Inleidende toelichting • Terugkijken vorige fasen • Pauze • Beleidsevaluatie • Lunch • Aan de slag Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

3. Terugkijken op de vorigefasen Beleidsplanning Beleidsmonitoring Doelstellingen/AP/acties Prioritair Indicatoren beheersbaarheid Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

4. Wat is beleidsevaluatie? Beleidsevaluatie is een wetenschappelijke analyse van een bepaald beleid (of deelveld van beleid), dat op basis van criteria wordt beoordeeld en op grond waarvan aanbevelingen worden geformuleerd. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

5. Waarombeleidsevaluatie? • Oefening 1: • Omwille van welke reden(en) zou u uw eigen beleid willen evalueren? Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

6. Motieven van beleidsevaluatie Duiding: wetenschappelijke insteek = willen begrijpen Verantwoording: kritische insteek = legitimiteit aantonen Beleidsleren: toegevoegde waarde insteek = oordeel over het beleid ifv kennis of bijsturing Beleidsontwikkeling: insteek van de voorbereiding = beoordeling in de omgevingsanalyse 2de golf motieven: de andere insteek = niet-evaluatieve motieven. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

7. HOE? Met statistiek kan je alles bewijzen… Nature Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

8. Kwantitatieve school Experimenteel Statistisch Vertrekt vanuit een causale hypothese Realiteit naar labo Causale sprong Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

9. Bijnaonmogelijk • Oefening twee: • Welke problemen ziet u indien u dit op uw beleid toepast? Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

10. Problemen met de kwantitatieve school • Technisch: • Meetbaar? • Oncontroleerbaar? • Standaardisatie? • Hypothese • Administratief • Conflicten met beleidsuitvoering • Povere monitoring • Indicatoren worden doelen • Onvoldoende beleidscontextkennis Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

11. Alternatief? De kwalitatieve school Beleidstheorie-evaluatie Realist evaluatie Case-study evaluatie Impact evaluatie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

12. Beleidstheorie-evaluatie Duiden of het gaat over een eventuele defecte beleidstheorie of een eventuele gebrekkige uitvoering, of, eventueel, beide Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

13. Realist evaluatie Kritisch realisme Op zoek naar de intrinsieke kenmerken van objecten Diehard casuaal Erg moeilijk Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

14. Case-study evaluatie Verklaart hoe en waarom een bepaald beleid (niet) gewerkt heeft. Inzicht via verklaring Beoordeling via inzicht Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

15. Impact evaluatie Ex ante Sociaal – economisch – milieu – wet Via vergelijkbare situaties Wat met pioniers? Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

16. Dus…? Toegankelijk Passend in filosofie BP/BM Robuust en betrouwbaar === beleidstheorie-evaluatie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

17. BBC en evaluatie • Filosofie: • sturen op output impliceert beleidsevaluatie ter ondersteuning van de beleidscyclus • Beleidsrapporten ter ondersteuning van twee bevoegdheden: • autorisatie en bewaking • bepalen en evalueren van beleid Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

18. BBC Artikel 30 besluit De jaarrekening bestaat uit: 1. de beleidsnota 2. de financiële nota 3. de samenvatting van de algemene rekeningen De beleidsnota van de jaarrekening bevat: 1. de doelstellingenrealisatie 2. de doelstellingenrekening 3. de financiële toestand Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

19. BBC Artikel 33 besluit De doelstellingenrealisatie verwoordt het beleid dat het bestuur gedurende het financiële boekjaar heeft gevoerd. […] bevat minstens: 1. per prioritaire beleidsdoelstelling, opgenomen in het budget, een omschrijving van de mate van realisatie van het beoogde resultaat of eventueel van het beoogde effect; 2. per prioritaire beleidsdoelstelling als vermeld in 1, de mate van realisatie van de actieplannen; 3. per actieplan als vermeld in 2, de mate van realisatie van de acties; 4. per actieplan als vermeld in 2, een overzicht van de ontvangsten en uitgaven van het financiële boekjaar in kwestie. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

20. BBC Artikel 33 verslag In de doelstellingenrealisatie wordt het gevoerde beleid geëvalueerd aan de hand van drie kernvragen: - wat hebben we bereikt? In welke mate werd, per prioritaire doelstelling opgenomen in het budget, het beoogde resultaat of eventueel het beoogde effect gerealiseerd? - wat hebben we hiervoor gedaan? In welke mate werden de actieplannen en acties die op het financiële boekjaar betrekking hebben gerealiseerd? - wat zijn de ontvangsten en uitgaven van het betrokken actieplan gedurende financiële boekjaar? Net zoals in de planningsfase gebeurt de financiële vertaling van de actieplannen in de evaluatiefase op kasbasis Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

21. BBC: dus….. • Effectiviteitstoets = legitimiteit/verantwoording • Vertrekken vanuit de planning • Beleidstheorie-evaluatie • Perspectief van de beleidsuitvoering als vertrekpunt, perspectief van de beleidstheorie als impliciete/expliciete conclusie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

22. BBC: waar? artikel 33 van het verslag verwijst naar het verslag bij de jaarrekening van het college, de deputatie of de voorzitter van het OCMW. […] Tijdens de vergadering waarop de gemeenteraad over de jaarrekening beraadslaagt, brengt het college verslag uit over de financiële toestand, over het gevoerde beleid en beheer tijdens het voorafgaande jaar en over de uitvoering van het budget. (art 173 GD) Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

23. BBC: waar? Is dit complementair met een beoordeling van het beleid in de doelstellingenrealisatie (beleidsnota bij jaarrekening)? JA: Goalbased (planningsgebaseerd) in doelstellingenrealisatie van de beleidsnota bij de jaarrekening Goalfree in het verslag bij de jaarrekening = opportuniteitstoets Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

24. Praktischaan de slag Theorie achter de methode Conceptueel kader Stappenplan Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

25. Theorieachter de methode Beoordelingskader Gebruik van kennis Valorisatie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

26. Beoordelingskader • Criterium = effectiviteit • Beoordelen • Waarde bepalen • Oorzakelijk verband bepalen = causaal verhaal • Causale verwantschap • Causale aandeel Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

27. Gebruik van kennis Monitoring Social sciences studies/theories Reconstructie van de beleidstheorie Vertrekken vanuit de beleidsplanning Toevoegen van contextinformatie Van causale aanname naar causaal feit Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

28. Valorisatie van de evaluatie • Utalization-focuzed • = haalt zijn bestaansrecht uit het gebruik • BBC: legitimiteit van het beleid • Doelstellingenrealisatie • Verslag bij de jaarrekening Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

29. Conceptueelkader Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

30. Stappenplan Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

31. 1. Reconstructie van de beleidstheorie Vertrekken vanuit de beleidsplanning Toevoegen van beleidscontextinformatie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

32. 2. Beoordelen van de effecten Doelbereiking (goalattainment evaluation) MAGIE-AMORE-SMART Basis = monitoring Objectief Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

33. 3. Causaalverhaal • Argumentatie als bewijskracht voor causale verbanden • Ketens • Causale verwantschap • Causale aandeel Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

34. 4. Beoordelen Synthese en oordeel op basis van stap 1 tot 3 Interpretatie Transparantie Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

35. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

36. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

37. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

38. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

39. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011

40. Workshops pilootbesturen BBC - Beleidsevaluatie- Starters 2011