De benutting van Peer Review resultaten

1. De benutting van Peer Review resultaten Willem de Ridder, ROC Aventus Adrie Visscher, Universiteit Twente

2. Iets over Peer Review • Externe evaluatie • Peers (kritische vrienden) • Instelling • Nodigt de Peers uit • Bepaalt de onderzoeksvragen • Relatie met Governance • Europese samenwerking Peer Review Impact

3. High Trust en Low Trust • Mensbeelden en • Peer Reviewrapport • Inspectierapporten • Auditrapportages Peer Review Impact

4. Organisatiesuccessen • Wat is bruikbare informatie? • Peer Review, een vooronderstelling! Peer Review Impact

5. Project Peer Review Impact • Case studies • Richtlijnen • MBO Raad en Peer Review • Inzet nationale deskundigen Peer Review Impact

6. What’s the problem? Peer Review Impact

7. De eenvoud van kwaliteitszorg • Huidigeprestatieniveaus • Gewensteniveau (= doelen) • Weloverwogen route naar de doelenbepalen, én in de praktijkvormgeven. Peer Review Impact

8. Kwaliteitszorgcyclus Peer Review Impact

9. Effecten • beter onderwijs, en daardoor betere leerprestaties? • betere schoolorganisatie? • meer doelgericht? • te hoge belasting? Peer Review Impact

10. Uit het onderwijsverslag 2008/2009 van de Inspectie In opbrengstgerichtescholenzijn de leerprestatiesbeter. Helaaswerktnogmaaréénderde van de basisscholenopbrengstgericht. Vaak al welevaluatie van leerlingprestaties, maar minder analyse en conclusiesgetrokken over welkeverbeteractiesnodigzijn, en het uitvoeren van die verbetermaatregelen. Het ontbreken van precieze, meetbaredoelenwerkthierbijalseen handicap. 10 Peer Review Impact

11. Enkele voorbeelden van doelen “We gaanzogoedmogelijkons best doen”. “We willenzohoogmogelijke scores behalen”. “Het helerekenboekuitkrijgenditschooljaar”. “Onze bottlenecks grondiganalyseren”. “Eennieuwerekenmethodeaanschaffen”. “Hoge scores halen die passenbijonssoortleerlingen”. Peer Review Impact

12. De complexiteit van kwaliteitszorg • Ambitie en motivatie • Kennis en vaardigheden • Cultuur en discipline • Praktische organisatie Peer Review Impact

13. De cruciale rol van feedback, bijv. via Peer Review Niet de productie, maar de benutting van evaluatieve informatie/feedback (intern/extern) Doodzonde gezien de onbetwist positieve effecten van feedback (mits het tot leren leidt) Effectgroottes: .41 - .79 Peer Review Impact

14. De normaalverdeling Peer Review Impact

15. Feedback over bijvoorbeeld • de klas (perspectief: leerling – docent) • schoolleiding, samenwerking, schoolklimaat (perspectief: docent – schoolleiding) • leerprestaties Liefst benchmarks Peer Review Impact

16. OORZAKEN VAN PRESTATIEVERSCHILLEN TUSSEN LEERLINGEN docenten thuis studenten Peer Review Impact

17. Vormen van gebruik van evaluaties • instrumenteel • conceptueel • strategisch Peer Review Impact

18. Instrumenteel • Try harder • probleemdiagnose • verbeteringsacties bepalen (liefst incl. doelen) • verbeteringsacties doorvoeren • verbeteringsacties evalueren Peer Review Impact

19. Benutting: belemmerende factoren • Geen verspreiding onder doelgroep • Niet begrepen, geloofd • Geen idee hoe zaken verbeterd kunnen worden • Tekortschietende vaardigheden, competenties, middelen • Controversiële veranderingen niet geliefd Peer Review Impact

20. Men zou er zo goed zijn voordeel mee kunnen doen! Peer Review Impact

21. Peer Review Impact project Onderzoek naar de condities waaronder Peer Review uitkomsten meer benut worden Richtlijnen Peer Review Impact

22. EXAMPLES OF GUIDELINES • Management should take the VET provider’s overall strategy into account when choosing the quality areas to be evaluated (strengths and/or improvement areas can be identified). • involvement from all relevant parties in selection of quality areas, including management staff at all levels. • determine which topics and questions are suitable for the Peer Review and which topics and questions should be tackled using other instruments, or by special experts. Peer Review Impact

23. EXAMPLES OF GUIDELINES • Make sure that the intended users have the authority and resources to act upon the results of the Peer Review or that they have the backing of those in authority. Peer Review Impact

24. EXAMPLES OF GUIDELINES • The VET provider should have an internal follow-up procedure implemented as follows, for example: • Defining indicators and the target level for each indicator for monitoring the impact of improvement actions. • Clarifying who will be responsible for specific follow-up activities and when these will be carried out. • Preparing a follow-up report. • Organising follow-up meetings. • Putting follow-up activities on the agenda at management meetings. Peer Review Impact

25. EXAMPLES OF GUIDELINES • Preparation of the Peer Review should include determining how to monitor the signs (early warning indicators) indicating that things are not going as expected and therefore requiring corrective actions. • Make the Peer Review Report available to the intended users during the Peer Review process, promptly taking their needs and preferences into account (how much information they can process, and in what format). Peer Review Impact

26. EXAMPLES OF GUIDELINES • Ensure that the intended users of Peer Review results (such as management, teachers and students) are clear from the start. • Ensure sufficient support and resources are available, especially when putting the action plan into practice. Peer Review Impact

27. Nadere toelichting/ advisering??? • Willem de Ridder, ROC Aventus, w.deridder@aventus.nl • Adrie Visscher, Universiteit Twente, A.J.Visscher@utwente.nl Peer Review Impact