SOE: de leerkracht als poortwachter OOF Toetskoffer

1. SOE: de leerkracht als poortwachterOOF Toetskoffer http://www.toetskoffer.be/ Lies.wijnants@khleuven.be 23 oktober 2014

3. Context en aanleidingen • Whatyou test is whatyou get. • Visitatie: evaluatie als derde GKW • een ‘professionele evaluatiecultuur’? (Verankerd in leren, D. Sluijsmans) • Van individueel naar samen evalueren • Van afhankelijk naar het nemen van regie - Van ad hoc-kwaliteit naar duurzame invulling kwaliteit gericht op toekomstige maatschappelijke ontwikkelingen

4. Algemene doelstelling Toetskoffer • Duurzaam en systematisch werken aan kwaliteitszorg van evalueren: verschillende handvaten aanreiken • Organisatorisch: via een toetscommissie(of toetsadviesbureau)

5. Op verschillende niveaus Kwaliteit

6. Concrete doelstellingen Concrete tools, methodieken, … aanreiken voor: • ontwikkelen toetsplan/ toetsprogramma • ondersteunen/ uitvoeren van analyses Eva’s en toetsprogramma’s (PDCA) • ondersteunen in verdere ontwikkeling kwaliteitsvolle Eva’s/ toetsprogramma’s

7. 3 kern- en 3 resonantie-opleidingen • 3 Kernopleidingen • Thomas More: PBa communicatiemanagement • KHLim: PBa orthopedagogie • KHLeuven: PBa biomedische laboratorium-technologie • 3 Resonantie-opleidingen • HUB- Odisee • KATHO- VIVES • KaHo St Lieven - Odisee

8. Meerwaarde • Voor 6 opleidingen • duurzaam en systematisch werken aan kwaliteitszorg van evaluatie • Voor de Associatie KU Leuven • toetskoffer als startbagage http://www.toetskoffer.be/

10. Toetscommissie (toetsadviesbureau) De toetscommissie (TC) of toetsadviesbureau (TAB) is verantwoordelijk voor de uitvoering van kwaliteitszorg van het toetsgebeuren door het aansturen, uitvoeren, opvolgen en rapporteren over kwaliteitszorgprocessen rond toetsing.

11. Toetscommissie: samenstelling • Bestaande groep (curriculumontwikkeling) • Bestaande onderwijsgroep • Nieuwe werkgroep • …

12. Toetscommissie: profiel • Representatieve vertegenwoordiging docenten (leerlijnen) • Voorzitter: evaluatiedeskundige • Optioneel: medewerker kwaliteitszorg, onderwijs, opleidingshoofd • Op opleidingsniveau (departementaal- groepsniveau voor kleine opleidingen)?

13. Toetscommissie: bevoegdheden • Voert uit of stuurt systematisch kwaliteitszorgprocessen rond toetsing aan • Ondersteunt en adviseert managementteam inzake toetsing, bereidt samen met coördinator opleiding agenda rond toetsing voor • De examencommissie kan de toetscommissie bepaalde opdracht geven

14. Toetscommissie: mogelijke taken • Ontwikkeling toetsplan/ toetsprogramma • Kwaliteitsanalyses toetsprogramma/ Eva • Ondersteuning ontwikkeling kwaliteitsvolle toetsprogramma’s / Eva’s (PD)

16. Toetsplanontwikkeling: wat Toetsplan of toetsprogramma: inhoudelijk bewust samengesteld coherent geheel van toetsen op in de opleiding (wat, hoe, wie, wanneer, tijdsbesteding, feedback, …)

17. Toetsplanontwikkeling: hoe? • Toetsinventarisatie van bestaande situatie toetsen in de opleiding (via toetsmatrix) • Van bestaande naar wenselijke situatie via analyse en overleg

19. Toetsvormen

20. Competenties

21. Toetsinventarisatie: hoe? • Via ECTS-fiches/ SAP • Via bevraging docenten • Check op volledigheid • Timing

22. Van toetsinventarisatie naar wenselijke situatie: analyse • Via analyse: • Evalueren we alle DLR’s/ competenties die we willen ontwikkelen? • Hoe toetsen we? • Wie is betrokken? • Wanneer toetsen we? • …

23. Van toetsinventarisatie naar wenselijke situatie: overleg • Via overleg: • Op basis van conclusies analyse: wat willen we aanpakken? • Waar willen we naartoe? Via afspraken, een toetsplan • Actieplan (acties, prioriteiten, wie, wanneer, SVZ, …)

24. Output toetsontwikkelingsproces • Bestaande situatie (inventarisatie) en conclusies • Verhaal/visie: Welke keuzes/accenten maken we als opleiding (vanuit kaders toetsbeleid instelling) • Wenselijke situatie: via toetsplan², afspraken, … • Actieplan: hoe wenselijke situatie realiseren? (acties, tijdspad, wie, svz)

26. Toetsfiches: wat? • gebruiksvriendelijke en ‘kernachtige’ info over Eva’s (losse fiches) • rond ≠ vragen over een Eva • breed keuzepalet • om te ondersteunen bij het ‘doen’ (ontwerpen, opstellen toets/opdracht, beoordelelen, afnemen, …)

27. Kader: toetscyclus met toetsfasen Waarom? Wat? Wanneer? Hoe? Wie? Waar?

28. Structuur en concrete fiches toetskoffer

29. Fiches over evaluatievormen Beroepsproduct/ ontwerp Presentatie/ uiteenzetting Voortgangstoets Verslag Portfolio Mondeling examen Verslag Schriftelijke examen met MKV, gesloten, (half)open vragen, casus, overalltoets Vaardigheidstoets Simulatie Stationsproef Evaluatiegesprek (criteriumgericht inverview, driehoeksgesprek) Paper Praktijkevaluatie/ observatie …

30. Ontwikkeling • Literatuuronderzoek • Peerreview (Werkgroep Toetskoffer, medewerkers onderwijs betrokken partners, …)

31. Doel fiches • Inspiratie om ‘ruis’ te beperken: stappenplan, tips en tricks, … • inspiratie bij het maken van bewuste keuzes voor een toetsvorm of keuze te expliciteren: pro’s en contra’s • om te inspireren om verder te lezen en/of te doen: meer weten en/of doen

32. Gebruik fiches • ‘Fiche’ op maat kiezen • Als inspiratie voor TC/ TAB om gerichte feedback te geven aan docenten • Voor groepen van docenten (peerreview en peerfeedback) • Ter inspiratie voor docenten • Impuls voor toetsprogramma?

34. Toetszorginstrumenten • Toetsmatrijs • Scan in kwaliteitsvol toetsen • Excel voor psychometrische analyses 4. KIT: edumetrische analyses toetsprogramma

35. 1. Toetsmatrijs: wat? = matrix waarin wordt aangegeven hoe de items, vragen, opdrachten, … in een Eva verdeeld zijn over de leerresultaten/competenties/leerdoelen/in-houden en verwachtte niveau.

36. 1. Toetsmatrijs: waarom? • Als hulpmiddel om de inhoudsvaliditeit te verhogen (ook van de verschillende beheersingsniveaus) • Als hulpmiddel om de gelijkwaardigheid tussen 2 paralleltoetsen te bewaken • Verantwoording van inhoud van de toets naar anderen

37. 1. Toetsmatrijs: voorbeeldsjabloon 1

38. 1. Toetsmatrijs: voorbeeldsjabloon 2

39. 2. Scan in kwaliteitsvol toetsen = instrument om vanuit een objectief kader met verschillende kwaliteitsindicatoren (die psychometrisch en edumetrisch kunnen ingevuld worden) een evaluatie-activiteit te screenen of te plannen.

40. 2. Scan: concept • °IOC WG Toetsbeleid KHLeuven • Informatie over ‘kwaliteitsvol toetsen’ gebruiksvriendelijk en concreet vertalen • niveau van een Evaluatiepraktijk (één of meerdere Eva’s)

41. 2. Scan: ontwikkeling • Vertrekpunt: decretale kwaliteitscriteria • Via literatuuronderzoek concretisering in concrete ‘items’ • Via cocreatie medewerkers onderwijs KHLeuven • Validering en uittesten in opleidingen • Peerreview WG Toetskoffer, lno2, …

42. 2. Scan: kader kwaliteitscriteria • Valide • Betrouwbaar • Transparant Uitgebreid met: • Leerrijk • Efficiënt

43. 2. Scan: kwaliteitscriteria en subcriteria

44. 2. Scan: Spanningsvelden • Psychometrie en edumetrie • Tussen kwaliteitscriteria onderling • Tussen Eva en toetsprogramma • Tussen een generaliseerbaar en concreet instrument

45. Meten is (niet altijd) weten . Psychometrie- edumetrie • Geef kinderen toch geen punten. (R. Standaert) • Gevaarlijk om te stellen dat niets in onderwijs objectief meetbaar is (D. Van Damme) • Punten afschaffen is een slecht idee. Punten, en centrale examens, houdt leerlingen en scholen scherp (K. De Witte) • Cijfers zijn nuttig als indicatie, zolang ze niet amputeren (I. Nicaise) • Meten uit angst? Verschuilen we ons niet achter objectieve tests, omdat we niet meer durven beoordelen? (M. Simons)

46. Psychometrie - edumetrie Is meten is (altijd) weten? • Psychometrie: vanuit testpsychologie, vanuit ‘cijfers’, van ‘meten is weten’. • Edumetrie: focust op ontwikkeling en leren, ‘niet alles is meetbaar’ • Scan: om bewuste keuzes te maken over invulling van toetskwaliteit vanuit betekenis van kwaliteitscriteria die edumetrisch (kwantiatief en/of psychometrisch (kwalitatief) ingevuld kunnen worden

47. II. Kwaliteitscriteria

48. III. Eva- toetsprogramma • Niet mogelijk om alle kwaliteit realiseren in één evaluatiepraktijk, je moet keuzes maken, elke Eva bevat een minimum aan ‘ruis’ • Ook kwaliteit bekijken op het niveau van het toetsprogramma!

49. IV. Gebruiksvriendelijk en concreet- generaliseerbaar • Elke evaluatievorm heeft specifieke kwaliteitscriteria • Voor alle Eva’s binnen de Associatie

50. 2. Scan: doel • Om een Eva te plannen, te scannen (eventueel bij te sturen) op toetskwaliteit • Geen exhaustieve ‘checklist’ voor elke Eva, streven naar ‘balanced assessment’ • zo breed mogelijke concrete ‘keuzes’ aanreiken om te reflecteren over mogelijke keuzes en deze keuzes te maken