Meten van docentcompetenties

1. Meten van docentcompetenties Divisie: methodologie en evaluatie Erik Roelofs, Citogroep (Erik.Roelofs@citogroep.nl) Piet Sanders, Citogroep (Piet.Sanders@citogroep.nl) Informatie: www.toetswijzer.nl

2. 1 2 3 Overzicht presentatie • Doelen competentiemetingen • Uitgangspunten bij metingen • Psychometrische kwaliteitseisen • Uitwerking competentiedomein • Meten en beoordelen • Generaliseerbaarheid uitkomsten (Piet Sanders) • Aanbevelingen

3. Docentcompetenties meten: waarom? • Beoordelen: selectie, promotie, functiedifferentiatie • Professionalisering: opleiding, nascholing, begeleiding • Invoeren onderwijsvernieuwing • Verantwoording afleggen: schooleffectiviteit

4. Taakomgeving: uit te voeren taken in … 3. Werkgedrag 1. Basis • kennis • vaardigheden • opvattingen • persoonsgebonden eigenschappen 4. Resultaat • leerproces • leeropbrengst 2. Beslisproces een specifieke context (school, klas, leerling, omgeving) 2. Uitgangspunten2.1 Procesmodel competent handelen

5. 2. Uitgangspunten: 2.2 gevolgen competenties meten • Complex: • Integratief: basis, beslisproces, gedrag, gevolgen • Meerdere acceptabele werkgedragingen • Verschillende databronnen en informanten • Contextgebonden: • Variatie aan (authentieke) situaties • Veralgemeniserende uitspraken lastig • Interpretatief: • Assessor: is expert, verzamelt • contextgevoelig bewijsmateriaal • Inbreng kandidaat

6. 3. Psychometrische kwaliteitseisen • Representativiteit taak en situatiedomein • Dekking taakprocessen • Rechtvaardigheid afname- en nauwkeurigheid scoringsstructuur • Generaliseerbaarheid resultaten • Over taken/situaties: convergentie en onderscheid • Over beoordelaars: betrouwbaarheid • Gewenste/ongewenste consequenties

7. Competentie: Spelbegeleiding Observatie en signaleren Spelverrijking Context-situatie • Individueel • Samenspel • Doen alsof • Materialen 4: Uitwerking beoordelingskader Criteria en beheersingsstandaarden De leidster stimuleert kinderen door het inbrengen van nieuw materialen of het geven van tips in het spel tot rijker doen alsof spel, tot uitdrukking komend in het spelen van nieuwe rollen, waardoor kinderen rijkere representaties van alledaagse thema’s verwerven.

8. 5. Meten: 5.1 bronnen van bewijs

9. Reële werksituaties + Gesimuleerde werksituaties + - + - + - Gesymboliseerde werksituaties + + 5. Meten: 5.2 meetsituaties Dekking aantal Competenties en situaties Controle op data- verzameling en beoordelingsproces Onmiddellijkheid; Situatiecomplexiteit Volledigheid proces Informanten: 1. Docent 2. Collega 3. Leidinggevende 4. Leerlingen 5. Externen

10. 5. Meten: 5.3 Beoordelingsprocedure • Integratie van bewijzen en scoring • Score is som der deelscores (analytisch) • Score is gelijkenis met voorbeeld (benchmark voor starter, expert) • Bias/fouten: • Eigen voorkeuren voor onderwijsstijlen • Geïmporteerde criteria • Inconsistenties met criteria • Niet kunnen onderscheiden criteria

11. Beslissen: Handelen: Gevolgen leerling: Beschrijving lescontext Reflectie op beslissingen lesverloop Les-documentatie Video-opname begeleiding leerkracht Video-opname leergedrag kind Voorbeeld verschillende databronnen:klassenmanagement

12. Basis Gevorderd Excellent Richt zich voornamelijk op ordehandhaving (A) en geeft weinig ruimte voor inbreng van leerlingen (B), waardoor lln voornamelijk taakgericht-volgend deelnemen aan leerproces (C) Maakt afwisselend gebruik van methoden van ordehandhaving (A) en het geven van ruimte (B), waardoor lln naast taakgericht-volgend ook zelfsturend deelnemen aan leerproces (C) Kan vooraf en tijdens les reacties van leerlingen inschatten en op basis daarvan beslissen wanneer A en B worden toegepast waardoor leerlingen per situatie terugvallen op taakgericht-volgend zelfsturend bezig zijn. Scoring klassenmanagement in benchmarks

13. Scoring door sommering van deelscores

14. Werkwijze projecten • Uitwerken belangrijkste competenties, situaties en beheersingsstandaarden • Bepalen van kracht van de soorten bewijsmateriaal • Scoringsregels voor het bepalen van competentieniveaus • Uittesten: • Geselecteerde groepen (hoog, midden, laag) • Integratie bewijsmateriaal tot oordelen • Generaliseerbaarheid van uitspraken

15. 6. Generaliseerbaarheid van resultaten • (Toets)betrouwbaarheid • Beoordelaarsbetrouwbaarheid,-overeenstemming • Generaliseerbaarheid Kwaliteit • Generaliseerbaarheidsstudie -facet beoordelaars en taken Generaliseerbaarheid • Decisiestudie - aantal taken en beoordelaars

16. Beoordelaar 1 Beoordelaar 2 Pers./Taak Pers./Taak 1 2 3 4 1 2 3 4 1 9 6 6 2 23 1 8 2 8 1 19 42 2 9 5 4 0 18 2 7 5 9 5 26 44 3 8 9 5 8 30 3 10 6 9 10 35 65 4 7 6 5 4 22 4 9 8 9 4 30 52 5 7 3 2 3 15 5 7 4 5 1 17 32 6 10 8 7 7 32 6 7 7 10 9 33 65 50 37 29 24 48 32 50 30 6.1 Scores twee beoordelaars, vier taken van zes kandidaten generaliseerbaarheid)

17. Persoon Taak 1 Taak 2 Taak 3 Taak 4 1 17 8 14 3 2 16 10 13 5 3 18 15 14 18 4 16 14 14 8 5 14 7 7 4 6 17 15 17 16 6.2 De scores van zes personen op vier taken (toetsbetrouwbaarheid)

18. Persoon Beoordelaar 1 Beoordelaar 2 1 23 19 2 18 26 3 30 35 4 22 30 5 15 17 6 32 33 6.3 Scores zes personen, twee beoordelaars(beoordelaars-betrouwbaarheid)

19. 7. Aanbevelingen • Terugwaartse formulering van van competenties en beheersingsstandaarden • Aandacht voor de kwaliteit van bewijsmateriaal • Onderzoek naar totstandkoming beoordelingen en bronnen van bias/onnauwkeurigheden • Generaliseerbaarheid als een kwaliteitsindicator