Leerstof versus leerling: het verschil tussen ideaal en realiteit bij cesuurbepaling?

1. Leerstof versus leerling: het verschil tussen ideaal en realiteit bij cesuurbepaling? Daniël Van Nijlen, Bartel Volckaert& Rianne Janssen K.U.Leuven

2. Overzicht • Verloop peilingsonderzoek • Taak- en leerlinggerichte methoden van cesuurbepaling • Methode • Resultaten • Bespreking en vragen

3. 1. Verloop peilingsonderzoek "Eindtermen zijn minimumdoelen die de overheid noodzakelijk en bereikbaar acht voor een bepaalde leerlingengroep."

4. toetsdesign cesuurbepaling eindtermen toetsen meetschaal toetsnorm kalibratie

5. 2. Cesuurbepaling: vastleggen toetsnorm • PPON: standaardenonderzoek • Waarom?  expliciteren minimumnorm eindterm  mogelijkheid te bepalen welke leerlingen het minimumniveau halen • Verschillende methoden: taak- en leerlinggericht

6. Taakgerichte methoden: • gebaseerd op een oordeel over de opgaven • bijv. - verschillende varianten Angoff-methode - bookmarkmethode

7. Leerlinggerichte methoden: • gebaseerd op een oordeel over het prestatieniveau van de leerlingen • al dan niet op basis van toetsproducten • bijv. borderlinemethode en methode van de contrasterende groepen

8. Doel • vergelijking resultaten taakgerichte en leerlinggerichte methode • wereldoriëntatie: domein natuur • gebruik IRT-schaal

9. 3. Methode Toets n=1652 uit 87 klassen en 51 scholen

10. Resultaten kalibratie • IRT-analyse met OPLM • criteria voor aanvaarding IRT-model • p-waarde R1c > .01 • waarde R1c < 1.5 vg • resulterende meetschaal

11. Cesuurbepaling deelnemende leerkrachten twee taken: A. vereenvoudigde Angoff B. Contrasterende groepen

12. A. vereenvoudigde Angoff-methode • 69 leerkrachten • voor elke opgave aangeven of de minimaal competente leerling ze moet kunnen oplossen • dichotoom oordeel (Angoff, 1971; Impara & Plake, 1996) • vastleggen cesuur: omzetting van de oordelen naar een lokatie van grensleerling op de IRT-schaal (Van der Linden, 1982)

13. B. Contrasterende groepen • gegevens voor 1132 leerlingen uit 61 klassen • leerlingen van hun klas indelen in beheersers en niet-beheersers • niet op basis van de toetsgegevens • vastleggen cesuur: score die de beste discriminatie tussen de groep van beheersers en niet-beheersers toelaat  logistische regressie (Livingston & Zieky, 1989; Longford, 1996)

14. 4. Resultaten cesuurbepaling • vereenvoudigde Angoff

15. B. Contrasterende groepen

17. Logistische regressie • volledig vast waarbij α de strengheid van de beoordelaars δ de sterkte van het verband met de vaardigheidsschatting

18. p(x=1)  – α/ δ .50 vaardigheid leerling cesuur

19. AIC=903.7

20. Logistische regressie • gemengd model waarbij ag~N(0,σ²a) Elke leerkracht krijgt ander intercept  verschillen in strengheid worden gemodelleerd

21. p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

22. AIC=876.8

23. Logistische regressie • Volledig random waarbij ag~N(0,σ²a) en dg~N(0,σ²d) Verschillen in strengheid en associatiesterkte met de vaardigheid worden gemodelleerd

24. p(x=1) lk A lk B .50 vaardigheid leerling cesuur A cesuur B

25. AIC=879.6

26. Resultaten logistische regressie – gemengd model

27. Vergelijking Angoff en contrasterende groepen

29. Angoff: grotere spreiding en veel hogere cesuur • beperkte samenhang tussen oordeel dmv Angoff en CG (zie figuur)

31. 5. Bespreking • leerstof vs. leerling • ideaal vs. realiteit? • toepassing dichotome Angoff-methode?