Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)

1. Onderwijscentrum VU Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA) W E E T W A T O N D E R W IJ S W A A R D I S Silvester Draaijer VUA

2. Onderwijscentrum VU • VU: 20.000 studenten • Onderwijscentrum VU • 1e graads lerarenopleiding • Scholing en Advisering • o.a. ICTO • Kwaliteitszorg (o.a. onderwijsevaluaties en tentamenschrapkaarten service) • Communities of Learners als centraal thema • Assessment is één van de aandachtspunten • Pre-master assessment VU • Taaltoets VU • Portfolio • Peer-Review (SURF project met UU en TUD) • Digitaal Toetsen

3. Kennis: wat is het?

4. Kennis: wat is het?

5. Nadenken over kennis • Nonaka & Takeuchi

6. Kennis in HBO-context • Hernieuwde aandacht voor ‘kennis’: waarom? • Tegen • Tegen edutainment? • Tegen constructivisme? • Tegen nieuwlichterij? • Tegen ‘al dat projectonderwijs’ en ‘al dat probleemgestuurd onderwijs’ • Tegen al die groepsopdrachten? • Voor • ‘Experts’ hebben hun kennis in prachtige (studie)boeken neergelegd. Dat moeten we gebruiken. • Kennis bezitten en kunnen toepassen is voorwaardelijk voor het oplossen van (complexere) problemen

7. Kennis in HBO-context • Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext. • Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.

8. Wat is toetsen? • Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing • Centrale begrippen • Validiteit • Betrouwbaarheid • Formatief, Summatief

9. Nadenken over toetsen • Simpele toets met één vraag (meting) • Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen • Doel: vaststellen wat we vanochtend en vanmiddag gaan doen • Vraag • Wie heeft een cursus Toetsen en Beoordelen gevolgd?

10. Nadenken over toetsen • Inhoudsvaliditeit? • Construct validiteit? • Criterium validiteit? • Predictieve validiteit?

11. De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau. Onderwerpen uit de stof Cognitief niveau Let op: Cognitief niveau ≠ Moeilijkheidsgraad Validiteit: toetsmatrijs

12. Validiteit: toetsmatrijs Werk met startzinnen

13. Nadenken over toetsen • Betrouwbaarheid? p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT ….

14. Betrouwbaarheid • Hoe meer vragen hoe betrouwbaarder • Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets

15. Betrouwbaarheid • Goede toetsvragen maken • Meten op het bedoelde cognitieve niveau • Scheiden competente van niet-competente studente • Zijn niet te gemakkelijk of te moeilijk • Zijn relevant/motiverend • Vooraf • Loop alle checklists af • Laat collega’s de vragen controleren • Laat toetsdeskundigen de vragen controleren • Doe proefafnames • … maar dit alles is geen garantie – proof of the pudding is in the eating • Doe de oefening vraagconstructie

16. Betrouwbaarheid • Consistent beoordelen • Gesloten vragen – easy • Open vragen – antwoordmodel/nakijkschema • Doe de oefening ‘interbeoordelaarsbetrouwbaarheid’

17. Over cijfers geven 10 5,5 Proportie studenten die slaagt. cijfer 1 raadscore cesuurscore maximale score

18. Toets en itemanalyse • We gaan de oefening doen • Vragen niet te moeilijke of gemakkelijk (P) • Vragen moeten positief correleren (Rir) • Correct antwoord moet positief correleren • Incorrect antwoord moet niet te vaak worden gekozen • Betrouwbaarheid (KR20) – wanneer voldoende?

19. voorbeeld TENTAMEN : DOCENT : ***** **-**-2001 FACULTEIT: *** AFDELING : *** _______________________________________________________________ MEERKEUZE VRAGEN FORMULIER 1 P - WAARDEN VRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28 KR-20 : 0.82 Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde ______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---

20. Wat willen studenten met toetsing? • Should be for learning • Should be reliable, valid, fair and consistent • Should consist of effective and constructive feedback • Should be innovative and have the capacity to inspire and motivate • Should measure understanding and application, rather than recall

21. Wat willen studenten met toetsing? • Should be conducted throughout the course, rather than being positioned as a final event • Should develop key skills such as peer and reflective assessment • Should be central to staff development and teaching strategies, and frequently reviewed • Should be of a manageable amount for both tutors and students • Should encourage dialogue between students and their tutors and students and their peers

23. ICT: MC, MR, drag-and-drop,math

24. ICT: Lineair question

25. ICT: Animation, Simulation, Video

26. IRT (Item Response Theory, Latent Trait Analysis

27. Itembanking

28. Quizzing – studentgericht formatief toetsen • Toets met diagnostische functie tbv tentamen • Toets om te leren/oefenen

29. Voorbeeld 1: Peer instruction • ConceptTest • Ontwikkeld door Eric Mazur, Harvard University

30. Voorbeeld 2a: opfrissen van voorkennis • Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie

31. Voorbeeld 2b: Aanjagen van een Practicum • Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis

32. Voorbeeld 3a: Actieve verwerking van collegestof • Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer

33. Voorbeeld 4a: Collegeverbeteraar • Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie

34. Voorbeeld 4b: Collegeverbeteraar Inleiding Voorbeelden Conclusie • Faculteit Rechten VU, cursus Beginselen Strafrecht

35. Conclusie • Meerdere varianten mogelijk van online Quizzing • Zorg dat de toetsen zijn ‘ingebed’ in de cursus. • Zorg er zo mogelijk voor dat studenten kunnen overleggen!