Programma

1. Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

2. Programma • Oefening • “Wat kan er misgaan?” • Presentatie en casus • “Toetsanalyse” • Oefening • “Toetsinformatie voor examencies” Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

3. Oefening • “Wat kan er mis gaan rond een toets?“ • Noem minstens 10 dingen ! • Schrijf op ene geeltje • En • Plak op flipovervel onder: • Validiteit • Betrouwbaarheid • Transparantie • Efficiëntie Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

4. Bedreigingen van kwaliteit van toetsen • Geen goede afspiegeling van de leerstof: te weinig, onevenwichtige verdeling • Er worden andere vaardigheden getoetst dan in de leerdoelen zijn aangegeven, bijvoorbeeld kennis i.p.v. toepassen • De toets meet niet wat je wil meten: bijvoorbeeld via kennis handelingsbekwaamheid willen meten • Te weinig vragen om goed beeld te krijgen • Te weinig vragen om de leerstof te dekken • Te weinig meerkeuzevragen om raadkans te compenseren • Vragen zijn niet eenduidig Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

5. In metaforen gedacht… Validiteit Je wilt iemands lichaamslengte meten en gebruikt daarvoor een weegschaal Betrouwbaarheid Je wilt iemands lichaamslengte meten en gebruikt daarvoor een meetlint van elastiek Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

6. Deelnemersmap • CW/PSY Stappenplan docent voor toetsing vak • HvA Stappenplan voor toetsing • TENTAM handleiding • Zelfevaluatie-instrument:kwaliteit toetsen (Horst/Metz) • Casus: Toetsanalyse (Bender) • Actieplan • Slides presentatie Toetsanalyse Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

7. Het totale proces • Stappen in het toetsproces • Ontwerp (toetsvormkeuze en toetsmatrijs) • Constructie • Afname • Nakijken en beoordelen • Analyse en evaluatie Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

8. Expertmodule 2: toetsconstructie Stappen in het toetsontwerp • Bepaal de leerdoelen • Kies de toetsvorm • Maak een toetsmatrijs • Formuleer vragen • Maak antwoordmodel • Bepaal de scoring Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

9. Expertmodule 3: toetsanalyse • Toetsen beoordelen: vooraf • procedures voor toetsconstructie • Toetsen beoordelen: achteraf • psychometrische gegevens • evaluaties • klachten • Management-/toetsinformatie • rapportages voor examencommissie • jaarverslag van examencommissie Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

10. Dossier van een vak • Welke informatie heb jij nodig als examencommissielid? • Vakbeschrijving • Leerdoelen en niveau • Toetsschema • Toetsmatrijs • Tentamen/opdracht • Cesuur/ antwoordmodel • Tentamenanalyse gegevens • Resultaten (aanmeldingen, deelnemers, slaagpercentages) • Evaluatieresultaten • Bijzonderheden, klachten • Reflectie en acties van de docent Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

11. Beoordelen van toetsmatrijs Inventarisatie van onderwerpen Relatie tussen leerdoelen en toets Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

12. Expert module 3: Toetsanalyse Nakijken en beoordelen Analyse en evaluatie

13. Cesuur Cesuur = Grens voldoende/onvoldoende Absolute cesuur: hangt niet af van prestaties van de groep • Vb. >= 55 punten is voldoende Relatieve cesuur: afhankelijk van hoe er gepresteerd is door de groep • Vb. Bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

14. Cesuur-overwegingen Absoluut: • Doelstellingen zijn vooraf bekend, criteria dus ook • Vooral studenten zijn verantwoordelijk voor resultaat • Gaat uit van ideale situatie • Voor beide vormen geldt: denk aan de kwaliteitseis ‘transparantie’. De cesuurvorm moet kunnen worden beargumenteerd Relatief: • Onderwijs en toets richten zich op toegelaten studenten • Vooral docent is verantwoordelijk voor resultaat • Speelt in op situatie Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

15. Beantwoordingstijd Open vragen Antwoord-omvang • 1 woord of zin 1 min. • 0,25 p. (A4) 5 min. • 0,5 p. (A4) 10 min. • 1 p. (A4) 25 min. • 2 pp. (A4) 60 min. Gesloten vragen Alternatieven • Juist/onjuist 50 sec. • 2 alternatieven 50 sec. • 3 alternatieven 60 sec. • 4/5 alternatieven 75 sec. Vergeet niet de leestijd! Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

16. Beoordelen mc-tentamen Kwaliteit van de vragen (zie expertmodule 2: toetsconstructie) Aantal vragen: Bij enkel meerkeuzevragen geldt: • 2-keuze: minimaal 60-80 vragen • 3-keuze: minimaal 45-60 vragen • 4-keuze: minimaal 40 vragen Bij een combinatie van open vragen en meerkeuzevragen kunnen dit er minder zijn. • Vuistregel: hoe zwaarder de open vragen meewegen in de totale toets, des te minder MC-vragen nodig zijn. Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

17. Open vragen beoordelen • Zijn de normantwoorden vooraf vastgesteld ? • Welke waardering krijgen afwijkende antwoorden ? • Is het aantal punten van elk van de vragen of van de toetsonderdelen bepaald ? • Zijn de tentamens anoniem nagekeken? • Zijn twijfelgevallen door collega’s beoordeeld ? Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

18. Beoordelen van een casus Casus zelf • Is een realistische beroepspraktijk gebruikt ? • Is de casus kort en concreet gehouden ? • Is de benodigde informatie verstrekt ? • Is de situatie zo objectief mogelijk geschetst ? Bijbehorende vragen • Zijn heldere normantwoorden opgesteld ? • Leiden de vragen naar de normantwoorden ? • Zijn de vragen direct aan casus gerelateerd ? • Zijn de vragen op essentiële elementen, beslissingen gericht ? Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

19. Toetsanalyse Psychometrische gegevens Peter de Vries (examencommissie Psychologie)

20. Toetsen en beoordelen: achteraf Representativiteit en validiteit: • voorafte bepalen m.b.v. de toetsmatrijs Achteraf: psychometrische analyses • Betrouwbaarheid van de toets (Cronbach’s α ) • Moeilijkheid van de vragen (p-waarde) • Onderscheidingsvermogen van de vragen (Rit, Rir) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

21. Betrouwbaarheid MC-toets Hoe wordt betrouwbaarheid vastgesteld? • Door statistische analyse: hoe sterk is de samenhang tussen resultaten van soortgelijke metingen? • Binnen een toets • Tussen toetsen (komt zelden voor) Van invloed op de betrouwbaarheid zijn: • Aantal metingen • Aantal toetsitems • Formulering toetsvragen • Formulering instructie geaccepteerde antwoorden • Duidelijkheid beoordelingscriteria Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

22. Betrouwbaarheid toets: Cronbach’s α Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets • 0,90 en hoger  zeer goed • 0,80 - 0,90  voldoende/goed • 0,70 - 0,80  middelmatig/voldoende • Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel, maar: • Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie • Lage aantallen items of studenten hebben een negatieve invloed. Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

23. 2. Vraagmoeilijkheid : p-waarde Open vraag: p-waarde = gemiddelde score op een vraag (proportie) • Lage p-waarde: zeer moeilijke vraag • Hoge p-waarde: zeer makkelijke vraag • Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. • Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans. Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

24. Vraagmoeilijkheid : p-waarde Overzicht normen voor p-waarden bij (summatieve) toetsen Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

25. 3. Onderscheidingsvermogen Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore. • item-testcorrelatie; bij meer dan 25 vragen • item-restcorrelatie; bij minder dan 25 vragen NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren! Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

26. Onderscheidingsvermogen Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

27. Psychometrische analyse Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: • Item achteraf uit de toets verwijderen • Item verwijderen en score aanpassen • Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties! Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

28. Reparatiemogelijkheden Indien Cronbach’s α kleiner dan 0,70: • Risico op te veel onjuiste zak/slaagbeslissingen • Mogelijk negatieve item-testcorrelaties Reparatie: • Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) • Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ... Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

29. Voorbeeld: Tentamen uit 2010 * Dit voorbeeld incl. volgende 4 slides + slide 44 is ontleend aan een op 23 mrt ’11 door Peter de Vries (examencommissie Psychologie) verzorgde bijeenkomst over toetsanalyse voor GW-docenten. http://www.utwente.nl/toetsing/nieuwsberichten-Toetsing/Toetsanalyse-Tentam-workshop-GW/ • 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) • gemiddelde cijfer: 7,05 (SD = 1,51) • aantal studenten: 17 (klein, want < 50) • 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… • cijferverdeling: Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

30. Voorbeeld 2 sets psychometrische analyses, voor MC en OV. 0 of 1 punt voor MC-vragen: voor OV ligt score tussen 0 en 1 Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

31. Voorbeeld Output open vragen: p-waarden αals 1 van de items verwijderd zou worden α(is wat laag …) Item-restcorrelaties Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

32. Voorbeeld Output meerkeuzevragen: p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. α(is wederom laag …) p-waarden zijn gespreid Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

33. Voorbeeld Output meerkeuzevragen: Item-restcorrelaties laten een aantal lage waarden zien… …maar deze is wel erg laag… αspringt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

34. Voorbeeld Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): αzou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over? Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

35. CASUS Problemen verhelpen

36. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

37. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

38. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

39. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

40. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

41. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

42. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

43. Casus W. Bender (2003) “Toetsen in het hoger onderwijs” Van Gorcum Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

44. Voorbeeld SPSS-syntax Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies Peter de Vries (examencommissie Psychologie)

45. TENTAM • Handleiding TENTAM (zie map) Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

46. OVERZICHT Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

47. Resultaten: Scores Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

48. Resultaten: Analyses Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

49. Resultaten: Overig • Ruwe data • Correlatie matrix • Frequentieverdeling (cijfers) • Administratiebestand OSIRIS Expertmodule 3 Toetsanalyse / UT S&O en DAAD onderwijsadvies

50. Bewaken van het eindniveau kwaliteitsborging afstudeertrajecten