1 / 20

Screening van toetsen: Psychometrische analyse

Screening van toetsen: Psychometrische analyse. Peter de Vries Examencommissie Psy/MPS 23 maart 2011. Psychometrische analyse. Toets: bepalen welke studenten de stof beheersen en welke niet (summatieve functie). Representativiteit en validiteit: vooraf te bepalen m.b.v. o.m. toetsmatrijs

merrill
Download Presentation

Screening van toetsen: Psychometrische analyse

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Screening van toetsen: Psychometrische analyse Peter de Vries Examencommissie Psy/MPS 23 maart 2011

  2. Psychometrische analyse Toets: bepalen welke studenten de stof beheersen en welke niet (summatieve functie). • Representativiteit en validiteit: vooraf te bepalen m.b.v. o.m. toetsmatrijs • Naderhand: psychometrische analyses • Moeilijkheid van de vragen • Onderscheidingsvermogen van de vragen • Betrouwbaarheid van de toets

  3. Psychometrische analyse Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”: • Item achteraf uit de toets verwijderen • Item verwijderen en score aanpassen • Modelantwoord wijzigen NB: Psychometrische normen en uitkomsten vormen indicaties!

  4. Vraagmoeilijkheid : p-waarde Open vraag: p-waarde = gemiddelde score op een vraag (proportie) • Lage p-waarde: zeer moeilijke vraag • Hoge p-waarde: zeer makkelijke vraag • Idealiter: gemiddelde moeilijkheid, p = 0,5 P-waarde gesloten toetsvraag: proportie correct beantwoord. • Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en gokkans.

  5. Vraagmoeilijkheid : p-waarde Overzicht normen voor p-waarden bij (summatieve) toetsen

  6. Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders)  wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore. item-testcorrelatie; bij minder dan 25 vragen item-restcorrelatie [bij gebruik van SPSS is item-restcorrelaties aan te bevelen ongeacht aantal vragen] NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!

  7. Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie)

  8. Betrouwbaarheid toets: Cronbach’s α Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname Normwaarden betrouwbaarheid toets • 0,90 en hoger  zeer goed • 0,80 - 0,90  voldoende/goed • 0,70 - 0,80  middelmatig/voldoende • Minder dan 0,70  slecht/middelmatig I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel. Echter: • Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie • Lage aantallen items of studenten hebben een negatieve invloed.

  9. Reparatiemogelijkheden Mogelijkheden om psychometrische kwaliteit te verhogen op basis van lage p-waarden en item-testcorrelaties: • Vraag anders sleutelen • Antwoordopties herzien (als daar reden toe is) • Vraag verwijderen • Verbetering van vragen “meenemen voor een volgend tentamen”

  10. Reparatiemogelijkheden Indien Cronbach’s α kleiner dan 0,70: • Risico op te veel onjuiste zak/slaagbeslissingen • Mogelijk negatieve item-testcorrelaties Reparatie: • Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) • Betrouwbaarheidsanalyse op subsets van items: bijv. op alle kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ...

  11. Reparatiemogelijkheden Indien Cronbach’s α tussen 0,70 en 0,80: • Acceptabel indien gecompenseerd door andere toetsscore • Verwijderen items met negatieve item-testcorrelatie • Analyse op subsets uitvoeren.

  12. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) 25 meerkeuze vragen, 6 open vragen (weging 40 : 60) Gemiddelde cijfer: 7,05 (SD = 1,51) Aantal studenten: 17 (klein, want < 50) 3 onvoldoendes (≈ 18 %)  wellicht wat aan de makkelijke kant… Cijferverdeling:

  13. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) 2 sets psychometrische analyses, voor MC en OV. Bewerking: 0 of 1 punt voor MCvragen: voor OV ligt score tussen 0 en 1 Invoeren in SPSS.

  14. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Run SPSS-syntax: RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18 MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL. Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties

  15. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) p-waarden α (is wat laag …) Output open vragen: Item-restcorrelaties α als 1 van de items verwijderd zou worden

  16. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Output meerkeuzevragen: α (is wederom laag …) p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen. p-waarden zijn gespreid

  17. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Output meerkeuzevragen: Item-restcorrelaties laten een aantal lage waarden zien… α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe… …maar deze is wel erg laag…

  18. Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010) Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66): α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?

  19. Tot slot Niet onbelangrijk: • Psychometrische gegevens zijn slechts ter indicatie • Lage aantallen items hebben een negatieve invloed op de analyses • Idem voor lage aantallen studenten • Psychometrisch analyseren betekent vaak kiezen tussen twee kwaden; verwijdering van items kan weliswaar tot betere analyseresultaten leiden, maar daardoor kan ook bijv. de representativiteit in het gedrang komen…

  20. Vragen?

More Related