1 / 41

Een systemische aanpak van toetsing

Een systemische aanpak van toetsing. NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht. Overzicht. Van praktijk naar onderzoek Van onderzoek naar theorie Van theorie naar praktijk Conclusies. Toetsvormen.

vila
Download Presentation

Een systemische aanpak van toetsing

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht

  2. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

  3. Toetsvormen • MCQ, MEQ, OEQ, SIMP, Write-ins, Key Feature, PMP, SCT, Patiënt examen, OSCE, OSPE, DOCEE, SP-based test, Video assessment, MSF, Mini-CEX, DOPS, assessment center, self-assessment, peer assessment, incognito SPs………….

  4. Performance assessment in vivo: KKB, 360۫…, Peer, Video, Incognito Pat, Video……. Does Performance assessment in vitro: OSCE, SP-based test….. Knows how (Klinisch) Contextuele toetsen: MCQ, open vragen, mondeling….. Knows Feitgerichtetoetsen: MCQ, open vragen, mondeling….. Shows how De beklimming...... Does Shows how Knows how Knows

  5. Onderwijs- invloed Onderwijs- invloed Validiteit Validiteit Kosten Acceptabiliteit Betrouwbaarheid Betrouwbaarheid Karakteristieken van instrumenten

  6. Validiteit: wat beoordelen we? • Curricula zijn veranderd van input sturing naar output sturing • Van disciplinesnaar leerdoelen, eindtermen, en nu competenties • Van docentsturing naar zelfsturing

  7. Competentie-frameworks • CanMeds (Canada) • Medical expert • Communicator • Collaborator • Manager • Health advocate • Scholar • Professional • ACGME • (US) • Medical knowledge • Patient care • Practice-based learning & improvement • Interpersonal and communication skills • Professionalism • Systems-based practice • GMC • (UK) • Good clinical care • Relationships with patients and families • Working with colleagues • Managing the workplace • Social responsibility and accountability • Professionalism

  8. Does Knows how Knows Shows how Validiteit: wat beoordelen we? Ongestandaardiseerde Toetsing (opkomend) Does Shows how Gestandaardiseerde Toetsing (ver uitontwikkeld) Knows how Knows

  9. Inzichten over validiteit • We hebben een veelheid aan toetsmethoden nodig om de hele competentiepiramide te dekken • Nodig zijn gestandaardiseerde ènongestandaardiseerdetoetsmethodieken • Kwaliteitscontrole van instrumenten is essentieel voor gestandaardiseerde beoordeling • De gebruikers (de mensen) zijn essentieel bij ongestandaardiseerdebeoordeling.

  10. Betrouwbaarheid: hoe precies beoordelen we? KKB6 0.73 0.84 0.92 0.96 Korte casus gerichte Essay2 0.68 0.73 0.84 0.82 Praktijk Video Obser- vatie7 0.62 0.76 0.93 0.93 In- cognito SPs8 0.61 0.76 0.82 0.86 Toets- Tijd in Hours 1 2 4 8 MCQ1 0.62 0.76 0.93 0.93 Simu- laties1 0.36 0.53 0.69 0.82 Mon- de- ling3 0.50 0.69 0.82 0.90 Patient examen4 0.60 0.75 0.86 0.90 OSCE5 0.54 0.69 0.82 0.90 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 4Wass et al., 2001 5Van der Vleuten, 1988 6Norcini et al., 1999 7Ram et al., 1999 8Gorter, 2002

  11. Inzichten over betrouwbaarheid • Acceptabele betrouwbaarheid wordt slechts bereikt bij een grote steekproef aan toetselementen en beoordelaars • Geen enkele methode is inherent beter dan een andere (ook de nieuwere niet!) • Objectiviteit is NIET gelijk aan betrouwbaarheid • Vele onafhankelijke subjectieve oordelen maken een objectief oordeel.

  12. Onderwijsinvloeden: Hoe stuurt toetsing het leren? • Sturing is complex (zie Cilliers, 2011, 2012) • Veel negatieve invloeden • Povere leerstijlen • Cijferproblematiek (zesjes cultuur, genade-zes, jagen op punten) • Hoge werkplekbeoordelingen • Veel reductionisme in toetsing • Weinig feedback (cijfer is slechte vorm van feedback) • Toetsconcept niet aansluitend op onderwijsconcept • Aggregatie van informatie over niet betekenisvolle eenheden • Weinig longitudinale opvolging • Veel vinken, weinig vonken (OSCE, werkplekbeoordelingen).

  13. Inzichten over onderwijsgevolgen • Geen enkele toets of beoordeling zonder betekenisvolle feedback • Narratieve feedback heeft meer impact dan scores op complexe vaardigheden • Feedback alleen is niet genoeg voor gebruik • Meer longitudinale beoordeling is wenselijk.

  14. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

  15. De beperkingen van de enkelvoudige toetsbenadering • Geen enkele toets kan alles • Elke toets heeft beperkingen • Elke toets houdt een fors compromis in

  16. Implicaties • Validiteit: een veelheid aan toetsen nodig • Betrouwbaarheid: veel (gecombineerde) informatie nodig • Onderwijsgevolgen: toetsing moeten (longitudinaal) betekenisvol voor het leren zijn Toetsprogramma’s

  17. Toetsprogramma’s • Curriculum programma is goede metafoor; in een toetsprogramma zijn: • Onderdelen gepland, gearrangeerd, gecoördineerd • Systematisch geëvalueerd en bijgesteld • Maar hoe doe je dat dan? (de literatuur biedt bitter weinig houvast!)

  18. Toetsprogramma’s • Zie Dijkstra et al 2012: 73 generieke richtlijnen voor toetsprogramma’s • Nog te doen: • Verdere validering • Een handzaam (zelfevaluatie) instrument

  19. Bouwstenen Toetsprogramma’s 1 • Elke toets of beoordeling is één datapunt (Δ) • Elk datapunt is geoptimaliseerd voor leren • Informatierijk (kwantitatief, kwalitatief) • Betekenisvol • Gevarieerd in vorm • Summatief versus formatief vervangen we door een continuüm van wat er op het spel staat (stakes) • N datapunten zijn gerelateerd aan aard van beslissing

  20. Continuüm van wat er op spel staat,relatie met datapunten en hun functie Er staat niets op spel Er staat alles op spel • Eén • datapunt: • Gericht op informatie, • feedback • Tussentijdse • Voortgangsbeslissingen: • Meer datapunten nodig • Gericht op diagnose, bijsturing en voorspelling • Finale • Beslissingen: • Veel datapunten nodig • Gericht op een (niet verassende) zware beslissing

  21. Toetsinformatie als pixels

  22. Klassieke benadering van aggregatie Methode 1 voor beoordeling van vaardigheid A Σ Methode 2 voor beoordeling van vaardigheid B Σ Methode 3 voor beoordeling van vaardigheid C Σ Methode 4 voor beoordeling van vaardigheid D Σ

  23. Betekenisvolle benadering van aggregatie Competentie A Competentie B Competentie C Competentie D Methode 1 Methode 2 Methode 3 Methode 4 Σ Σ Σ Σ

  24. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

  25. Terug van theorie naar praktijk • Bestaande toetspraktijken: • Master Diergeneeskunde Utrecht • AKO, graduate entry geneeskunde Maastricht • Jaar 6 geneeskunde Maastricht (later hele Master) • Huisartsopleiding Nederland • Sommige specialistenopleidingen zijn hard op weg • Cleveland LearnerClinic, Cleveland, Ohio

  26. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • 5 jarige opleiding arts/klinisch onderzoeker • Overkoepelende competententiestructuur • Beschreven standaarden per fase van de studie • Alle toetsing formatief en infomatief • Wekelijkse casustoetsing met open vragen, geen gradesmaar feedback • Veel docent en peer evaluaties in narratieve vorm • Werkplekbeoordelingen • OSCEs

  27. Competentie framework • Research • Medical Knowledge in the Basic andClinical Sciences • Communication • Professionalism • Personal Development • Clinical Skills • ClinicalReasoning • Health Care Systems • ReflectivePractice

  28. Voorbeeld van standaarden

  29. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • Alle infomatie in een centraal webgebaseerd systeem • Mentor systeem met longitudinale opvolging, gesprekken op basis van zelfanalyses • Voortgangsbeslissingen door onafhankelijke commissie met zware procedures voor besluitvorming

  30. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • Alle infomatie in een centraal webgebaseerd systeem • Mentor systeem met longitudinale opvolging, gesprekken op basis van zelfanalyses • Voortgangsbeslissingen door onafhankelijke commissie met zware procedures voor besluitvorming

  31. Cleveland Clinic Lerner College of Medicine • Opbrengsten: • Studenten passen zich probleemloos aan na de “test-cultuur” waaraan ze gewend zijn • Hoog presterende studenten (USMLE) • Studenten zijn de ambassadeurs geworden van het systeem en waarderen: • De rijkheid van het systeem • Het aandacht bieden aan brede vaardigheden • De zelf-controle • De begeleiding

  32. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

  33. Conclusies 1 • We moeten af van het exclusief denken in individuele toetsmethoden • Een systemische, programmatische aanpak is daarvoor noodzakelijk, longitudinaal gericht • Elke toetsmethode kan hierin functioneel zijn (oud en nieuw; gestandaardiseerd en ongestandaardiseerd) • Professionele oordeelsvorming is onontbeerlijk (vergelijkbaar aan de klinische praktijk) • Subjectiviteit wordt gepareerd met sampling en met procedurele maatregelen (en niet met standaardisering of objectivering)

  34. Conclusies 2 • Het toetsprogramma optimaliseert: • De leerfunctie (door informatierijkheid) • De beslisfunctie (door combinatie van informatie)

  35. DezePowerpoint: www.fdg.unimaas.nl/educ/cees/nvmo Dank voor uw aandacht!

More Related