Vad är en examination?

1. Stockholm, 2009 Vad är en examination? BRA Anders Jönsson, Malmö Högskola

2. Kvalitetskriterier Traditionell mätteori Reliabilitet Diskrimineringsförmåga Validitet

3. Reliabilitet Många enskilda ”items” Flervalsfrågor Diskrimineringsförmåga ”Svåra frågor” som inte alla ska klara Kvantitativ bedömning: antal rätt (jfr ”hur bra?”) Validitet T.ex. överensstämmelse mellan teoretisk modell och utfall

4. Kvalitetskriterier Traditionell mätteori Stabilitet i resultat Pålitlig rättning Reliabilitet Goda sorteringsegenskaper, t.ex. för urval Diskrimineringsförmåga [Statistiskt] generaliserbara resultat Validitet

5. …men examinationen ger konsekvenser för lärandet… Vad kommer läraren att bedöma? Vad brukar läraren bedöma?  Undervisning Bedömning ”Backwash”

6. Examinationen styr!  Undervisning ”Backwash”

7. Konsekvenser för lärandet Traditionell mätteori Isolerade kunskapsfragment Reliabilitet Perifer kunskap/konkurrens Frågor hemliga Diskrimineringsförmåga Resultaten begränsade till testsituationen Validitet

8. Validitet Bedömning Observation av prestation Omdöme på enskild uppgift Gynnas av korta, väldefinierade uppgifter med begränsat svarsutrymme

9. Validitet Generalisering Omdöme på enskilda uppgifter Andra likartade uppgifter Gynnas av många likartade uppgifter

10. Validitet Extrapolering Flera likartade uppgifter Mål/domän Gynnas av närhet mellan uppgifter och mål/domän (dvs. ”alignment” och autencitet)

11. Validitet Bedömning Generalisering Extrapolering Observation av prestation Omdöme på enskilda uppgifter Flera likartade uppgifter Mål/domän

12. Validitet Bedömning Generalisering Extrapolering Observation av prestation Omdöme på enskilda uppgifter Flera likartade uppgifter Mål/domän Flervalsfrågor

13.  Direkt bedömning When assessing competency, it could be argued that if we want to know how well somebody can perform a certain task, the most natural thing would be to ask her to do it, and then assess her performance (Kane, Crooks, & Cohen, 1999).

14. Examinationen styr!  Direktbedömning Undervisning Problem: - låg tillförlitlighet i bedömningen. - lärande förutsätter öppenhet och tydlighet. ”Backwash”  lärande?

15. Jönsson & Svingby (2007): Bedömningsmatriser kan göra bedömningar mer tillförlitliga. Bedömningsmatriser kan hjälpa till att definiera det som ska bedömas, och på så sätt förbättra validiteten i bedömningen.

16. Jönsson & Svingby (2007): Bedömningsmatriser kan stötta elevernas lärande genom att göra kriterier och förväntningar tydligare för eleverna, vilket även underlättar feedback och själv-bedömning.

17. Exempel på bedömningsmatris: ”Självbedömning”

18. Exempel på bedömningsmatris: ”Självbedömning” Kriterium

19. Exempel på bedömningsmatris: ”Självbedömning” Kvalitetsnivåer

20. Själv- värdering Analys av situationer Jämförelse med professionell Feedback Bedömning Utvärdering Den ”Interaktiva examinationen”1 1Efter Mattheos (2004)”Information technology and interaction in learning.”

21. Självvärdering Analys av situationer Jämförelsemedprof. Feedback Bedömning Utvärdering Den ”Interaktiva examinationen” Analys av simulerade klassrumssituationerTre fält:ObservationAnalysÅtgärd

22. Självvärdering Analys av situationer Jämförelsemedprof. Feedback Bedömning Utvärdering Den ”Interaktiva examinationen” Analys av simulerade klassrumssituationerTre fält:ObservationAnalysÅtgärd Exempel: Beskriv situationen sakligt och utan att värdera

23. Självvärdering Analys av situationer Jämförelsemedexpert Feedback Bedömning Utvärdering Den ”Interaktiva examinationen” Analys av simulerade klassrumssituationerTre fält:ObservationAnalysÅtgärd Exempel: Vad är problemet? Varför agerar personerna som de gör?

24. Självvärdering Analys av situationer Jämförelsemed expert Feedback Bedömning Utvärdering Den ”Interaktiva examinationen” Analys av simulerade klassrumssituationerTre fält:ObservationAnalysÅtgärd Exempel: Formulera en åtgärd som tar hänsyn till de inbland-ades skilda behov.

26. Självvärdering Analys av situationer Jämförelse med expert Feedback Bedömning Utvärdering Den ”Interaktiva examinationen” Jämförelse med “professionell” a) Identifiera skillnader mellan din egen och den professionella analysen av situationen.b) Ange skäl till skillnaderna.c) Identifiera brister i din yrkes- kompetens och formulera egna utbildningsbehov utifrån dessa brister. Anders Jönsson, Malmö Högskola

27. Den ”Interaktiva examinationen”1 Själv- värdering Analys av situationer Jämförelse med professionell Är detta en examination? BRA Feedback Bedömning Utvärdering 1Efter Mattheos (2004)”Information technology and interaction in learning.”

28. Generaliserbar Efter Baartman (2005)”The Wheel of Competency Assessment.” Jämförbar Rättvis Tydlig Reliabilitet Meningsfull Validitet Komplex Diskriminerings-förmåga Autentisk Effektiv Lärande

29. Jämförbarhet Höginrekonsistenssamthögöverensstämmelsemellanolikabedömare = 0,79 resp. 0,83

30. Generaliserbarhet Tre filmer per student räckte för att ge stabila resultat  = 0,93 resp. 0,82

31. Generaliserbar Efter Baartman (2005)”The Wheel of Competency Assessment.” Jämförbar Rättvis Tydlig Reliabilitet Meningsfull Validitet Komplex Diskriminerings-förmåga Autentisk Effektiv Lärande

32. Ökad transparens Inga förändringar

33. Matris ———————— Ex. 1  Ex. 2  Ex. 3  Bedömda exempel Transparens Frågor: Var är jag nu? Starka sidor, svaga sidor? Hur ska jag göra för att bli bättre…? Hit ska du nå Kriterium 1 Mål ———————— Kriterium 2 Kriterium 3 Nybörjare ”Expert”

34. Ökad transparens Inga förändringar

36. BRA?! De undervisnings- och examinerings-metoder som används är väl anpassade efter utbildningens innehåll och mål. Studenternas inlärningsprocess ska främjas på bästa möjliga sätt. Studenternas resultat ska vara mycket goda Vägledande kvalitetsaspekter från www.hsv.se