Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap
Download
1 / 20

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap - PowerPoint PPT Presentation


  • 152 Views
  • Uploaded on

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap. 1. Karaktersetting på masteroppgaver V-2007 2. En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap' - ankti


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Bjørn Erik Rasch:Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

1. Karaktersetting på masteroppgaver V-2007

2. En eller to sensorer? Et eksperiment

Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap
Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    Masteroppgaver fra 6 studieprogrammer

    Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)


Masteroppgaver i statsvitenskap 2006 masteroppgaver i statsvitenskap

  • Utfordring: Svært gode karakterer på visse programmer


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap1
Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    Masteroppgaver fra 6 studieprogrammer

    Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap2

Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap3

Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap4

Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1


Del 2 videref ring i form av et sensoreksperiment

Detaljert oversikt over sensorenes vurderinger 11 oppgavene fordelte seg (prosent)

DEL 2: Videreføring i form av et sensoreksperiment

→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer

→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap


Sensoreksperiment to hypoteser
Sensoreksperiment: 11 oppgavene fordelte seg (prosent) To hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.


Sherif muzafer 1937 an experimental approach to the study of attitudes sociometry 1 90 98

Hypotese 2 11 oppgavene fordelte seg (prosent) : Teoretisk grunnlag……

Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, Sociometry 1: 90-98.


Asch solomon e 1952 social psychology englewood cliffs nj prentice hall
Asch, Solomon E. (1952). 11 oppgavene fordelte seg (prosent) Social psychology. Englewood Cliffs, NJ: Prentice-Hall.

Hvilken av strekene A, B eller C er like lang som denne?

YouTube.comConformity Video Clip ”Asch’sConformityExperiment”

http://www.youtube.com/watch?v=DKivdMAgdeA


Hypoteser
Hypoteser 11 oppgavene fordelte seg (prosent)

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.

Jeg foreslår en B.


Metode eksperimentelt design

11 oppgavene fordelte seg (prosent) Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

Metode (eksperimentelt design)

Medsensors beskjed:

”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”


Resultater karakter fordeling for eksperimentgruppe b og kontrollgruppe a
Resultater: Karakter 11 oppgavene fordelte seg (prosent) fordeling for eksperimentgruppe (B) og kontrollgruppe (A)

→ Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

A

B

C

D

E


Deskriptiv statistikk for de to sensorgruppene

D 11 oppgavene fordelte seg (prosent) er modus, median og gjennomsnitt i gruppe A

Deskriptiv statistikk for de to sensorgruppene

Størst spredning : Gruppe A

C er modus, median og gjennomsnitt i gruppe B


Sensorenes ekspertise og erfaring har betydning 11 oppgavene fordelte seg (prosent)

Forskjeller i gjennomsnittskarakter for ulike grupper av sensorer

Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp


Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)


Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter


Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?


ad