Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap
This presentation is the property of its rightful owner.
Sponsored Links
1 / 20

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap PowerPoint PPT Presentation


  • 111 Views
  • Uploaded on
  • Presentation posted in: General

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap. 1. Karaktersetting på masteroppgaver V-2007 2. En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008.

Download Presentation

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Bjørn Erik Rasch:Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

1. Karaktersetting på masteroppgaver V-2007

2. En eller to sensorer? Et eksperiment

Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    Masteroppgaver fra 6 studieprogrammer

    Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Masteroppgaver i statsvitenskap 2006

  • Utfordring: Svært gode karakterer på visse programmer


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap1

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    Masteroppgaver fra 6 studieprogrammer

    Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap2

Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap3

Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1


Nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap4

Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

    7 medlemmer (fra hele landet)

    2 masteroppgaver fra hvert studieprogram

    Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

    Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

    Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer

  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1


Del 2 videref ring i form av et sensoreksperiment

Detaljert oversikt over sensorenes vurderinger

DEL 2: Videreføring i form av et sensoreksperiment

→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer

→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap


Sensoreksperiment to hypoteser

Sensoreksperiment:To hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.


Sherif muzafer 1937 an experimental approach to the study of attitudes sociometry 1 90 98

Hypotese 2: Teoretisk grunnlag……

Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, Sociometry 1: 90-98.


Asch solomon e 1952 social psychology englewood cliffs nj prentice hall

Asch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall.

Hvilken av strekene A, B eller C er like lang som denne?

YouTube.comConformity Video Clip ”Asch’sConformityExperiment”

http://www.youtube.com/watch?v=DKivdMAgdeA


Hypoteser

Hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.

Jeg foreslår en B.


Metode eksperimentelt design

→ Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

Metode (eksperimentelt design)

Medsensors beskjed:

”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”


Resultater karakter fordeling for eksperimentgruppe b og kontrollgruppe a

Resultater: Karakterfordeling for eksperimentgruppe (B) og kontrollgruppe (A)

→ Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

A

B

C

D

E


Deskriptiv statistikk for de to sensorgruppene

D er modus, median og gjennomsnitt i gruppe A

Deskriptiv statistikk for de to sensorgruppene

Størst spredning : Gruppe A

C er modus, median og gjennomsnitt i gruppe B


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Sensorenes ekspertise og erfaring har betydning

Forskjeller i gjennomsnittskarakter for ulike grupper av sensorer

Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter


Bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?


  • Login