bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap
Download
Skip this Video
Download Presentation
Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

Loading in 2 Seconds...

play fullscreen
1 / 20

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap - PowerPoint PPT Presentation


  • 156 Views
  • Uploaded on

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap. 1. Karaktersetting på masteroppgaver V-2007 2. En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap' - ankti


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
bj rn erik rasch karaktersetting erfaringer og unders kelser fra statsvitenskap

Bjørn Erik Rasch:Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

1. Karaktersetting på masteroppgaver V-2007

2. En eller to sensorer? Et eksperiment

Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008

nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap
Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap
  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

7 medlemmer (fra hele landet)

Masteroppgaver fra 6 studieprogrammer

Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

slide3

Masteroppgaver i statsvitenskap 2006

  • Utfordring: Svært gode karakterer på visse programmer
nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap1
Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap
  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

7 medlemmer (fra hele landet)

Masteroppgaver fra 6 studieprogrammer

Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007

Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer
  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap2

Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap
  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

7 medlemmer (fra hele landet)

2 masteroppgaver fra hvert studieprogram

Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer
  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap3

Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

7 medlemmer (fra hele landet)

2 masteroppgaver fra hvert studieprogram

Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer
  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1

nasjonal kommisjon for vurdering av karaktersetting p masteroppgaver i statsvitenskap4

Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)

Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap

7

  • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:

7 medlemmer (fra hele landet)

2 masteroppgaver fra hvert studieprogram

Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007

Medlemmene satte karakterer individuelt og begrunnet dem skriftlig

Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  • Utfordring: Svært gode karakterer på visse programmer
  • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

3

1

del 2 videref ring i form av et sensoreksperiment

Detaljert oversikt over sensorenes vurderinger

DEL 2: Videreføring i form av et sensoreksperiment

→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer

→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap

sensoreksperiment to hypoteser
Sensoreksperiment:To hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.

asch solomon e 1952 social psychology englewood cliffs nj prentice hall
Asch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall.

Hvilken av strekene A, B eller C er like lang som denne?

YouTube.comConformity Video Clip ”Asch’sConformityExperiment”

http://www.youtube.com/watch?v=DKivdMAgdeA

hypoteser
Hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.

Jeg foreslår en B.

metode eksperimentelt design

→ Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

Metode (eksperimentelt design)

Medsensors beskjed:

”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”

resultater karakter fordeling for eksperimentgruppe b og kontrollgruppe a
Resultater: Karakterfordeling for eksperimentgruppe (B) og kontrollgruppe (A)

→ Besvarelsen til vurdering hadde fått D

(D-en ble opprettholdt etter klage)

A

B

C

D

E

deskriptiv statistikk for de to sensorgruppene

D er modus, median og gjennomsnitt i gruppe A

Deskriptiv statistikk for de to sensorgruppene

Størst spredning : Gruppe A

C er modus, median og gjennomsnitt i gruppe B

slide17

Sensorenes ekspertise og erfaring har betydning

Forskjeller i gjennomsnittskarakter for ulike grupper av sensorer

Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp

slide18

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

slide19

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

slide20

Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?

ad