Automatisering av tester
This presentation is the property of its rightful owner.
Sponsored Links
1 / 38

Automatisering av tester PowerPoint PPT Presentation


  • 66 Views
  • Uploaded on
  • Presentation posted in: General

Automatisering av tester. Greta Hjertø Jarle Larsen Svend Andreas Horgen. Effektmål. Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at: de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener

Download Presentation

Automatisering av tester

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Automatisering av tester

Automatisering av tester

Greta Hjertø

Jarle Larsen

Svend Andreas Horgen


Effektm l

Effektmål

  • Målet er å fremskaffe et grunnlag for å ta i bruk automatiserte tester ved AITeL, slik at:

    • de i størst mulig grad kan erstatte tradisjonelle prøver og eksamener

    • vi måler studentens faktiske kunnskap på en tilfredsstillende måte

    • lærerressurser til utvikling, gjennomføring og etterarbeid reduseres vesentlig i forhold til dagens praksis

    • studenten får et arbeidsredskap som motiverer og støtter i læringsprosessen

  • Øke forståelse for og kompetanse i bruk av automatiserte tester i høgere utdanning


Resultatm l

Resultatmål

  • Identifisere en beste praksis gjennom

    • litteraturstudium

    • utvikling og utprøving av tester

    • analyse av testresultatene

    • syntese – beste praksis

  • Utvikling av verktøy med funksjonalitet basert på

    • litteraturstudium

    • resultater fra analysene

  • Formidling av resultatene

    • Paper til Educa Berlin (des 2005). Abstract april 2005.

    • Verktøy/prototyp, HiST, its L, andre?

    • Presentasjon for ansatte i HiST

    • Instruksjonshefte for å lage gode tester – legg ut på NVU-web?

    • Kanskje bidra i Høgskolepedagogikk-undervisningen


Presentasjon av resultater

Presentasjon av resultater

  • Teorigrunnlag

  • Utprøving av teori

  • Utvikling av verktøy

  • Formidling av resultat

    • Foredrag

    • Paper

    • Rapport

    • Guide/oppslagsverk


Teorigrunnlag litteratur

Teorigrunnlag – litteratur

  • M. Bush: ”A Multiple Choice Test that Rewards Partial Knowledge”, Journal of Further and Higher Education, Vol. 25 no 2, 2001

  • Sylvia Encheva, Sharil Tumin: “On multiple choice tests in a computer added assessment system”

  • W. Horton: Designing web-based training Wiley, 2000

  • T. Buchanan: “Using the world wide web for formative assessment”, Jorunal of Educational Technology Systems, 27, 1998-1999


Automatiserte tester beste praksis

Automatiserte tester – beste praksis?

  • Valg av spørsmålstype

  • Formulering av spørsmål

  • Valg av tilbakemeldingsstrategi

  • Utforming av tilbakemelding

Design test

Forbedre test

Gi test

  • Evaluer resultat

  • Spør studentene

  • Vurder test mot kursmål

  • Valg av teststrategi

  • Bygging av tester

  • Utforming av informasjon

  • Hindring av juks

Gi skår

  • Valg av skårstrategi


Sp rsm lstyper

Spørsmålstyper

  • Ja/nei

  • Flervalg – varianter

  • Fritekst

  • Sammenligne to lister

  • Fyll inn blanke

  • Klikk og dra

  • Simulering


Formulering av gode sp rsm l

Formulering av gode spørsmål

  • Enkle og komplette formuleringer, eksempel:

    • Pass på dobbelt nekting

    • Ikke la ja bety noe negativt

    • Ikke bruk pronomen

    • Ikke bruk understrekning, betyr lenke på Internet

  • La alle alternativer være like sannsynlige

  • Ikke avslør svaret

  • Varier vanskelighetsgraden


Effektive tilbakemeldinger eksempel p design

Effektive tilbakemeldinger – eksempel på design

Start test

Spørsmål

Neste

spørsmål

Hint

?

Tilbakemelding

feil svar

Tilbakemelding

riktig svar

Evaluer svaret

  • Når?

  • Hvem?

  • Innhold?

Riktig svar

Lenke til

fagstoff

?

Beregn skår


Effektive tilbakemeldinger

Effektive tilbakemeldinger


Valg av teststrategi

Valg av teststrategi

  • Skal studenten teste seg selv?

  • Skal lærer se hvordan studenten ligger an?

  • Skal lærer gi karakter?

  • Eksempel på bruk av tester

    • Selvevaluering

    • Obligatorisk test

    • Midtveiseksamen


Bygging av tester

Bygging av tester

  • Statiske / Dynamiske

  • Lærerstyrt / Studentstyrt

  • Eksempel på bygging:

    • Testen bygges når studenten ber om den

    • Testside, spørsmålssett velges tilfeldig fra pool

    • Hvis testen tas flere ganger, neste test har ny side med nye spørsmål og/eller svaralternativer

    • For hvert spørsmål, fem svaralternativer, ett riktig, ett vet ikke

    • Hvis ny test med nye svaralternativer – ett galt svar det samme

    • Studentens sider lagres

    • Alle versjoner sammenlignbare i vanskelighetsgrad og tema


Om informere om testen

Om å informere om testen

Får jeg karakter?

Hvilken del av pensum dekkes?

Er det tidsbegrensning?

Når må jeg ha tatt testen?

Hvor mange spørsmål består den av?

Hvor mange poeng får jeg for rett svar, feil svar ingen svar?

Hva slags spørsmål er det?

Kan jeg ta testen senere?

Kan jeg ta testen flere ganger?

Kan jeg avbryte og fortsette senere?

Hvilke hjelpemidler kan jeg bruke?

Når får jeg vite resultatet?

Må spørsmålene besvares i sekvens?

Hva skjer om jeg får tekniske problemer?


Informasjon til studentene

Informasjon til studentene

  • Testregler for kurset

  • Testside for hver test

  • Spesifikk informasjon for hvert spørsmål

  • Vanlige spørsmål og svar


Beregning av sk r

Beregning av skår

  • Mål: Måle faktisk kunnskap

    • Hindre gjetting

    • Måle delvis kunnskap

  • Strategier:

    • Normalisering

    • Høy grunnverdi

    • Negative skår for feil svar

    • Hvor sikker er du?

    • Velg mer enn ett alternativ

    • Eliminer feil svar


Stadig bedre tester

Stadig bedre tester

  • Evaluer resultatet basert på statistikk

  • Spør studentene

  • Vurder mot kursets mål


Utpr ving av teori

Utprøving av teori

  • Kildemateriale – tester i flere fag til nå

    • Internett og Sikkerhet

    • Prosjektrettet systemarbeid

    • Kontorautomasjon

    • Webprogrammering med PHP

    • Visual Basic

    • BADR høsten 2004

  • Analyse

  • Syntese


Utpr ving av teori1

Utprøving av teori

Kildemateriale

Analyse

Syntese


Utpr ving av teori2

Utprøving av teori

Teori

Kildemateriale

Analyse

Syntese

Verktøy

Beste praksis


Hypotese 1

Hypotese 1

  • Poengberegningen som brukes spiller inn på resultatet av tester

  • Poengberegningen må velges med omhu og tilpasses fagets egenart.


Kildemateriale hypotese 1

Kildemateriale hypotese 1

  • Øving høsten 2004, BADR, it's Learning

    • Programmering

    • 75 studenter

    • 20 spørsmål, ett av fire kryss, 60% riktig for å stå

    • Hvor sikker er du på om svaret er riktig?

  • Del av eksamen, fjernundervisning

    • Et kryss av tre mulige, minuspoeng for galt svar (Internett og Sikkerhet, Kontorautomasjon)

    • Et kryss av fire mulige (Visual Basic, Kontorautomasjon)

    • Sett kryss for 0,1,2,3 eller 4 riktige (PHP, Visual Basic)


Strategi hypotese 1

Strategi hypotese 1

  • Fra its’ Learning til regneark

    • Ingen eksportstøtte per i dag

    • Stor manuell jobb

  • Analyse

    • Ulike formler for poengberegning

    • Forskjell, mønstre, eller annet å trekke ut

    • Andre forslag?


Forventet resultat hypotese 1

Forventet resultat hypotese 1

  • Hvilke formler egner seg best til denne type test?

  • Mulig å generalisere konklusjonen?

  • Guide til hvordan formler må settes opp i regneark


Hypotese 2

Hypotese 2

  • Hvis læreren kan noe teori om flervalgstester og legger flid i formuleringene, vil studentene akseptere testene.

  • Tester kan erstatte tradisjonell eksamensform og ressurser spares.

  • Det kreves derimot trolig mer arbeid for å lage en god nok flervalgstest.


Kildemateriale hypotese 2

Kildemateriale hypotese 2

  • Eksamen FU i Visual Basic desember 2004

    • flervalgstest (40%)

    • programmeringsdel (60%)

  • Eksamen BADR januar 2005

    • flervalgstest (40%)

    • eksamen talte 60% på totalkarakteren (prosjekt siste 40%)

    • 20 spørsmål fra IT-Intro, 10 fra Publisering på Internett, 10 fra Visual Basic og 10 fra Databaser.

    • Kvalitetssjekk: faglærerne løste alle spørsmålene i plenum.

    • Muntlig tilbakemelding om at flere av spørsmålene var utvetydige og at de kunne svaret, men krysset av feil pga formuleringene.


Strategi hypotese 2

Strategi hypotese 2

  • Er det en sammenheng mellom resultatene fra flervalgstesten (40%) kontra programmeringsdelen (60%) av VB-eksamen? Kunne flervalg vært brukt alene på denne eksamen?

  • Uklare formuleringer:

    • Spørsmål som også flinke får 0 poeng på

    • Lag evalueringsskjema for BADR-studentene???

  • Lag flervalg til eksamen i Opsys til våren med sterkere fokus på teori

  • Gjenta evalueringsskjemaet etter eksamen i mai???


Forventet resultat hypotese 2

Forventet resultat hypotese 2

  • Kan lære mye om hva som må til for at tester kan brukes i utstrakt grad

  • Kan avdekke typiske uheldige formuleringer

  • Kan lære om studentenes oppfatning av tester


Hypotese 3

Hypotese 3

  • Underveistesting i semesteret kan øke læringen for studentene, ivareta fleksibiliteten og sikre jevn progresjon i faget.

  • Testingen kan automatiseres


Kildemateriale hypotese 3

Kildemateriale hypotese 3

  • Generell observasjon: Det er ofte et nokså stort frafall av studenter i fjernundervisningen

  • Mange studenter føler at eksamen ble mye vanskeligere enn først antatt.

  • Resultatene fra Visual Basic over en årrekke avslører at en stor andel stryker eller er i bunnen av karakterskalaen.

  • Har ikke brukt flervalgstester underveis i semesteret i fjernundervisningen før, selv om det ofte er flervalgstester på eksamen.


Strategi hypotese 3

Strategi hypotese 3

  • Lag 2-3 frivillige tester i Visual Basic, FU

  • Plasser disse etter vanskelige tema (matriser, funksjoner, filbehandling)

  • Lag og gjennomfør 1 obligatorisk flervalgstest i Opsys (BADR)

  • Bruk its’ Learning nå

  • Eget verktøy til høsten?


Forventet resultat hypotese 3

Forventet resultat hypotese 3

  • Vanskelig å måle om slike underveis-tiltak har noen direkte effekt

  • Kan se på om gjennomføringsraten øker, samt om karakterene forbedres sammenliknet med tidligere karakterfordeling

  • Kan spørre om de er tilfredse med faget, og kanskje sammenlikne med andre fag de tar hvor slik testing ikke gjennomføres?

  • Kan gjenbruke testene over flere semestre og slik forbedre det pedagogiske opplegget


Status

Status

  • Litteraturstudier

  • Gjennomførte tester

  • Behov for nytt verktøy - hovedprosjekt

  • Demo ved studentene Thomas Eggum og Sindre Williksen


Videre arbeid v r 2005

Videre arbeid – Vår 2005

  • Følge opp hovedprosjektet

  • Komme fram til metoder for å kvalitetssikre tester

  • Utvikle tester basert på litteraturstudiene

  • Gjennomføre tester i noen fag

    • Som selvtest

    • Som vurderingsgrunnlag

  • Vurdere om det er noen signifikant forskjell mellom test og vanlig eksamen

  • Implementere IMS QTI i hovedprosjektoppgaven?

  • Undersøke hvordan studenter og lærere oppfatter verdien av tester i læringsprosessen


Videre arbeid h st 2005

Videre arbeid – Høst 2005

  • Evaluere resultatet av vårens undersøkelser

  • Skrive foreløpig rapport

  • Studere problematikken omkring autentisering av tester

  • Utføre nødvendige forbedringer og kvalitetssikre arbeidet

  • Nye undersøkelser

  • Analysere resultatene

  • Foredrag


Videre arbeid v r 2006

Videre arbeid – Vår 2006

  • Fortsette analysearbeidet

  • Rapportskriving

  • Utarbeide instruksjonshefte for å lage gode tester

  • Avslutningsfest!!!


  • Login