Questionmark Perception bij de VU

1. Questionmark Perception bij de VU Silvester Draaijer Onderwijscentrum VU

2. Onderwijscentrum VU • VU: 18.000 studenten • Onderwijscentrum VU • 1e graads lerarenopleiding • Hoger Onderwijs • o.a. team ICTO • Communities of Learners als centraal thema • Assessment is één van de aandachtspunten • Pre-master assessment VU • Portfolio • Peer-Review (SURF project met UU en TUD) • Digitaal Toetsen

3. Waartoe? • Toetsen dicteert studiegedrag van studenten in belangrijke mate • Onderwijs ontwikkelen: begin bij de toets • Formatieve toetsing: informatie verkrijgen en geven over vorderingen en uitstippelen leerplan • Summatieve toetsing: cijfer geven, civiel effect

4. Waarom digitaal toetsen? • Transparantie van onderwijsmiddelen • Onderwijs in digitale omgeving • Toetsing in digitale omgeving (waarom bij tentamen schrijven met pen en papier?) • Samenwerken aan toetsbanken • Directe terugkoppeling naar studenten • Snelle analyse van toetsen en resultaten • Gebruik van multimedia en andere vraagvormen • plaatjes, foto’s, animaties, simulaties, video’s • Andere respons akties • Verhogen van • kwaliteit toetsontwikkelproces • validiteit van toetsing

5. Middelen - 1 • Onderwijscentrum VU: • Tentamenservice (schrapkaarten – Teleform SIMAC) • Blackboard’s Assessment manager • Respondus • Questionmark Perception

6. Blackboard Assessment • Laagdrempelig • Docentsturing • Beperkt aantal vragen in itembank (0-250) • Voldoende mogelijkheden voor maken gesloten toetsvragen (pro: numerieke variabelen) • Voor eenvoudige tussentoetsen • Eenvoudige toetsanalyse

7. Respondus • Laagdrempelig • Docentsturing • Voor maken van ‘mooiere’ toetsvragen (plaatjes, multimedia, wiskundige formules) • Voor beheren van grotere toetsbanken (100 – 600 vragen) en in meerdere cursussen • Voor eenvoudig en snel ‘printen’ van toetsvragen • Voor beveiligde afname (Respondus LockDown Browser) • Brug naar QMP

8. Questionmark Perception • Waarom een extra digitale toetsomgeving voor de VU? • Blackboard toch beperk (maar wordt wel beter) • Bescherming van toetsvragen • Samenwerken ontwikkelen • Voor tentamendoeleinden nog niet geschikt (m.n. toetsanalyse) • Alternatieven • Questionmark Perception • TestVision • Etude • Egel • MapleTA (o.a. algebraïsch, numeriek) • Brownstone Diploma • TOIA

9. Questionmark Perception • Waarom QMP voor de VU? • Geschikt voor itembanking • Goed in aanmaken complexe toetsvragen en lay-out(geavanceerde vraagtypen, aanpassing lay-out) • Goed in maken van complexe toetsen(conditionele opties, verfijnde puntentoekenning) • Geschikt voor tentamineren(betrouwbaarheid, beveiliging en goede toetsanalyse) • Integratie met andere systemen mogelijk • Grote Installed Base • Hosting en support mogelijk in NL • QTI • Het schaap met de 5 poten?

10. Questionmark Perception • Eigenschappen: • Gemaakt voor en door specialisten • Steile leercurve • Externe kosten (betalen per auteur, student, beheerder, functie) • Complexe structuur en authorisatie • Kortom: Hoge drempel – dus je moet het als instelling of faculteit ECHT willen

11. Qpack Systeem overzicht QMP v4 Communicatie ICTO Ontwikkel-omgeving Inter-net Afnameomgeving AUTEURS PC’S Internet

12. Machinerie • Hosting door STOAS • QMP v4.3 UK • server met 2x 2,6Ghz Dual Core processor met 8Gb geheugen • Daarop draait de QMP4 VMWare omgeving met 1x 2,6GHz Dual Core en 3,5Gb geheugen • Operating system is Windows 2003 SP1 • Database in gebruik is SQL server 2005 • Webserver is in combinatie met IIS6 (Windows 2003) • HDD: SCSI op 15K, 8 MB cache • VMWare bevat dezelfde componenten • De database zit in de VMWare omgeving • Goed voor 140 studenten die getemporiseerd inloggen • Uitbreiding naar Load Balanced omgeving wordt voorbereid

13. Ervaringen en stavaza • FBW – practicumtoetsen • VUmc – diverse tentamens • Postdoctoraal onderwijs • Letteren – diverse oefenbanken • ALW – zelfstudie oefeningen, digitale tentamens • Taaltoets VU • ACTA – diverse tentamens • Leren met vallen en opstaan • Veel troubleshooting nodig • Performance en stabiliteit garanderen

14. Middelen 2 - mensen • Werkvloer – docenten • Zelfstandig werken met software • Decentraal – facultair ondersteuners • Ondersteuning op werkvloer door beheerders per faculteit. Werken nauw samen met centrale ondersteuners • Centraal – VU-brede ondersteuning • Ondersteuning op facultair niveau en werkvloer door mensen van Onderwijscentrum VU, Dienst IT en hosting-partner voor technisch, applicatie en functioneel beheer (training, scholing, troubleshooting, advies)

15. Middelen 3 – fysieke omgeving • Toetszaal • Licht, Lucht, Rust, Ruimte …. OER • Proctoring: toezicht op fraude, controle op identiteit, spieken, chatten etc… OER • Nog een probleem voor grote cohorten

16. Afnameproces Studenten invoeren ICTO Groepen maken Fac Beh. Schedules maken (groepen ofstudenten aan een toets koppelen) Fac. Beh. Toets laten afnemen Fac. Beh. Verwerken en analyseren van resultaten Fac. Beh.

17. Toetsanalyse • Opvragen van allerlei rapporten mogelijk • Leren hoe je snel en effectief rapportages maakt kost tijd • Excel blijft nodig

18. Stand van zaken • Onderwijscentrum VU heeft werkbare omgeving • Uitbreiding naar Load Balanced omgeving • Investering in software en licenties € 75.000 • Centraal beheer verder regelen • Integreren met Blackboard/LDAP …

19. Wat geleerd • Opnemen in organisatie kost veel tijd • Vragen maken kost veel tijd • Richten op itembanking, innovatieve vraagvormen • Het blijft allemaal mensenwerk • Vallen en opstaan • Integratie nog niet eenvoudig • Keep your cool