Evidence-based ICT gebruik in het HO Wat werkt en waarom?

1. Evidence-based ICT gebruik in het HOWat werkt en waarom? Martin Valcke Universiteit Gent, Vakgroep Onderwijskunde www.onderwijskunde.ugent.be

2. Structuur • Alternatieve analyse van ICT-onderzoek • ICT ondersteunt informatiepresentatie • ICT ondersteunt informatieorganisatie • ICT ondersteunt integratie van informatie • ICT ondersteunt communicatie & actie • ICT ondersteunt mesoniveau aspecten: flexibiliteit, curriculum, repositories

3. Conclusies • ICT in het onderwijs dient zich te richten op wat we concreet nastreven, de context, de condities en de kenmerken van het doelpubliek • Is ICT effectief? Verkeerde vraag! • Jacobsen (2001): The major question is now: under what circumstances, in what particular learning environment, with what type of students and in view of what kind of learning tasks, does ICT have an impact? • Impact van ICT is positief WANNEER … • In combinatie met reële ervaringen • Indien voldoende voorkennis • Er rekening gehouden wordt met verschil novice-gevorderde student • Stafontwikkeling • Meest overtuigende impact: • Microniveau: multipele representaties en samenwerkend leren • Mesoniveau: flexibiliteit

4. Meta-analyse: ICT & onderwijs • Kulik (2003): impact van ICT niet duidelijk en tegenstrijdige resultaten van evaluatiestudies. • Overzichtsstudies: geen eenduidige resultatenBurns & Ungerleider, 2003; Cox et al., 2004, Educational Testing Service, 2002; Liao, 2005: Murphy et al., 2001; Schachter, 1999; Shlechter, 1991; Siegel, 1994; Waxman et al., 2002; Waxman et al., 2003 • Letterie (2003): “Weinig studies met een goed onderzoeksdesign leveren positieve resultaten op van ICT in vergelijking met traditioneel onderwijs. Toekomstige vergelijkende evaluatieonderzoeken moeten vooral beter aangeven wat de precieze verwachte rol is van ICT in het onderwijs: “better define their precise role” (ibid, p.849).

5. Meta-analysis • Letterie (2003): • Discussie over de kwaliteit van het uitgevoerde onderzoek • Is het überhaupt mogelijk om tot een ultiem antwoord te komen over de waarde van ICT in het onderwijs? • De afhankelijke variabelen zijn te divers (scores, tijd tevredenheid, zelfvertrouwen, haalbaarheid, …) • Onafhankelijke variabelen te divers • Contexten/onstandigheden/doelpubliek te divers

6. Fritze et al., 2002: overzicht evaluatieonderzoek m.b.t. ICT aan University of Melbourne http://talmet.meu.unimelb.edu.au/media/ICT%2520Eval%2520Report%25202002.pdf

7. Analysestructuur? Meta-analysis: alternative approach Alle « ICT en Onderwijs » studies Subset 1 Subset n Subset 2 Subset 4 Subset 3

8. Mesoniveau Flexibiliteit Opbouw curriculum Kenmerken doelpubliek Microlevel ICT in relatie tot het feitelijke leerproces

9. Mesoniveau Delivery issues in relation to flexibility Characteristics of target audience Microniveau ICT “Future studies of computer-assisted instruction that include comparisons and cost-assessments to gauge their effectiveness over traditional methods may better define their precise role (Letterie, 2003, p.849).” Informatie component Communicatie component

10. Microniveau: Informatiecomponent • Algemene hypothese:ICT ondersteunt de informatieverwerking van lerenden

11. Presentatie informatie Verwerken informatie Integreren informatie MM presentatie Werk-Geheugen LangeTermijnGeheugen ZintuiglijkGeheugen VerbaalModel Voorkennis Gehoor Geluid Woorden Integratie Organisatie Gezicht Beeld Beelden VisueelModel Mayer (2001) and Paivio (1986)

12. ICT: informatiecomponent • Informatie wordt gepresenteerd, geselecteerd door de lerende en opgeslagen in zintuigelijk geheugen. • Information wordt georganiseerd in werkgeheugen. Cognitieve structuren worden opgebouwd (schema’s, mentale modellen). Organisatie impliceert relateren, verbinden, vergelijken, ordenen van informatie en impliceert ophalen informatie uit lange termijn geheugen. • Integratie van nieuwe schema’s en reeds aanwezige schema’s: verdere elaboratie en organisatie van informatie in geheugen.

13. ICT: Informatiecomponent • Welke ‘empirical evidence’ is er voor de impact van ICT in het onderwijs voor wat betreft: • Presenteren van informatie • Organiseren van informatie • Integratie van informatie?

14. ICT ondersteunt informatie presentatie • Praktische relevantie: imaging, virtuele realiteit, 3D, CAVE-technologie, relatie onderwijs-praktijk • Theoretische relevantie: impact op cognitieve belasting, rijkere schemaopbouw, multipele representaties, authentieke leermaterialen

15. Didiclass Casusbank, 2005, OUNL, RdMC

16. ICT fosters information presentation • Toevoegen multimedia in ICT verhoogt retentie en transfer van kennis (Mayer en co, 2000 … 2005) maar dit kan verschillen in andere kennisdomeinen (De Westelinck & Valcke, 2004, 2005). • Visualisatie tools verhogen verwerving van begrippen (Barak & Dori, 2005). • Durfee, Jain & Shaffer (2003) - analyse 48 ICT-gebaseerde radiologiecursussen: grafische representatie underused • Roubidoux, Chapman, and Piontek (2002) - web-gebaseerd “breast imaging game”: werd verkozen door studenten; positieve appreciatie en hoog niveau van – zelfgerapporteerde - kennisverwerving. • Biasutto, Caussa, & Criado del Rı´o (2005) – vergelijking tussen hands-on lijken dissectie versus een ICT-gebaseerde omgeving of een mengvorm: mengvorm is superieur. De hands-on ervaring is essentieel om voldoende visuele en tactiele ervaring op te doen wat o.a. het leren in ICT-gebaseerde presentatie kan ondersteunen.

17. Toepassing CAVE technologie; wandelen in een beenstructuur (Kral, 2004)

18. On-line mentoring bij vreemde talen onderwijs en enculturatie (Sims & Pike, 2005).

19. ICT fosters information presentation • Kral (2004) - CAVE to teach pathologies, real life patient data. • Cantoni et al. (2004) visual eLearning (bijv. streaming video) : grotere betrokkenheid, motivatie, beter inzicht en meer herinneren • Brenton et al. (2005): multimedia en Web3D bij anatomieonderwijs: géén evaluatie • Chittaro et al. (2005): overzicht Web3D onderzoek; veel positieve resultaten maar lage betrouwbaarheid. Hoge satisfactie. Transferwaarde vooral in beginfasen van training: ‘‘what sort of training shows transfer, in what conditions, to what extent and how robust the transferred training has proved to be’’

20. ICT fosters information presentation • Gallagher et al. (1999): VR leidt tot superieure performance bij bepaalde chirurgische ingrepen (laparoscopie), maar niet bij andere. • Bain & Biller (2004) – CD-ROM met casus neurologische afwijkingen (audiovisuele casusbeschrijvingen): significant positieve impact, efficiënt bij grote studentenaantallenen tekort aan staf. Als aanvulling naast bijv. ‘bedside teaching’. • ICT positieve impact MAAR combinatie met hands-on realiteit blijft belangrijk om informatiepresentatie betekenisvol te maken. • ICT impact kan verschillen in kennisdomeinen. • Inbedden ICT-gebruik in ruimere instructiesetting

21. ICT en informatieorganisatie • Hoger onderwijs: grote nadruk op verwerking van grote hoeveelheden aan complexe informatie. • Informatieorganisatie impliceert structureren, vergelijken ordenen, relateren en analyseren van nieuwe informatie.

22. ICT en informatieorganisatie • Lison, Günther, Ogurol, Pretschner, and Wischnesky (2004) - eBooks Informatie-organisatie

23. http://endeavor.med.nyu.edu/courses/anatomy/courseware/vranat/skull.htmlhttp://endeavor.med.nyu.edu/courses/anatomy/courseware/vranat/skull.html

24. ICT en informatieorganisatie • New York University school of Education - 3D applicatie om 3D representaties van de schedel, buikholte en ruggenmerg te manipuleren.Positieve ervaringen MAAR studenten moeten over geschikte voorkennis beschikken over anatomische structuren. • Masiello et al. (2005) On-line microbiologie cursus (ondersteunende online syllabus).Studenten geven uitdrukkelijk aan dat gebruik dient te gebeuren in een combinatie met contactonderwijs en evt. groepswerk.

25. http://www.idr.med.uni-erlangen.de/compare.htm

26. Wagner et al. (2005) webgebaseerde radiologietraining. Nadruk op grote repository beeldmateriaal: hoge appreciatie. Hoog gebruik voor zelfstudie en als ondersteuning bij onderwijs.

27. http://bme.med.upatras.gr/improc/

28. ICT en informatieorganisatie • Pallikarakis (2005) Webgebaseerd afstandsonderwijs over medical image processing: drie niveaus van complexiteit in begrippen. Studenten rapporteren postieve ervaringen en minder tijdsgebruik. MAAR voldoende voorkennis noodzakelijk en ingebouwde evaluatie minder positief beoordeeld • Onderzoek suggereert positieve attitudes en positieve leerwinst. Maar er moet aandacht zijn voor voorkennisniveau.

29. ICT en informatieintegratie • Integratie: gebruik en hergebruik van opgeslagen informatie: problemen oplossen, vragen beantwoorden, toepassen van kennis, enz. • Typische ICT-toepassingen: • (1) tutorials met ingebouwde evaluatie • (2) computersimulaties • (3) computer games

30. Informatieintegratie: tutorial/evaluatie • Clark, Watson, Cobb, Reeve, Swann, & Macfarlane (2000) -Tutorial met tests over cardiopulmonary herstel: betere beheersing basiskennis, maar geen betere testscores in praktijksituaties. • Mehrabi, Glückstein, Benner, Hashemi, Herfarth , and Kallinowski (2000) – CAL + quizzes: significant hogere scores bij vergelijking met F2F lectures. • Mullins, Will, Mehta, and Novelline (2001): ICT om te testen of medische studenten geschikt zijn voor een radiologiestage: ICT efficiënt (tijdswinst en lagere kosten) en effectiever (betere score).

31. Informatieintegratie: tutorial/evaluatie • Fritze et al (2002): positieve appreciatie van zelftestvragen • Rawson & Quinlan (2002) – CAL met ingebouwde testvragen: novices begrijpen beter de kernaspecten van medical cases • Hulksman et al. (in press) – videogebaseerde toetsing van communicatievaardigheden (N=200): reliable toetsbenadering • Kim et al. (2002) – F2F versus tutorial in radiologieonderwijs met continue toetsing: geen significante verschillen, MAAR tutoriol wel meer efficiënt (minder tijd en minder stafinzet)

32. ELERA-system (www.elera.de)

33. Informatieintegratie: tutorial/evaluatie • Grunewald et al. (2004) – ELERA een Internet-gebaseerde toetsomgeving voor radiologie (2200 cases). Essentieel is dat de database aangevuld wordt op lange termijn opbouw van vaardigheden te garanderen (open source) • The available research evidence helps to confirm the efficiency/efficacy of ICT-supported assessment approaches.

34. Nelson et al., 2005: simulatie thuisverpleging

35. Informatie-integratie: simulatie • SURF onderwijsdagen: centraal thema • Nelson et al. (2005): Simulatie van thuisverpleging: hoger zelfvertrouwen bij probleemaanpak en nemen van beslissingen, meer aandacht voor holistische benadering patiënt. Maar essentieel is inbedding in een probleemgestuurde aanpak! Zie idem Nackman et al. (2003) • Brunner et al (2003) training met een computersimulatie voor laparascopie: opvallend is dat novices sterk verschillen in het aantal trials dat noodzakelijk is om een minimum-beheersingsniveau te bereiken. Aantal noodzakelijke pogingen hoger dan aanvankelijk gedacht (21 tot 30 pogingen; 7 uur training). • Kim et al. (2002) - computersimulatie voor radiologieonderwijs. Initieel tekstgebaseerde conditie beter; ICT lange termijn impact. MAAR novices moeilijkheden met noodzakelijke voorkennis.

36. Informatie-integratie: simulatie • Di Giulio et al. (2004) - simulatie voor endoscopy (N = 420): simulaties leiden tot meer complete procedures, vragen minder ondersteuning en positieve houding. MAAR: novices staan centraal. • Engum et al. (2003) – simulatie om te leren katheders plaatsen: geen significant verschil met klassieke aanpak. En lagere satisfactie in computerconditie

37. Informatie-integratie: simulatie • Meier et al. (2005) – simulatiegebaseerd curriculum van stand-by situaties gedurende een stage: de simulatie verhoogde significant het zelfvertrouwen. • Conclusies: simulaties effectief en efficiënt, MAAR hou rekening met novices, noodzakelijke voorkennis/onderliggende vaardigheden, de context en grote individuele verschillen in leertijd.

38. Informatie-integratie: games • Het Gaming project van SURFnet en Kennisnet • Howell (2005) – overzicht van ICT-games en evaluatieonderzoek: veel beschrijvend onderzoek • Mann et al. (2002) – computerspel m.b.t. management van borstkanker bij patiënten. patiënt op onderzoek sturen, mammografie, ultrageluid, administratief beheer,, … : significante leerwinst m.b.t. procedures. • Veel aandacht, maar weinig evaluatiefonderzoek.

39. ICT: communicatiecomponent • Communicatie met lesgever/expert • Communicatie tussen studenten: samenwerkend leren

40. ICT communication: teleteaching • Real-time teaching via het Internet teleteaching. • Verrijking contactonderwijs; bijv. tijdens lezing krijgt men videotoegang tot een operatie.

41. ICT communication: teleteaching • Filler et al.(2000) - haalbaarheidsonderzoek: positief. • Jenkins et al. (2001) – afstandsonderwijs: hoge tevredenheid. MAAR drop-out en lage participatie op termijn.ICT-vaardigheden van potentiële studenten (zij-instromers) • Dugas et al. (2000) – Online cursus spoedgeneeskunde + online discussie van student input (N=138): hoge scores. • Conclusie: Geprojecteerde voordelen van teleteaching zijn groot en benadrukken efficiëntie. Opvallend dat de literatuur veel projecten beschrijft maar er weinig harde evaluatiegegevens te vinden zijn.

42. Communicatie: samenwerkend leren • Johnson & Johnson (1996) en Slavin (1996): overduidelijke evidence m.b.t. effectiviteit van samenwerkend leren (performance, motivatie, tevredenheid) • Voorwaarden: • Individuele verantwoordelijkheid • Groepsverantwoordelijkheid • Ontwikkel samenwerkingsvaardigheden • Stel duidelijke leerdoelen voorop • Combineer met F2F

43. Communicatie: samenwerkend leren • Smeets, 2005

44. SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

45. SCHELLENS, T*., VAN KEER, H., DE WEVER, B., VALCKE, M. (in press). Tagging Thinking Types in Asynchronous Discussion Groups: Effects on Critical Thinking. Interactive Learning Environments

48. S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

49. S. TIMMERS, M. VALCKE*, K. DE MIL & W.R.G. BAEYENS (in press). The Impact of Computer Supported Collaborative Learning on Internship Outcomes of Pharmacy Students. Interactive Learning Environments

50. Communicatie: samenwerkend leren • Innovatieve ICT toepassingen door samenwerking en afspraken (Surf OD 2005) • Beers (2005), Schellens et al. (2004, 2005), Strijbos (2004), Kirschner (2005): overtuigende impact van samenwerkend leren via CSCL