Sundhedsinformatik og evaluering

1. Sundhedsinformatik og evaluering Forelæsning nr.2 d.10.2.04 ST8: Design og evaluering af brugergrænseflader, forår 2004, v/ Egil Boisen (Ph.D.-stud., HST, AAU)

2. Oversigt • Medicinsk informatik og usability • van’t Riet, Beuscart-Zéfir, Kushniruk. • Sundhedsportaler • Nødvendigt at forstå ’brugskontekst’: Kommunikationsteoretiske aspekter, HON-code, anvendelsesformer osv. • Opsamling om særlige udfordringer

3. Medicinsk informatik og usability – artiklerne • van’t Riet: ’Spørg først!’ – web-erfaringer. • Beuscart-Zéphir: generel usability er ikke nok – aktivitetsmodellering/ kognitiv evaluering. • Kushniruk: Evaluér i brugers kontekst: ’hard data’ (pop-op Q) – video tænke-højttest.

4. van’t Riet: tre hovedpointer • Undersøg først brugeres behov • I eksemplet implementerede udviklerne deres fejlagtige fordomme. • Brug kvalitative metoder hertil. • ’hard data’ lukker erfaringsrummet ift. prædefinerede spørgsmål. • Et patientinformationssystem behøver ikke at have kliniske resultater som succeskriterie, hvis det forbedrer aspekter som ’trust’ eller ’anxiety’.

5. van’t Riet: Amblyopia i Rotterdam • Amblyopia kræver klap for øjet, 2-4 års alderen • Produkt: CD-ROM + web: QA, newsletter, tegneserie, spil og chat mellem forældre 1 time ugentl kl. 19 – 20. • Kvalitativ undersøgelse af 14 familier • Ingen problemer med ’coping’, ’anxiety’, komplians. • Ingen blev drillet • Produktet svarede til 7-års alderen • Kl.19-20 = rush hour! Chat ml. forældre er overkill => Ønske om asynkron mailliste med PRO. • Men: basalt set sympatisk projekt. • Projektet blev lukket efterfølgende.

6. Beuscart-Zéphir: hovedpointer Artefakter til klinisk informationsrepræsentation • skal give beslutningsstøtte (integreres med aktiviteten) og sikre god data-management. • har indflydelse på kompleks kliniskproces.’Heuristisk evaluering’ skal for holde sig til dette; kræver specifikke (kognitive) arbejdsgangsanalyser.

7. Beuscart-Zéphir: Anæstesiologer • Forbereder sig inden en operation ved patientinterview (sygehistorie) • 1-sides notatark med system af felter: • Novicer gennemgår det slavisk • Eksperter bruger inferenser, springer rundt, skriver kun relevant information. • 24% af journaler havde ulæselige notater • Muligt at fremhæve særlig vigtig information. • ’Current representation’: ’expertise’ ~ ’structure of the paper file’ ~ kompleksiteten af aktuelle case.

8. Beuscart-Zéphir: Tabellar • Bruger = udvikler (selv efter 2 år) • 10 skærmbilleder • Serielt/ slavisk forløb • Herunder et sammenfatnings-vindue der dog ikke var direkte tilgængeligt uden at skulle lukke andre sider • Gav adgang til databaser under interview • Bedre registrering af journal-info.

9. Beuscart-Zéphir: Tabellar-test (1) Den apriori/ kognitive analyse viste : • ’nogenlunde’ i forhold til opdateringen af sammenfatningsskærmbilledet • ’dårlig’ ift. fleksibilitet ved inddatering • ’god’ ang. visibility ift. at støtte data-gathering • ’dårlig’ ift. at markere særlig vigtig inf.

10. Beuscart-Zéphir: Tabellar-test (2.1) Eksperimentel test: • 2 anæstesi-novicer • Begge Tabellar-novicer • 2 anæstesi-eksperter • En Tabellar-novice, en ’ekspert’ • 1 times oplæring • Opgaver: ’nemme’ + ’komplekse’ • Patienter = ’trained actors’

11. Beuscart-Zéphir: Tabellar-test (2.2) Spændende resultat ~ Tabellar-utrænet ekspert • var markant hurtigst, både ved de simple og de komplekse situationer, men var langsommere end novicen i både simple og komplekse situationer når begge brugte Tabellar. Navnlig hvad angår de komplekse situationer var der en markant forøgelse af tidsforbruget (fra 12,5 minut/ papir til 32,5 minut/ Tabellar), mens novicen her steg fra 18 min. til 23 min. ~ ’Copability’? (eb) • oplevede at patientsamtalen blev styret af Tabellar. • Savnede mulighed for at fremhæve vigtige data. • Sygeplejerskerne: typesetting er godt; men mangel på håndskrevne fremhævninger er skidt.

12. Kushniruk– budskaber (1) Der kræves mere end de traditionelle teknikker • spørgeskemaundersøgelser: reliance on users’ recall; lav respons-rate. • laboratorier fortæller ikke om brug i ’real life settings’. • New tech => new assessment methods • multiple metoder er nødvendige for at gå i dybden (se figur 1). • few studies have reported hard empirical data on .. point of care use

13. Kushniruk– budskaber (2) • Medical informatics skal evalueres i forhold til ’effects on clinical processes’ (få studier), ikke blot i forhold til ’clinical outcomes’ (mange studier). • ’outcomes’-tilgangen orienterer sig i forhold til en række pre-specified outcomes measures. • proces-tilgangen opnås via udgangspkt. i cognitive science.

14. Kushniruk– evaluere så tæt som muligt på praksis(1) • ’strategic scripting and presentation of online questionnaires’ • Popper op ved brug af sitet: • Generelle + kontekstuelle Q før ’adgangen’ • ’hvordan var det?’-Q ved afslutningen af en session • Eb: forringer usability i sig selv. • ’video-based usability (think-aloud) testing across the WWW’: • kamera fotograferer skærmbilledet hos brugeren og optager lyden fra tænke-højt tests. • Eb: stadig brug af opgaver. Hvor langt er det så fra laboratoriet?

15. Kushniruk– evaluere så tæt som muligt på praksis(2) • Tracking system: CHECKPOINT • næranalysere af hvad web-bruger foretager sig. • analyse viste at brugere af PatCIS var uopmærksomme på bestemte features. • Eb:’browser-visning’ ~læsning ~forståelse ~ anvendelse • Telephone interiews, periodic, semi-structured

16. Kushniruk – eb-diskussion Sympati for ’multiple metoder’, men: • Der skrives ikke om hvorvidt de lod de kvalitative interviews berige af ’hard data’. • Det lyder dyrt og besværligt! • Hvor meget fik de ud af det, som de ikke fik med ved brug af kvalitative metoder? • Eneste eksempel: manglende opmærksomhed på feature fremgik ved analyse af CHECKPOINT-log. • ’Hard data’ og ’processer’?

17. Forløb om sundhedsportaler • Hvad er ’sundhedsportaler’? • Kommercielle – NGO – offentlige myndigheder • elementer, faciliteter • Væsentlige træk ved WWW • WWW-baserede IKT-services på portaler • information • rådgivning • social interaktion • 4 sundhedsfaglige implikationer

18. Hvad er sundhedsportaler? Forsøg på en definition: Et samlingspunkt for aktører indenfor sundhedsvæsnet i form af et website der leverer en række IKT-services til støtte for traditionelle sundhedsydelser. Hvem bestemmer hvad dette ord dækker? HONcode §2: ..support, not replace...

19. HONcode + Europakomm. Centrale principper.. • Authority • Complementarity (ikke med på Europakommissionens liste) • Confidentiality • Transparency + honesty • Currency • Accountability (Europakommissionen) • Accessibility (Europakommissionen)

20. 3 eksempler • Offentlig myndighed: www.health.gov • Adgang til kvalitetsydelser, forebyggelsespro-grammer, bedre integration af sundhedsydelser • Kommercielt: www.netdoktor.dk • Reklameværdi, nyt marked for sundhedsydelser • NGO: www.netjordemoderen.dk • ’second opinion’, tid, anonymitet, omsorg

25. Hvorfor så mange? Dilemma ang. informativitet og ’critical mass’ for sociability?

28. Kan patienten på egen hånd indgive de rette oplysninger den slags faciliteter?

30. Væsentlige træk ved netmediet (1) En del af portalen? (Efter Jens F. Jensen 1999)

31. Væsentlige træk ved netmediet (2) • ’Nettet’: Internet = netværk af netværk ikraft af TCP/IP • Internettjenester: • 1:1 (email) • 1:N (nyhedsbreve/ WWW/ portaler) • N:M (nyhedsgrupper/ communities) • N:1 (’omvendt portal’) • Fysisk og mekanisk forankret (Sean Cubitt) • ’’information ikke PÅ nettet’ • infrastruktur; kodning • Digitalt: baseret på et mekanisk virksomt alfabet (Finnemann) • Globalt vidensarkiv, potentielt set • Her&NU/ flygtigt medie; skidt og kanel; uoverskuelighed • Interaktivt: bruger-indflydelse + responsivitet => usability • Interaktionelt: anonymitet, frimodighed, sociability (Preece; Sproull & Kiesler) • Emergent: Metcalfes lov; online communities... (Jens F.Jensen)

32. 3 IKT-services på portaler - kommunikationsteoretiske problematikker ved portal~ • Informationsstrøm • Rådgiving • Social interaktion

33. Informationsstrøm Af hensyn til personaliseringen • Push • Email: 1:1 – 1:N – N:M – M:1 • Website: kampagne (evt. vha. ’cookies’) • Pull • ’Søge’ ~ ’finde’ (søgeord, links) • ’Vurdere lødighed’ • ’Forstå’ • ’Anvende’ Nye kompetencer nødvendige – nye krav til afsender og modtager. A-B-samfund et problem. Rådata skal ikke lægges ud! (Lausten, DSMI-årsmøde 5.4.02)

34. Information ~ rådgivning.. - klippet fra Netdoktor.dk.. SPØRGSMÅL: Vi er begge 35 år - skal vi få lavet en moderkageprøve? SVAR: Stillingtagen til undersøgelse for kromosomafvigelse er en personlig ting. Netop derfor kan I få rådgivning - ikke svar på hvad I skal gøre.

35. Rådgivning • Q&A – brevkasse online • men svar skal jo stadig forstås og relateres • Mail 1:1 • 93% foreslog at patienten søgte læge • 59% havde diagnosen korrekt (Rice&Katz 2001, p.22) • Chat og nyhedsgrupper • brugerne rådgiver hinanden.. • asymmetri i kommunikationen..

36. Social interaktion - videndelingen er ikke eneste formål.. • Ikke at være alene om det, fællesskab • At få omsorg • At vise interesse, give støtte • i egen interesse på flere måder • empati kan fint trives online (Preece 1998) Kvinder med fremskreden brystkræft der kommer i gruppeterapi overlevede dobbelt så længe som andre med tilsvarende sygdomme. (Spiegel et.al. 1989) Virker det online? Hvad er ’empati’? Godtgør Preece’ fund at vi kan komme til ’forståelse’ af hinanden online?

37. 4 sundhedsfaglige spørgsmål • ’Clinical impact’ af de nye services? • Spredehagls-sundhedskampagner effektive? • Fighting spirit: godt eller risikabelt? (Watson 2000) • Forventningsstrukturer hos patient ~ læge ? • at svare på mails? (tidsspilde, misforståelser) • at forholde sig til udprint? • at holde sig opdateret/ forholde sig til udprint • Hvilke kriterier for SP – effektuering af dem? (HONcode, Europakomm) • EPJ/ EFJ => omvendt portal? Personaliseret information

38. Portal ~ omvendt portal • Generel information ~ patientspecifik information. • Patienten ’går ud på WWW’ ~ patienten ’går ind på sin egen web-side hos lægen’. • Patienten søger information ~ informationen kommer til og opsamles hos patienten • Patienten hos lægen ~ lægen hos patienten

39. Portal ~ omvendt portal • Adgang fra standard-browser ~ også adgang via særlig applikation (evt. håndholdt) • Mange brugere med forskellige behov ~ én bruger med få, fokuserede behov. • Kort tid det enkelte sted ~ lang tid med ét produkt

40. Portal ~ omvendt portal • Adgang fra standard-browser ~ også adgang via særlig applikation (evt. håndholdt) • Mange brugere med forskellige behov ~ én bruger med få, fokuserede behov. • Kort tid det enkelte sted ~ lang tid med ét produkt

41. Opsamling: udfordringer for MI ~ design/ evaluering • OPLÆRING: 70.000 skal lære EPJ (eksempelvis) • EKSPERTER ~ NOVICER: trade offs? ’Digital Divide’? • ’HYLDEVARER’ eller software-udvikling fra bunden? - leverandørens usability/ -sundhedskultur skal vurderes! • SIKKERHED: a) ’tavs teknologi’? b) Ansvar og forståelse er vigtige aspekter ift. sundhedsportaler. (2 eks.) • STANDARDHEURISTIKKER ~ ikke tilstrækkelige • USERS FIRST: sundhedsvirksomhed ~ data management (samarbejde, fleksibilitet, økonomi, forskning) ~ patienten? • COPABILITY?: er usability + utility nok til at vurdere om brugerens (nye) virksomhed er understøttet bedre? • EFFEKTVURDERING • kvantitative metode lukker erfaringsrummet • ’gentagelighed’? Alle implementeringer er unikke. • Hvilke kriterier? • TID: tid til at holde møder, tid til at teste, tid til at blive oplært, tid til at være ’superbruger’, tid til patienten...

42. Referencer om sundhedsportaler • Rice: R.E (2001): ’The Internet and Health Communication: A Framework of Experiences.’ i: Rice, R.E. & Katz, J.E.: The Internet and Health Communication.Experiences and Expectations. Sage Publ., London 2001, pp. 5-46. • HONcode-principperne: http://www.hon.ch/HONcode/Danish/?HONConduct917236 • EU Quality for Health Websites initiative. Petra Wilson, Health Telematics, DG13 EU; URL: http://www.v-chi.dk/arrangementer/sundhedsportaler/PetraWilson.pdf • Jensen, Jens F. (1999): 'Roadmap til Informations-Motorvejen. Medietypologier for trafikmønstre på Internettet.' i: Jensen, Jens F. (ed.): Internet, World Wide Web, Netværkskommunik@tion. Aalborg Universitetsforlag 1999, s.25-68. • Cubitt, Sean (1998): Digital Aesthetics. Sage Publications, London1998 • Sproull, L. and Kiesler, S. (1991) Connections: New Ways of Working in the Networked Organization, Cambridge, MA: MIT Press. • Preece, J. (2000) Online Communities: Designing Usability, Supporting Sociability. Chichester, UK: John Wiley & Sons • David Spiegel (et al): 'Effects of Psychosocial Treatment on Survival of Patients with Metastatic Breast Cancer', Lancet nr. 8668, ii, 1989 • Watson (2000): John E. Fetzer Institute 2000, ’Advances in Mind-Body Medicine’ 2000, issue 16, s. 157-8 • Netværket nr. 13 (temanummer om sundhedsportaler), V-CHI, AAU okt.2001 URL:http://www.v-chi.dk/library/index.html

43. Referencer om sundhedsportaler (2) • Mittman, R. & Cain, M.: 'The Future of the Internet in Health Care - A Five-Year Forecast.’i: Rice, R.E. & Katz, J.E.: The Internet and Health Communication.Experiences and Expectations. Sage Publ., London 2001, pp. 47-73 • Levesque, Deborah A. et al. (2001): ’Assesing Medicare beneficiaries’ readiness to make informed health plan choices.’ i: Health Care Financing Review, Washington, ISSN: 01958631, vol.32, issue 1, Fall 2001, pp.87-104 • Preece, Jenny: Empathic Communities: Reaching out across the Web. Interactions, March 1998 • Eller: Preece, J. (1998) Empathic Communities: Balancing Emotional and Factual Communication. To appear in Interacting with Computers. The Interdisciplinary Journal of Human-Computer Interaction. Elsevier.