Käytettävyystutkimuksen menetelmät

1. Käytettävyystutkimuksen menetelmät Lopetukseksi – ja opetukseksi?! Anne Aula, Päivi Majaranta, Saila Ovaska http://www.cs.uta.fi/usabsem

2. Käytettävyystutkimuksen menetelmät - Miksi? • Syventävien käytettävyyskurssien puute • Opiskelijoilta tullut palaute • Käytännön tarve käytettävyys-menetelmäkurssille • Opiskelijoiden tarve oppia • Käytettävyyslaboratorion tarpeet • Perusteellisen suomenkielisen “käytettävyysmenetelmäoppaan” puute

3. Seminaarin tavoite • Opiskelijoille lisätietoja ja –taitoja käytettävyysasiantuntijana toimimiseen • Ymmärtää menetelmät syvällisesti • Eri menetelmien väliset erot ja yhteydet • Käsitteiden määrittely • Menetelmien kirjava käyttö – miten menetelmiä tulisi käyttää, jotta niistä saataisiin mahdollisimman paljon hyötyä? • Syventävän käytettävyystutkimukseen liittyvän kurssin materiaalin kokoaminen

4. ... ja siinä ohessa • oppia kirjoittamaan suomeksi näistä asioista • tästä tänään kielenhuoltoon liittyviä esimerkkejä

5. Minä tiedän...! Seminaarin tavoitteena on • nostaa esiin faktat vs. käytettävyyden arviointiin liittyvät myytit • jotta voit perustella asiakkaalle / gradussasi / tutkimuspaperissasi käyttämiäsi menetelmiä ja tekemiäsi valintoja Musta tuntuu...

6. Tavoitteena ymmärtää menetelmä • kuinka menetelmää käytetään (oikein) • missä vaiheessa tuoteprosessia • arvioijan ja ohjeistuksen vaikutus tuloksiin

7. Kolmosversioiden tilanne • monen osallistujan työ on todella hyvä • kaikilla kuitenkin jotain korjattavaa kielessä • monilla jotain pientä korjattavaa esimerkiksi • lähteiden merkitsemisessä • lähteisiin viittaamisessa • taulukoissa ja kuvissa • muutaman (jotka varmaan tietävät sen itsekin) pitäisi vielä tehdä töitä jäsennyksen tms. parissa • saat alkuviikosta sähköpostitse opejen kommentoiman version johon on merkitty korjausehdotuksia

8. Kolmosesta nelosversioksi • korjausehdotukset voi Wordissa hyväksyä yhdellä komennolla (tai useammalla :), tai • olla hyväksymättä • kun hylkäät korjausehdotuksen, vanha versio palautetaan • poikkeustapauksessa voit jättää päätösvallan opelle; esim. jos et itse tiedä asiasta • jätä tällainen korjausehdotus tiedostoon mutta kirjoita sen kohtaan kommentiksi vaikka kysymysmerkkejä jotta tiedämme sinun sitä harkinneen • jos ope on kirjoittanut tekstiisi kommentteja, niihin yleensä liittyy jotain tarkistettavaa (esim. lähteissä tai termeissä) • näihin odotamme erityisesti panostusta • poista kommentit kun olet tehnyt niihin liittyvät korjaukset

9. Jatko? • toivomme, että • kävisit läpi opejen kommentit vähintäänkin dokuun tehtyjen kielen korjausehdotusten ja detaljikommenttien osalta • harkitsisit rakenteeseen, uusiin sisältöihin tms. liittyviä isoja asioita joista oletettavasti on enemmän työtä  jos aikataulusi antaa myöden, näiden korjaaminen varmasti parantaisi tekstiä • toki ymmärrämme jos aikasi ei riitä niihin enää panostaa! • lähetä nelosversio korjattuna 21.6. mennessä word-dokumenttina Sailalle

10. Valmiiden nelosversioiden kohtalo • Nelosversioista kootaan yksi iso word-dokumentti, johon liitetään sisällysluettelo ja hakemisto • vielä tässä vaiheessa voi herätä yhtenäistämistarpeita, joista otetaan tarvittaessa yhteyttä asianomaisiin sähköpostitse • hakemisto ja viimeistelty asettelu tehdään opevoimin loppuun, joten nelosversiossa ei tarvitse surra esim. kuvien asettelua • raportti kootaan ennen juhannusta ja linkitetään opet-kansioon (ei siis julkiseksi); samalla poistetaan verkosta siellä nyt olevat kolmosversiot • raportti painetaan vasta heinäkuun lopulla, joten kootun version kommentointi on vielä mahdollista (olisi hienoa jos ehdit oikolukea omalta osaltasi) • ... hae oma painettu raporttisi niiden tultua painosta!

11. Seminaarin pisteytys... • pisteytys on edelleen kesken, sillä töiden kolmosversioiden taso vaihteli kovasti • pisteytykseen vaikuttaa siis nostavasti jos vielä jaksat ahkeroida niiden isojen kommenttien parissa...

12. Erityistä huomiota töissä • lähteiden käyttöön • viittaukset oltava mukana • toisen käden lähteiden käyttö • tiivistelmään • johdantoon • lähdeluetteloon • ja sitten sitä lupaamaamme kielenhuoltoa! kaikki lainaukset suoraan kolmosversioista. • miten muokkaisit?

13. Käyttäjistä ja osallistujista1 Osallistuja on jumiutunut.

14. Käyttäjistä ja osallistujista2 Tilanteissa, joissa ei itse voi vapaasti valita osallistujia, valinnan tekevälle esimiehelle tai opettajalle ym. pitää yrittää selventää, että testin mielekkyyden kannalta on tärkeää, että osallistujat muodostavat mahdollisimman kattavan otoksen.

15. Käyttäjistä ja osallistujista3 Jos kyseessä on laajalle käyttäjäryhmälle suunnattu kaupallinen sovellus tai tuote, täytyy myös tutkittavien käyttäjien edustaa tätä ryhmää, jolloin käyttäjiä on paljon, mikä vaatii useita vierailuja.

16. Käyttäjistä ja osallistujista4 Suurta otosta käytettäessä, kyselyä suoritettaessa, kyselylomakkeet toimitetaan usein postittamalla tai sähköisesti.

17. Käyttäjistä ja osallistujista5 Edellä mainituista lasten käyttöliittymien alaryhmistä voidaan johtaa ominaisuuksia, joiden arviointia on yleisesti ollut havaittavissa peruskäytettävyyden lisäksi: • oppiminen (ei tuotteen käytön, vaan käyttöliittymän välittämän sisällön) • luovuus (edistääkö tuote lasten luovuutta) • leikkiminen ja pelattavuus (viihtyykö lapsi tuotteen parissa, onko pelin pelattavuus hyvä, onko lapsella hauskaa) • sosiaalisuus (edistääkö tuote lasten sosiaalisuutta käyttötilanteessa) • fyysisyys (onko tuote lapselle fyysisesti sopiva, oppiiko lapsi )

18. Käyttäjistä ja osallistujista6 Luonnollinen jännitys kuuluu haastattelutilanteeseen, mutta usein kun tilanne vapautuu ja haastateltava pääsee puhumaan asioista, joista hän tietää, on tuloksena syvällinen keskustelu, joka tuottaa paljon aineistoa.

19. Menetelmistä1 Käytettävyystutkimuksessa etnografian käyttöä perustellaan sillä, että se auttaa ymmärtämään potentiaalisten käyttäjien tai asiakkaiden todelliset tarpeet sen sijaan, että suunnittelupäätökset perustettaisiin intuitiolle siitä, mitä käyttäjät tarvitsevat tai tutkimuksiin käyttäjien tai käyttäjäryhmien keskimääräisistä tarpeista.

20. Menetelmistä2 Markkinointiorientoituneessa käytettävyystutkimuksessa fokusryhmiä voidaan käyttää esimerkiksi tuotekonseptointiin, markkinapositiointiin (kohderyhmätutkimukseen) ja käyttäjäpersoonatutkimukseen, yhteiskunnallisesti orientoituneessa käytettävyystutkimuksessa esimerkiksi teledemokratiatutkimukseen tai verkkoasiointitutkimukseen, koska fokusryhmät on ytimeltään markkinointi- ja sosiaalitutkimuksellinen menetelmä.

21. Menetelmistä3 Sillä voidaan tallentaa sellaisia osia ihmisen käytöksestä, kuten katse ja ruumiinkieli, joita ei muuten voisi mitenkään tallentaa, ja on siten ikään kuin aitoa.

22. Menetelmistä4 Tiivistetty tilannetutkimus sopii tilanteeseen, jossa tutkitaan kilpailevaa tuotetta tai edeltävää versiota, jolloin löydetään ominaisuudet, jotka halutaan omaan tuotteeseen kilpailevasta tuotteesta tai uuteen versioon vanhasta tuotteesta.

23. Menetelmistä5 Standardi jakautuu osiin ja standardin osa 11 - käytettävyyden ohjeistus (Guidance on Usability) on lienee tunnetuin käytettävyysstandardi.

24. Menetelmistä6 Sivujen yhtenäinen ulkoasu ja yksinkertainen navigointi tukevat kaikkien käyttäjäryhmien webin käyttöä (WCAG 13,14). Sivukartta ja hakutoiminto auttavat niitä käyttäjiä, jotka etsivät jotakin tiettyä tietoa (WCAG 13). Joka sivulla tulisi olla linkki pääsivulle (IBM 2).

25. Menetelmistä7 Kuitenkin on selvää, että kaikenlaisten ryhmäohjelmien arviointiin nämä heuristiikat eivät sovellu lainkaan, sillä esimerkiksi tekstipohjaisissa sähköpostiohjelmissa ei heuristiikkoja kattavia ominaisuuksia juurikaan ole.

26. Menetelmistä8 Navigointijärjestys ja yksittäisten sivujen suhde sivustoihin vaikuttivat siten, että tilallisesti hajautuneet silmänliikkeet sivuston ensimmäisellä sivulla merkitsivät, että sivu antoi runsaasti vihjeitä seuraavien sivujen kontekstista.

27. Menetelmistä9 Kuten Lewis ja Rieman (1994) artikkelissaan kirjoittavat, periaatteessa myös yksi henkilö voi käyttää kognitiivista läpikäyntiä, jos hän haluaa arvioida omaa tuotettaan, mutta on ehkä hyödyllisempää tehdä hyvin pienen käyttöliittymän yksinarviointi epämuodollisesti omassa mielessään ilman läpikäyntejä.

28. Menetelmistä10 Asiantuntija-arvioinnissa keskitytään arvioimaan miten kulttuurin omaksutut ominaisuudet ja synnynnäiset ominaisuudet toteutuvat tietyssä tuotteessa. Tämän lisäksi sillä varmistetaan, että tuote noudattaa ihmisten aiemmin opittuja IT-kulttuuriin liittyviä asioita, esimerkiksi Windows-ympäristössä kaikkien ohjelmien tulisi toimia samalla logiikalla.

29. Menetelmistä11 Analysoinnin tuki on työpöytäsovelluksien arviointiin tarkoitetuissa työkaluissa pääasiallisesti tehokasta käytettäessä sellaisia tarkistuslistoja, joiden esittämät suunnitteluohjeet voidaan operationalisoida, esimerkiksi laskemalla määrällisiä suureita (käyttöliittymäelementtien koko, ruudun käyttö, elementtien sijoittelu) tai tarkistamalla suunnittelun johdonmukaisuus eri näyttöjen välillä (samat käyttöliittymäelementit sijaitsevat eri näytöillä samassa paikassa).

30. Testauksesta1 Tästä syystä tässä työssä aiemmin mainittu käyttäjätestaus kannattaa toisinaan suorittaa heuristisen arvioinnin - tai asiantuntija-arvioinnin yhteydessä.

31. Testauksesta2 Osallistujien ajatteluprosesseista saa usein mielenkiintoista tietoa heidän kommenteistaan testin loppuvaiheessa.

32. Testauksesta3 Käyttäjää tulee auttaa eteenpäin vain, kun hän on ollut pitkään todella hukassa, eikä selvästi pysty tehtävää ratkaisemaan, tai jos käyttäjä tuntee olonsa epämiellyttäväksi tehtävää suorittaessaan, jos käyttäjä ilmaisee halunsa luovuttaa tehtävän tekemisen, jos myöhemmät tehtävät vaativat tehtävän suorittamista eikä käyttäjä näytä suorittavan sitä oikein tai jos tuotteessa oleva bugi tai jokin ulkoinen tapahtuma aiheuttaa odottamattomia toimintoja.

33. Testauksesta4 Rubin (Rubin, 1994) neuvookin moderaattoria harjoittamaan tietoisuutta omista tiedostamattomista toimistaan ja niiden vaikutuksista testitilanteeseen tutkimalla nauhoituksia testitilanteista tai harjoituksista ja tarkkailemalla niistä, koska moderaattorilta lipsahtaa esimerkiksi tahattomia vihjeitä käyttäjälle.

34. Yhteenveto Käytännössä menetelmien vertailu on kuitenkin yleensä hieman kevyempää. Yksi käytetyimmistä menetelmistä on listata menetelmien hyviä ja huonoja puolia ja pohtia tämän perusteella, mikä menetelmä sopii mihinkin tilanteeseen. Näin saadaan esille eri menetelmien piirteet, jotta voidaan helpommin nähdä kunkin menetelmän vahvuudet ja heikkoudet, sekä se, voisiko kyseinen menetelmä soveltua esimerkiksi senhetkisen arvioinnin tekemiseen.