Asiantuntija arvio vs k ytt jill testaaminen testitapausten merkitys
This presentation is the property of its rightful owner.
Sponsored Links
1 / 31

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys PowerPoint PPT Presentation


  • 54 Views
  • Uploaded on
  • Presentation posted in: General

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys. Aki Korpua Seminaari: Käyttöliittymien arviointi menetelmät Helsingin Yliopisto 2006. Aiheet. Testitapauksia yleisesti katsastaen Esimerkki 1: Teamwave Workplace Esimerkki 2: HelMet simulaatio ja käytäntö

Download Presentation

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Asiantuntija arvio vs k ytt jill testaaminen testitapausten merkitys

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

Aki Korpua

Seminaari: Käyttöliittymien arviointi menetelmät

Helsingin Yliopisto 2006


Aiheet

Aiheet

  • Testitapauksia yleisesti katsastaen

  • Esimerkki 1: Teamwave Workplace

  • Esimerkki 2: HelMet simulaatio ja käytäntö

  • Esimerkki 3: Last.fm

  • Käyttötapaus ~ Testitapaus ~ Tehtävä


Testitapausten merkitys

Testitapausten merkitys

  • Kuvaa jotain tehtävää, joka tulisi suorittaa testattavalla käyttöliittymällä.

  • Vaikuttaa:

    • Minkälaisia ongelmia ohjelmasta löytyy.

    • Miten käyttöliittymää arvioidaan.

    • Mitä osia käyttöliittymästä testi kattaa.


Testitapausten haaste

Testitapausten haaste

  • Asiantuntia arvioinneissa ei ole oikeaa käyttäjää. Onko testi järkevä käyttäjän kannalta?

  • Hyvä testitapaus antaa paremman kuvan siitä miten oikea käyttäjä haluaisi käyttää ohjelmaa.

  • Hyvän testitapauksen löytäminen edellyttää käyttäjähaastatteluita ja –tarkkailuja.

  • Tärkeää pystyä löytämään kaikki tarvittava tieto testitapausta varten, niin että se vastaisi mahdollisimman hyvin oikeaa käyttötilannetta.


Tavoitepohjainen k ytt testitapaus

Tavoitepohjainen käyttö/testitapaus

  • Irrottaa käyttäjän tavoitteen järjestelmästä.

  • Antaa tarvittavat tiedot nykyhetken tilasta sekä käyttäjän tietämyksestä:

    • Tarvittavat faktat

    • Ajanhetken (aktivoitumistila)

    • Mitä käyttäjä tietää/ei tiedä

    • Mahdolliset ajat, paikat ja resurssit


Esimerkki teamwave workplace

Esimerkki: Teamwave Workplace

  • Asynkroninen ryhmätyökalu.

  • Halutaan helpottaa robottihitsaus koneiden suunnitteluryhmän toimintaa.

  • Osa ryhmän tutkijoista työskentelee etänä.


Esimerkki teamwave workplace1

Esimerkki: Teamwave Workplace

  • Kaksi erillistä käytettävyystestiä

    • Käyttäjätestaus

    • Käyttöliittymäkatselmus

  • Vertaillaan testien tuloksia


K ytt j testaus

Käyttäjätestaus

  • Työryhmä koulutettiin käyttämään TW:tä

  • Työryhmä käytti ohjelmaa 2,5 kuukauden ajan yhteistyöskentelyn tukena

  • Kerättiin lokia

  • Jälkeenpäin tehtiin kyselylomake ja henkilökohtaisia haastatteluita

  • 2 analyytikko vietti yli 5 kuukautta käydessään läpi tarkkailuntuloksia


K ytt liittym katselmus

Käyttöliittymäkatselmus

  • 4 testaajaa, kukaan ei tuntenut robottihitsaus alaa eivätkä erityisesti tienneet kohderyhmän toimintatavoista.

  • Testi muistutti heuristista evaluaatiota

    • Tunnin ohjelman tutkiskelu

    • Tunnin synkronoitu tehtävä

    • Alustava katselmus itsenäisesti

    • Kolmen päivän asynkroninen tehtävä

    • Lopullinen katselmus yhdessä

  • Tehtävillä yritettiin katsoa yleisesti ohjelman toimintoja

  • Valitettavasti tehtäviä ei oltu annettu lähteessä 


Yhteisty n luokittelu

Yhteistyön luokittelu

Käyttöliittymä ongelmat luokiteltiin näihin kategorioihin.

1. Explicit communication

2. Implicit communication

3. Coordination of action

4. Planning

5. Monitoring

6. Assistance

7. Protection


Arviointi

Arviointi

RatingDescription

+2Very succesful, few problems

+1Often succesful, but some awkwardness

0Adequate: no major problems or major benefits

-1Useful in some situations but many drawbacks

-2Rarely succesful with many failures

N/ANot enough information to rate


L ydettyj ongelmia yhteisi

Löydettyjä ongelmia: yhteisiä

  • Explicit communication/Monitoring (7,1): Vaikeaa havaita uusia viestejä chatissä

  • Explicit communication (3,3): Kommunikointi onnistuu vain huoneen sisällä, ei huoneiden välillä

  • Monitoring (8,9): Huoneessa olevien ihmisten ja toiminnan seuraaminen vaikeaa. Värit eivät auta (käyttäjätestauksessa oli yksi värisokea)

  • Protection (10,10): Ei omistajuutta esineille, eikä undo toimintoa.

  • Planning (9,4): Suunnittelu työkalut olivat heikkoja, käyttivät muita työkaluja tähän tarkoitukseen


L ydettyj ongelmia vain k ytt j testaus

Löydettyjä ongelmia: vain käyttäjätestaus

  • Explicit communication: Hankala erottaa oleellinen osa huoneessa käytävästä keskustelusta

  • Explicit communication: Ei tarpeeksi tehokkaita työkaluja kommunikointiin (parempi laatuiset kuvat)

  • Explicit communication: liitutaulu-työkalu oli liian kömpelö ja hidas kommunikointiin

  • Explicit communication: Heikkoja työkaluja, vain yleiskäyttöisimpiä kommunikointityökaluja oli käytetty

  • Implicit communication: Oli vaikeaa huomata muutoksia esineissä (käyttivät sähköpostia tähän)


L ydettyj ongelmia vain k ytt liittym katselmus

Löydettyjä ongelmia: vain käyttöliittymäkatselmus

  • Explicit communication: Ei pystynyt tietämään ”kuunteliko” toinen chattia

  • Coordination: Hankala tietää mitä toiset olivat tekemässä

  • Coordination,Monitoring: Yhteiskäytön hallinta heikkoa, saattoi yhtä aikaa kirjoittaa toisen työn yli.

  • Monitoring: Hankala huomata milloin ihminen saapui/lähti huoneesta

  • Monitoring: Hankala huomata mitä huoneessa on tapahtunut sitten viime kerran kun oli siellä


Erojen pohdintaa

Erojen pohdintaa

  • Vain kymmenen pahinta ongelmaa, painotus oli eriarvoista

  • Työryhmä kiersi osan ongelmista käyttämällä jotain toista tapaa, jolloin se ei ollut enää niin suuri ongelma kuin katselmuksessa arveltiin

  • Katselmuksessa ohjelman käyttö oli intensiivisempää. Työryhmässä ohjelmaa harvoin käytti oikeasti monta ryhmäläistä yhtä aikaa.


Arviointi1

Käyttäjätestaus:

1. Explicit communication +1

2. Implicit communication -1

3. Coordination of action N/A

4. Planning -1

5. Monitoring -1

6. Assistance N/A

7. Protection 0

Katselmus

1. Explicit communication -1

2. Implicit communication -1

3. Coordination of action 0

4. Planning -1

5. Monitoring 0

6. Assistance -1

7. Protection -1

Arviointi


K ytt j testaus p telm

Käyttäjätestaus - päätelmä

  • Työryhmä hyötyi mielestään ohjelman käytöstä

  • Paransi työskentelyn tehokkuutta

  • Työryhmä käytti myös järjestelmän ulkopuolisia järjestelmiä hyväksi esim. sähköpostia ja kokouksia

  • Osaa ohjelman tarjoamista ominaisuuksista he eivät käyttäneet laisinkaan

  • Kaikkea ei pystytty arvioimaan kunnolla. Käyttäjätarkkailu olisi mahdollisesti auttanut tässä.


K ytt liittym katselmus p telm

Käyttöliittymäkatselmus - Päätelmä

  • Käyttöliittymässä paljon ongelmia: explicit communication. Keskustelutyökalu kömpelö.

  • Huono tuki pidempi aikaiselle yhteistyölle

  • Eivät suosittelisi ohjelmaa käytettäväksi työryhmälle


P telmi yhteenveto 1 3

Päätelmiä – yhteenveto 1/3

  • Yli puolet ongelmista olivat samoja 10 pahimman joukossa

  • Käyttäjätarkkailu havaitsi silti ohjelman hyödylliseksi kun katselmus olisi hylännyt sen

  • Halvempi katselmus on hyödyllinen ja se on suositeltavaa suorittaa ennen kenttätutkimusta

  • Katselmus tarkasteli ohjelmaa yleisesti, kun taas käyttäjätestaus keskittyi täysin vain ryhmän tarpeisiin


P telmi yhteenveto 2 3

Päätelmiä – yhteenveto 2/3

  • Käyttäjätarkkailua ei tehty. Osa informaatiosta miten käyttäjät yrittivät käyttää ohjelmaa ongelmiensa ratkaisuun jäivät pimentoon käyttäjätestauksessa.

  • Käytettiin (ilmeisesti) yleisiä yksinkertaisia tehtävä- skenaarioita katselmuksessa.

  • Tehtäviin olisi voinut liittää ryhmä jäsenten tietämystä:

    • Tieto- ja taitotaso

    • Muut käytettävissä olevat menetelmät (sähköposti, puhelin,…)

    • Kokous mahdollisuus


P telmi yhteenveto 3 3

Päätelmiä – yhteenveto 3/3

  • Jos testitapauksia olisi painotettu juuri ryhmäntarpeiden mukaan olisiko tulokset olleet enemmän samanlaisia?

  • Jos kyllä, voisiko kalliin ja aikaa vievän käyttäjätarkkailun jättää pois ja korvata halvemmalla menetelmällä?

  • Miten voimme olla varmoja että testitapaukset ovat tarpeeksi hyviä tarpeisiimme?


Toinen esimerkki

Toinen esimerkki

  • Tutkitaan miten vahvasti testitapaukset vaikuttavat asiantuntija arvioiden tuloksiin.

  • Otetaan seminaarissa käytettyjä menetelmiä ja varioidaan näiden testitapauksia ja katsotaan miten ne voisivat vaikuttaa tuloksiin.

  • Simulointitestaus – Jyrki Salonen


Kt1 laila hietamiehen uusi kirja

Annen tavoite:

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen uusimman teoksen, mutta hänellä ei vielä ole kirjaa.

Tilatietoja:

Nyt on su 15.1.2006 klo 16.30

Anne on kotonaan Espoon Leppävaarassa

Annella on kotonaan tietokone nettiyhteydellä ja sähköpostilla

Annella on tunnukset www.helmet.fi -palveluun

Hietamiehen uusi kirja on ilmestynyt viime syksyn aikana

Laila Hietamiehen nimi on muuttunut Laila Hirvisaareksi ja uusi romaani Kruununpuisto on julkaistu tällä nimellä

Annen tietämys:

Anne tietää uuden Romaanin nimen

Anne tietää Hietamiehen nimenvaihdoksesta

Annella ei ole tapana ostaa kirjoja

Leppävaaran kirjasto on Annelle tuttu ja hän on noutanut sieltä varattuja kirjoja aikaisemminkin

Kirjastot:

Useilla Helsingin kirjastoilla on kirja valikoimassaan

Kirja on erittäin kysytty

KT1: Laila Hietamiehen uusi kirja


Typistetty testitapaus ilman tila ja tiet mysdataa

Typistetty testitapausIlman tila- ja tietämysdataa

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen (uusi sukunimi: Hirvisaari) uusimman teoksen (kruununpuisto), mutta hänellä ei vielä ole kirjaa.


Vaikutuksia

Vaikutuksia

  • Testaaja ei välttämättä välitä lainkaan mistä kirjastosta hakee kirjan.

  • Varioimalla tila- ja tietämysdataa saadaan paljon erilaisia tilanteita lisää esille

    • rekisteröityminen

    • hakeminen kirjailijan nimellä

    • kirjailijan nimen muutoksen selvitys

  • Yksinkertainen testitapaus jättää asiantuntijan harteille huomata nämä seikat.

  • Motivoi huonommin miettimään miten oikeasti käyttäjä toimisi eri tilanteissa.


K rjistetty testitapaus

Kärjistetty testitapaus

Kirjan kruunupuisto varaus HelMet-järjestelmässä.

  • Samat ongelmat kertautuu vahvemmin.

  • Saatetaan käyttää vain valmista Testi Testaaja varaajaa testissä.

  • Ei välitetä mahdollisesti milloin kirja olisi saataville; varattu ja sillä selvä.


Kt1 laila hietamiehen uusin kirja jani hanhisalo

Kaverisi Johanna kehuu sinulle Laila Hirvisaaren uusinta kirjaa kruununpuisto.

Olet lukenut Laila Hietaniemen edelliset kirjat ja tiedät hänen nimen vaihdoksesta.

Kun vielä kaverisi suosittelee kirjaa myös sinun kiinnostuksesi herää. Et kuitenkaan haluaisi ostaa kirjaa, koska sinulla ei ole ylimääräistä rahaa juuri nyt, vaan haluaisit mieluummin lainata sen kirjastosta. Olet kotonasi Korsossa (Peltomyyränkuja 2). Haluat siis lukea kyseisen kirjan mahdollisimman nopeasti. (ei syytä tähän?)

Miten saisit kirjan ja milloin uskot saavasi sen?

KT1: Laila Hietamiehen uusin kirja. (Jani Hanhisalo)

virhe!!!


Vaikutuksia1

Vaikutuksia

  • Testitapauksella on hyvin tärkeä merkitys testikäyttäjän motivoitumiselle

  • Rahan puute motivoi käyttämään juuri kirjastoa (vaikka kirjan varaustilanne on paha)

  • Kysymykset Miten ja Milloin motivoivat kaivamaan nämä informaatiot käyttöliittymästä eli auttavat viemään testitapauksen loppuun asti


Teht v 2 onko gordonilla yst vi samuli kaipiainen

Tehtävä 2: onko Gordonilla ystäviä? (Samuli Kaipiainen)

  • Gordon sai lisättyä kaverinsa Samulin ystävälistalleen. Nyt häntä kiinnostaa, onkohan kukaan lisännyt häntä ystäväkseen, sillä hän on täpinöissään mainostanut Last.fm-sivuaan irc-kavereilleen. Erityisesti häntä kiinnostaa millaisia ystäväkuvauksia hän on saanut, lupsakka kaveri kun on.

  • Tilatietoa:

    • Gordon lisäsi juuri Samulin ystäväkseen

    • Gordon jäi sen jäljiltä Samulin profiilisivulle osoitteeseen http://www.last.fm/user/Ponkki/

    • Gordon ei antanut rekisteröityessään sähköpostiosoitettaan, joten hän ei saa ilmoituksia ystävälistalisäyksistä

    • Lisätessään Samulin ystäväkseen, Gordon kuvaili ystävyyttä termillä ”grauuuu”

    • Gordonilla ei ehkä ole muita ystäviä


Muutoksia testitapaukseen

Muutoksia testitapaukseen

  • Lisäys kiinnostuksesta mitä Gordonista sanotaan itsestään lisää expand-infon käytön tarpeen testitapaukseen.

  • Jos irc-kaverit olisi lueteltu nimeltä, olisi voitu saada tapaus, jossa jokin ulkopuolinen henkilö olisi lisännyt gordonin ystäviin ja kiinnostus henkilön henkilöllisyyden selvittämisestä olisi herännyt


L hteet

Lähteet

  • [Steves01] Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001.

  • [Laakso05] Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005.

  • [Salonen06] Jyrki Salonen, Simulointitestaus (simulation-based expert review). Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

  • [Kaipiainen06] Käytettävyysläpikäynti(usability walkthrough), Samuli Kaipiainen. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

  • [Hanhisalo06] Käytettävyystestauksella selville saatavat ongelmat (usability testing), Jani Hanhisalo. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006s


  • Login