Asiantuntija arvio vs k ytt jill testaaminen testitapausten merkitys
Download
1 / 31

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys - PowerPoint PPT Presentation


  • 85 Views
  • Uploaded on
  • Presentation posted in: General

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys. Aki Korpua Seminaari: Käyttöliittymien arviointi menetelmät Helsingin Yliopisto 2006. Aiheet. Testitapauksia yleisesti katsastaen Esimerkki 1: Teamwave Workplace Esimerkki 2: HelMet simulaatio ja käytäntö

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha

Download Presentation

Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Asiantuntija arvio vs k ytt jill testaaminen testitapausten merkitys
Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

Aki Korpua

Seminaari: Käyttöliittymien arviointi menetelmät

Helsingin Yliopisto 2006


Aiheet
Aiheet testitapausten merkitys

  • Testitapauksia yleisesti katsastaen

  • Esimerkki 1: Teamwave Workplace

  • Esimerkki 2: HelMet simulaatio ja käytäntö

  • Esimerkki 3: Last.fm

  • Käyttötapaus ~ Testitapaus ~ Tehtävä


Testitapausten merkitys
Testitapausten merkitys testitapausten merkitys

  • Kuvaa jotain tehtävää, joka tulisi suorittaa testattavalla käyttöliittymällä.

  • Vaikuttaa:

    • Minkälaisia ongelmia ohjelmasta löytyy.

    • Miten käyttöliittymää arvioidaan.

    • Mitä osia käyttöliittymästä testi kattaa.


Testitapausten haaste
Testitapausten haaste testitapausten merkitys

  • Asiantuntia arvioinneissa ei ole oikeaa käyttäjää. Onko testi järkevä käyttäjän kannalta?

  • Hyvä testitapaus antaa paremman kuvan siitä miten oikea käyttäjä haluaisi käyttää ohjelmaa.

  • Hyvän testitapauksen löytäminen edellyttää käyttäjähaastatteluita ja –tarkkailuja.

  • Tärkeää pystyä löytämään kaikki tarvittava tieto testitapausta varten, niin että se vastaisi mahdollisimman hyvin oikeaa käyttötilannetta.


Tavoitepohjainen k ytt testitapaus
Tavoitepohjainen käyttö/testitapaus testitapausten merkitys

  • Irrottaa käyttäjän tavoitteen järjestelmästä.

  • Antaa tarvittavat tiedot nykyhetken tilasta sekä käyttäjän tietämyksestä:

    • Tarvittavat faktat

    • Ajanhetken (aktivoitumistila)

    • Mitä käyttäjä tietää/ei tiedä

    • Mahdolliset ajat, paikat ja resurssit


Esimerkki teamwave workplace
Esimerkki: Teamwave Workplace testitapausten merkitys

  • Asynkroninen ryhmätyökalu.

  • Halutaan helpottaa robottihitsaus koneiden suunnitteluryhmän toimintaa.

  • Osa ryhmän tutkijoista työskentelee etänä.


Esimerkki teamwave workplace1
Esimerkki: Teamwave Workplace testitapausten merkitys

  • Kaksi erillistä käytettävyystestiä

    • Käyttäjätestaus

    • Käyttöliittymäkatselmus

  • Vertaillaan testien tuloksia


K ytt j testaus
Käyttäjätestaus testitapausten merkitys

  • Työryhmä koulutettiin käyttämään TW:tä

  • Työryhmä käytti ohjelmaa 2,5 kuukauden ajan yhteistyöskentelyn tukena

  • Kerättiin lokia

  • Jälkeenpäin tehtiin kyselylomake ja henkilökohtaisia haastatteluita

  • 2 analyytikko vietti yli 5 kuukautta käydessään läpi tarkkailuntuloksia


K ytt liittym katselmus
Käyttöliittymäkatselmus testitapausten merkitys

  • 4 testaajaa, kukaan ei tuntenut robottihitsaus alaa eivätkä erityisesti tienneet kohderyhmän toimintatavoista.

  • Testi muistutti heuristista evaluaatiota

    • Tunnin ohjelman tutkiskelu

    • Tunnin synkronoitu tehtävä

    • Alustava katselmus itsenäisesti

    • Kolmen päivän asynkroninen tehtävä

    • Lopullinen katselmus yhdessä

  • Tehtävillä yritettiin katsoa yleisesti ohjelman toimintoja

  • Valitettavasti tehtäviä ei oltu annettu lähteessä 


Yhteisty n luokittelu
Yhteistyön luokittelu testitapausten merkitys

Käyttöliittymä ongelmat luokiteltiin näihin kategorioihin.

1. Explicit communication

2. Implicit communication

3. Coordination of action

4. Planning

5. Monitoring

6. Assistance

7. Protection


Arviointi
Arviointi testitapausten merkitys

RatingDescription

+2Very succesful, few problems

+1Often succesful, but some awkwardness

0Adequate: no major problems or major benefits

-1Useful in some situations but many drawbacks

-2Rarely succesful with many failures

N/ANot enough information to rate


L ydettyj ongelmia yhteisi
Löydettyjä ongelmia: yhteisiä testitapausten merkitys

  • Explicit communication/Monitoring (7,1): Vaikeaa havaita uusia viestejä chatissä

  • Explicit communication (3,3): Kommunikointi onnistuu vain huoneen sisällä, ei huoneiden välillä

  • Monitoring (8,9): Huoneessa olevien ihmisten ja toiminnan seuraaminen vaikeaa. Värit eivät auta (käyttäjätestauksessa oli yksi värisokea)

  • Protection (10,10): Ei omistajuutta esineille, eikä undo toimintoa.

  • Planning (9,4): Suunnittelu työkalut olivat heikkoja, käyttivät muita työkaluja tähän tarkoitukseen


L ydettyj ongelmia vain k ytt j testaus
Löydettyjä ongelmia: vain käyttäjätestaus testitapausten merkitys

  • Explicit communication: Hankala erottaa oleellinen osa huoneessa käytävästä keskustelusta

  • Explicit communication: Ei tarpeeksi tehokkaita työkaluja kommunikointiin (parempi laatuiset kuvat)

  • Explicit communication: liitutaulu-työkalu oli liian kömpelö ja hidas kommunikointiin

  • Explicit communication: Heikkoja työkaluja, vain yleiskäyttöisimpiä kommunikointityökaluja oli käytetty

  • Implicit communication: Oli vaikeaa huomata muutoksia esineissä (käyttivät sähköpostia tähän)


L ydettyj ongelmia vain k ytt liittym katselmus
Löydettyjä ongelmia: vain käyttöliittymäkatselmus testitapausten merkitys

  • Explicit communication: Ei pystynyt tietämään ”kuunteliko” toinen chattia

  • Coordination: Hankala tietää mitä toiset olivat tekemässä

  • Coordination,Monitoring: Yhteiskäytön hallinta heikkoa, saattoi yhtä aikaa kirjoittaa toisen työn yli.

  • Monitoring: Hankala huomata milloin ihminen saapui/lähti huoneesta

  • Monitoring: Hankala huomata mitä huoneessa on tapahtunut sitten viime kerran kun oli siellä


Erojen pohdintaa
Erojen pohdintaa testitapausten merkitys

  • Vain kymmenen pahinta ongelmaa, painotus oli eriarvoista

  • Työryhmä kiersi osan ongelmista käyttämällä jotain toista tapaa, jolloin se ei ollut enää niin suuri ongelma kuin katselmuksessa arveltiin

  • Katselmuksessa ohjelman käyttö oli intensiivisempää. Työryhmässä ohjelmaa harvoin käytti oikeasti monta ryhmäläistä yhtä aikaa.


Arviointi1

Käyttäjätestaus: testitapausten merkitys

1. Explicit communication +1

2. Implicit communication -1

3. Coordination of action N/A

4. Planning -1

5. Monitoring -1

6. Assistance N/A

7. Protection 0

Katselmus

1. Explicit communication -1

2. Implicit communication -1

3. Coordination of action 0

4. Planning -1

5. Monitoring 0

6. Assistance -1

7. Protection -1

Arviointi


K ytt j testaus p telm
Käyttäjätestaus - päätelmä testitapausten merkitys

  • Työryhmä hyötyi mielestään ohjelman käytöstä

  • Paransi työskentelyn tehokkuutta

  • Työryhmä käytti myös järjestelmän ulkopuolisia järjestelmiä hyväksi esim. sähköpostia ja kokouksia

  • Osaa ohjelman tarjoamista ominaisuuksista he eivät käyttäneet laisinkaan

  • Kaikkea ei pystytty arvioimaan kunnolla. Käyttäjätarkkailu olisi mahdollisesti auttanut tässä.


K ytt liittym katselmus p telm
Käyttöliittymäkatselmus - Päätelmä testitapausten merkitys

  • Käyttöliittymässä paljon ongelmia: explicit communication. Keskustelutyökalu kömpelö.

  • Huono tuki pidempi aikaiselle yhteistyölle

  • Eivät suosittelisi ohjelmaa käytettäväksi työryhmälle


P telmi yhteenveto 1 3
Päätelmiä – yhteenveto 1/3 testitapausten merkitys

  • Yli puolet ongelmista olivat samoja 10 pahimman joukossa

  • Käyttäjätarkkailu havaitsi silti ohjelman hyödylliseksi kun katselmus olisi hylännyt sen

  • Halvempi katselmus on hyödyllinen ja se on suositeltavaa suorittaa ennen kenttätutkimusta

  • Katselmus tarkasteli ohjelmaa yleisesti, kun taas käyttäjätestaus keskittyi täysin vain ryhmän tarpeisiin


P telmi yhteenveto 2 3
Päätelmiä – yhteenveto 2/3 testitapausten merkitys

  • Käyttäjätarkkailua ei tehty. Osa informaatiosta miten käyttäjät yrittivät käyttää ohjelmaa ongelmiensa ratkaisuun jäivät pimentoon käyttäjätestauksessa.

  • Käytettiin (ilmeisesti) yleisiä yksinkertaisia tehtävä- skenaarioita katselmuksessa.

  • Tehtäviin olisi voinut liittää ryhmä jäsenten tietämystä:

    • Tieto- ja taitotaso

    • Muut käytettävissä olevat menetelmät (sähköposti, puhelin,…)

    • Kokous mahdollisuus


P telmi yhteenveto 3 3
Päätelmiä – yhteenveto 3/3 testitapausten merkitys

  • Jos testitapauksia olisi painotettu juuri ryhmäntarpeiden mukaan olisiko tulokset olleet enemmän samanlaisia?

  • Jos kyllä, voisiko kalliin ja aikaa vievän käyttäjätarkkailun jättää pois ja korvata halvemmalla menetelmällä?

  • Miten voimme olla varmoja että testitapaukset ovat tarpeeksi hyviä tarpeisiimme?


Toinen esimerkki
Toinen esimerkki testitapausten merkitys

  • Tutkitaan miten vahvasti testitapaukset vaikuttavat asiantuntija arvioiden tuloksiin.

  • Otetaan seminaarissa käytettyjä menetelmiä ja varioidaan näiden testitapauksia ja katsotaan miten ne voisivat vaikuttaa tuloksiin.

  • Simulointitestaus – Jyrki Salonen


Kt1 laila hietamiehen uusi kirja

Annen tavoite: testitapausten merkitys

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen uusimman teoksen, mutta hänellä ei vielä ole kirjaa.

Tilatietoja:

Nyt on su 15.1.2006 klo 16.30

Anne on kotonaan Espoon Leppävaarassa

Annella on kotonaan tietokone nettiyhteydellä ja sähköpostilla

Annella on tunnukset www.helmet.fi -palveluun

Hietamiehen uusi kirja on ilmestynyt viime syksyn aikana

Laila Hietamiehen nimi on muuttunut Laila Hirvisaareksi ja uusi romaani Kruununpuisto on julkaistu tällä nimellä

Annen tietämys:

Anne tietää uuden Romaanin nimen

Anne tietää Hietamiehen nimenvaihdoksesta

Annella ei ole tapana ostaa kirjoja

Leppävaaran kirjasto on Annelle tuttu ja hän on noutanut sieltä varattuja kirjoja aikaisemminkin

Kirjastot:

Useilla Helsingin kirjastoilla on kirja valikoimassaan

Kirja on erittäin kysytty

KT1: Laila Hietamiehen uusi kirja


Typistetty testitapaus ilman tila ja tiet mysdataa
Typistetty testitapaus testitapausten merkitysIlman tila- ja tietämysdataa

Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen (uusi sukunimi: Hirvisaari) uusimman teoksen (kruununpuisto), mutta hänellä ei vielä ole kirjaa.


Vaikutuksia
Vaikutuksia testitapausten merkitys

  • Testaaja ei välttämättä välitä lainkaan mistä kirjastosta hakee kirjan.

  • Varioimalla tila- ja tietämysdataa saadaan paljon erilaisia tilanteita lisää esille

    • rekisteröityminen

    • hakeminen kirjailijan nimellä

    • kirjailijan nimen muutoksen selvitys

  • Yksinkertainen testitapaus jättää asiantuntijan harteille huomata nämä seikat.

  • Motivoi huonommin miettimään miten oikeasti käyttäjä toimisi eri tilanteissa.


K rjistetty testitapaus
Kärjistetty testitapaus testitapausten merkitys

Kirjan kruunupuisto varaus HelMet-järjestelmässä.

  • Samat ongelmat kertautuu vahvemmin.

  • Saatetaan käyttää vain valmista Testi Testaaja varaajaa testissä.

  • Ei välitetä mahdollisesti milloin kirja olisi saataville; varattu ja sillä selvä.


Kt1 laila hietamiehen uusin kirja jani hanhisalo

Kaverisi Johanna kehuu sinulle Laila Hirvisaaren uusinta kirjaa kruununpuisto.

Olet lukenut Laila Hietaniemen edelliset kirjat ja tiedät hänen nimen vaihdoksesta.

Kun vielä kaverisi suosittelee kirjaa myös sinun kiinnostuksesi herää. Et kuitenkaan haluaisi ostaa kirjaa, koska sinulla ei ole ylimääräistä rahaa juuri nyt, vaan haluaisit mieluummin lainata sen kirjastosta. Olet kotonasi Korsossa (Peltomyyränkuja 2). Haluat siis lukea kyseisen kirjan mahdollisimman nopeasti. (ei syytä tähän?)

Miten saisit kirjan ja milloin uskot saavasi sen?

KT1: Laila Hietamiehen uusin kirja. (Jani Hanhisalo)

virhe!!!


Vaikutuksia1
Vaikutuksia kirjaa kruununpuisto.

  • Testitapauksella on hyvin tärkeä merkitys testikäyttäjän motivoitumiselle

  • Rahan puute motivoi käyttämään juuri kirjastoa (vaikka kirjan varaustilanne on paha)

  • Kysymykset Miten ja Milloin motivoivat kaivamaan nämä informaatiot käyttöliittymästä eli auttavat viemään testitapauksen loppuun asti


Teht v 2 onko gordonilla yst vi samuli kaipiainen
Tehtävä 2: onko Gordonilla ystäviä? (Samuli Kaipiainen) kirjaa kruununpuisto.

  • Gordon sai lisättyä kaverinsa Samulin ystävälistalleen. Nyt häntä kiinnostaa, onkohan kukaan lisännyt häntä ystäväkseen, sillä hän on täpinöissään mainostanut Last.fm-sivuaan irc-kavereilleen. Erityisesti häntä kiinnostaa millaisia ystäväkuvauksia hän on saanut, lupsakka kaveri kun on.

  • Tilatietoa:

    • Gordon lisäsi juuri Samulin ystäväkseen

    • Gordon jäi sen jäljiltä Samulin profiilisivulle osoitteeseen http://www.last.fm/user/Ponkki/

    • Gordon ei antanut rekisteröityessään sähköpostiosoitettaan, joten hän ei saa ilmoituksia ystävälistalisäyksistä

    • Lisätessään Samulin ystäväkseen, Gordon kuvaili ystävyyttä termillä ”grauuuu”

    • Gordonilla ei ehkä ole muita ystäviä


Muutoksia testitapaukseen
Muutoksia testitapaukseen kirjaa kruununpuisto.

  • Lisäys kiinnostuksesta mitä Gordonista sanotaan itsestään lisää expand-infon käytön tarpeen testitapaukseen.

  • Jos irc-kaverit olisi lueteltu nimeltä, olisi voitu saada tapaus, jossa jokin ulkopuolinen henkilö olisi lisännyt gordonin ystäviin ja kiinnostus henkilön henkilöllisyyden selvittämisestä olisi herännyt


L hteet
Lähteet kirjaa kruununpuisto.

  • [Steves01] Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001.

  • [Laakso05] Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005.

  • [Salonen06] Jyrki Salonen, Simulointitestaus (simulation-based expert review). Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

  • [Kaipiainen06] Käytettävyysläpikäynti(usability walkthrough), Samuli Kaipiainen. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006

  • [Hanhisalo06] Käytettävyystestauksella selville saatavat ongelmat (usability testing), Jani Hanhisalo. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006s


ad
  • Login