Interazione uomo-macchina LA VALUTAZIONE

1. Interazione uomo-macchinaLA VALUTAZIONE Monica Perrero perrero@di.unito.it

2. Perche’ valutare? • Spesso i progettisti pensano di avere tutti gli elementi necessari per valutare un prodotto senza l’intervento di terzi. Anch’io in fondosono un utente, se ilprodottopiace a me perche’ non dovrebbepiacereaglialtri? Ho seguitotutte le lineeguidadell’ergonomia, quindiilprodottosara’ sicuramenteusabile! .

3. In realta’ moltissime variabili concorrono a formare l’opinione dell’utente su un prodotto interattivo. Mi piace? E’ facile dausare? Svolge le sue funzioni in modoefficiente? E’ divertente? . Mi da’ soddisfazione? Rispondeallemieaspettative?

4. Quandovalutare? Identificazionebisogni/ Definizionerequisiti (ri)progettazione Valutazione Costruzionediunaversioneinterattiva Prodotto finale 4 4

5. Il design di un prodotto e’ un processo iterativo che procede secondo cicli continui di progettazione – valutazione – riprogettazione • Valutare un prodotto solo quando e’ pronto per esseremesso in commerciopuo’ essere un grave errore! • Le stessetecnichechevengonoutilizzatenellesessionidivalutazioneentrano in gioco sin dallefasiiniziali, durante la raccoltadeirequisiti(si “valutano” ibisogni e le necessita’ degliutenti). 5 5

6. Cosavalutare? • L’ampiezza e l’accessibilita’ delle funzionalita’ del sistema • il sistema/prodotto deve soddisfare le aspettative dell’utente e rendere disponibili e facilmente raggiungibili le funzionalita’ necessarie a svolgere i compiti per cui e’ stato pensato • La user experience durante l’interazione • qual’e’ l’impatto che ha il prodotto sull’utente? E’ importante considerare aspetti come la facilita’ d’uso e la velocita’ di apprendimento, l’usabilita’ e il livello di soddisfazione che genera.

7. Output dellavalutazione • Best practices: soluzioni ritenute particolarmente valide, da tenere in considerazione anche per successive sessioni di progettazione. • Worst cases: pratiche di progettazione che ostacolano o condizionano negativamente l’interazione sistema-utente.

8. Come valutare? TECNICHE DI VALUTAZIONE ESPERTI UTENTI chiedere chiedere osservare EURISTICHE IN LABORATORIO WALKTROUGH COGNITIVI SUL CAMPO INTERVISTE QUESTIONARI

9. Chiedereagliesperti • Non e’ sempre possibile coinvolgere gli utenti nella valutazione… • Soprattuttonellefasiinizialidellaprogettazione • Quando non si ha a disposizione un budgetadeguato • In questi casi ci si puo’ rivolgere ad “esperti” nella valutazione di prodotti interattivi

10. Pro: pococostose e molto veloci • Contro: silimitano a individuareproblemidiusabilita’; non tengonocontodell’effettivapercezionederivantedall’utilizzoda parte diutentireali. • E’ importanteinoltrecheilvalutatoresilimiti a evidenziareiproblemipresentati e non a forniresoluzioni! (…per questoc’e’ ilprogettista) • Due principalitecniche: • Walkthrough cognitivi • Euristiche

11. Walkthrough cognitivi • Scopo principale: valutare la progettazione in termini di facilita’ di apprendimento attraversola simulazione del processo di problem solving di un utente in interazione con un sistema. • Il valutatore esamina in dettaglio (passo a passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito, cercando di ricostruire i suoi possibili processi mentali

12. Affinche’ un esperto possa eseguire correttamente un walkthrough e’ necessario che siano presenti quattro elementi: • 1) Specifica dettagliata o prototipo del sistema • 2) Descrizione del compito che l’utente deve svolgere • 3) Elenco completo delle azioni da svolgere per eseguire il compito • 4) Indicazione di chi sono gli utenti e che tipo di esperienza e conoscenza possono avere

13. Per ogni singola azione il valutatore deve cercare di rispondere alle seguenti domande: • L’utente capira’ cosa deve fare e quindi cerchera’ di ottenere l’effetto corretto? • L’utente noterà che l’azione corretta è disponibile? (e’ visibile lo strumento – tasto, voce di menu…- necessario per compiere l’azione?) • L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere? (capira’ qual e’ il tasto o la voce di menu da selezionare per ottenere l’effetto corretto?) • L’utente capira’ dal feedback dato dal sistema se l’azione corretta e’ stata eseguita?

14. In genere la stessa analisi viene compiuta da piu’ valutatori in sessioni parallele (almeno 3). • Durante il walkthrough l’esperto deve riportare le risposte alle quattro domande per ogni azione che compie ed evidenziare eventuali problemi riscontrati • Al termine di tutte le analisi viene stilato un documento riassuntivo che fornisce agli esperti l’elenco dei principali problemi riscontrati ed il livello di gravita’ per ognuno.

15. Esempio di walkthrough: sito Vodafone Task: inviaresms via web 15

16. Domanda 1: L’utente capira’ cosa deve fare e quindi cerchera’ di ottenere l’effetto corretto? • Risposta: Si, deve inviare un sms da web • Domanda 2: L’utente noterà che l’azione corretta è disponibile? • Risposta: non immediatamente! Il tasto per inviare sms da web si trova in una posizione difficilmente visibile (parte bassa della pagina), all’interno di una pagina ricca di informazioni 16

17. 17

18. Domanda 3: L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere? • Risposta: Si’, anche se la label non e’ molto chiara (Sarebbestatamegliounafrasepiu’ diretta come “Invia SMS da web” inveceche “SMS gratis anche con widget” cheveicolapiu’ informazioni) • Domanda 4: L’utente capira’ dal feedback dato dal sistema se l’azione corretta e’ stata eseguita? • Risposta: si, perche’ vieneportato in unapagina in cui e’ presente un tasto “inviasms”, anche se sarebbestatomeglioevitarequestopassaggio inutile e mostraredirettamente la paginacontenenteil form per l’invio. 18

20. Euristiche • Nelle valutazioni basate su euristiche gli elementi dell’interfaccia di un sistema vengono analizzati verficandone la conformita’ a specifiche “regole d’oro” (euristiche) correlate a principi e linee guida generalmente accettati.

21. Euristiche di Nielsen (1994) • Sono molto generali e, in linea teorica, utili per verificare l’usabilita’ di qualsiasi sistema • 1) Rendere visibile lo stato del sistema • es. Sapere se e’ un oggetto e’ unlinke dove porta • Presenza di un segnale di attività in corso • 2) Creare relazioni tra il mondo reale e il sistema • parlare il linguaggio dell’utente, con parole, metafore, oggetti a lui familiari • es. Metafora desktop • 3) Abilitare il controllo dell’utente e lasciargli liberta’ • es. evitare percorsi predefiniti senza possibili scorciatoie • evitare azioni non volute dall’utente (pagine che si aprono da sole) • 4) Essere consistenti e seguire gli standard • 5) Cercare di prevenire gli errori • 6) Aiutare il riconoscimento piuttosto che il ricordo • 7) Garantire flessibilita’ ed efficienza d’uso • 8) Adottare un design minimalista e accattivante • 9) Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli • 10) Fornire aiuti e istruzioni

22. 4) Essere consistenti e seguire gli standard es. riportare in ognipaginaalcunielementidiriconoscimento (logo, stile grafico…) 5) Cercare di prevenire gli errori es. Scrivi la tua data dinascita in questoformato: gg,mm,aaaa 6) Aiutare il riconoscimento piuttosto che il ricordo es. produrre layout semplici e schematici evitarechel’utenteriscopraognivoltal’interfaccia 7) Garantire flessibilita’ ed efficienza d’usoes. offrire scorciatoie per i piu’ esperti offrire una navigazione gerarchica per i meno esperti 8) Adottare un design minimalista e accattivante es. evitarecheilcontenutoinformativosiamesso in secondo piano

23. 9) Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerlies. il formato della data non e’ corretto! Inserire la data nel formato gg/mm/aaaa 10) Fornire aiuti e istruzionidocumentazione deve essere sempre accessibile e facile da interpretare • Quando si ha a che fare con oggetti differenti dalle classiche interfacce web e’ possibile integrare le euristiche generiche con euristiche specifiche per il dominio in esame (checklist)

24. Pro: • Poco costose • Bastano pochi valutatori (5 valutatori sono in grado di inviduare il 75% dei problemi di usabilita’) • Risultati migliori quanto piu’ i valutatori sono esperti dei problemi di usabilita’ della specifica applicazione • Contro: • Mancanza di euristiche condivise e standard per oggetti differenti dal web (es.palmari, giochi interattivi) • Problemi individuati dai valutatori sono spesso differenti da quelli che identificherebbero gli utenti • Mancanza di feedback sull’accettabilita’ del prodotto da parte degli utenti finali

25. Condurre una valutazione euristica • Sessione di briefing: agli esperti viene presentato il sistema da analizzare • Periodo di valutazione: gli esperti analizzano indipendentemente il prodotto utilizzando le euristiche come linee guida • Sessione di debriefing: gli esperti si riuniscono e discutono i risultati evidenziando i principali problemi riscontrati

26. Un esempio di valutazione euristica: i sistemi peer-2-peer • Obiettivo dell’analisi: evidenziare i principali punti di forza e debolezza al fine di individuare eventuali proprieta’ dei sistemi p2p che potrebbero essere trasferiti in altri ambiti (es. tv interattiva) • Numero di esperti coinvolti: 3 • Sistemi analizzati: eMule, BitTorrent, DirectConnect++

27. Per ogni sistema sono stati individuati: • Best practices • Worst cases • Standard de facto: pratiche progettuali riconosciute e rispettate pressoche’ universalemente pur non essendo imposte da norme di riferimento

28. Euristiche di Nielsen adattate e modificate con l’aggiunta di due euristiche ad-hoc per il dominio peer2peer 1) Esistenza di elementi intelligenti nel software es. pop up contestuali sui file in fase di scaricamento, forme di segnalazione che un file e’ stato gia’ scaricato nel corso di una ricerca precedente, sistemi di classificazione automatica dei contenuti scaricati... 2) disponibilita’ di elementi funzionali alla ricerca e/o organizzazione veloce del materiale es. cartelle predefinite per lo sharing dei contenuti, lista di “preferiti”

30. Osservaregliutenti Gli utenti possono essere osservati in due contesti differenti: Sul campo In laboratorio Field Trial Osservazioneesterna Etnografia test diusabilita’ Osservazionepartecipante

31. Test diusabilita’ • I test di usabilita’ mirano a capire quanto un prodotto e’ usabile in termini di obiettivi di usabilita’, facilita’ d’uso e apprendibilita’ • Possono essere effettuati: • durante le fasi intermedie di realizzazione del prodotto (mock-up, prototipi) • durante le fasi finali (prodotti funzionanti) • Hanno il vantaggio di essere attendibili anche con un numero molto basso di utenti (5- 12 utenti), a patto che essi siano rappresentativi della popolazione a cui e’ rivolto il prodotto da testare.

32. Durante un test di usabilita’ gli utenti sono chiamati a svolgere, in un laboratorio, una serie di compiti specifici. • I compiti devono essere abbastanza semplici e possono durare dai 5 ai 20 minuti • Nel complesso il test non dovrebbe durare piu’ di un’ora! • Il valutatoredovrebbelimitarsi ad osservare, senzaintervenire, le interazionidell’utentecolprodottomentretentadisvolgereilcompitoassegnatogli. • Come fare, pero’, ad intercettareipensieri e le senzazionidegliutenti?

33. Thinkaloud(Erikson e Simon, 1985) • All’utente viene chiesto di esternalizzare i propri pensieri e raccontare a voce alta cio’ che sta facendo mentre svolge i vari compiti. • Al termine di ogni compito (o al termine del test) e’ possibile fornire un questionario o fare un’intervista per raccogliere ulteriori dati non recepibili dalle azioni o dal thinkaloud

34. Valutazionedell’accettabilita’ • Durante un test di usabilita’ e’ possibile valutare anche l’accettabilta’ del sistema da parte degli utenti, ovvero la sua capacita’ globale di soddisfare le necessita’ e le richieste degli utenti. • 2 aspetti: • Accettabilita’ sociale: ilsistema e’ ritenutoaccettabile se ritenutocoerente con alcunivalorifondamentalidell’essereumano (es. sicurezza e privacy) • Accettabilita’ pratica: comprendeunaseriediattributiqualicosto, affidabilita’, compatibilita’ con isistemipreesistenti e praticita’.

35. Test di usabilita’: come si fa? • Identificare le caratteristiche del prodotto da valutare • Identificare i compiti da assegnare agli utenti • Individuare il profilo degli utenti target a cui sottoporre il test • Preparare un calendario con le date dei test • Effettuare un test pilota per verificare la correttezza ed adeguatezza del test • Preparare moduli per la privacy da far firmare agli utenti • Trovare ricompense da fornire agli utenti (gadget…)

36. Laboratori di usabilita’ • Stanze costruite ad hoc per effettuare i test con gli utenti, molto spesso con ambientazioni simili a quelle domestiche.

37. Le stanzesonofornitedistrumentazione per la registrazione audio e video. Spesso e’ presenteunospecchio-finestracheconsenteaiprogettisti e aglialtriosservatoridiseguireil test

38. Analisi dei dati • I dati sono raccolti sotto forma di appunti durante il test. • Se i test sono stati registrati e’ necessario che le registrazioni vengano riviste e ci si focalizzi sui momenti critici. • I dati derivanti da queste analisi sono di tipo qualitativo. • A volte e’ utile riportare per estesofrasipronunciatedagliutentiduranteil testEs. “Aiuto, mi sonoperso, come faccio a tornareindietro!”

39. Misure oggettive di performance possono derivare dai file di log (min, max, devst, media) • Ultimamente vengono utilizzati strumenti innovativi che tracciano movimenti degli occhi o altri cambiamenti fisici durante l’utilizzo di un sistema.

40. Un esempio di test di usabilita’: prototipo di tv interattiva • Obiettivi dell’analisi: • Valutare l’accettabilita’ e l’usabilita’ di un prototipo di televisione interattiva. • Valutare l’accettabilita’ di funzionalita’ appena ipotizzate su prototipi low-fi (storyboard powerpoint interattive) • Raccogliere suggerimenti e nuovi input di progettazione • Metodo: • Test di usabilita’/accettabilita’ “vis à vis” sul prototipo tramite l’osservazione diretta dell’uso del sistema, interviste in profondità e questionario. • Test di accettabilita’ sul prototipo low-fi , intervista in profondità e questionario

41. Campione • 30 utenti distribuiti su 5 “profili” utente e 3 fasce d’età (<35; 35-60; over 60) + 3 pre-test per validare metodo e strumenti utilizzati 1) fruitori tv e videogiochi, no pc: “gli smanettoni” 2) solo fruitori tv (no pc e videogiochi): “i couch potatoes” 3) fruitori tv e pc, no videogiochi 4) fruitori videogiochi e pc, no tv 5) solo fruitori pc, no tv e videogiochi • Numero di compiti: 14 • Dopo ogni compito, breve questionario e intervista • Alla fine di tutti i compiti, questionario globale

42. Esempi di compiti Luca decide di esplorare liberamente questa nuova televisione per capire come funziona…. Muoviti liberamente per qualche minuto sullo schermo, utilizzando il telecomando! Dalla scheda contenuto che sta consultando, Luca decide di tornare al genere di riferimento, cioè fantascienza /fantasy Torna ai film “fantascienza/fantasy”!

43. Esempi di domande del questionario Come ti sembra muoverti in questo nuovo mondo televisivo? (Metti una crocetta accanto ad ogni aggettivo, in corrispondenza del numero che ritieni meglio rappresentare la tua opinione) C’è qualcosa che ti ha particolarmente colpito e ci vuoi segnalare?

44. Osservazionisul campo • Durante l’osservazione sul campo gli utenti vengono osservati mentre provano il prodotto nel loro contesto naturale. • Nei test di usabilita’ ci si concentra solo su cosa fanno gli utenti, sul campo bisogna prendere in considerazione molte piu’ variabili legate al contesto: • dove ci si trova? • chi sono gli altri attori e cosa fanno?” • quali altri oggetti sono presenti nell’ambiente? • cosa accade intorno? • come interagiscono tra di loro le persone e le persone con gli oggetti? 44

45. Spesso questi metodi vengono utilizzati durante la fase della definizione dei requisiti, per individuare bisogni e necessita’ latenti. • E’ molto utile soprattutto quando si sa poco del gruppo di persone che si va ad osservare (minoranze etniche, gruppi sociali particolari…) • In fase di valutazione vera e propria e’ molto efficace perche’ permette di testare un prodotto nel luogo effettivo in cui verra’ utilizzato senza l’”asetticita’” del laboratorio. • Il problema fondamentale e’ che queste tecniche sono molto piu’ costose e onerose in termini di tempo. 45

46. Quattro tecniche principali: • Osservazione esterna • Osservazione partecipante • Etnografia • Trial in campo • Per quanto riguarda le prime tre tecniche il processo tipico e’ il seguente: • Individuare l’obiettivo della ricerca • decidere quali strumenti utilizzare per la registrazione dei dati (appunti, audio, video, foto…) • conquistare la fiducia dei membri della comunita’ in cui si va ad operare • prepararsi a cambiare obiettivi man mano che l’analisi va avanti • rivedere gli appunti e le altre registrazioni non oltre le 24 ore • cercare di separare i fatti dalle opinioni personali durante l’analisi dei dati 46

47. Osservazioneesterna • I valutatori osservano dall’esterno, senza calarsi nella vita reale del gruppo di persone che stanno osservando • Importante cercare di essere il piu’ discreti possibili, per non influenzare il comportamento di chi si sta monitorando. • Fondamentale avere la giusta attrezzatura per raccogliere tutti i dati (telecamere, registratore, macchina fotografica…) 47

48. Osservazionepartecipanteedetnografia • Nell’osservazione partecipante e negli studi etnografici il valutatore si immerge completamente nella realta’ che va ad analizzare e diventa un attore stesso e non un semplice osservatore esterno della comunita’ • Spesso, l’osservazione partecipante e’ vista come una tecnica dell’etnografia, che si differenzia dalla prima per i seguenti aspetti: • viene fatto ampio uso di altre tecniche come interviste, questionari, diari. • l’indagine etnografica e’ molto piu’ lunga (anche mesi) di un’osservazione partecipante. 48

49. Trial in campo • Il trial in campo e’ un metodo di osservazione indiretta, tipicamente adottato in fase pre-commerciale, quando si ha un prodotto praticamente finito. • Il prodottodatestarevieneportato “nelle case” degliutentiche lo “provano” per un periododi tempo limitato (es. 2 settimane, un mese) • Tipicamentevienechiestoloroditenere un diarioquotidiano con commentisull’utilizzo e l’effettivousovienememorizzatoneifile di log. • Al termine del periodogliutentivengonointervistati o partecipano ad un focus group. 49

50. Strumentidisupportoall’osservazione • Soprattutto nei trial, ma in generale ogni volta che i valutatori non possono essere presenti durante tutta la durata dello studio oppure alcuni argomenti troppo indiscreti non possono essere trattati vis-à-vis, si ricorre a tecniche di osservazione indiretta: • Diari quotidiani: compilati direttamente dagli utenti (generalmente a fine giornata).Possono anche contenere dati non in forma testuale (foto, video…) • File di log: registrano automaticamente le interazioni degli utenti con il sistema 50