Évaluation d’un système interactif Tests d’utilisabilité

1. Évaluation d’un système interactifTests d’utilisabilité Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit http://lrcm.com.umontreal.ca/greg/COM2571/

2. La semaine dernière … On a vu : • La notion d’utilisabilité • Des critères ergonomiques • La méthode d’évaluation heuristique par des experts

3. Voila … L’homme adapté à l’ordinateur!!!

4. Et donc on fait quoi aujourd’hui? • Évaluation et processus de recherche et développement (R&D) • Définir une problématique • Méthodes d’évaluation de l’utilisabilité • Évaluation heuristique • Tests utilisateurs • Exemple avec les non-voyants • Atelier

5. Évaluation et processus de recherche et développement (R&D)

6. Préjugés • Le développement et l’évaluation, c’est cher! • Je connais le domaine  je sais que j’ai fait un truc bien! • On a testé l’outil en interne • Je sais l’utiliser donc tout le monde peut l’utiliser • On a fait passer un questionnaire et toute le monde aime ça • Personne n’aime les critiques

7. Processus de R&D • Innovation • Analyse des besoins • Analyse des fonctionnalités • Prototype • Évaluation • Évaluation heuristique • Évaluation empirique • Tests techniques • Tests d’utilisabilité • Observations • Entrevues • Analyse de données précédentes

8. Définir une problématique but de l’évaluation

9. But de l’évaluation • Toujours préciser les objectifs de l’évaluation en premier! • Évaluer un système  adapté aux activités et au contexte? • Quelle est la valeur ajoutée du système?

10. Comment mettre en place l’évaluation? • Rechercher les autres systèmes, les usagers, les théories, les expériences qui se rapportent au système à évaluer. • Comparer un système à un autre ou à une version antérieure  observer les différences • Utilisabilité  critères ergonomiques • Impact  notion d’utilité (apprentissage, vente, échange)  À quoi ça sert, qui, pourquoi?  Différents usagers, attentes

11. Problématique Une problématique doit permettre de correctement répondre aux questions suivantes : • Pourquoi met-on en place une évaluation? • Que veut-on évaluer? • De quelle façon allons-nous faire l’évaluation?

12. Méthodes d’évaluation de l’utilisabilité

13. Méthodes d’évaluation • Évaluation analytique ou heuristique • Tests utilisateurs aussi appelés « évaluation empirique avec des usagers »

14. Évaluation analytique • Basée sur l’analyse des tâches ou des activités - GOMS • Parcours cognitif (Cognitive walkthrough) • Évaluation heuristique des principes ergonomiques (par des experts)  déjà vu!

15. Évaluation basée sur l’analyse des tâches et des activités – GOMS • Aussi appelé « analyse hiérarchique des tâches » • Utile pour analyser un système à développer ou des activités existantes  à faire avant le développement! • Utile pour développer la documentation structure de tâche ≠ structure d’interface

16. Évaluation basée sur l’analyse des tâches et des activités – GOMS • GOMS = Goal OperatorsMethods and Selectionrules • Buts : intentions, mémoire de la tâche à faire, structure à explorer (Cas d’utilisation)  pourquoi? • Opérateurs : éléments d'actions, composantes, effets, input, output  quoi? • Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions  comment? • Règles de sélection: procédure générale de choix entre les méthodes  comment? • L’exemple … Comment ouvrir un fichier ?

17. Application du modèle GOMS • Utile lorsque la tâche est organisée sous formes d’étapes • Décrire le comportement idéal de la tâche • Permettre de caractériser les différences entre modèles usagers et tâches prévues • Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation • Permet de choisir des versions ou options dans le système • Permet de considérer des variables comme • la distance des éléments, • le nombre d’opérations, • le temps de celles-ci, • la difficulté, • l'imbrication • Peut servir à décrire un système à priori et à le valider sur papier

18. Parcours cognitif Approche des scénarios • Déterminer les séquences d’utilisation • Identifier les buts et extraire les états par lesquels passeront les usagers • Explorer les multiples chemins possibles • Évaluer l’utilisabilité des séquences

19. Parcours cognitif • Pour chaque action dans la séquence se mettre dans la peau d’un usager • Que veut faire l’usager ? • L’action requise est-elle suffisamment évidente ? • L’usager reconnaît-il que l’action répondra à ses buts ? • L’usager reconnaît-t-il que la réponse du système répond à ses besoins, qu’il a fait le bon choix.

20. Evaluation heuristique Voir cours précédent

21. Tests utilisateurs • Protocole expérimentale • Méthodologie d’analyse des observations • Méthodologie d’analyse des traces • Utilisation des questionnaires

22. Protocole expérimental • Préparation • Choix des sujets • Installation • Déroulement

23. Protocole expérimental – préparation • Définir la problématique • Définir les tâches • Trouver un contexte réel d’activité

24. Protocole expérimental - Problématique La problématique permet d’identifier le but de l’évaluation • Évaluation de l’expérience globale rencontrée sur le site? • Évaluation de certaines fonctionnalités seulement? • Évaluation dans un contexte d’utilisation spécifique (mobile?)

25. Protocole expérimental - Tâches • Les tâches permettent de répondre à la problématique • Pas un nombre standard de tâches • Évaluer la durée moyenne de chaque tâche • Viser un temps total d’une heure pour l’expérimentation • Identifier les critères de réussite de chaque tâche • Toutes les tâches doivent être réalisables

26. Protocole expérimental – Contexte d’activité Indiquer dans le scénario de départ quel est le contexte réel d’activité Exemples : • Votre contrat de téléphonie mobile expire bientôt, vous souhaitez changer de téléphone et trouver un forfait plus avantageux. • Vous souhaitez partir en vacances au soleil le mois prochain. • Vous êtes fan du Canadien de Montréal et voulez consulter les dernières informations concernant cette équipe.

27. Protocole expérimental – Choix des sujets • Echantillon représentatif ou au hasard? • Mesures répétées? • Schéma contrebalancé?

28. Protocole expérimental – Installation • Tester si tout fonctionne : • Vidéo • Audio • L’application à évaluer • Etc. • Parcourir de nouveau la consigne

29. Protocole expérimental – Déroulement • Formulaire de consentement • Consigne • Pratique de la verbalisation (thinkaloud) • Expérimentation • Intervenir le moins possible • Observer • Rappeler qu’il faut verbaliser • Questionnaires

30. Observation – Il faut noter : • Actions de l’utilisateur • Commentaires des usagers (incluant les questions posées) • Temps mis pour réaliser une tâche • Erreurs commises • Utilisation de l’aide • Réponses physiques de l’utilisateur (expressions faciales) • Diagnostic des problèmes ergonomiques sur le vif • Suggestions sur le vif

31. Laboratoire de test : LORIT

32. Laboratoire de test : LORIT • Supervision: • Voir les postes et les caméras • Contrôle des postes • Contrôle des caméras • Contrôle des liens avec Internet • Contrôle des enregistrements • Magicien d’Oz – simuler les interactions d’un système en développement, aide, questions suggestions.

33. Laboratoire de test : Bell Web

34. Observation : EyeTracking ASL • EyeTracking : suivi oculaire iViewX (SMI) Tobii T60

35. Observation : EyeTracking Un EyeTracker calcule la distance entre l’iris et un reflet cornéen

36. Observation : EyeTracking

37. Observation : vers les émotions?

38. Kismet

39. Observations : mesures physiologiques • Rythme cardiaque • Sudation • Température

40. Méthodologie d’analyse des observations • Transcription de vidéos • Codage des observations et des commentaires des usagers selon une grille ergonomique faire ensuite la synthèse selon les grandes catégories

41. Transcription de vidéos

42. Analyse des traces • Nombre de visites dans les différents environnements • Temps passé dans les différents environnements • Contexte du temps passé (en revenant ou en avançant, en venant d’où ?) • Erreurs, appel à l’aide • Statistiques descriptives sur les données, tableau des fréquences, des moyennes, pourcentages • Tests de comparaison entre les groupes

43. Questionnaire • Il peut y avoir un pré-questionnaire (âge, habitudes de l’utilisateur, …) • Sinon, le questionnaire a lieu après, mais le plus vite possible! • Questions adaptées et claires • Questions fermées au début, puis ouvertes • Complètement d’accord  pas du tout d’accord VS. Echelle de Likert 1 (moins) à X (plus) avec 0 = ne sait pas VS. Smileyometter de Read

44. Questionnaire • Pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse • Il vaut mieux éviter les questions et les remplacer par des affirmations positives en demandant à l’utilisateur s’il est d’accord Le logiciel est-il difficile à utiliser?  Le logiciel est facile à utiliser  L’utilisation du logiciel est : 1 2 3 4 5 (1 = très difficile; 5 = très facile)

45. Type de question • Questions fermées • Liste à cocher • Smileyometter • Échelle de Likert (0 à X) (X = 5 ou 7) • Rang  par exemple, ordonner les problèmes • Questions ouvertes • Principaux problèmes et solutions • Ce que vous avez préféré • Proposition d’améliorations

46. Questionnaire Attention à l’effet Hawthorn!!! Les utilisateurs ont la fâcheuse habitude de vouloir faire plaisir à l’expérimentateur! Il faut donc toujours leur préciser qu’ils ne doivent pas hésiter à être complètement transparent dans leurs commentaires. Indiquer que le modérateur n’a pas participer à la conception du système aide.

47. Questionnaire • Ne pas suggérer de réponse • Ne pas embarrasser les utilisateurs • Les questions ne doivent pas être trop évasives • Les questions ne doivent pas être trop complexes • L’ordre des questions est important

48. Réingénierie • Réviser globalement l’atteinte des objectifs du système, qualifier et regrouper ce qui est le plus significatif • Repenser la structure des activités, de la navigation, la structure de l’interface • Faire la liste des corrections à apporter au niveau du contenu textuel et non-textuel • Réviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant le respect des critères ergonomiques • Dire ce qu’a apporté l’expérimentation et les prochaines actions à faire

49. Réingénierie Essayer de proposer une solution globale • Changer l’interface  rapport très structuré • Proposer plus de guidage pour les nouveaux utilisateurs • Changer la procédure d’utilisation du système • Etc.

50. Exemple