Evaluation ergonomique des IHMs

1. Evaluation ergonomique des IHMs Christelle Farenc farenc@irit.fr IRIT - Equipe LIIHS

2. Carte ACM de l’IHM

3. Plan • Introduction • Ergonomie et utilisabilité • Première partie : méthodes d’évaluation • Les méthodes d’évaluation empiriques (tests utilisateurs) • Les autres méthodes d ’évaluation et leur classification • Deuxième partie • Les recherches actuelles en évaluation • Troisième partie : théorie et modèles en ergonomie • Modélisation de l’utilisateur • Modèle du processeur humain • Modélisation de la tâche

4. Ergonomie • Etude des activités de travail humain • Ergonomie physique • Ergonomie cognitive • Ergonomie des interfaces • Ergonomie du logiciel

5. Ergonomie • Objectif • Fonder la conception des outils sur l'étude des caractéristiques physiques et psychologiques des usagers • Meinadier : optimiser la manière dont l'information est traitée et présentée par l'ordinateur pour correspondre aux objectifs des utilisateurs

6. Objectifs • Concevoir et réaliser des systèmes • utiles (adéquation aux besoins, fourniture des bonnes fonctions) • utilisables (adéquation aux capacités de l ’utilisateur) : confort, efficacité, sécurité, qualité du produit et de la tâche réalisée avec le système)

7. L ’utilité • Définition • « L’utilité détermine si le système permet à l’utilisateur de réaliser sa tâche, s’il est capable de réaliser ce qui est nécessaire pour l’utilisateur. L’utilité couvre : la capacité fonctionnelle, les performances du système, les qualités d’assistance » [Senach 90] • En résumé • l'utilité détermine si le produit satisfait des contraintes fonctionnelles et opérationnelles

8. L ’utilisabilité • Définitions • L'utilisabilité concerne la qualité de l'interaction homme-machine, c'est à dire la facilité d'apprentissage et d'utilisation • “[...] l'efficacité, la fiabilité et la satisfaction avec laquelle des utilisateurs spécifiques atteignent des objectifs spécifiques dans un environnement particulier” [ISO 92]

9. Acceptabilité sociale Utilité Acceptabilité du système Facilité d’utilisation Utilisabilité Coût Acceptabilité pratique Fiabilité Etc. Positionnement de l’Utilité et l’Utilisabilité (Nielsen)

10. L ’utilisabilité • Nielsen défini 5 attributs à l ’utilisabilité : • l’apprentissage : l’interface doit être facile à apprendre. • l’efficacité : l’interface doit permettre à l’utilisateur de réaliser sa tâche avec un haut niveau de productivité. • la mémorisation : l’interface doit permettre à l’utilisateur de se souvenir facilement de son utilisation • les erreurs : l’interface doit être capable de minimiser les erreurs de l’utilisateur • la satisfaction : l’interface doit satisfaire l’utilisateur

11. Les méthodes d’évaluations Évaluer l’utilité et l’utilisabilité

12. Méthodes d ’évaluations • assurer la qualité de conception d ’une IHM • établir un diagnostic d ’usage des systèmes existants • contrôler à priori la qualité ergo d ’un produit commercialisé • comparer les avantages et les inconvénients des logiciels • évaluation comparative de différents logiciels dans l ’objectif d ’un choix en terme d ’utilisabilité

13. Dimension de l’évaluation(Objectifs, utilisabilité, utilité) Système à évaluer Données de bases(Critères ergonomique) Techniques de recueil (mesures, observation,etc.) Modèle de référence Comparaison Principe d’une évaluation

14. Les méthodes extensives(ou empiriques) • Evaluation avec utilisateur réel + tâche réelle • Objectif : • recueillir des données comportementales sur l'utilisation du système. Il s'agit de tester le produit fini à travers un ensemble de données recueillies pendant son utilisation par des utilisateurs • Affectation d’une tâche à réaliser

15. Les méthodes extensives • L ’observations d ’utilisateurs (tests utilisateurs) • en situation réelle ou en laboratoire d ’utilisabilité • avec + ou - de matériel (vidéo, mouchard électronique) • démarche expérimentale • Les questionnaires • recueil de données (les « impressions » de l ’U après utilisation) • Les rapports verbaux (Verbals reports) • recueil de données (ce que dit l ’U durant son interaction)

16. Les tests utilisateurs • Déroulement de l'étude : • Identification des fonctionnalités significatives (scénarios-types) et de la partie du site à tester. • Recrutement des testeurs en fonction de la cible • Passation des tests (avec vidéo ou pas, mouchard électronique) • Passation de questionnaire • Rapports verbaux • Analyse des observations • Rédaction rapport final (pbs et solutions)

17. Mouchard électronique • Monitoring (mouchard électronique) : • méthode non intrusive, • recueil automatique des données (temporelles), • analyse • des stratégies utilisées, • du séquencement réel des tâches, • des performances obtenues, • identification des erreurs d'utilisation, etc

18. Disagree Undecided Agree                         Les questionnaires • Exemple de questionnaire : SUMI 1 This software responds too slowly to inputs. 2 I would recommend this software to my colleagues. 3 The instructions and prompts are helpful. 4 The software has at some time stopped unexpectedly. 5 Learning to operate this software initially is full of problems. 6 I sometimes don't know what to do next with this software. 7 I enjoy my sessions with this software. 8 I find that the help information given by this software is not very useful. Etc.

19. Rapports verbaux Blabla… 2. Analyse à posteriori 3. Auto-confrontation

20. Diagnostic d’usages • Evaluation réalisée lorsqu’il existe une expérience d’utilisation • Techniques : • Entretiens • Méthode des incidents critiques (FLANAGAN, 54) : entretiens/dysfonctionnements, classification des problèmes, diagnostic global et rapide des principaux dysfonctionnements • Analyse des traces écrites : rapports de travail (identification possible de lacunes), cahiers de doléances (outil de dialogue entre utilisateurs et développeurs) • Questionnaire (hors cadre d’utilisation)

21. Méthodes semi-intensives • Evaluation avec tâche réelle + utilisateur simulé • Utilisation de modèles simplifiés de l'opérateur humain et des théories sur la performance de l'opérateur humain [Karat 88].

22. Les méthodes semi-intensives • GOMS • prédiction du comportement de l ’U (temps de réalisation des tâches, etc.) • modèle de représentation de l ’activité cognitive (buts-sous-buts) • KLM (ancêtre de GOMS) • prédiction temps de réalisation des tâches • ne prends en compte que les actions physiques de l ’U

23. Les méthodes semi-intensives • CCT (extension de GOMS) • prédire le temps nécessaire aux nouveaux utilisateurs pour interagir avec le système • modèle de l ’interface et modèle du processus mental de l ’U • Cognitive Walkthroughs • Basé sur CE+ (CCT + EPLX) • Evaluation de l’expert avec une liste de questions • Choix des tâches, simulation du comportement cognitif de l’utilisateur

24. KLM • The following is a step-by-step description of how to apply the KLM to estimate the execution time required by a specified interface design: • 1. Choose one or more representative task scenarios. • 2. Have the design specified to the point that keystroke-level actions can be listed for the specific task scenarios. • 3. For each task scenario, figure out the best way to do the task, or the way that you assume users will do it. • 4. List the keystroke-level actions and the corresponding physical operators involved in doing the task. • 5. If necessary, include operators for when the user must wait for the system to respond • 6. Insert mental operators for when user has to stop and think. • 7. Look up the standard execution time to each operator. • 8. Add up the execution times for the operators. • 9. The total of the operator times is the estimated time to complete the task.

25. Les temps (KLM)

26. Exemple de calcul (KLM) • Mettre un fichier à la poubelle (drag and drop) • Pointer sur l’icône du fichier P • Presser le bouton gauche de la souris B • Drager l’icône du fichier sur l’icône de la souris P • Lâcher le bouton gauche de la souris B • Revenir à la fenêtre d’origine P • Temps total : 3P+2B = 3*1,1+2*0,1 = 3,5 s

27. Cognitive Walkthroughs • L’objectif • évaluer la facilité d'apprentissage de l'utilisateur. • Technique • Liste de questions. Ces questions dirigent l’attention du concepteur sur les aspects précis de l’interface importants pour faciliter la résolution de problèmes et le processus d’apprentissage de l’utilisateur [Lewis 90].

28. Cognitive Walkthroughs COGNITIVE WALKTHROUGH FOR A STEP Task : Action : 1. Goal structure for this step. 1.1 What are the appropriate goals for this point in the interaction ? 1.2 Will the user have this goal ? 2. Choosing and executing the action. 2.1 Is it obvious that the correct action is a possible choice here ? 2.2 Are there other actions that might seem appropriate to some some current goal ? 2.3 If there is a label or description associated with the correct action, is it obviously connected with one of the current goals for this step ? 3. Modification of goal structure. 3.1 Assume the correct action has been taken. What is the system's response ? 3.2 Will users see that they have made progress towards some current hoal ? What will indicate this to them ? 3.3 Are there any current goals that have not been accomplished, but might appear to have been based on the system response ? What might indicate this ? 3.4 Does the system response contain a prompt or cue that suggest any new goal or goals ? If so, describe the goals.

29. Méthodes intensives • Evaluation avec tâche simulée + utilisateur simulé • ni l’utilisateur réel ni sa représentation à travers un modèle. • Soit l’utilisateur et la tâche ne sont pas intégrés à la méthode exemple méthode de Comber, • Soit les connaissances sur l’utilisateur et la tâche ont été extraites de manière à être intégrées aux règles ou critères ergonomiques par exemple.

30. Les méthodes intensives • Méthode indépendantes de la tâche et de l ’Utilisateur • Méthode de Comber • mesure la complexité de l ’interface (l ’ordre et le désordre des objets graphiques) • Hypothèse : l ’utilisabilité est liée à la complexité • La complexité si les objets sont alignés et de même taille • Méthode mathématique basé sur la mesure de l ’entropie

31. Les méthodes intensives • Méthodes intégrant des K sur l ’Utilisateur • Evaluation heuristique • évaluation de l ’interface par des experts guidés par les Heuristiques de Nielsen • Evaluation avec les critères ergonomiques de Bastien/Scapin • Evaluation avec guide de recommandations • évaluation de l ’interface par des experts qui détectent le non-respects des recommandations ergonomiques

32. Les dialogues simples et naturels Parler le langage de l ’U Minimiser la charge de mémoire de l ’U La consistance Le feed-back Les sorties clairement signalées Les raccourcis Les bons messages d ’erreurs Prévenir les erreurs L ’aide et la documentation Les Heuristiques de Nielsen Les problèmes d ’utilisabilité sont des déviations par rapport aux heuristiques

33. Les critères ergonomiques (Bastien/Scapin) • Les critères ergonomiques • Guidage • Charge de travail • Contrôle explicite • Adaptabilité • Gestion des erreurs • Homogénéité/Cohérence • Signifiance des Codes et Dénominations • Compatibilité

34. Les règles ergonomiques • Définition : • Une règle ergonomique est un principe de conception et/ou d ’évaluation à observer en vue d'obtenir et/ou garantir une interface homme-machine ergonomique [Vanderdonckt 93]. • Les règles ergonomiques sont liées aux critères ergonomiques : le respect d’un règle ergonomique favorise un critère ergonomique.

35. Les règles ergonomiques • Exemples : • « Lorsqu'un bouton commande est pré-selectionné, cette pré-selection doit être mise en évidence graphiquement. » • « Si risque de perte ou modification de données, ou traitement long et bloquant, affichage d ’une boîte de message de demande de confirmation »

36. Classification des méthodes d ’évaluation (Farenc) Utilisateur réel, tâche réelle tâche réelle, utilisateur simulé tâche et utilisateur simulé

37. Description récupération d ’infos auprès de l ’U Résultats portent sur l ’interface et le système, pas de solutions Automatisabilité non sauf sur la capture d ’informations pour les tests utilisateurs Réutilisabilité non Avantages prise en compte de la réalité de l ’U et de sa tâche Inconvénients couverture du système faible (impossible de faire réaliser toutes les tâches) expérimentateur expérimenté l ’interface doit être disponible Bilan : méthodes extensives

38. Bilan : méthodes semi-intensives • Réutilisabilité • non • Avantages • intervention très tôt dans le dvpt • Inconvénients • la modélisation provoque un appauvrissement de la réalité • modèles lourds à réaliser et à utiliser • les résultats ne peuvent pas être pris en compte directement en conception • Description • basés sur l ’analyse des besoins des U • utilisation de modèles simplifiés de l ’op. humain • Résultats • mesures de la performance de l ’U • Automatisabilité • outils qui simulent l ’interaction entre les modèles

39. Bilan : Les méthodes intensives • Avantages • simples à mettre en œuvre • ni analyse ni étude préalable de la tâche • Inconvénients • néglige l ’utilisateur et son travail • fiabilité des résultats faibles (et dépendants de la qualité de l ’expert) • méthodes incomplètes • Description • ni utilisateur réel ni sa représentation • Résultats • les problèmes de l ’interface • Automatisabilité • Hautement • Réutilisabilité • Hautement

40. Classification des méthodes d ’évaluation (Seneach) Approche empirique Approche analytique Contrôle de qualité Modèles formels Diagnostic d’usage Tests de conception Approche informelle Modèles de qualité Modèles prédictifs Expertise Check list Modèles de tâche Complexité cognitive Modèles linguistiques Approche optimale Approche cognitive Situation of interaction Perceptive complexity ALG CLG Mental models Goms KLM

41. Classification des méthodes d ’évaluation (Coutaz) Avec l’outil Techniques d’évaluation Sans l’outil Modèles et techniques prédictifs Techniques expérimentales Heuristiques Modèles basés sur la théorie Maquette Prototypes Magicien d’Oz

42. Critères ergonomiques • Guidage • Moyens mis en oeuvre pour conseiller, orienter, informer et conduire l'utilisateur lors de ses interactions avec l'ordinateur. • Sous critères: • Incitation • Groupement – Distinction: format, localisation • Feedback immédiat • Lisibilité

43. Critères ergonomiques • Guidage: exemple d’incitation

44. Critères ergonomiques • Guidage: exemple de groupement

45. Critères ergonomiques • Guidage: exemple de feedback immédiat

46. Critères ergonomiques • Guidage: exemple de (mauvaise) lisibilité et (mauvaise) densité

47. Critères ergonomiques • Charge de travail • Réduction: charge perceptive, mnésique • Augmentation: efficacité du dialogue • Sous-critères: • Briéveté • Concision, Actions minimales • Densité informationnelle

48. Critères ergonomiques • Charge de travail: exemple de concision

49. Critères ergonomiques • Charge de travail: exemple de densité

50. Critères ergonomiques • Contrôle explicite • Prise en compte par le système des actions explicites des utilisateurs et le contrôle qu'ont les utilisateurs sur le traitement de leurs actions. • Sous critères: • Action explicite • Contrôle utilisateur