Évaluation des logiciels interactifs (1)

1. Évaluation des logiciels interactifs (1) Cours 3 (partie 1) Méthodes d’Inspection (évaluation sans utilisateur) M2-EIAH/DU-TICE, Paris 6 Elisabeth.Delozanne@upmc.fr http://www.lutes.upmc.fr/delozanne/2008-2009/M2-P6-EIAH-Accueil.htm

2. Plan du cours • Vos questions • Cours 3: évaluation des logiciels interactifs (partie 1) • Évaluer ? • Méthodes d’inspection ? • Critères ergonomiques ? • Retour sur vos questions • Le projet • Évaluation de projets existants • Préparations des entretiens et des interviews • Cours 3 : évaluation des logiciels interactifs (partie 2) • Méthodes des tests utilisateurs • Quelles méthodes choisir ?

3. (Rappel) Cours 1 : Facteurs de succès • Cycle de conception • Conception centrée usager • L’analyse des tâches et les analyses en contexte de travail usuel • Le prototypage rapide • L’évaluation constante • Conception itérative • La qualité de la programmation

4. Évaluer ? • Qu'est-ce que l'évaluation ? • Définition : • évaluer = juger • Objectivité ??? Référence ? • Plusieurs approches : Critères raisonnés, modéles • Évaluer quand ? pourquoi ? • Moments d'évaluation • Objectifs • Évaluer quoi ? • Variables cibles • Évaluer comment ? à quel coût ? • Méthodes, techniques • Temps, argent

5. Définitions (début) • évaluation en Génie Logiciel • système = solution logicielle et matérielle • les plans qualité • fournissent des métriques pour le respect des normes de programmation (portabilité, maintenance etc.) • ne fournissent aucune méthode pour s'assurer de l'utilisabilité • évaluation ergonomique • système interactif = { utilisateur(s), artefact(s) } • s'intéresse à l'efficacité des systèmes humains-machines • à l'utilisabilité/utilité du système interactif

6. Utilisabilité (rappel) • norme ISO 9241-11 (1998) : • l’utilisabilité « est le degré selon lequel un produit peut-être utilisé • par des utilisateurs identifiés, • pour atteindre des buts définis • avec efficacité, efficience et satisfaction • dans un contexte d’utilisation spécifié ». • Bastien • Utilisabilité/utilité : qualité ergonomique de l'interface

7. Définitions (fin) • Évaluation : • processus pour étudier les rapports entre la conception et l'utilisation • Évaluation a priori, formative (conception) • pour identifier ou prévoir les besoins, les scénarios d’utilisation et les difficultés potentielles ou réelles des utilisateurs • pour donner des idées et les évlauer • Évaluation a posteriori, sommative (usage) • pour caractériser les points forts et les points faibles d'un système interactif • pour préparer les évolutions

8. Moments & Objectifs d'évaluation • en cours de conception • analyse de besoins, compréhension des situations, étude de l’existant • sélection d'alternatives de conception • conception itérative de maquettes/prototypes • faisabilité et acceptabilité • en cours de réalisation • détection et correction de défauts, contrôle qualité, test de performance • avant diffusion • tests de déverminage, d'acceptabilité, vérification des performances • intégration dans l’activité • en cours de diffusion • satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit • avant d'acheter • comparaison de logiciels : technique/utilisabilité

9. Évaluation et cycle de conception

10. Évaluer quoi ? • Les dimensions d'évaluation dépendent des objectifs et du contexte • utilité • la fiabilité, la qualité technique • les temps de réponse • utilisabilité • la facilité d'apprentissage, la flexibilité, la robustesse • l’utilisation des fonctions • la tolérance aux erreurs • la qualité de la documentation et de l’assistance • la logique du travail • les opinions ou les attitudes

11. Évaluer comment ? • Sans utilisateurs : approche analytique • a priori, ne nécessitant pas un système • fondée sur des modèles • implicites (méthodes d’inspection, « low  cost ») • explicites (formels, approches automatiques) • Avec utilisateurs : approche expérimentale (empirique) • nécessitant un système (ou un prototype) • recueil de données comportementales auprès d'utilisateurs (en situation réelle ou en laboratoire) • Méthode d'évaluation coopérative (cours 3.2) • Tests d'utilisabilité

12. Évaluer à quel prix ? • Temps, argent, compétences • Méthodes « low cost » • Culture de l’évaluation chez les informaticiens • Évitent les gros problèmes, pas les problèmes subtils • Informelles, qualitatives, évaluation formative • Méthodes scientifiques et rigoureuses • Gros projets, projets à risques, recherche • Informations fiables, quantitatives • Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

13. Plan • Rappels • Évaluer ? • Méthodes d’inspection • Critères d’évaluation heuristique/ergonomique • Tests utilisateurs (cours 3.2) • Choisir une méthode (cours 3.2)

14. Approches analytiques l'évaluation de l'IHM se fait a priori par comparaison avec un "modèle de référence" modèle qui n'est pas souvent formalisé ni explicité on distingue • des approches informelles • Méthodes d’inspection (présentées ici) • Méthodes « low cost » • des approches formelles (ou semi-formelles) (non étudiées ici) • modèles prédictifs • analyse de tâches (KLM et GOMS) • modèle linguistique (ALG et CLG) • modèle de complexité cognitive (Kieras et Polson) • modèles de qualité de l'interface • approche cognitive • recherche des qualités optimales

15. Les méthodes d’inspection • Inventaire • Les jugements d’experts • Les grilles d’évaluation • Les revues de conception (design walkthrough) • S’appuient sur • Des scénarios • Des heuristiques, des recommandations ou des critères • Avantages • Pas cher et rapides (de l’ordre d’une journée) • Faciles à utiliser (détecter les erreurs flagrantes en 2 à 4 h) • Inconvénients • Ne permettent pas de détecter des erreurs subtiles (liées à l'annalyse du travail, au contexte)

16. Jugements d'experts • Diagnostic a priori ou a posteriori • un ou des experts donnent leur avis sur l'interface (ou le projet) sous la forme d'un rapport ou d'un formulaire • Fondements • Modèle de l'interface non formalisé (ni même explicité) • Heuristiques, recommandations ou critères ergonomiques • Résultats • Points positifs et négatifs et leur pondération • Prévision de difficultés d’utilisation probables • Informations sur les fonctionnements humains insuffisamment pris en compte • Propositions d’améliorations argumentées et pondérées

17. Jugement d’experts (Inspection heuristique) • choisir au moins deux experts (domaine et utilisabilité) • technique 1: fondée sur des scénarios • jouer un des scénarios • technique 2 : fondée sur des critères ou des guides • étude systématique de tous les critères sur chaque écran • Procédure commune • noter tous les problèmes rencontrés • analyser les causes • proposer des solutions • rédiger un rapport

18. Jugements d’experts : ++/-- • Biais : • Experts : vue plus générale, sources potentielles de dysfonctionnement • Novices : difficultés matérielles et conceptuelles de bas niveau • Biais de focalisation • fonctionnement particulier ( e.g. d'utilisateurs novices), sur les "marottes" de l'expert • domaine d'expertise (domaine, IHM, graphisme) • Intérêt • Pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception • Plusieurs experts

19. Pourquoi plusieurs experts ? • Un expert ne détecte pas tous les problèmes • Les bons évaluateurs trouvent les problèmes faciles et les problèmes difficiles

20. Jugements d’experts : études % Problèmes détectés 100 100 100                                              90 90 90                   80 80 80       70 70 70                      60 60 60             50 50 50       40 40 40    Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices    30 30 30 20 20 20    Nombre d ’évaluateurs 10 10 10 0 0 0 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 13 20 20 20

21. ROI (Return on investment) problems found benefits / cost

22. Organiser des expertises • Conseils : • Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires • Ergonomes qualifiés d’au moins trois ans d’expérience • Leur donner des scénarios d’utilisation et une description de la population des futurs utilisateurs • Attention • Ne remplacent pas les utilisateurs

23. Grilles d'évaluation • principes • Évaluation d'après une liste des propriétés d'une bonne interface • Notation systématique sur une échelle de valeur (3 à 7 points) • problèmes • état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ? • interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses • notation • hétérogénéité de ce qui est noté : règle des 80/20 (ou 90/10) • ne permet pas • de comprendre la nature du problème rencontré • de hiérarchiser les difficultés • Avantages : utile pour faire des comparaisons

24. Revue de conception (Design Walkthrough ) • Examen du produit par des pairs (entre 3 et 7) en cours de conception • objectif : identifier des problèmes (pas les résoudre) • durée : limitée à 1 h (fatigue) • 4 rôles : • Présentateur : déroule un scénario • Scribe : note tous les commentaires • Modérateur : • centre la discussion sur l'utilisation • veille au respect de l'horaire • Observateurs : • prennent le rôle de l'utilisateur, posent des questions, • font des remarques ou critiques (constructives) sur l'utilisation

25. Plan • Rappels • Évaluer ? • Méthodes d’inspection • Critères d’évaluation heuristique/ergonomique • Tests utilisateurs

26. Critères de l’INRIA (Bastien et Scapin) • Structuration des activités et guidage • Minimiser la charge de travail • Contrôle entre les mains de l'utilisateur • Adaptabilité • Prévision et récupération des erreurs • Compatibilité • Signifiance des codes et dénomination • Cohérence et homogénéité • À l’origine de la norme Z67-133-1, Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et d’évaluation des interfaces utilisateurs. http://www.ergolab.net/articles/les-criteres-ergonomiques-partie1.html#4

27. Utilisation des critères • Pour l’évaluation • Évaluation heuristique • Pour la conception • Inscrire les critères d’évaluation dans les dossiers de conception • Guide pour l’équipe de conception • Foultitude de critères normes et recommandations • Parfois contradictoires • Pour éveiller votre attention

28. Structuration des activités et guidage • objectif : • faciliter l'apprentissage par l'action, l'orientation, les prises de décisions • techniques • des roulettes de sécurité (étayage, scaffolding), • incitation (prompting, affordance) • structure de contexte déterminée par les actions possibles • granularité des commandes • format d'écran • organisation spatiale des données importantes • groupement • format de présentation (titre, courbe, couleur, encadrés, justification) • structuration des menus (préférez la largeur)

29. Guidage : étayage • Deux aspects • Aider l'utilisateur débutant à se repérer et à se construire une logique d'utilisation • Permettre à un utilisateur expérimenter de gagner du temps • Exemples : • Les informations au survol • Les assistants d'installation • Installation recommandée • Installation personnalisée • Le compagnon office (masquer) • Les accès rapides et raccourcis clavier

30. Guidage - incitation • Exemples • Contre-exemple • certains jeux d’aventures

31. Guidage - groupement/distinction entre items • Contre-exemple • Exemple

32. Retours d'informations • Objectif : informer • pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) • pour rassurer (temps de réponse long) • pour réduire la charge cognitive • indication du contexte de travail (fenêtre courante, états, curseurs actifs) • représentation des déplacements • présentation des options (menus fantômes, surgissant, pop-up)

33. Guidage – retour d’information • À faire • De 2 à 6 secondes : icône d'attente • De 6 à 30 secondes : barre d'avancement • Plus de 30 secondes : • Barre d'avancement + affichage de l'opération en cours • Contre-exemple

34. Guidage - lisibilité • Objectif : informer • pour permettre à l'utilisateur d'évaluer son action • pour rassurer (temps de réponse long) • À faire • À ne pas faire Définition du guidage : c’est l’ensemble des moyens mis en œuvre pour conseiller, o, Objectif : informer • pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) • pour rassurer (temps de réponse long) • pour réduire la charge cognitive • indication du contexte de travail (fenêtre courante, états, curseurs actifs) • OBJECTIF : INFORMER • POUR PERMETTRE À L'UTILISATEUR D'ÉVALUER SON ACTION • POUR RASSURER (TEMPS DE RÉPONSE LONG)

35. Lisibilité : Polices et style • Jamais de souligné : exemple exemple • Pas de textes longs en majuscules ni en italique : • les majuscules rendent le texte plus difficile à lire mais facilitent l'identification d'un élément • EXEMPLE EXEMPLEexemple exemple • Affichage à l'écran : • Police sans sérif (sans empattement) • Exemples : Arial, Helvetica, Verdana, Comic • Contre-exemple : Times

36. Lisibilité : Format d'affichage • Les nombres : • Aligner les entiers à droite • Aligner les valeurs décimales sur la virgule • Découper les nombres par groupe de 3 ou 4 chiffres • Les listes alphabétiques alignées à gauche • Labels et champs alignés à gauche • Quand les labels sont de même longueur • Labels alignés à droite et champs alignés à gauche • Quand longueurs différentes

37. Lisibilité : Format

38. Lisibilité : Les couleurs • Les couleurs sont codées par trois attributs (HSV Hue, Saturation, Value) • Teinte : • Longueur d’onde principale • Saturation : • Spectre de la couleur • Bande étroite : couleur saturée • Bande large : pastels • Intensité : • Degré de réflexion de la lumière ou clarté

39. Lisibilité : couleurs • Tout le monde ne perçoit pas les couleurs de la même façon • Utiliser la couleur et un autre attribut pour coder une information ou pour mettre en évidence • Respecter le sens habituel donné aux couleurs • dépend des pays • des domaines • Ex : le rouge signifie • Finance : perte • Chimie : chaud • Signalisation : interdiction • Cartographie : nationale • Sécurité : danger • Electricité : marche • Circulation : arrêt

40. Les couleurs : recommandations • Codage couleur • Associer à chaque couleur une signification précise et uniforme • Minimiser le nombre de couleurs • Pour un objet donné, le nombre de couleurs utilisés doit être nettement inférieur au nombre de ses attributs • Utiliser • la couleur pour mettre en valeur telle ou telle partie de l’écran (en particulier une information importante) • une neutre et claire pour le fond d’écran • des couleurs très contrastées pour exprimer une différence (et inversement) • Principe du double codage : couleur et autre • 8% des hommes sont daltoniens On

41. Couleurs à éviter Lisez-moi Lisez-moi Lisez-moi • Caractères : • Bleu, rouge, violet (peu importe la couleur du fond). • Couples : Fond/caractères • Ne jamais utiliser ensemble • Noir et bleu • Rouge avec bleu • Jaune avec violet Jaune avec vert • Ces couples sont reconnus comme causant une sollicitation excessive de la rétine provoquant de l'inconfort qui peut s'aggraver avec le vieillissement. • Fond : • Les teintes de rouge et de jaune et ses dérivés (par ex. : le vert, l'orange...) Lisez-moi Lisez-moi Lisez-moi Lisez-moi Lisez-moi Lisez-moi Lisez-moi

42. Couleurs conseillées • Choix 1 • Fond : gris pâle, beige mais pas blanc • Caractères : noir, magenta, vert • Choix 2: • Fond bleu • Caractères : • Blanc, or, vert • Cyan, jaune, lavande • Or, magenta • Faites des tests !!!

43. Méthode de choix des couleurs • Composer votre interface sans couleur • La couleur est un plus • Un codage coloré ne se suffit pas à lui-même • Choix des couleurs • Identifier les objets à afficher • Regrouper ces objets par niveau de visibilité • Choisir les composantes de la couleur • Teinte : connotation • Saturation et intensité : visibilité • Vérifier les compatibilités • Prototyper le résultat obtenu

44. Couleurs • Utiliser les services de graphistes, faites des tests • Penser au daltonisme • 8 % des hommes • Double codage : couleur + autre • Respecter les conventions culturelles sur les couleurs • Pas d'effet arbre de Noël • Cours en ligne sur les couleurs • http://membres.lycos.fr/interaction/ • http://www.vrrh.ulaval.ca/sante/couleurs.html • http://interface.free.fr/Interface/Couleur.html • http://www.arnaudfrichphoto.com/gestion-de-la-couleur/couleurs.htm On

45. Charge de travail • Définition : • Le critère charge de travail concerne l’ensemble des éléments de l’interface qui ont un rôle dans la réduction de la charge perceptive ou mnésique (mnème = unité d’information) des utilisateurs et dans l’augmentation de l’efficacité du dialogue • 2 sous-critères • brièveté • concision • actions minimales • densité informationnelle

46. Règle de concision • objectif : limiter la charge de travail • compromis entre le bref et l'expressif • pas de gadgets inutiles, limiter les fonctionnalités • éviter les surcharges d'informations (limiter la densité) • réduire la charge mnésique et le nombre d'actions physiques • abréviations (utilisateurs expérimentés) • compréhensibles • dérivables selon des règles précises (commande I ou P) • macro-commandes • flexibilité • abstraction • minimiser les entrées et plus généralement les actions • couper-coller • valeurs par défaut (dynamiques ou préférences) • défaire-repéter

47. Charge de travail - brièveté • À faire • À ne pas faire

48. Charge de travail - actions minimales • À ne pas faire

49. Charge de travail - densité informationnelle • À faire • À ne pas faire

50. Charge de travail-densité