Les différentes méthodologies d’évaluation en IPM

1. TECFA Technologies pour la Formation et l’Apprentissage Les différentes méthodologies d’évaluation en IPM Cours Ergonomie des Interactions Personne-Machine 20novembre 2013 Mireille Bétrancourt - TECFA - FPSE

2. Plan de la séance • Présentation des groupes 28, 29, 30 • Rappel et précision sur l’analyse de l’activité • Présentation des différentes méthodes de test de l’utilisabilité • La méthode du test utilisateur : présentation et exercice • Conduite de l’entretien : voir ppt complémentaire : http://tecfa.unige.ch/tecfa/teaching/LMRI41/1314/ergo8_entretien.pptx

3. Méthodes d’analyse de l’activité Objectif ultime : construire un scénario comportant des tâches authentiques pour le test utilisateurs • But : mieux connaître l’activité de l’utilisatrice-teur • ses intentions, • les éléments importants, • des exemples de tâches sur lesquels bâtir vos scénarios (précisément, ce que la personne voulait faire, pourquoi, avec qui, etc.) • Méthode : • Réalisez un entretien avec un utilisateur de votre site et d’un public cible selon la méthode Story Tellingavec relances Pourquoi-comment • (Racontez-moi la dernière fois que.... Et les autres fois...) • Détails sur la méthode ici : • http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html

4. Comment évaluer l’ergonomie d’un système ?

5. Méthodes pour évaluer l’ergonomie Sans participant Inspection experte 5-10 participants Grand nombre de participants Test utilisateurs Données comportementales Observation in situ Données subjectives Grilles normatives questionnaire Analyses qualitatives Analyses quantitatives Entretiens Focus groupes Coûteux en temps Peu coûteux en temps

6. Méthodes pour évaluer l’ergonomie d’un système Entretien Focus groupes Utilité Inspection experte Atteinte des objectifs utilisateurs Support à l’activité Observation in situ Utilisabilité Test utilisateurs Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Acceptabilité Valeurs d’usage Intégration pratique questionnaire

7. Approches par test utilisateurs Objectif : Vérifier que le système soit utilisable pour les utilisateurs (novices du système ou de cette version) Evalue la prise en main (et pas l’utilisation régulière) Caractéristique : Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

8. Approche par test utilisateurs Verbalisation provoquée simultanée Auto-confrontation a posteriori Observation Approche « clinique » Test de reconnaissance Parcours oculomoteur Performances (temps d’exécution, nombre de clics Approche « expérimentale »

9. Exemple de test utilisateur avec approche expérimentale Comparaison de deux interfaces de prescription Wipfli, R. (2012). Decisionmaking in dynamicwork situations: Building a framework for medicalalerts in computerizeddrugprescription. Thèse de l’Université de Genève.

10. Version classique

11. Méthode : Version adaptée

12. Parcours oculomoteur • Films (cl_example.avi, ad_example.avi)

13. Le test utilisateur : construction et passation

14. Les étapes à suivre 1. Préparer l ’étude (phase 1 à 3 du projet) 2. Recruter les participants 3. Tester 3.1. Présenter la situation 3.2. Conduire l’entretien 4. Produire conclusions

15. Etapes de préparation du test Comment le site est-il construit ? (contenu, organisation fonctionnalités, outils d’aide) Analyse du site Analyse du Contexte global Que propose le site ? Conduite du test Diagnostic Proposition de remédiations Qu’est-ce que font les utilisateurs habituellement sur ce site ? 1 entretien Analyse de l’activité Quels sont les problèmes rencontrés par les utilisateurs ? Quelles tâches donner pour le test utilisateurs ? Construction du scénario de test d’après analyse de l’activité et analyse du site

16. Construction du scénario (1/2) Voir sur page Description du projet -> conseils pour l’élaboration du scénario http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html • Le scénario pour le test : • Prévoit plusieurs tâches formulées de façon authentique (termes et buts de l’utilisateurs interviewé dans l’analyse de l’activité) • Mets l’utilisatrice-teur dans une situation simulée, type jeu de rôle • Donne des tâches assez ouvertes, qui peuvent s’exécuter de différentes façons • Mais qui demande une réponse précise • Dont la réponse peut être trouvée sur le site !

17. Construction du scénario (2) Que pourrait-on reprocher aux tâches proposées ci-dessous Sur un site de mobilier Trouve le canapé de modèle schlubuck, en combien de couleurs existe-t-il ? Sur un site de réservation de voyage Réserve une chambre dans un hôtel à Cran-Montana du 1er au 6 mars. Sur un site de transports publics Peut-on imprimer l’itinéraire entre l’arrêt Gare Cornavin et l’arrêt Unimail ?

18. 2. Recruter les participants • Représentatifs du public-cible (ou un seul des publics cible) • N’utilisant pas le site Web que vous testez • Expérience d’internet : usagers réguliers • 5 personnes permettent d’identifier un grand nombre de problèmes

19. 3. Tester 3.1. Expliquer • Mettre la personne sur la page d’accueil du site • « Le but n’est pas de vous évaluer, mais d’évaluer la qualité du site. • Ce test va durer environ 20 minutes. • Il n’y a pas de bonne ou mauvaise réponse. • Puis-je vous enregistrer...  • Voici la première tâche » (imprimez-là et laissez-là à l’util) • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ? • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT • PENSEZ TOUT HAUT 

20. 3. Tester 3.2. Ecouter • Règles classiques de l ’entretien : • Ecouter > Parler • Poser des questions sur son activité • Poser des questions neutres • Fournir un feedback neutre • Respecter les silences, laisser un petit moment après chaque tâche • Rebondir sur les points intéressants, ne pas suivre rigidement un canevas • Traiter l’utilisateur comme un expert dans son métier, pas comme un cobaye (voir film test-utilisateur – humour) • Ne pas se laisser placer dans un rôle d’expert par l’utilisateur • Arrêter le test en cas d’échec répétitif • Prévoir un entretien post-test

21. 3. Tester 3.3. Post-test • Qu’avez-vous pensé du site Web ? • Faire passer un questionnaire comme la SUS (system UsabilityScale). • J’aimerais utiliser ce site fréquemment • Je trouve ce site inutilement complexe • Je pense que ce site est facile à utiliser • J’aurais besoin d’un support technique pour pouvoir utiliser ce site • Les différentes fonctionnalités de ce site sont bien intégrées • Ce site est truffé d’incohérences • Le grand public peut apprendre à utiliser ce site très rapidement • Ce site est lourd à utiliser • J’ai confiance en ce site • Je dois apprendre beaucoup avant de pouvoir utiliser ce site efficacement • Remercier le participant

22. Les étapes du test utilisateur Voir l’exemple du test de fruits (humoristique) http://www.youtube.com/watch?v=3Qg80qTfzgU Notez les différentes étapes de la passation

23. Maintenant à vous de jouer Voir l’exercice de test utilisateur : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase4.html

24. Vous êtes ici Contexte global d’utilisation Analyse de l’activité Analyse du système 1 entretien Un ou plusieurs exemples de tâches authentiques Contenu, organisation, fonctionnalités, outils d’aide Pb d’utilisabilité « supposés » Attention, nous envoyer votre scénario pour avis ! Scénario d’utilisation Test utilisateurs 5 utilisateurs / -trices d’un même public cible Pb d’utilisabilité observés : Diagnostic, propositions de remédiation

25. Méthodes pour évaluer l’ergonomie Sans participant Inspection experte 5-10 participants Grand nombre de participants Test utilisateurs Données comportementales Observation in situ Données subjectives Grilles normatives questionnaire Analyses qualitatives Analyses quantitatives Entretiens Focus groupes Coûteux en temps Peu coûteux en temps