Les sciences humaines et sociales au service de la recherche en informatique ?

1. Les sciences humaines et sociales au service de la recherche eninformatique ? Nadine Mandran PIMLIG, Mars 2012

2. Introduction • Les expérimentations / études • Système d’information • Ingénierie dirigée par les modèles • Interface Homme-Machine • Environnement informatique pour l’apprentissage humain • Les systèmes agents et les avatars • L’apprentissage par renforcement • La géomatique • Les méthodes des SHS et les statistiques supportent la recherche en informatique • Nécessité de créer nos propres méthodes d’investigations PIMLIG, N.MANDRAN Mars 2012

3. Plan Expérimenter en informatique ? Le cycle VVV PIMLIG, N.MANDRAN Mars 2012

4. Recherche et expérimentationUn Processus … Claude Bernard, 1813-1878 « un savant complet est celui qui embrasse la théorie et la pratique expérimentale » 1- Il constate un fait 2- A propos de ce fait une idée nait dans son esprit 3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite PIMLIG, N.MANDRAN Mars 2012

5. Cycle VVV, Prs Shiba et Kawakita • Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience NUMERIQUE VERBAL PIMLIG, N.MANDRAN Mars 2012

6. Année 1950 Modèle V • Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des non conformités Déterminer la solution prioritaire Percevoir l’existence d’un pb Dégager le pb prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience NUMERIQUE VERBAL PIMLIG, N.MANDRAN Mars 2012

7. Année 1970, modèle VV • Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des problèmes Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience NUMERIQUE VERBAL PIMLIG, N.MANDRAN Mars 2012

8. Années 1980, Cycle VVV, Prs Shiba et Kawakita • Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience NUMERIQUE VERBAL PIMLIG, N.MANDRAN Mars 2012

9. Cycle VVV, pour une démarche expérimentale Proposer des perspectives Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution « prioritaire » Enregistrer les données et les faits Co-concevoir et Programmer la solution Formuler le problème Explorer coté recherche: Evaluer la solution et ses effets Analyser les « idées du terrain » Explorer auprès des utilisateurs Etat de l’art : recherche, sociétal, industriel Etude qualitative : entretien focus-group Séance de co-conception, focus-group Expérimentation « instrumentée » Exprimer et Mesurer Exprimer   PIMLIG, N.MANDRAN Mars 2012

10. Les grandes phases expérimentales A partir des questions ou des hypothèses de recherche Exploration préalable : Etat de l’art, base brevet, études sociologiques, recensement Explorer : qualitatif Co-concevoir : qualitatif Evaluer : Quantitatif et qualitatif PIMLIG, N.MANDRAN Mars 2012

11. Les utilisateurs • Le « Grand public » • pour connaitre l’utilisation qu’ils font d’un logiciel • Pour connaitre leurs habitudes et leurs opinions • Pour connaitre leur vocabulaire, leurs représentations • Des professeurs, des élèves • pour comprendre leur pratiques d’enseignants • Pour leur faire évaluer des copies • Pour connaitre leur vocabulaire • Des chirurgiens • pour connaitre les connaissances qu’ils mobilisent pour réaliser une opération • Pour connaitre leur vocabulaire • Des élèves • Pour connaitre l’utilisation qu’ils font d’un logiciel • Des experts en informatiques • Pour connaitre leur vocabulaire • Pour leur faire valider des dictionnaires et des représentations PIMLIG, N.MANDRAN Mars 2012

12. Les utilisateurs PIMLIG, N.MANDRAN Mars 2012

13. Objectifs et enjeux • Quoi ? Objectifs • Explorer un domaine • Co concevoir • Evaluation • Sur quoi ? Les enjeux • Applications logicielles • Des modes d’interactions • Des concepts • Des méthodes • Des langages • Des formalismes • Où ? • In vitro ou in situ • (écologique) PIMLIG, N.MANDRAN Mars 2012

14. Les méthodes Le plus souvent, mettre en place des méthodes complémentaires • Comment ? • Méthodes qualitatives • Entretien individuel • Focus group • Observation • Magicien d’oz, … • Des photos, des vidéos , Des schémas Données produites : Audio, photo, schémas, des carnets de bord, ….. Analyse thématique, carte heuristique, Etude de schéma, … • Méthodes quantitatives • Questionnaire quantitatif • Tests de produits • Captures d’activités, … Données produites : traces d’activités, réponse à un questionnaire, …. Analyse de stat classique, analyse séquentielle. PIMLIG, N.MANDRAN Mars 2012

15. Les mesures Usages, Utilisation, Pratiques Fréquences, Satisfaction, Besoins, Attentes, Efficacité, utilisabilité, Appropriation, Durée Stratégies d’utilisation, Traces d’activités , … PIMLIG, N.MANDRAN Mars 2012

16. Explorer un domaine 1/ 4 LIG/équipe IIHM • Problème posé : L’homme a toujours aimé façonné son habitat, en est il de même avec les outils techniques issus des nouvelles technologies • Connaitre l’utilisation des objets du quotidien ? • Connaitre l’aptitude, l’envie des personnes à composer ces outils ? • Imaginer un moyen d’interaction pour composer ces services ? PIMLIG, N.MANDRAN Mars 2012

17. A vous d’imaginer un protocole Qui ? Quelles méthodes ? Où ? Quel matériel ? Quelles données produites ? Données de cadrage ? Combien de personnes ? PIMLIG, N.MANDRAN Mars 2012

18. Explorer un domaine 2/4 LIG/équipe IIHM • Qui ? 18 ménages • Comment ? • Une étude des données existantes • Rencontre avec les professionnels du secteur • Une étude des méthodes d’investigations présentes dans le domaine : Cultural probes • Création d’une méthode appropriée PIMLIG, N.MANDRAN Mars 2012

19. Explorer un domaine 3/4 • Une méthode qualitative basée sur une prise de photo et des entretiens • Un questionnaire sur l’utilisation de l’informatique et de la notion du bricoleur en informatique • Une prise de photo 2 objets dans 5 pièces par les deux personnes du ménage : • Un utile et indispensable • Un inutile dont ils ne peuvent se passer • Une discussion sur la raison du choix de ces objets • Une application qui choisit au hasard deux objets et les personnes doivent imaginer qui peut être rendu par cette association PIMLIG, N.MANDRAN Mars 2012

20. Explorer un domaine 4/4 LIG/équipe IIHM • Résultats • 360 idées de services rendus par le couplage d’objets • Analyse statistique sur le lien entre les fonctionnalités intrinsèque des objets et le service rendu • 8 classes de besoins et l’organisation de ces classes • Analyse thématique pour faire émerger et synthétiser les types d’applications à prévoir. • Les manques • Pas de vision claire du bricoleur de l’informatique • La composition des services notion de transitivité PIMLIG, N.MANDRAN Mars 2012

21. Inventer des méthodes d’investigations Méthodes issues de l’Anthropologie, la Sociologie, la Psychologie, des Sciences cognitives, de la Gestion, du Marketing, …… IMAGINEZ Carnet de bord Cultural Probes Le magicien d’Oz PIMLIG, N.MANDRAN Mars 2012

22. Co concevoir une méthode 1/6 LIG/équipe Sigma Problème SI : Comment faire élaborer de manière collaborative une procédure de travail Avant : rencontrer les acteurs du processus les uns après les autres => long et fastidieux pour les acteurs et celui qui rédige, de nombreux aller-retour Après : méthode Isea PIMLIG, N.MANDRAN Mars 2012

23. Co concevoir une méthode 2/6 Tests avec les utilisateurs : première phase Elaboration, conception et tests par les chercheurs Modification par les chercheurs Modification par les chercheurs Méthode (T1) et Application (T2) Tests avec les utilisateurs : deuxième phase Tests avec les utilisateurs : troisième phase Modification par les chercheurs LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

24. Co concevoir une méthode 3/6 LIG/équipe Sigma Comment : un entretien pour connaitre les acteurs, des focus group pour tester et améliorer la méthode. PIMLIG, N.MANDRAN Mars 2012

25. Co concevoir 4/6 LIG/équipe Sigma • Analyses produites • Le premier entretien donne le nom des acteurs et éventuellement des premières pistes • A partir de l’observation du comportement des utilisateurs dans les focus group, recueillir la compréhension de la méthode. (mise à plat de la procédure) • Lors des phases deux et trois, analyser par observation leur niveau de compréhension du graphe BPMN produit et la compréhension de la suite de la méthode. (difficultés sur la procédure, améliorations) PIMLIG, N.MANDRAN Mars 2012

26. Co concevoir une méthode 5/6 LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

27. Valider une application LIG/équipe IIHM Problème IHM : Une application avec des nouveaux modes d’interaction sur iPhone Comment : protocole « classique » Un groupe contrôle avec l’application iPhone classique et un groupe par mode. Environ 10 personnes par mode soit 30 personnes Capture des gestes sur l’interface : temps de réalisation d’un geste et précision de ce geste Analyse statistique « classique » avec comme hypothèse : les nouveaux modes d’interactions sont meilleurs en terme de précision et rapidité Questionnaire sur les habitudes et les usages de l'iPhone avant l’expé Questionnaire de débriefing sur les perceptions de ces nouveaux modes : utilisabilité Brookes 93 (SUS) , … PIMLIG, N.MANDRAN Mars 2012

28. Variables et Production PIMLIG, N.MANDRAN Mars 2012 • Variables de contrôles • Genre, signe, âge, spécialité • Facteur expérimental • Mode d’interaction : time over, touch over, apple touch • Variables mesurées • Les actions  : temps de réalisation d’un geste et précision de ce geste • La succession des clics : traces d’activités

29. Variables et Analyse • Variable dépendantes (à expliquer) • En général les variables mesurées • Le type d’actions • Le nombres d’actions • La précision, ….. • Mais aussi de nouvelles variables créées à partir des variables mesurées • La durée entre chaque actions • Variable indépendantes (explicatives) • En général, le facteur expérimental • Le type de mode d’interaction • Mais aussi les variables de contrôle • Genre, signe, âge, spécialité • Ou de nouvelles variables créées à partir des variables mesurées ou de combinaisons des facteurs expérimentaux ou des variables de contrôles • Combinaison genre et Spécialité : « Femme âge < 25 ans », « Femme âge > 25 ans » «Homme âge <25 ans » « Homme âge > 25 ans » PIMLIG, N.MANDRAN Mars 2012

30. Types de variable • Variable quantitative • Mesurable • Ayant une unité, un étalon • Le nombre de cette mesure à du sens • Possibilité de faire des opérations mathématiques ou des mises en classes • Exemple : le nombre d’actions, la durée des actions, • Un cas particulier les variables ordinales, les séries chronologiques • Variable qualitative • ne relèvent pas d’un processus comptable ou numérique • n’ont pas d’unité de mesures • ne sont pas des nombres, si c’est le cas ce nombre n’a pas de sens quantitatif • Les valeurs de la variable sont des modalités • Exemple : Genre : 2 modalités Homme et Femme, Diplôme : 3 modalités : inf au bac, bac, bac et plus, Spécialité : informatique, didactique, autre • Possibilité de faire des regroupement de modalités • De mettre en classes une quantitative => la rendre qualitative • Variable séquentielle • le contenu s’inscrit en séquence : le cas des traces d’activités sur une interface • « time-codée », ou « ordonnés » (ordre des actions, temporalité , fréquence) • associée ou non à des paramètres qui viennent préciser l’action PIMLIG, N.MANDRAN Mars 2012

31. Datamining …. ? PIMLIG, N.MANDRAN Mars 2012

33. Production de données Validation des données Analyse des données Interprétation des résultats

34. PIMLIG, N.MANDRAN Mars 2012

35. Complémentarité des méthodes • Pourquoi ? • Pour étudier sur le long terme des pratiques afin de concevoir des applications et les évaluer • Objet d’étude : Une application pour le suivi des élèves dans une classe de TP d’électricité, Qui ? Des profs de physiques • Autre objet : Une application pour l’apprentissage de la chirurgie orthopédique ? Qui ? Des chirurgiens, des étudiants en médecine PIMLIG, N.MANDRAN Mars 2012

36. Complémentarité des méthodes LIG/équipe METAH • Explorer : 4 Profs « experts » • Recenser les pratiques des enseignants de Physique • Repérer les scénarios pédagogiques utilisés • Connaitre les pratiques en termes de suivi d’une classe • Co concevoir une application : 4 Profs « experts » • Faire une maquette, La faire évaluer • Proposer un prototype, Le faire évaluer • Evaluer l’application : 15 profs « autres », 15 étudiants • Mesure des pratiques • Formation au scénario pédagogique • Formation au logiciel • Test du logiciel • Utilisation => traces d’activités • Questionnaire sur l’utilisabilité PIMLIG, N.MANDRAN Mars 2012

37. Conclusion • Un besoin d’explorer important pour innover dans les recherches en intelligence ambiante • De disposer de méthodes d’investigations • Un « coût » différent selon les types d’études • Evaluation : rapide à réaliser, permet des mesures quantifiées plus prisées dans les publications • Exploration et co-conception sont « chronophages » PIMLIG, N.MANDRAN Mars 2012

38. Problématique de recherche Etat de l’art Proposition de recherche Concept – méthode – logiciel Conception et réalisation d’un prototype Phase expérimentale SHS Déploiement, finalisation du prototype Analyse des résultats Communication, valorisation Publication des résultats Ecole doctorale . N.Mandran 2011