universit de paris x nanterre centre de recherche en information sp cialis e
Download
Skip this Video
Download Presentation
Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée

Loading in 2 Seconds...

play fullscreen
1 / 19

Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée - PowerPoint PPT Presentation


  • 72 Views
  • Uploaded on

Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée. Quelle place pour l’usager dans l’évaluation des systèmes de recherche d’information ? Du paradigme système au paradigme cognitif Stéphane Chaudiron [email protected]

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Université de Paris X - Nanterre Centre de Recherche en Information Spécialisée' - dobry


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
universit de paris x nanterre centre de recherche en information sp cialis e
Université de Paris X - NanterreCentre de Recherche en Information Spécialisée

Quelle place pour l’usager dans l’évaluation des systèmes de recherche d’information ?

Du paradigme système au paradigme cognitif

Stéphane Chaudiron

[email protected]

http://intranet.u-paris10.fr/infocom

Journée d\'information URBAMET

usage et valuation des sri
Usage et évaluation des SRI

Contexte :

> années 50 : la conception des SRI = place prépondérante au sein des SI (Salton) ;

> objectif : amélioration de la performance intrinsèque du SRI ;

> approche des SI calculatoire ou algorithmique qui s’oppose à l’approche sociale et cognitive des comportements informationnels ;

> années 60 : l’évaluation des SRI devient une préoccupation majeure (tests de Cranfield II) ;

> objectif : définir des métriques de comparaison des SRI.

Journée d\'information URBAMET

usage et valuation des sri1
Usage et évaluation des SRI

Contexte :

> depuis 50 ans, les SI sont marquées par un schisme (Harter, 96) :

  • Étude bibliographique sur 12 revues en SI entre 72 et 95 White et McCain (1998) ;
  • Vickery & Vickery (1987) ;
  • Saracevic (1997, 1999) ;
  • Ingwersen (1992) ;
  • etc.

Enjeu : place de l’usager dans l’évaluation

Journée d\'information URBAMET

usage et valuation des sri2
Usage et évaluation des SRI

Deux approches de l’évaluation des SRI :

  • approche système vs approches usager :
  • utilisation de méthodes de laboratoire ≠ prise en compte du comportement réel des usagers dans l’évaluation des systèmes.

 enjeu scientifique, technologique et industriel.

Journée d\'information URBAMET

approche syst me
Approche système

Système

Usager

Acquisition :

info, objets, textes

Problème :

Besoin info

Représentation

indexation

Représentation

question

Organisation

objets indexés

Formulation

requête

Recherche par appariement

Documents retrouvés

Journée d\'information URBAMET

approche syst me1
Approche système

> tests de Cranfiel II (1960, Angleterre) :

  • évaluation comparative de 33 systèmes d’indexation (SRI) sur une collection de 1400 documents et un ensemble de 331 requêtes ;
  • approche « boîte noire » (le système agit comme un filtre) ;
  • utilisation de la pooling method (unification des lots de réponses avant jugement) ;
  • jugement de pertinence binaire du document ;
  • critères d’évaluation : précision , rappel ;
  • la pertinence mesure-t-elle la satisfaction ?

Journée d\'information URBAMET

approche syst me2
Approche système

> tests de Cranfiel II (1960, Angleterre) :

  • approche quantitative de l’évaluation qui correspond au modèle dominant : TREC (DARPA & NIST depuis 1993) ;
  • méthodologie de référence : Amaryllis, IREX, CLEF ;
  • physical ou match paradigm ;
  • évaluation system-oriented ;

 problèmes posés par les métriques et les protocoles, l’absence de l’usager, l’identification de l’usabilité à la performance du système.

Journée d\'information URBAMET

approche syst me3
Approche système

> les limites de l’approche :

  • l’absence de l’usager dans le processus d’évaluation ;
  • l’identification du besoin d’information ;
  • la validité de la notion de pertinence ;
  • l’absence de l’interaction dans l’évaluation ;
  • les conditions d’expérimentation (simplification excessive des conditions réelles) ;
  • apparition de nouvelles pratiques de recherche (web, navigation).

Journée d\'information URBAMET

approches usager
Approches usager

>Volonté initiale d’améliorer les protocoles puis constitution d’un champ de recherche autonome :

  • cognitive paradigm ;
  • évaluation user-oriented ;
  • multiplicité des approches ;

 Un point commun : prise en compte du contexte réel d’usage (individuel et collectif) à travers une modélisation des usagers.

Journée d\'information URBAMET

approches usager1
Approches usager

> Exemples d ’approches :

Carol Kulthau (1993): dimension affective dans l’interaction ;

Nicholas Belkin (1995) : modèle épistémique ;

Peter Ingwersen (1996) modèle cognitif ;

Tefko Saracevic (1997) : approche globale de l’interaction homme/information ;

Tom Wilson (1996) :formalisation du comportement global de l’usager.

Journée d\'information URBAMET

approches usager2
Approches usager

> Carol Kulthau, 1993 :

- elle souligne le rôle des états émotionnels dans le recherche d’information ;

- un modèle de la recherche en 6 étapes : initiation, sélection d\'un thème, identification, exploration, formulation, collection, présentation ;

- le processus de recherche est enclenché par un sentiment d’incertitude : état cognitif qui provoque un état d’anxiété ;

- à chaque étape, l’usager évolue de l’incertitude à la satisfaction ou l’insatisfaction.

Journée d\'information URBAMET

approches usager3
Approches usager

> Nicholas Belkin, 1995 :

- le modèle épistémique met en évidence les changements d’états de connaissance dans la RI ;

- point de départ de la recherche : état épistémique qui se caractérise par un Anomalous State of Knowledge (ASK) ;

- processus global qui se décompose en une suite de différentes interactions possibles : jugement, interprétation, modification, navigation,…

- mettre en évidence la diversité des types d’interactions dans le processus global de recherche d’information et de souligner que ce processus s’inscrit dans une temporalité qui influe sur la nature des interactions.

Journée d\'information URBAMET

approches usager4
Approches usager

> Peter Ingwersen, 1996 :

- l’un des premiers à proposer un modèle cognitif des systèmes de recherche d’information, en rupture avec la vision traditionnelle des SRI ;

- identifier les structurescognitives et les différentes variables qui interviennent dans le processus de recherche d’information ;

- il identifie plusieurs espaces, (les « origines cognitives »), qui sont autant d’éléments impliqués dans le processus global de recherche d’information :

  • l’espace cognitif de l’utilisateur,
  • l’environnement social ou organisationnel,
  • le fonds informationnel,
  • et le système lui-même.

 Le modèle met en évidence que les usagers ont une représentation de leurs besoins, du fonds informationnel et du système.

Journée d\'information URBAMET

approches usager5
Approches usager

> Tefko Saracevic, 1997 :

- propose une vision globale du processus de recherche qui identifie :

- la composante situationnelle (informations liées aux contextes d’usages : tâches, définition du problème) ;

- la composante intentionnelle (analyse des croyances et motivations des usagers) ;

- la composante cognitive (représentation des connaissances de l’usager) ;

- la composante requête (caractéristiques des questions de l’usager) ;

- la composante interface homme-machine ;

- la composante système du logiciel de recherche (puissance, mémoire, etc..) ;

- la composante logiciel et algorithmique ( composants du SRI) ;

- la composante fonds documentaire (structure et caractéristiques de la base documentaire).

Journée d\'information URBAMET

approches usager6
Approches usager

> Tom Wilson, 1996 :

  • modèle général du comportement informationnel qui s’appuie sur trois éléments :
    • le besoin informationnel et ses origines, c’est-à-dire les facteurs qui ont conduit à la perception du besoin par l’individu ;
    • les facteurs qui déterminent la réponse de l’individu en réaction à la perception du besoin ;
    • les processus ou les actions qui sont impliqués par cette réponse.
  • macro-modèle qui tente d’expliquer les stratégies de recherche individuelles, pourquoi certaines sources d’informations sont utilisées et d ’autres non, etc.

Journée d\'information URBAMET

paradigme cognitif
Paradigme cognitif

> Limites des approches usager :

- modèles peu exploitables pour l’évaluation des SRI :

- comment traduire en métriques ?

- vision très déterministe du comportement de l’usager :

- approche téléonomique du besoin ;

- nouvelles pratiques d’accès à l’information sans recherche :

- butinage ;

- pratiques coopératives de la recherche ;

- effet Sérendip.

- élargissementvers les sciences cognitives : méta-modèles cognitifs, théories de l’apprentissage,...

Journée d\'information URBAMET

slide17
Merci de votre attention...

Journée d\'information URBAMET

l ments de bibliographie
Éléments de bibliographie...
  • Harter Stephen, 1996, Variations in relevance assessments and the measurement of retrieval effectiveness, JASIS, vol. 47, n° 1, 1996, p. 37-49.
  • White Howard et McCain Katherine, 1998, Visualizing a discipline : An author co-citation analysis of information science, 1972-1995, JASIS, vol. 49, n°4, p. 327-355.
  • Vickery Brian et Vickery Alina, 1987, Information science in theory and practice, London, Butterworths.
  • Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p. 313-327.
  • Saracevic Tefko, 1999, Information science, JASIS, vol. 50, n° 12, p. 1051-1063.
  • Ingwersen Peter, 1992, Information retrieval interaction, London, Taylor Graham.
  • Kuhlthau, Carol, 1993, Seeking meaning: a process approach to library and information services, Norwood, N.J.: Ablex Pub. Corp., 1993, p. xxvi-199.
  • Belkin Nicholas et Vickery Alina, 1985, Interaction in information systems, London, The British Library.
  • Ingwersen Peter, 1996, Cognitive perspectives of information retrieval interaction : elements of a cognitive IR theory, Journal of Documentation, vol. 52, n° 1, 1996, p. 3-50.
  • Saracevic Tefko, 1997, Extension and Application of the Stratified Model of Information Retrieval Interaction, Proceedings of the Annual Meeting of the American Society for Information Science, vol. 34, p. 313-327.
  • Wilson Tom, 1996, Information behaviour : an inter-disciplinary perspective, Proceedings of an International Conference on research in information needs, seeking and use in different contexts, Vakkari Pertti, Savolainen Reijo et Dervin Brenda, dir., Taylor Graham, p. 39-49.

Journée d\'information URBAMET

ad