1 / 30

Contexte de la production et de l’évaluation scientifique

Contexte de la production et de l’évaluation scientifique. Gabriel Gallezot. Plan. Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique ». Bases Bibliographiques. Banques de données. Revues, ouvrages.

violet
Download Presentation

Contexte de la production et de l’évaluation scientifique

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Contexte de la production et de l’évaluation scientifique Gabriel Gallezot

  2. Plan • Usage de l’IST par les chercheurs • La communication Scientifique • L’évaluation scientifique • … vers une appropriation profonde « du numérique »

  3. Bases Bibliographiques Banques de données Revues, ouvrages Colloques Archives Ouvertes Editeurs, agrégateurs Site web, page perso, blog Liste de discussion Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

  4. Communication Scientifique(schéma dia suivante) • un processus au cœur de la recherche • le chemin "traditionnel" qu'emprunte l'IST • Montre les types de doc et les statuts des doc Schéma bouleversé par • l’accès réseaux • prod. numérique • les entrepôts numériques --> en terme rapidité et spectre documentaire

  5. Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

  6. Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs institutions La question de l’évaluation Cycle de publication (chaîne éditorial)‏

  7. Evaluation pour la publication…Evaluation qualitative : a priori, le peer reviewing, … • Auto-évaluation • Collègues de labo (évaluation)‏ • Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ • Comité de rédaction (sélection)‏ • Comité scientifique (évaluation)‏ • Editeur (évaluation/correction)‏ • Lecteur (évaluation)‏

  8. … Publication pour l’évaluationEvaluation quantitative : a posteriori, la bibliométrie • À l’origine : Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ • Des référentiels : SCI (ISI), JCR (ISI), , OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… • Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … • Des évaluations : AeRES, CNU, Université, … Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

  9. Evaluer l’activité “recherche” ? • Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … • Comment ?  un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

  10. Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation • Science Citation Index (S.C.I) - 1961 éval. auteurs, • Journal Citation Reports (J.C.R.) -1975 éval. revues - cf. portail BU de l’univ. • L’agence d’évaluation de la recherche et de l’enseignement supérieur - AeRES : http://www.aeres-evaluation.fr/La-liste-des-revues-scientifiques • European Reference Index for the Humanities - ERIH : http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-initial-lists.html • Journal Quality List (JQL) : http://www.harzing.com/jql.htm • Scholar Google : http://scholar.google.fr/ • Repositories (OpenDOAR, ROAR, …) • … autres listes, Bases de Données

  11. Quelle(s) Mesure(s) ?

  12. Facteur d’impact • ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 • Citations en 2004 d’éléments publiés en 2003 et 2002 • Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

  13. Classement de Shanghai • sensibiliser le monde universitaire à son positionnement international (dynamique) • 2008 : http://www.arwu.org/rank2008/ARWU2008_A(EN).htm • Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) • Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) • Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …

  14. h index et variantes • H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois • G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dontla somme des citations est au moins de 100 • A- index, H-b index , scHolar index, … • Démo avec POP ou ScholarIndex http://insitu.lri.fr/~roussel/projects/scholarindex/

  15. facteur y • tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »

  16. Quelle(s) Evaluation(s) • AeRES : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ex : « chercheur publiant » http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf • CNU : http://91.121.210.124:8080/cpcnu/ qualification et… ex : recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm • Université : (ex: comité de sélection : http://portail.unice.fr/jahia/page7736.html • … toutes vos activités

  17. Appropriation du « numérique » (re)penser • le cycle de l’info • la communication scientifique • l’évaluation de la recherche

  18. eScienceun exemple : La recherche « in silico » • Dialectique entre la technique , la production de savoir et sa diffusion • Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) • Gain de productivité ? (bouclage rapide du cycle) • Gain de créativité ? (tertiarisation documentaire)

  19. Production scientifique et Compartimentation des savoirs • Spécialisation de la R • Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : • Mieux connecter • Mieux partager • Ouvrir le spectre documentaire • La KDD D’après Swanson (1986)‏

  20. Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

  21. Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication • Accessibilité (relation auteur/lecteur, hébergements)‏ • D’autres visibilités (couverture et calculatoire)‏ • D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ • D’autres productions scientifiques (Cf supra)‏ • Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ • Modèle alternatif pour la publication scientifique, dynamique non-marchande • Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

  22. Retour sur la communication scientifique

  23. Reprend les éléments de communication ... … les transforme ou en propose d'autres • Enregistrement public des connaissances • Société savante • Coût de revient min • Echanges personnels, communautaires, publiques • Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 • Effet des non déposants ? • Possibilité d'évaluation des institutions cf IRRA de RAE • Priorité à l'article => intérêt Sc. du contenu • Dépot de pré-print et post-print • Dépot des adjuvants de la recherche • Recherche sur des champs et full text • Mémoire scientifique publique • arXiv • OAI-PMH • Eprint.org • BOAI • Protocole • … 1970 1989

  24. IF, Shanghai, h index et quoi d’autre ? Des spécificités Ex. SHS : • Importance Revues/Ouvrages ? • Internationnalisation des disciplines ? Des pistes : • Système d’information (SI) local • visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

  25. Le « scholar web »“ISI” factor vs. “web” factor • Référencement établi vs. visibilité • usage/accès aux BdD commerciales vs.usage/accès généralisé/libre • Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... • Publier autrement • Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante) • De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)

  26. Autres indicateurs • Citebase, 1999, rapport téléchargements/citations • Citeseer, Associations des refs, commentaires et votes • F1000, 2002, « groupes qualités » • IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories • Google scholar 2004 • Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004) • … indicateurs émergents

  27. Ce qui se met en place dans nos institutions (Univ et EPST) • Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) • Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) • Ex. sur l’INRA : ProdInra • Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) • Pour l’univ : ses propres indicateurs • Toutes les refs peuvent êtres prises en considération • Interopérabilité des SI : constitution de BdD disciplinaires en France, • Connectivité avec d’autres BdD (HAL, …)

  28. Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Web 2.0 blog, social bookmarking, Social Search, … Ref biblio bases biblio Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback ? par citation par Hit par note, avis Et par …. Xmetrie

  29. Quelques refs pour poursuivre • S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 • Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 • Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 • Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

  30. Vos questions

More Related