Contexte de la production et de l valuation scientifique
Download
1 / 31

Evaluation des travaux de la recherche - PowerPoint PPT Presentation


  • 57 Views
  • Uploaded on

Contexte de la production et de l’évaluation scientifique. Avril-2008 Gabriel Gallezot. Plan. Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique » . Bases Bibliographiques. Banques de données.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Evaluation des travaux de la recherche' - loan


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Contexte de la production et de l valuation scientifique
Contexte de la production et de l’évaluation scientifique

Avril-2008

Gabriel Gallezot


Plan

  • Usage de l’IST par les chercheurs

  • La communication Scientifique

  • L’évaluation scientifique

  • … vers une appropriation profonde « du numérique »


Bases Bibliographiques

Banques de données

Revues, ouvrages

Colloques

Archives Ouvertes

Editeurs, agrégateurs

Site web, page perso, blog

Liste de discussion

Bibliothèques

Usage de l’information

Rechercher: IR/épistémè

Les ressources

Types de documents

Formats de documents

Modalités d’accès aux documents


Communication scientifique sch ma dia suivante
Communication Scientifique(schéma dia suivante)

  • un processus au cœur de la recherche

  • le chemin "traditionnel" qu'emprunte l'IST

  • Montre les types de doc et les statuts des doc

    Schéma bouleversé par

    • l’accès réseaux

    • prod. numérique

    • les entrepôts numériques

      --> en terme rapidité et spectre documentaire


Communication scientifique

modèle 70’

Source : Julie M. Hurd

JASIST 51(14), 2000

Lien vers 2020


Contexte de la recherche
Contexte de la recherche

Cycle de l’information

(usage de l’information et production de résultats)‏

Communication scientifique

(diffusion des résultats)‏

Acteurs :

Pairs

Editeurs

Cycle de publication

(chaîne éditorial)‏

La question de l’évaluation


Evaluation pour la publication evaluation qualitative a priori le peer reviewing
Evaluation pour la publication…Evaluation qualitative : a priori, le peer reviewing, …

  • Auto-évaluation

  • Collègues de labo (évaluation)‏

  • Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏

  • Comité de rédaction (sélection)‏

  • Comité scientifique (évaluation)‏

  • Editeur (évaluation/correction)‏

  • Lecteur (évaluation)‏


Publication pour l valuation evaluation quantitative a posteriori la bibliom trie
… Publication pour l’évaluationEvaluation quantitative : a posteriori, la bibliométrie

  • Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏

  • STM/SHS : JCR et JCR-SS.

  • OST (bases de l’INIST et WoS)

  • Classement de Shanghai (WoS)

  • Instances institutionnelles (CNU, Université, ministère, …)

    Et … d’autres formes d’évaluation (enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…


Evaluer l’activité “recherche” ?

  • Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., incitations liées à la com. sc.

  • Comment ?

     Une réponse :

    publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)

     Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)


Quel s r fentiel s
Quel(s) réfentiel(s) ?

  • Bases de données françaises > question de l’indexation de “toutes” les revues.

  • Diversités des instances “évaluatrices” (CNU, Université, OST, EPST, ANR, PCRD …)

  • … d’autres formes d’évaluation ponctuelles ou en émergences : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

    Examen des critères d’évaluation

  • Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation


L institute for scientific information isi
l’Institute for Scientific Information (ISI)

  • Garfield : le Science Citation Index (SCI) et le Journal Citation Report (JCR et JCR-SS)

  • 1960, Science Citation Index (SCI) pour l’évaluation des auteurs,

  • 1975 , Journal Citation Reports (JCR) pour celle des revues .

  • en 2004, env. 6000 pour le JCR et 1700 JCR-SS => seulement 8000 revues indexées > où sont les 20 000 (env.) autres revues ?

  • Pb de réfentiel : articles uniquement, indexation limitée de revues

  • Pb de calcul : 1er auteur jusqu’en 1997, impact factor sur 2 ans seulement, périodicité des revues, existence de 5 ans pour les nouvelles revues

  • L’ISI à créer un « espace cooptatif quasiment tautologique »

Source : Manuel Durand Barthez


Facteur d impact
Facteur d’impact

  • ISI calcule le facteur d’impact d’une revue de la façon suivante:

    Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes

1630

523

  • Citations en 2004 d’éléments publiés en 2003 et 2002

  • Nombre total d’articles publiés en 2003 et 2002

3.117

=

Source : ISI thomson


Classement de shanghai
Classement de Shanghai

  • sensibiliser le monde universitaire à son positionnement international (dynamique)

  • Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc)

  • Ne tient pas compte de la taille de l’institution

  • Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)


Les crit res de l ost 1 observatoire des sciences et des techniques
Les critères de l’OST (1) Observatoire des Sciences et des Techniques

  • OST: un GIP (1990), mandaté par la DGES pour “fournir annuellement à chacun des Ets d'enseignement supérieur des indicateurs décrivant sa production scientifique et technologique [et ainsi] de connaître, sur une base quantitative, sa position dans l'espace français, européen et mondial”

  • Expérimentation déjà menée dans les Sciences de la matière et de la vie, poursuite en 2007 pour tous les Ets.

  • Tests en 2007 pour les SHS

  • 3 axes d’indicateurs :

    • la production scientifique mesurée par les publications

    • la production technologique mesurée par les brevets

    • la participation aux programmes européens de R&D


Les critères de l’OST (2)

  • Sources des données : recherche des références dans le Web Of Science (WOS)de Thomson Scientific : “intègre les données issues du dépouillement intégral d’environ 7 000 journaux sélectionnés sur la base de leur fonctionnement éditorial et de leur visibilité internationale.”

  • La mesure de la production scientifique mobilise plusieurs indicateurs :

    • Des indicateurs de volumes, directement liés à la taille,

    • Des indicateurs de caractérisation, indépendants de la taille.

  • La mise à jour de la base s’effectue annuellement.

  • Le périmètre est le suivant :

    • Repérage effectué par laboratoire reconnu dans le contrat quadriennal,

    • Repérage effectué « en ligne » entre le 01/03/2007 et le 15/04/2007

    • Repérage des publications sur 2003/2004/2005.

  • La pertinence de l’exploitation de la base de données des publications pour les domaines des SHS sera testée au cours de l’année 2007



Appropriation du num rique
Appropriation du « numérique »

(re)penser

  • le cycle de l’info

  • la communication scientifique

  • l’évaluation de la recherche


Escience un exemple la recherche in silico
eScienceun exemple : La recherche « in silico »

  • Dialectique entre la technique , la production de savoir et sa diffusion

  • Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès)

  • Gain de productivité ? (bouclage rapide du cycle)

  • Gain de créativité ? (tertiarisation documentaire)


Production scientifique et compartimentation des savoirs
Production scientifique et Compartimentation des savoirs

  • Spécialisation de la R

  • Évaluation de la R

    => accroissement de la Pub. Sc. (données, textes, revues, etc)‏

Il faut :

  • Mieux connecter

  • Mieux partager

  • Ouvrir le spectre documentaire

  • La KDD

D’après Swanson (1986)‏


Communication scientifique modèle 2020

Source : Julie M. Hurd

JASIST 51(14), 2000

Lien vers 1970


Nouveaux mod les de publication
Nouveaux modèles de publication ?

L’auto-publication sur web perturbe le modèle traditionnel de la publication

  • Accessibilité (relation auteur/lecteur, hébergements)‏

  • D’autres visibilités (couverture et calculatoire)‏

  • D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏

  • D’autres productions scientifiques (Cf supra)‏

  • Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏

  • Modèle alternatif pour la publication scientifique, dynamique non-marchande

  • Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?



Reprend les éléments de communication ...

… les transforme ou en propose d'autres

  • Enregistrement public des connaissances

  • Société savante

  • Coût de revient min

  • Echanges personnels, communautaires, publiques

  • Diffusion mondiale multilatérale publique

En ref à 1963

1660

1665

  • Effet des non déposants ?

  • Possibilité d'évaluation des institutions cf IRRA de RAE

  • Priorité à l'article => intérêt Sc. du contenu

  • Dépot de pré-print et post-print

  • Dépot des adjuvants de la recherche

  • Recherche sur des champs et full text

  • Mémoire scientifique publique

  • arXiv

  • OAI-PMH

  • Eprint.org

  • BOAI

  • Protocole

1970

1989


Isi shanghai ost et quoi d autres
ISI, Shanghai, OST et quoi d’autres ?

Des spécificités

Ex. SHS :

  • Importance Revues/Ouvrages ?

  • Internationnalisation des disciplines ?

    Des pistes :

  • Système d’information (SI) local

  • visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)


  • Le scholar web impact factor vs web factor
    Le scholar webImpact factor vs. “web” factor

    • Référencement établi vs. visibilité

    • usage/accès aux BdD commerciales vs.usage/accès généralisé/libre

    • Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ...

    • Publier autrement

    • Déjà à l’œuvre : CiteBase, Citeseer Scholar google, F1000… (dia suivante)

    • De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs aux commentaires de la communautés (avant, après, à la place)


    Autres facteurs
    Autres facteurs

    • Citebase, 1999, rapport téléchargements/citations

    • Citeseer, Associations des refs, commentaires et votes

    • F1000, 2002, « groupes qualités »

    • IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories

    • Google scholar 2004

    • Facteur H (Hirsch, 2005) : point de rencontre en le nbr de publi et le nbr de fois où elles sont citées Facteur Y (Bollen, 2006), Journal status, Weighted pagerank, author rank : mesures de « réseaux » , de poids, de centralité


    Ce qui se met en place dans nos institutions univ et epst
    Ce qui se met en place dans nos institutions (Univ et EPST)

    • Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités)

    • Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL)

    • Ex. sur l’INRA : ProdInra

    • Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment)

    • Pour l’univ : ses propres indicateurs

    • Toutes les refs peuvent êtres prises en considération

    • Interopérabilité des SI : constitution de BdD disciplinaires en France,

    • Connectivité avec d’autres BdD (HAL, …)


    Publication

    archives ouvertes

    institunionnelles

    et disciplinaires, revues en lignes

    Digital Library

    Web 2.0

    blog,

    social bookmarking,

    Social Search,

    Ref biblio

    bases biblio

    Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0

    CCSD, moissonneurs

    Plateforme revues

    Inextenso

    citebase

    F1000 …

    ISI, OST,

    BdD fr, commerciales

    ISI, OST, SI local, CCSD, schoolar google, …

    Plateforme blogs

    Scientifiques

    Trackback

    ?

    par citation

    par Hit

    par note, avis

    Et par …. Xmetrie


    Pour engager la discussion
    Pour engager la discussion

    • La question globale de l’évaluation de la recherche sur le court terme ?

    • La qualité de base ? (ISI, AO > pb de libellé du labo, de l’univ, de l’auteur…

    • Quasi monopole de l’ISI (SCI, JSR), centré sur env 7000 revues

    • Inventions d’autres indicateurs ?


    Quelques refs pour poursuivre
    Quelques refs pour poursuivre

    • S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996

    • Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002

    • Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271

    • Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com



    ad