Peer Reviewing: The Backbone of Scientific Evaluation

1. http://www.sciencecartoonsplus.com/

2. Nick Kim, www.nearingzero.net

3. Nick Kim, www.nearingzero.net

4. Les projets d’archives ouvertes : état des lieux des initiatives au plan international, européen et français • Modérateurs : Francis ANDRE, INIST-CNRS, Chargé de Mission à la Mission de l'Information et de la Culture scientifiques et techniques, Ministère délégué à l'Enseignement Supérieur et à la RechercheMarie-Dominique HEUSSE, Directrice du SICD Université de Toulouse 1, Présidente de l'ADBU • Exposé introductif • Jean-Claude GUEDON, Professeur titulaire en littérature comparée, Université de Montréal, membre du CA du Information program de l'Open Society Institute • La politique communautaire sur l'information scientifique à l'ère numérique: l'accès, la diffusion et la préservation • Javier HERNANDEZ-ROS, Chef de l' Unité Bibliothèques numériques et Information du secteur public - Direction Générale sur la Société de l' Information et les Médias , Commission européenne • Table ronde avec • Ghislaine CHARTRON, Professeur, Chaire d'Ingénierie documentaire, Conservatoire national des arts et métiersOlivier ERTZSCHEID, Maître de Conférences en Sciences de l'information et de la communication, IUT de la Roche-sur-YonAlexandra MENDOZA-CAMINADE, Maître de conférence en Droit, Université des Sciences sociales Toulouse 1

5. Pitch • la question de l'évaluation, et la manière dont ces archives, dans leur histoire, leur "philosophie" et leurs résultats, amènent à penser différemment la question de l'évaluation de la recherche au plan national et international • Retour sur les modèles "alternatifs" à l’évaluation (qualitative = peer-reviewing) et à l’évaluation quantitative (= impact factor, mesure de citation) actuellement en vigueur.

6. Qu’est-ce que le peer reviewing ? • Peer-Reviewing, désigne le processus d'expertise de l'ensemble des articles scientifiques depuis des décennies, processus au bout duquel l'auteur peut donc être publié ... ou mourir en paix ("publish or perish"). • La question est de savoir "Faut-il tuer le pair ?". • Au regard du contexte actuel d'auto-archivage, d'open-access et de nouveaux modes de publication en général - le peer-reviewing a-t-il ou non vocation a demeurer le modèle unique du circuit de "validation" et d’évaluation des connaissances scientifiques ?

7. Rappel … • “Open access is characterized by • the free availability on the public Internet of • peer-reviewed journal articles, as well as • non-reviewed preprints of potential interest to the scholarly community.” • Gerry Mc Kiernan

8. Combien de journaux, combien de capitaines • 1665: premier journal scientifique • 1930 : Peer review by external referees • 1700 : 30 journaux scientifiques • 1725 – 1800 : 74 périodiques nouveaux (domaine médical exclus). • 1885 : 5105 périodiques scientifiques. • 1897: 8603 titres de périodiques scientifiques. • 1990 : Internet …………………………….. • S.C.I. (Science Citation Index) • 2006 : • 9300 titres revendiqués sur la Plate-Forme propriétaire de l’ISI WEB OF SCIENCE (WoS) (dont 2.6 % OA) • 20000 journaux sur ISI web of Knowledge (dont 1% OA) • SSCI : 1700 revues depuis 1956. • DOAJ : 2721 journaux (www.doaj.org)

9. Peer-review : Pros & Cons • Anonymat = désengagement : • Sexisme : les femmes acceptent trois fois plus de manuscrits que les hommes • et/mais les femmes sont nettement minoritaires dans les comités d'évaluation • Inadéquation d’expertise : • les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article • des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors • + mesquineries en tout genre et querelles de chapelle • le processus d'évaluation est looooooong, • très long (entre 6 mois et 2 ans, parfois plus) • il est également coûteux (frais d'édition, de secrétariat, etc ...) • il ne joue pas son rôle de filtre • (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses") • Double aveugle est une simple escroquerie : plus de la moitié des pairs arrivent à identifier les auteurs il est inefficace qualitativement • (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)

10. Pire review • Beaucoup de montées au créneau ces derniers temps (dans Nature notamment) • Richard Smith de la bibliothèque scientifique de Cambridge : • Il est éthiquement inacceptable que des jugements puissent être faits par des lecteurs dont on ne peut connaître l'identité. (...) De plus, je crois que la critique par ses pairs devrait être un argument scientifique plutôt qu'un jugement arbitraire. Cette idée n'est pas radicale, c'est simplement le retour aux racines, quand la science était présentée et discutée en réunion publique plutôt que publiée dans les revues."Peut-être que nous saurons inventer de nouvelles formes de critique par les pairs en apprenant d'innovations comme Wikipédia. C'est en quelque sorte une nouvelle façon de faire de la peer review, où les critiques entraînent des changement directs plutôt qu'un simple commentaire ...Une autre inquiétude est de savoir comment les aides seront distribuées dans un nouveau système. Aujourd'hui, elles sont issues des facteurs d'impact allouées au papier... Dans un nouveau monde scientifique, j'imagine que les crédits viendront du buzz des chercheurs et des hits des articles, que l'on pourra voir en temps réel."

11. Alternatives ? • Modèle fermé : on pousse jusqu'au bout la logique d'anonymat des articles : • non seulement on ne donne pas le nom de l'auteur mais on anonymise aussi toutes les références de l'article et de sa bibliographie à des institutions et/ou à d'autres articles du même auteur : • non seulement c'est infaisable, mais en plus cela ôte évidemment des éléments essentiels à l'expertise elle-même. Donc on perd sur les 2 tableaux. Modèle perdant-perdant.

12. Alternatives ? • Modèle semi-ouvert : on lève l'anonymat des pairs : les auteurs savent qui les évalue. On parle alors d'« open peer-review ». Et ça marche puisqu'on note que dans ce cadre : • on critique moins, ou à tout le moins les critiques sont argumentées, • les commentaires sont souvent plus approfondis, plus argumentés et plus courtois • Ils (les pairs toujours) sont ainsi incités à décliner l’évaluation quand ils ne s’estiment pas compétents • Les jugements abusifs plus facilement repérés. • Le travail des experts s’en trouve in fine valorisé et bénéficie de plus de crédit • Donc ... tout le monde est content, et on est sur du gagnant-gagnant. • Nombre de revues (ou groupements de revues) ont d'ailleurs fait ce choix : • BMJ (British Medical Journal ), • BiomedCentral, • MJA (Medical Journal of Australia ) et d'autres ...

13. Alternatives ? • Modèle ouvert : le plus radical, le plus novateur. Donc le plus intéressant. Et donc le plus critiqué. • On ne se contente plus de lever l'anonymat des pairs, mais on autorise les “lecteurs” à intervenir dans le processus en déposant leurs commentaires sur des articles soumis à  publication. • On parle alors de “commentary-based peer-review” ou de  “peer-commenting”. • Trois manières de mettre en place un "Peer-commentary" : commentaires AVANT, APRES ou A LA PLACE de la revue par les pairs. • Pour autant, il ne s'agit pas de sombrer dans un extrémisme candide : c'est la co-existence des deux modèles (Peer-commentary puis peer-reviewing ou l’inverse) qui est intéressante et novatrice, l’initiative de la décision de publication restant dans chaque cas aux experts. • Le "Journal of Interactive Media in Education" combine pré et post-commentary. • Le journal "Electronic Transactions on Artificial Intelligence" a lui décidé d’ouvrir aux lecteurs le processus de revue par les pairs. • Quant à "Psycoloquy"  ou "JIME", le choix s’est porté sur l’ouverture aux commentaires après le processus de Peer-Reviewing.

14. © From a presentation by Maarten van Veen (Open University, 2005)

15. Quelles métriques ? • Facteur d’impact • Inadapté : sur 2 ans (humanités plutôt sur 5, pas de prise en compte des monographies) • Prend pas en compte certaines publi (thèses, monigraphies) • Nbreux biais : auto-citation • Facteur d’usage … http://www.uksg.org/usagefactors • Facteur Y : • « By merely counting the amount of citations and disregarding the prestige of the citing journals, the ISI IF is a metric of popularity, not of prestige. We demonstrate how a weighted version of the popular PageRank algorithm can be used to obtain a metric that reflects prestige » • http://arxiv.org/abs/cs.DL/0601030 • Reading Factor : ratio entre le nbre de consultations d’un journal électronique et la moyenne du nbre de consutlations de tous les journaux pris en compte. • Eigenfactor se veut un concurrent direct de l'incontournable facteur d'impact. projet prend en compte une échelle d'évaluation + importante (tout le réseau), qu'il traite aussi les citations dans les thèses, les magazines... • l'index dit "de Hirsh" (H-index) bénéficie d'un succès grandissant, puisqu'après son intégration dans le Web of Science par l'ISI, c'est au tour d'Elsevier de l'intégrer dans Scopus • Etc …

16. Européen Impact Factor • Récent rapport de l'European Science Foundation : "Peer-review : its present and future state". • http://www.esf.org/fileadmin/be_user/publications/Peerreview2006.pdf • "Langages, métriques, impacts : les cultures du peer-review dans les humanités". Le cas des humanités "les outils bibliométriques sont inaptes à rendre compte de la diversité des comportements de publications des chercheurs de ces disciplines." Et de reparler, sans hélas guère plus de détails, de l'ERIH (European Reference Index for the Humanities), en recommandant que les ouvrages soient comptabilisés au même titre que les articles dans ce qui devrait donc (mais quand ??? voilà déjà plus de quatre ans que l'on parle de cet index, et il semble que l'on en soit toujours à réunir des groupes d'experts sur la faisabilité d'un tel projet ...), index qui devrait donc, disais-je, comptabiliser les revues "princeps" européennes de 15 disciplines des humanités.Au final, de ce rapport de 36 pages il ressort de manière assez unanime : • que l'infodominance de l'ISI et de son facteur d'impact est problématique et n'est plus pas un indicateur qualitatif suffisant (et même carrément insuffisant) • que l'on peut avoir la certitude suivante "the assumption that an assessment system that takes into account disciplinary specificities as much as changing research landscapes needs to be developed. Only a portfolio of metrics will be able to produce relevant information about the entire research process (input-activity-output-outcome)."

17. Facteur d’impact européen ? • Premier biais de l’IF est qu’il favorise pays avec la plus grande production scientifique (USA) • Katz : propose « facteur d’impact international relatif », prévu pour tenir compte des phénomènes d’échelle • Lancement de l’idée en Oct 2000 par l’ESF • Constitution de groupes d’experts, constitution de la base des publications retenues (pas uniquement périodiques) • Depuis … Stand-by 

18. Quelles menaces ?

19. Attention danger • Dérive des éditeurs • « Elsevier — l’éditeur scientifique international le mieux connu pour sa politique intransigeante en matière de monopole , d’augmentations sauvages et déraisonnables de prix et de non respect de ses engagements, et dont la pratique de prise en otage des chercheurs est particulièrement irritante — annonçait, en mai 2006, le lancement d’une série de périodiques en mode Open Access (OA) hybride. En résumé, l’éditeur offre à ses auteurs l’option de payer eux-mêmes un montant de “sponsoring” (3.000 €) permettant que leur article, déjà accepté pour publication, soit rendu librement disponible à tous, sans souscription, via ScienceDirect. En juillet 2006, 34 autres titres venaient compléter la liste. C’était un beau coup pour faire payer les publications deux fois, une imitation d’OA appelée Open Choice (le cheval de Troie dont j’ai déjà parlé), et dont la moindre des choses est qu’elle ne comporte pas de surcharge financière pour le lecteur, puisque l’auteur paie.L’augmentation moyenne de 2006 à 2007 des prix de l’ensemble des revues chez Elsevier était de 5,50 %. Celle des 40 titres en libre accès hybride a atteint 6,39 %. Dont acte. » • Source : http://recteur.blogs.ulg.ac.be/?p=125

20. Attention Danger • Affaire du Pitbull • plusieurs gros éditeurs, ceux qui font de grosses marges bénéficiaires, Elsevier, Wiley et ACS en tête, viennent de recruter, via l'AAP, l'Association des éditeurs, un cabinet de consultants en relations publiques, chargé de mettre en place une campagne de communication dénonçant les dangers de l'information en Open Access. • Dezenhall, spécialisé dans la gestion de crise et plus connu sous le doux sobriquet du "Pitbull des RP" pour s'être illustré (notamment) dans la défense d'un dirigeant d'Enron ou encore contre l'organisation Greenpeace. • + • Balkanisation des revues, pour la plupart inaccessibles • Recherche à 2 (ou plus) vitesses : • ceux qui disposent d’un appui ou d’un adossement à de gros labos ou de grosses bibliothèques. • Les autres : Google Scholar + open access 

21. Donc ???? • Force d’inertie du paradigme de la publication académique • Résistances culturelles et « de marché » • Bataille du marché de la citation semble perdue d’avance pour les éditeurs • s’ils campent sur leurs positions ou détournent les logiques d’OA (cf blog de rentier affaire Elsevier) • S’ils ne trouvent pas un accord avec Google (LE moissonneur, accès à tous les dépots OAI, ouvrages numérisés (GBS), Editeurs (partner program), et quand il n’a pas le droit, il prend le gauche (Indexation d’un million d’abstract d’Elsevier après le refus d’Elsevier (scirus) de le voir venir indexer ses articles + projet MUSE (270 revues de chez 40 éditeurs))

22. Donc ??? • Il faut garder le Peer Review mais il faut l’ouvrir. • L’évaluation de la science du 21ème siècle ne peut se faire avec des comportements, des attentes, des mentalités et des outils bibliométriques du XXème siècle : • webometrics, wif (web impact factor) … • OA meilleur indice d’immédiateté • OA : meilleur IF. Toutes les études le prouvent, sauf … celle commanditée par l’ISI qui conclue : « le facteur d’impact des 148 revues étudiées par Thomson est en général comparable à celui de revues en accès payant » • Nécessité d'un "portefeuille de métriques" qui permettrait - notamment - de prendre en compte et d'exploiter toute la richesse de l'environnement numérique des publications de recherche.

23. Attention au syndrôme du tailleur • « Le monde et le pantalon »

24. Attention : réputation / citation • Tenter de penser ces « webmetrics » en contexte, et en les prenant pour ce qu’elles sont : • Tributaires d’une Economie de l’accès pilotée par le servie aux usagers • Réputation n’est pas citation, autorité n’est pas notoriété • « Trust, authority and réputation are central to scholarlu publishing but the model of the internet is almost anthitetical to the trust model of academia » (Bilder 2006)