MOD EL E S , OUTILS ET MET H ODES DE BIBLIOM ET R IE

1. MODELES, OUTILS ET METHODES DE BIBLIOMETRIE Session de Formation lundi 17 mars 2008 URFIST de Rennes Manuel Durand-Barthez, SCD Toulouse 3

2. 2 types d’évaluation: A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative, par les citations (bibliométrique)

3. Définitiondu problème Nécessité de promouvoir des alternatives de type qualitatif par rapport au modèle dominant quantitatif

4. Méthode • Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission d’article • Réformer ce système de l’intérieur • Introduire une évaluation qualitative coopérative • Y associer étroitement l’OAI

5. L’EVALUATION DES PUBLICATIONS SCIENTIFIQUES Depuis 1960, modèle quasi monopolistique: ISI (Institute of scientific Information – Philadelphie) [Groupe U.S. Thomson Inc.]

6. EVALUATION DES AUTEURS 9750 titres revendiqués sur la Plate-Forme propriétaire de l’ISI WEB OF SCIENCE (WoS)

7. Répartition par Domaines • 6650 titres en Sciences Technologie Médecine Base Science Citation Index • 1950 titres en Sciences sociales Base Social Science Citation Index • 1150 titres en Sciences humaines Base Arts & Humanities Citation Index

8. EVALUATION DES SOURCES(Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de l’année « n+1 » 2006: + de 6000 titres analysés

9. Journal:EMBO J Impact Factor:10. 053 Cites in 2006 to articles published in: 2005 = 3503 2004 = 5131 04+05 = 8634 Number of articles publishedin:2005 = 394 2004 = 462 04+05 = 856 Calculation: Cites to recent articles8634 ------------------------------ = ---------- = 10.086 Number of recent articles856

10. Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai Notamment parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée

11. Facteurs de pondération: • Périodicité + ou – grande: 2 ou 52 num. par an ? • Nombre d’articles par numéro • Changement de titre en cours d’année • « Jeune » périodique (libre, par ex.) • Nombre de textes type « review  » • Langue, alphabet • Autocitations

12. Scholar Google • Une réplique « ouverte » du W.O.S. • Pas d’exploitation « sophistiquée » des données • Délimitation du corpus inconnue et mouvante

13. Lien vers Nature 10è référence Citée 511 fois

15. La « Fronde » Publication d’articles polémiques, notamment dans Nature

18. Citebase et CiteseerUne autre conception du Facteur d’Impact • Des expériences fondées sur l’OAI • Comparaisons portant sur: - Nb. de téléchargements - Nb. de citations générées - Temps écoulé entre ces deux actions - Cycle de la publication (long terme)

21. Mining Sequential Patterns: Generalizations And Performance Improvements (1996)Ramakrishnan Srikant, Rakesh Agrawal Proc. 5th Int. Conf. Extending Database Technology, EDBT CiteSeer

22. Facteur de HIRSCH Calcul d’une moyenne faisant coïncider: • Nb de Publications et • Nb de Citations = indice h

24. Il y associe unindicemportant surla duréen(nombre d’années)résultant de la pente(slope)hversusn

25. m 1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau » • m 2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée • m ≥3 (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

26. EVALUATION QUALITATIVE (hors Citations)

27. Le Peer Reviewing classique 2 referees en principe anonymes Arbitrage parl’Editor in Chief 1 (rarement 2) « navettes » Voir les Recommandations aux Auteurs Exemple de la Charte de l’American Chemical Society

28. L’évaluation qualitative coopérative arXiv Citeseer F1000

31. Citeseer – Commentaire en ligne

32. Addition du Commentaire

33. Evaluation a priori partagée - Modèle de Rodriguez The convergence of digital libraries and the peer-review process [2006]

34. Faculty of 1000 (1)

35. Fac of 1000 (2) • F1000 Factor =Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30) • Exemple: 3 examinateurs, 2 attribuent la mention Must Read, le 3è décerne l’Exceptional=>on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2 • Ceci correspond à un "Exceptional" rating badge.

36. F1000 – Les « perles cachées » • Signalement périodique d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels • Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »

37. Citation et Accès libre • Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres • La philosophie de l’accès libre n’a pas la citation pour objectif principal mais de fait, il la facilite

38. Pour conclure • La citation: un problème déontologique ? • Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ? • Importance d’un travail coopératif sur les alternatives

39. Sources (1) Lefèbvre, Muriel (Urfist Toulouse) Vers une remise en question des modalités traditionnelles d'évaluation des savoirs scientifiques ?(13/04/2006) http://archivesic.ccsd.cnrs.fr/sic_00112197

40. Sources (2) • http://isiwebofknowledge.com/ • http:// arxiv.org • http://citebase.org • http://citeseer.ist.psu.edu • http://scholar.google.com • http://www.f1000biology.com/home/

41. Sources (3) • Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 • Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.arXiv:cs.GL/060103 v1 9 Jan 2006http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030v1.pdf • Les mêmes:The convergence of digital libraries and the peer-review process 2006 http://arxiv.org/ftp/cs/papers/0504/0504084.pdf