Ivana Roche Ingénieur R&D – INIST-CNRS

1. DBF : projet de modélisation d’un processus de sélection à l’aide d’indicateurs bibliométriques/scientométriques Ivana Roche Ingénieur R&D – INIST-CNRS FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

2. Plan de la présentation • Le projet DBF • Le concept développé • ERC : le contexte du projet • La notion de recherche exploratoire • La formalisation des indicateurs • Le modèle bibliométrique & les indicateurs • La fonction de sélection • Discussion FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

3. DBF : le projet DBF = Development and verification of a Bibliometric model for the Identification of Frontier Research • Action d’appui (SA) • 7ème PCRD – Programme IDEAS placé sous la responsabilité de l’ERC • http://erc.europa.eu/ • http://cordis.europa.eu/fp7/ideas/home_en.html • 3 ans : 2009-2012 • Consortium : • AIT, Austrian Institute of Technology • INIST-CNRS FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

4. Le concept développé Concept consistant à inférer les attributs de recherche exploratoire dans les propositions de projet de recherche reçues dans le cadre des appels de l’ERC et soumises à une évaluation par des pairs • Concevoir, implémenter, tester et affiner un modèle bibliométrique/scientométrique permettant d’évaluer si les propositions répondent à la définition, énoncée par le High Level Expert Group de l’ERC, de recherche exploratoire • Comparer les résultats obtenus avec notre modèle et les choix opérés par les experts pour alimenter une réflexion sur l’influence de la notion de recherche exploratoire sur le processus de sélection FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

5. ERC : le contexte du projet • ERC  premier organisme de financement de projets de recherche (exploratoire) à l’initiative de chercheurs au travers d’un processus de compétition ouvert et direct • Principaux objectifs : • viser l’excellence scientifique • privilégier les chercheurs présentant les idées le plus créatives en vue de favoriser l’identification et l’exploration de voies nouvelles dans tous les secteurs de la recherche scientifique • contribuer au développement d’une synergie positive autour des chercheurs sélectionnés • favoriser la réactivité scientifique et géographique de la recherche européenne FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

6. ERC : les schémas Les 2 schémas de soumission de projets : • StG, réservé aux chercheurs débutants  offrir les moyens pour développer des carrières « indépendantes » en s’entourant de leur propre équipe • AdG, dédié aux chercheurs confirmés  favoriser les efforts de recherche innovateurs, de grande portée, avec un fort potentiel "haut-risque/haut-impact" et soutenir des projets amenant à un changement notable de leur axe de recherche FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

7. ERC : les domaines couverts • Les domaines couverts (« panels ») : • Physique & Sciences de l’Ingénieur (PE) 10 panels • Sciences de la Vie (LS) 9 panels • Sciences Humaines & Sociales (SH) 6 panels • Chaque chercheur soumissionnaire : • doit classer sa proposition dans un des 25 panels qui devient le panel « d’origine » et l’indexer avec des MC contrôlés • doit avoir l’accord d’une institution d’accueil en Europe • doit être ressortissant d’un état membre de l’UE-27 ou d’un pays associé • Appels annuels : le 1er en 2007 • Financement : Programme IDEAS du 7ème PCRD de la CE FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

8. LS9 Applied life sciences and biotechnology: agricultural, animal, fishery, forestry and food sciences; biotechnology, chemical biology, genetic engineering, synthetic biology, industrial biosciences; environmental biotechnology and remediation LS9_1 Genetic engineeri ng, transgenic organisms, recombinant proteins, biosensors LS9_2 Synthetic biology and new bio - engineering concepts LS9_3 Agriculture related to animal husbandry, dairying, livestock raising LS9_4 Aquaculture, fisheries LS9_5 Agriculture related to crop pr oduction, soil biology and cultivation, applied plant biology LS9_6 Food sciences LS9_7 Forestry, biomass production (e.g. for biofuels) LS9_8 Environmental biotechnology, bioremediation, biodegradation LS9_9 Biotechnology, bioreactors, applied microbiolog y LS9_10 Biomimetics LS9_11 Biohazards, biological containment, biosafety, biosecurity PE1 Mathematical foundations: all areas of mathematics, pure and applied, plus mathematical foundations of computer science, mathematical physics and stati stics PE1_1 Logic and foundations PE1_2 Algebra PE1_3 Number theory PE1_4 Algebraic and complex geometry PE1_5 Geometry PE1_6 Topology PE1_7 Lie groups, Lie algebras PE1_8 Analysis PE1_9 Operator algebras and functional analysis PE1_10 ODE and dynamical sy stems PE1_11 Partial differential equations PE1_12 Mathematical physics PE1_13 Probability and statistics PE1_14 Combinatorics PE1_15 Mathematical aspects of computer science PE1_16 Numerical analysis and scientific computing PE1_17 Control theory and opti mization PE1_18 Application of mathematics in sciences ERC : les panels & leur structure (*) (*) (*)sous-panels = MC contrôlés FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

9. ERC : le financement • Evolution du budget ERC (2007 – 2013) : • Taux de propositions sélectionnées (2009) : • StG  10% (237 sur 2503 soumissions) • AdG  15% (244 sur 1584 soumissions) 811 Financement moyen ~ 1,7 Million € FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

10. ERC : la sélection de projets Processus de sélection : • 25 panels d’experts • membres UE & hors-UE définis par le Conseil Scientifique • processus de sélection à 2 étapes • projets de recherche à caractère exploratoire FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

11. Recherche exploratoire La notion de recherche exploratoire a été explicitée par le High Level Expert Group de l’ERC qui lui a associé 4 attributs-clés : Située à la pointe de la création de nouvelles connaissances… à l’origine de découvertes fondamentales… contribuant parfois à la réalisation de percées révolutionnaires Intrinsèquement risquée Contribuant à réduire les barrières entre recherche fondamentale et appliquée S’intéressant à des problèmes au-delà des frontières interdisciplinaires Lors du processus de sélection les experts doivent identifier parmi un très grand nombre de propositions celles présentant ces caractéristiques FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

12. Formalisation des indicateurs • Identification des 4 attributs-clés associés par le High Level Expert Group à la notion de recherche exploratoire : • Nouveauté • Risque • Applicabilité • Interdisciplinarité • Formalisation de ces attributs-clés en termes d’indicateurs construits en combinant des approches scientométriques et de fouille de texte : FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

13. Indicateur d’Actualité Utilisé pour inférer le « degré d’innovation » de la proposition en se fondant sur ses références citées • Source de données : • BdD ERC • Hypothèse : • plus ses références sont récentes, plus il est probable que la proposition soit à la pointe de la recherche • Calcul : • l’indicateur se concentre sur le temps écoulé depuis la publication des références citées et l’indicateur est calculé en considérant la différence entre l’année de soumission de la proposition et l’année de publication des articles correspondant à chaque référence citée FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

14. Indicateur d’Actualité FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

15. Indicateur de Proximité Employé pour inférer le « degré d’innovation » de la proposition à l’aune du changement dynamique du paysage scientifique correspondant au panel d’origine de la proposition • Source de données : • BdD ERC & BdD bibliographiques • Hypothèse : • plus la proposition est proche de zones de forte évolution thématique, plus il est probable qu’elle soit innovante • Calcul : • collecte des données + extraction information terminologique • classification automatique : une carte thématique regroupant en classes des références similaires et donnant une représentation du paysage scientifique relatif au panel • analyse diachronique : étude de l’évolution du paysage scientifique entre 2 périodes de temps (2000 et l’année de soumission) • rang des classes de la période la plus récente selon leur degré d’innovation • calcul de la similarité entre chaque proposition et les classes de la période la plus récente FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

16. Indicateur de Proximité FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

17. Indicateur de Risque Utilisé pour inférer le « risque personnel » que prendrait le PI s’il mettait en œuvre sa proposition • Sources de données : • BdD ERC & BdD bibliographiques • Hypothèses : • les références citées dans les publications passées du chercheur sont une source d’information pour obtenir son « profil bibliométrique de recherche » • plus le recouvrement entre ce profil et le profil calculé avec les références citées dans la proposition est petit, plus la proposition peut être considérée comme risquée pour le chercheur • Calcul : • comparaison entre le profil « passé » du chercheur et celui de sa proposition • comparaison entre le profil de sa proposition et un profil global calculé à partir de toutes les propositions du panel FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

18. Indicateur de Risque FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

19. Indicateur d’Applicabilité ou Pasteuresqueness Utilisé pour inférer le degré d’applicabilité des résultats attendus de la proposition • Sources de données : • BdD ERC & BdD bibliographiques • Pasteuresquenness… Qu’est-ce que c’est? • néologisme inspiré du Quadrant de Pasteur • catégorise des recherches qui cherchent tant à accroître la connaissance fondamentale que à développer des applications • Calcul : • brevets • relations industrielles • auto-citations dans des périodiques catégorisés « appliqués » FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

20. Indicateur d’Applicabilité ou Pasteuresqueness FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

21. Indicateur d’Interdisciplinarité Utilisé pour inférer la présence, dans la proposition, de mots-clés étiquetés comme appartenant à des panels autres que le panel d’origine de la proposition • Source de données : • BdD ERC • Hypothèses : • plus l’occurrence de ces mots-clés est élevée, plus la proposition est interdisciplinaire • plus la diversité de ces panels est grande, plus la proposition est interdisciplinaire • Calcul : • évaluation de la concentration de mots-clés associés à des panels autres que le panel d’origine de la proposition FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

22. Indicateur d’Interdisciplinarité FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

23. 5 indicateurs & 1 fonction de sélection • Modèle comportamental • modèle à choix-discret • Idée : • estimer la probabilité de sélection d’une proposition en fonction des ses indicateurs calculés • AC, actualité • PR, proximité • RI, risque • AP, applicabilité • IN, interdisciplinarit Pproposition i soit sélectionnée = f (ACi, PRi, RIi, APi, INi) FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

24. La validation du modèle Processus de sélection ERC Panels d’experts Comparaison Analyse Feedback BdD ERC Application modèle bibliométrique BdD bibliographiques FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

25. Discussion Le modèle développé… • est ambitieux : difficile de représenter fidèlement les caractéristiques de la « recherche exploratoire » et de les quantifier • ne peut en aucun cas se substituer à l’expertise : il est attendu seulement que les résultats aient un effet positif sur la probabilité de décision de financement en attirant l’attention sur des propositions refusées qui mériteraient néanmoins une seconde chance • ne se fonde pas sur des mesures de performance :combine des méthodes de scientométrie et des techniques d’analyse de contenu utilisant l’information textuelle présente dans les propositions • peut être réutilisé • produit une méthodologie : permettant à l’agence de financement de suivre, du point de vue bibliométrique, le processus de sélection et, éventuellement, de l’affiner FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

26. Remerciements Ce travail est partiellement financé par le Programme Ideas du 7ème Programme-Cadre pour la Recherche et le Développement Technologique (2007-2013) de la Commission Européenne (N° de référence du projet : 240765) Site du projet :http://www.ait.ac.at/dbf FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

27. Merci ivana.roche@inist.fr FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

28. FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

29. Le modèle bibliométrique & les indicateurs FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

30. ERC : la distribution des soumissions 2009 StG_2009 AdG_2009 FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre

31. EU : les pays associés http://cordis.europa.eu/national_service/home_fr.html FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, 10-13 octobre