Le CV du chercheur

1. Le CV du chercheur évaluation et valeur comparative Bibiane Fréché (ULB) Björn-Olav Dozo (ULg-FNRS)

2. Objectifs généraux • Présenter et décrypter les grandes catégories des CV types de différentes institutions (universités et FNRS) • Interroger ces catégories en rappelant les débats qui les ont vues naître

3. Pourquoi une telle actualité autour de l’évaluation? • Travail scientifique, depuis toujours : évaluation par les pairs • Mars 2000 : conseil européen de Lisbonne ; « stratégie de Lisbonne » • « Chercheurs-entrepreneurs », concurrence, « marché de la recherche »

4.  Multiplication des classements • Universités • Revues • Facteur d’impact • H-index • Etc.

5. Des classements pas évidents… • Exemples du classement des revues en SHS • ERIH (European Reference Index for the Humanities) de l’ESF (European Science Foundation) • AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur)

6. ERIH • Deux listes (2007 et 2011) • Mise en garde explicite contre l’usage de ces listes pour évaluer les chercheurs • Élaboration de la première liste peu transparente et peu fiable

7. AERES • Différences en fonction des disciplines • Par exemple : pas de liste en études littéraires • Question du classement et/ou du périmètre de scientificité

8. Un retour à l’évaluation qualitative • Depuis deux à trois ans, mouvement de défiance envers l’évaluation quantitative, même du côté de ceux qui la prônaient avant. Quelques exemples : • EUA (European University Association) • DFG (Deutsche Forschungsgemeinschaft) • RAE (Research Assessment Exercise) Voir aussi les travaux de Michèle Lamont, notamment How Professors Think. Inside the Curious World of Academic Judgement, Harvard UP, 2009.

9. Pour l’évaluation qualitative 1 : L’EUA critique les classements des universités L’European University Association a publié le 19 juin 2011 un rapport critiquant les classements des universités. […] There is clear evidence that attempts to measure the quality of teaching and learning that involve the use of proxies,  often with a very indirect link to teaching quality, are ‘rarely effective’, while the importance of links to external stakeholders and environments are largely ignored. […]

10. Pour l’évaluation qualitative 2 :position de la Deutsche Forschungsgemeinschaft With these regulations, the DFG wants to counteract the quantitative factors that have been increasing for years in terms of research publications. “Whether in performance-based funding allocations, postdoctoral qualifications, appointments, or reviewing funding proposals, increasing importance has been given to numerical indicators such as the H-index and the impact factor. The focus has not been on what research someone has done but rather how many papers have been published and where. This puts extreme pressure upon researchers to publish as much as possible and sometimes leads to cases of scientific misconduct in which incorrect statements are provided concerning the status of a publication. This is not in the interest of science”. (Lettre d’information de la DFG - Deutsche Forschungsgemeinschaft, 23/2/2010)

11. Pour l’évaluation qualitative 3 : retour sur les réformes de l’UK’s Research Assessment Exercise (RAE) Evaluations of research quality in universities are now widely used in the advanced economies. The UK’s Research Assessment Exercise (RAE), which began in 1986, is the most highly developed of these research evaluations. Based on peer review and involving some sixty-nine panels evaluating the research work of more than 50,000 academic staff, the exercise is expensive and time consuming. In this article, we examine the possibility that a quantitative, metrics-based approach can provide a low-cost alternative to expensive, qualitative peer review. […] Our results show that no single model will apply across science and non-science disciplines. Any metrics approach to performance evaluation has to use a discipline-specific suite of indicators. Linda Butler et Ian Macallister, “Evaluating University Researche Performance using metrics”,European Political Science, vol. 10/1, 2011, pp. 44–5

12. Pertinence des métriques pour les SHS • Article de Butler et Macallister (2011) sur RAE, qui pointe que la bibliométrie est peu pertinente pour les SHS • Réserves de l’Académie des sciences française (voir note de Cl. Lemercier sur http://evaluation.hypotheses.org) « Quant à l’utilisation de Google Scholar, souvent présentée comme la seule planche de salut pour les SHS (vu la faible couverture des bases de données mieux construites), les membres du groupe osaient à peine me croire quand j’en parlais, vu le manque de qualité des données… Cela veut dire, particulièrement pour nos disciplines où les bases elles-mêmes sont à construire (si une telle chose est possible vu la multiplicité et la variété des supports de publication), que si l’on voulait faire proprement de la bibliométrie, il faudrait y dédier de nombreux postes. » Lemercier, 25/1/2011

13. Création de bases de données pour la bibliométrie • En cours, notamment du côté flamand (Ghent U., KUL, etc.) • Conséquence : certains collègues ne souhaitent plus publier dans des revues qui ne sont pas classées dans leur université

14. Exemple de l’UGhent Où l’extension de ces classements aux SHS a été effectué

15. L’usage des indicateurs bibliométriques incite à modifier ses comportements de publication Soyons francs : nous savons tous faire cela, découper un article en deux, trois, quatre articles et le faire traduire en deux, trois, quatre langues pour ajouter autant d’items à nos listes de publications. Productivité en hausse, créativité zéro. Notre schizophrénie de chercheurs est là : nous renâclons — également sous la forme de la contestation infinie des « critères » — mais nous savons faire, et nous savons que ce n’est pas cela qu’il faut faire. Philippe Büttgen et Barbara Cassin, « Les dégâts de l’évaluation. L’État schizophrène et l’évaluation de la recherche », La Vie de la recherche scientifique, 378, 2009, p. 30-31.

16. H index : qu’est-ce que c’est ? • Indice h rend compte du nombre de publications et du nombre de citations par publication • Ex. : un indice 10 équivaut à 10 publications citées au moins 10 fois

17. Le CV du chercheur • Les « nécessaires » • Séjour de recherche à l’étranger • Articles peer-reviewed • Livre (thèse) • Les « non suffisants » mais importants • Colloques, organisation, administratif, etc.

18. Séjour de recherches à l’étranger • Durée • Bruxelles • Liège • FNRS • BAEF, Fullbright, accords Québec, Wiener-Anspach, post-doc out, bourse DRE out, etc.

19. Articles dans des revues • Revues à comité de lecture • Prise en compte des classements • Dépend de l’université • Dépend de la discipline • Articles en anglais ? • Articles comme chapitres de livres • Article individuel / collectif ?

20. Livres • Seul • Thèse • Maison d’édition • Collectif • Dirigé / co-dirigé • Livre • Numéro de revue • Chapitre de livre

21. Autres types de publications • Comptes rendus • Notices de dictionnaire

22. Prises de parole • Colloques internationaux • Sur invitation • Dans des gros congrès disciplinaires • Conférences • Organisation de colloque • Comité scientifique • Président de séance

23. Prix / bourses • Distinctions scientifiques • Telle diversité que semble inquantifiable

24. Activité éditoriale • Revue • Exemple de COnTEXTES • Collection • PULg • BSS

25. Sociétés savantes • Réseaux internationaux • Informations sur la discipline • Sociabilité de la recherche • Groupes liés à des projets de recherche • Groupes de contact • Comité de rédaction de revues • Etc.

26. Expertise • Peer-reviewing pour revues • Comité de lecture • Expert externe • Évaluation de dossiers pour organismes finançant • Fondation universitaire • FNRS, CRSH, etc.

27. Développements informatiques • Bases de données • Logiciels (d’annotation par exemple) • Différence avec un programmeur : nécessité de problématiser et de présenter les enjeux de ce type de travail dans des articles scientifiques

28. Vulgarisation • Variable d’une université à l’autre • Publications • Cartes blanches dans journaux • Dossier de vulgarisation dans revues généralistes • Conférences grand public • Université senior • Intervention en milieu scolaire • Invitation dans associations

29. Enseignement • Importance différente en fonction de la cible : chercheur / enseignant • Participation à différents cours comme invité • Missions d’enseignement • Direction / jurys de mémoire

30. Services à la communauté • Administration universitaire interne • CA, conseil facultaire, conseil de département, commissions, etc. • Promotion de l’enseignement • Coopération au développement

31. Conclusion • Sanction / progression • Quantité /qualité • Réflexion critique et propositions