Francesco Sylos Labini Centro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma & ….

1. Valutazione e bibliometria Francesco Sylos LabiniCentro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma & ….

2. Contro la valutazione ? 2

3. 3

4. Falso Contro la valutazione ? 4

5. Falso Contro la valutazione ? Contro la bibliometria? 5

7. Falso Contro la valutazione ? Falso Contro la bibliometria? 7

8. F: Il feticcio bibliometrico VQR: gli indicatori bibliometrici In particolare verranno considerati: • l’Impact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nell’anno di pubblicazione; • il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011 http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf

9. Report on the pilot exercise to develop bibliometric indicators for the REF Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REFhttp://www.hefce.ac.uk/pubs/year/2009/200939/

11. Situazione emergenziale Leggi speciali

12. Solo gli apprendisti stregoni credono nelle ricette magiche • Competenza scientifica • Studio delle esperienze internazionali • Un’agenzia di valutazione tecnicamente ed eticamente adeguata

13. Valutazione: strumenti bibliometrici http://ricercatorialberi.blogspot.com

14. Valutazione: strumenti bibliometrici • Rapporto dell'accademia delle scienze francese esprime con chiarezza tutti i limiti di questo tipo di analisi • E' uno strumento utile che però deve essere affiancata alla valutazione analitica e di merito dei lavori scientifici. • Può servire, quando ci sono molti candidati, a fare una rapida panoramica senza che essa costituisca un elemento decisivo della valutazione. • Non si applica a ricercatori giovani • Non può prescindere da una valutazione di merito sul contributo del singolo autore nei lavori a più autori. • Non può essere usata per confrontare ricercatori di discipline diverse. • Bisogna capire la dinamica (storica)

19. Ike Atkare

20. Valutazione: strumenti bibliometrici 20 “Before we develop a pseudoscience of citation analysis, we should remind ourselves that what matters absolutely is the scientific content of a paper and that nothing will substitute for either knowing it or reading it. We should also recognize that citation often tells us more about the sociology of than about the science itself” Sydney Brenner “Citation Science” Science 3 July 1998: Vol. 281 no. 5373 p. 53

21. Problema chiave Se una ipotetica commissione che avesse dovuto decidere del finanziamento di un “progetto” al tempo T0 che poi ha portato al “Nobel” al tempo T1>T0, ed avesse applicato un dato criterio (ad esempio metrico) avrebbe preso la decisione giusta? 21

22. Problema chiave Prevedere il futuro ….. 22

23. Problema chiave Analisi dei criteri di valutazione da un punto di vista storico 23

24. Strategie per la divisione della torta • Top 5% • Spazio alle fluttuazioni (30-60%) • Finanziamento a pioggia (100%) La competizione è il motore della ricerca ? 24

27. Strategie per la divisione della torta La competizione è il motore della ricerca ? 27

28. Ideologia realtà

29. “…. Nella ricerca conta solo l' eccellenza: ciò che non è eccellente non lascia traccia nella Storia.” (Francesco Giavazzi, 22.11.2004, Corriere della Sera)

30. Davvero? 2010 The two papers in Science 2004 and Nature 2005 are the most cited papers on graphene … The Science paper has also been acknowledged as “one of the most cited recent papers in the field of Physics”. 30

31. E in Italia … • FIRB numero di domande presentate è 3.000-4.000, probabilità di successo del 2% per ogni progetto (nel 2008 2,8%). • Per superare la pre-selezione nel 2010 è stato necessario avere 60/60 • Quanto costa il tempo per preparare progetti che al 98% non verranno finanziati • European Research Council (Erc) : nel 2009 9,4% dei progetti presentati: 3 volte maggiore rispetto a quella italiana

32. http://lanl.arxiv.org/abs/1008.1586 32

33. http://lanl.arxiv.org/abs/1008.1586 33

34. 34

35. 35

38. Mentre la “domanda della regina” è stata la cartina di tornasole per mostrare che ci fosse un problema fondamentale nell’attuale ricerca economica, nello stesso periodo i cui questa domanda è stata posta è stato reso pubblico il risultato della valutazione per le discipline economiche in Inghilterra. Il risultato è stato sorprendente: l’economia come disciplina non ha ottenuto solo un buon piazzamento, ma ha avuto la migliore valutazione accademica di tutte le discipline in Inghilterra

39. “Com’è possibile che una valutazione così errata sia potuta accadere?” E’ chiaro infatti che ci sia un problema fondamentale con l’attuale corso della disciplina economica se la più grande crisi globale mai avvenuta dal 1929 è esplosa lasciando la maggior parte degli economisti sorpresi.

40. Valutazione • In the natural sciences, outside revolutionary periods, all the scientists accept the same paradigm. • In the social sciences, however, social scientists are divided into competing schools. Each school has its own paradigm, but these paradigms are often very different from each other. • The contrast is between a single paradigm and a multi-paradigm situation.

41. 2002

45. Distretto 13: un GEV da Oscar

46. Distretto 13: un GEV da Oscar Giannino 6 “primi firmatari” + 2 firmatari del manifesto di “Fermare il declino”

47. Siamo noi la libertà, siamo noi la California

50. Supponiamo di avere un sistema di separazione dai diamanti ordinari dei diamanti rosa che hanno un valore, diciamo, mille volte superiore ai primi. Supponiamo che questo sistema funzioni in modo molto efficiente nell’eliminare diamanti difettosi senza valore, ma abbia anche un difetto fondamentale: ogni tanto invece di eliminare il diamante imperfetto, elimina i diamanti rosa. Si può ben suppore che una volta scoperto questo difetto i produttori di diamanti smetterebbero subito di usarlo. Un’organizzazione sbagliata della ricerca può avere lo stesso difetto: buttare via il diamante rosa, i ricercatori che si ostinano a lavorare su ricerche di minoranza, magari impopolari per il momento, ma che sono destinati a produrre brillanti risultati in futuro”.