270 likes | 457 Views
H-Index: definizione e calcolo Carla Barbieri Elena Bernardini. La valutazione della Ricerca. La valutazione della produzione scientifica si impone sempre più come processo necessario all’interno delle comunità scientifiche sia a livello nazionale che internazionale ed è motivato da:
E N D
H-Index: definizione e calcoloCarla BarbieriElena Bernardini
La valutazione della Ricerca • La valutazione della produzione scientifica si impone sempre più come processo necessario all’interno delle comunità scientifiche sia a livello nazionale che internazionale ed è motivato da: • • minore disponibilità di risorse finanziarie • • aumento dei costi della ricerca • Fornisce indicazioni per: • • valutare il curriculum di un ricercatore e l’attività scientifica delle strutture di ricerca • • ripartire quote di finanziamenti • • approvare progetti di ricerca • • migliorare l’attività di ricerca in prospettiva
La valutazione del sistema Universitario. L’ ANVUR • L. 24 novembre 2006, n. 286: • viene costituita l’ Agenzia Nazionale di Valutazione • del Sistema Universitario e della Ricerca, che • sostituisce il CIVR e il CNVSU http://www.anvur.org/. • D.P.R. 1 Febbraio 2010, n. 76: • viene pubblicato il Regolamento concernente la • struttura ed il funzionamento dell'ANVUR. • Tale Agenzia diventa operativa con l’insediamento, il 2 maggio 2011, del proprio Consiglio direttivo. • 7 novembre 2011 • viene pubblicato il bando VQR 2004-2010 • Valutazione della qualità della ricerca
Altri riferimenti normativi • Decreto Ministeriale 28 luglio 2009 n. 89Valutazione dei titoli e delle pubblicazioni scientifiche • stabilisce i parametri per la valutazione dei titoli e delle pubblicazioni dei candidati nelle procedure di valutazione comparativa per il reclutamento dei ricercatori • D.M. 25 maggio 2011, n. 243/2011 • Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all'articolo 24, della legge n.240/2010 • Decreto Ministeriale 4 agosto 2011 n. 344 Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato
La valutazione della ricerca: metodologie • Valutazione qualitativa • peer review, expert panel evaluation • frutto di competenze specifiche • processo lungo e costoso • interna alla comunità scientifica • ancora poco diffusa nelle scienze umane • Valutazione quantitativa • basata sugli indicatori bibliometrici • utilizza come punto di partenza le pubblicazioni scientifiche e le relative citazioni • esterna alla comunità scientifica
Impact Factor (IF) • Indice sintetico commerciale che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti. • E’ stato elaborato nel 1955 da Eugene Garfield, un chimico americano, è attualmente di proprietà di Thomson Reuters ed è pubblicato con cadenza annuale nel Journal Citation Reports (JCR).
Impact Factor: uso e abuso • E’ nato con lo scopo di stabilire il valore delle riviste scientifiche ed è stato utilizzato dai bibliotecari per scegliere quali riviste acquistare. • Si è affermato poi per quantificare la qualità delle singole pubblicazioni, soprattutto in area biomedica e scientifica in generale. • L’IF è legato ad una rivista e non ad un singolo articolo • Resta comunque fondamentale per definire standard disciplinari: le differenze, spesso notevoli, nei valori dell’IF dipendono infatti dal differente comportamento citazionale tra le discipline.
Valutare gli autori attraverso le citazioni • Formulare un giudizio di merito sulla qualità della ricerca svolta è un esercizio complesso, sia dal punto di vista pratico che dal punto di vista etico. • Non esistono criteri di giudizio assoluti per classificare l’importanza dei risultati scientifici. • Gli indici bibliometrici, cioè dell’impatto, costruiti con modelli matematico-statistici a partire dalle citazioni bibliografiche, sono il tentativo per una valutazione il più possibile oggettiva. • Recentemente l’ indice Hha ricevuto attenzione da parte della comunità scientifica per la presunta facilità di calcolo e l'equilibrio tra quantità di pubblicazioni e il loro impatto.
L’indice H / indice di Hirsch • Nel 2005 viene proposto dal fisico Jorge E. Hirsch, dapprima sul repository disciplinare ArXiv e poi su PNAS (2005) vol. 102 no. 46 16569–16572: • An index to quantify an individual’s scientific research • output • “I propose the index h, defined as the number of papers with citation number ≥ h, as a useful index to characterize the scientific output of a researcher.” • “A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np-h) papers have fewer than h citations each”
In parole più semplici … • Uno scienziato ha un n indice H se n. degli articoli di cui è autore (o co-autore) hanno ricevuto almeno n. citazioni ciascuno e gli altri articoli hanno ricevuto non più di n. citazioni. • Es. H-Index = 20 • Un autore ha pubblicato 20 articoli che hanno ricevuto ciascuno almeno 20 citazioni.
Cos’è l’H-Index? • È un parametro che tenta di misurare sia la produttività scientifica che l’impatto scientifico di un ricercatore. • Da solo fornisce due tipi di informazioni immediatamente comprensibili: quante pubblicazioni hanno ricevuto un certo numero dicitazioni.
L’impatto di Hirsch (!) • Il giorno 17/11/2011 l’articolo di Hirsch J.E. • risulta così citato: • WoS 904 volte + 33 volte (errata o incompleta citazione) • Google Scholar 1940 volte • Scopus 980 volte + 15 volte (errata o incompleta citazione)
H index: vantaggi • E’ riferito al singolo ricercatore • Combina la quantità con la qualità • Dimostra la correlazione tra indice e giudizio dei pari • Corregge l’impatto negativo di articoli non citati e quello positivo di articoli molto citati
H index: punti critici (1) • Alcune aree disciplinari di nicchia hanno bassi valori di H-index, così come riviste molto specializzate hanno bassi valori di IF • Non tiene conto del numero totale di citazioni di ciascun lavoro • Non considera il contesto delle citazioni (rivista su cui è pubblicato l’articolo; citazioni negative) • Non esclude le autocitazioni • Non considera il numero di coautori e quindi il peso del singolo per quello specifico lavoro • È influenzato dall’accuratezza con cui vengono contate le citazioni, e quindi dal database consultato
H index: punti critici (2) • Penalizza i giovani ricercatori e le ricerche innovative • Spinge il ricercatore ad investire le proprie energie nella ricerca in maniera conservativa (mainstream) • Può solo accrescere: le citazioni ricevute possono infatti aumentare anche se il ricercatore ha smesso di essere produttivo • La produzione scientifica di scienziati con lo stesso H index non è spesso comparabile (Pensate a due scienziati con indice 10, ma uno autore di 10 articoli ciascuno con 10 citazioni e l’altro con 90 articoli, 10 citati 10 volte, 80 citati 9 volte)
H-index: applicabilità • L’analisi delle citazioni è applicabile principalmente nei settori disciplinari che pubblicano in lingua inglese. • Per l’area umanistica / storico sociale e per l’area geografico-linguistica, non anglocentriche, non esistono per ora strumenti bibliometrici adeguati.
I nuovi indici • Una serie di varianti dell'h-index è stata proposta allo scopo di correggere e superare gli evidenti difetti di tale indice.
Esempi di nuovi indici • g index: attribuisce peso ad articoli molto citati • a index: calcola la media del n. di citazioni ricevute da articoli facenti parte di h core • h index normalizzato: riduce gli effetti del coautoraggio • h-b index: si basa sulle ricerche di uno specifico argomento o composto • j-index: rimuove gli svantaggi di h index attraverso la comparazione di 18 indici diversi
G-index • Indice creato dal matematico Leo Egghe: • Egghe, L. 2006 Theory and practise of the g-index. Scientometrics 69(1): 131-152. • [Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g2 citations. • Ha lo scopo di migliorare l’h-index dando maggior peso agli articoli molto citati oltre il valore dell’indice h di uno scienziato.
A-index • Jin Bihui ha elaborato un ulteriore indicatore, detto "a-index“, che è definito come la media del numero di citazioni ricevute dagli articoli facenti parte dell’ “h-core”(set di articoli con le maggiori citazioni). • Jin B.H.(2006) H-Index: An evaluation indicator proposed by scientist. Science Focus, 1 1 (2006), pp. 8–9. (In Chinese).
Utilizzo dell’H-index • Per quanto criticato sotto vari aspetti, l’H-index sta raccogliendo un certo gradimento da più parti del mondo accademico e della ricerca. • Insieme ai nuovi indici viene sempre più utilizzato per valutare l’andamento della ricerca all’interno di dipartimenti e enti di ricerca. • Viene richiesto per la partecipazione ai concorsi universitari. • Viene richiesto per valutare l’assegnazione di fondi di ricerca.
D.M. 28 luglio 2009 n. 89Valutazione dei titoli e delle pubblicazioni scientifiche • Prende in considerazione sia pubblicazioni cartacee che elettroniche (art. 3, comma 1) • Rafforza il ruolo degli indicatori bibliometrici (art. 3, comma 4) • “Nell'ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l'uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche dei seguenti indici: • numero totale delle citazioni; • numero medio di citazioni per pubblicazione; • "impact factor" totale; • "impact factor" medio per pubblicazione; • combinazioni dei precedenti parametri atte a valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili) “
Bando di concorso per: • Programma per la ricerca Sanitaria 2009: Attività di • Ricerca finalizzata • (Allegato del bando di concorso) • http://www.salute.gov.it/bandi/dettaglio.jsp?id=63 • … • Fino a 5 dei più recenti lavori scientifici del richiedente, • indicando impact factor della rivista su cui è stato pubblicato il • lavoro nell’anno di pubblicazione, il numero di citazioni • dall’anno di pubblicazione fino all’anno di richiesta del • finanziamento e l’indice h.
Aspetti critici delle normative e dei bandi di concorso • Mancano indicazioni chiare e trasparenti: • H-index oppure quale? • quali banche dati e/o strumenti citazionali utilizzare per il calcolo? • l’impact factor è un indice calcolato sulle citazioni dell’anno precedente: es. una pubblicazione del 2011 non ha ancora un IF 2011.
Dove trovare le citazioni • WoS (ricerca tradizionale): dal 1985 • WoS (Cited ref search): per primo autore anche prima del 1900 • Scopus: dal 1996 • Embase: dati presi da Scopus (link diretto con Scopus) • Scifinder: si trovano citazioni degli anni ’70, ma non è completo come WOS • Google scholar: dati recenti, non nota la completezza • Psychinfo: contiene citazioni anche di articoli datati, ma Il DB è molto specifico per l’area disciplinare • Siti degli editori
L’evoluzione degli indicatori bibliometrici • Gli indicatori bibliometrici, sempre più numerosi e variegati, si basano sul presupposto teorico che il numero di citazioni ricevute da una pubblicazione sia indice di qualità. • In realtà la valutazione è un processo complesso, condizionato anche da altre variabili ed è attorno a queste che si sta sviluppando un fitto dibattito sia teorico che empirico. • In particolare nel contesto Open Access, si stanno integrando le metriche tradizionali con il numero dei downloads, i commenti e le note della comunità scientifica (social network analysis).