valutazione triennale della ricerca vtr 2001 2003 l esperienza del panel 13
Download
Skip this Video
Download Presentation
Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13

Loading in 2 Seconds...

play fullscreen
1 / 32

Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13 - PowerPoint PPT Presentation


  • 124 Views
  • Uploaded on

Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13. Franco Peracchi Universit à di Roma “Tor Vergata”. Scopi . Suggerire regole e procedure di riferimento per la valutazione nazionale della ricerca.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13' - brilliant


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
valutazione triennale della ricerca vtr 2001 2003 l esperienza del panel 13

Valutazione Triennale della Ricerca (VTR) 2001-2003: L’esperienza del Panel 13

Franco Peracchi

Università di Roma “Tor Vergata”

scopi
Scopi
  • Suggerire regole e procedure di riferimento per la valutazione nazionale della ricerca.
  • Stabilire un collegamento tra risultati della valutazione e allocazione delle risorse.
  • Avviare procedure sistematiche di raffronto tra le strutture di ricerca.
  • Favorire la diffusione dei risultati della ricerca.
  • Assicurare la massima trasparenza del processo di valutazione.
caratteristiche principali
Caratteristiche principali
  • Si svolge su base triennale.
  • Ha lo scopo di valutare la performancescientifica delle strutture di ricerca (Università, enti pubblici di ricerca, ecc.) e dei progetti speciali finanziati dal MIUR nei 3 anni precedenti.
  • La performance scientifica delle strutture di ricerca è misurata dalla “qualità” dei loro prodotti di ricerca.
  • L’organizzazione generale e il calendario dell’esercizio sono fissati dal MIUR.
  • La partecipazione è volontaria (ma tutte le Università pubbliche hanno partecipato).
  • La selezione dei prodotti di ricerca viene effettuata dalle strutture.
  • La valutazione dei prodotti di ricerca si svolge attraverso un sistema dipeer-review.
il civr
Il CIVR
  • Il processo di valutazione è stato condotto dalCIVR (Comitato di Indirizzo per la Valutazione della Ricerca) tramite un insieme di Panel di area.
  • Il CIVR dispone di personale tecnico e bilancio propri, e può usare esperti esterni, anche stranieri.
  • La spina dorsale del CIVR è il sistema informatico,disegnato e implementato dal CINECA, il quale fornisce versioni PDF di quasi tutti i prodotti (non circolano copie fisiche dei prodotti).
  • Nella sua composizione attuale, il CIVR ha iniziato la sua attività nel maggio 2003.
  • Il CIVR consiste di 7 esperti, nominati dal Governo, ed eleggono un Presidente al loro interno.
membri del civr
Membri del CIVR
  • Mario Bressan (Chimica Generale, D’Annunzio)
  • Michele Coccia (Letteratura Latina, Sapienza)
  • Franco Cuccurullo (Medicina Interna, D’Annunzio, Presidente)
  • Enrico Garaci (Microbiologia, Tor Vergata)
  • Fiorella Kostoris Padoa Schioppa (Economia Politica, Sapienza)
  • Carlo Rizzuto (Fisica, Genova)
  • Renato Ugo (Chimica Inorganica, Milano)
compiti del civr
Compiti del CIVR
  • Formulare le linee guida dell’esercizio di valutazione, e specialmente i criteri per la valutazione dei prodotti.
  • Organizzare il processo di valutazione.
  • Scegliere i componenti dei 14 panel di area e dei 5 panel per aree speciali, che hanno il compito di condurre l’esercizio di valutazione.
  • Produrre un rapporto finale che contiene una graduatoria delle strutture per ciascuna area basata sulla valutazione data ai prodotti di ricerca presentati da ciascuna struttura.
aree e aree speciali
Aree e aree speciali
  • Scienze matematiche e informatiche
  • Scienze fisiche
  • Scienze chimiche
  • Scienze della terra
  • Scienze biologiche
  • Scienze mediche
  • Scienze agrarie e veterinarie
  • Ingegneria civile ed architettura
  • Ingegneria industriale e dell’informazione
  • Scienze dell’antichità, filologico-letterarie e storico-artistiche
  • Scienze storiche, filosofiche, psicologiche e pedagogiche
  • Scienze giuridiche
  • Scienze economiche e statistiche
  • Scienze politiche e sociali

15 a Scienze e tecnologie per una società dell\'informazione e della comunicazione

15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti

15 c Scienze e tecnologie dei nano/microsistemi

15 d Scienze e tecnologie aerospaziali

15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili

15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

selezione dei prodotti
Selezione dei prodotti
  • Per ciascuna area scientifica, le strutture hanno selezionato un insieme di prodotti di ricerca (libri, capitoli di libro, articoli su rivista, brevetti, ecc.), prodotti durante il triennio 2001-03.
  • A ciascun prodotto prescelto, le strutture hanno assegnato anche una categoria ISI.
  • Il numero totale di prodotti selezionati da una struttura doveva essere uguale al 50% del numero medio di ricercatori equivalenti a tempo pieno (ETR) nel periodo 2001-03.
  • Non era obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono state giudicate inattive.
  • Queste due regole hanno consentito qualche trade-off tra aree.
  • Non è chiaro come le strutture hanno selezionato i prodotti. Alcune strutture chiaramente non hanno capito o hanno male interpretato i criteri resi noti dal CIVR.
criteri di valutazione dei prodotti
Criteri di valutazione dei prodotti
  • Qualità: “Posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale”.
  • Rilevanza: “Valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità”.
  • Originalità/Innovazione: “Contributo a nuove acquisizioni o all\'avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità”.
  • Internazionalizzazione: “Posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni”.
classificazione dei prodotti
Classificazione dei prodotti

In base ai giudizi indipendenti di almeno 2 esperti esterni e alla propria valutazione, i panel di area classificano ciascuno dei prodotti ricevuti in una delle seguenti 4 classi:

  • Eccellente (20% superiore della scala di valore condivisa dalla comunità scientifica internazionale).
  • Buono (60-80%).
  • Accettabile (40-60%).
  • Limitato (40% inferiore).
componenti del panel 13 12 di cui 8 da universit italiane e 4 da istituzioni straniere
Componenti del Panel 13 (12, di cui 8 da Università italiane e 4 da istituzioni straniere)
  • Pierre Dehez (UCL, Belgio)
  • Jean-Paul Fitoussi (OFCE, Francia)
  • Francesco Giavazzi (Bocconi)
  • Daniel Gros (CEPS, Belgio)
  • Marco Lippi (Sapienza)
  • Luigi Pasinetti (Cattolica)
  • Daniel Peña (Carlos III, Spagna)
  • Alessandro Penati (Cattolica)
  • Franco Peracchi (Tor Vergata, Presidente)
  • Alessandro Petretto (Firenze)
  • Alessandro Riccaboni (Siena)
  • Guido Tabellini (Bocconi)
prodotti valutati dal panel 13
Prodotti valutati dal Panel 13

971 prodotti distinti (cioè al netto dei prodotti presentati da più strutture) da 4 categorie della classificazione ISI:

  • 574 (59%) da IS0058 (Economia),
  • 201 (21%) da IS0142 (Matematica),
  • 183 (19%) da IS0132 (Management),
  • 13 (1%) da IS0328 (Sociologia e Antropologia).
tipologie di prodotto nel panel 13
Tipologie di prodotto nel Panel 13
  • 526 (54%) articoli in riviste con fattore di impatto (IF),
  • 187 (19%) libri,
  • 156 (16%) articoli in riviste senza IF,
  • 102 (11%) capitoli di libro,
  • nessun prodotto di altra tipologia (brevetto, ecc.).
slide15

Tipologie di prodotto

Distribuzione per area

lingua dei prodotti nel panel 13
Lingua dei prodotti nel Panel 13
  • 770 (79%) in Inglese,
  • 193 (20%) in Italiano,
  • 5 in Francese,
  • 3 in altre lingue.
slide17

Lingua dei prodotti

Distribuzione per area

attivit del panel 13
Attività del Panel 13
  • L’esercizio di valutazione della ricerca è iniziato alla fine di Gennaio 2005.
  • Dopo l’elezione del Presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il Panel in tre sottogruppi: Economia, Business/Finanza e Statistica/Econometria.
  • L’assegnazione dei prodotti ai Panelistiè stata fatta dal Presidente, tenuto conto dell’area di specializzazione e dei suggerimenti di ciascun Panelist.
sottogruppi del panel 13
Sottogruppi del Panel 13
  • Economia (463 prodotti): Dehez (76), Fitoussi (43), Gros (92), Pasinetti (73), Petretto (87), Tabellini (92).
  • Business/Finanza (249 prodotti): Giavazzi (75), Penati (83), Riccaboni (101).
  • Statistica/Econometria (259 prodotti): Lippi (84), Peña (85), Peracchi (90).
le 9 riviste pi frequenti per categoria isi
Le 9 riviste più frequenti per categoria ISI
  • Economics [82 articoli su 415 (19.8%)]: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), Journal of Economic Theory (7).
  • Management [20 articoli su 72 (27.8%)]: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), Revue Française du Marketing (2).
  • Mathematics [53 articoli su 188 (28.2%)]: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), Journal of Statistical Planning and Inference (4).
assegnazione dei prodotti agli esperti esterni
Assegnazione dei prodotti agli esperti esterni
  • L’assegnazione di un prodotto ad esperti esterni (almeno due) è stata fatta dal Panelist incaricato.
  • C’è stato disaccordo tra i Panelist circa l’ interpretazione e il peso da dare ai criteri CIVR per la valutazione dei prodotti.
  • Ogni Panelist ha seguito criteri propri nell’assegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti.
  • Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti.
  • Per circa 2/3 dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (3 mesi). Per il restante 1/3, il processo di valutazione esterna si è concluso solo alla fine di novembre (8 mesi).
giudizi finali
Giudizi finali
  • Basandosi sui giudizi degli esperti esterni, i Panelist incaricati hanno proposto la loro proposta di giudizio agli altri componenti del sottogruppo.
  • Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta d’accordo sul giudizio proposto.
  • Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo 1 o 2 iterazioni) per 967 dei 971 prodotti (99.6%).
  • Per 830 di questi 967 prodotti (l’85.8%), il consenso è stato unanime.
  • Per il sottogruppo Business, ilconsenso non è stato unanime in 6 casi, per il sottogruppo Economia in 123 casi (26.7% dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in 1 caso.
  • Per 4 prodotti (3 di Economia, 1 di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza all’interno del panel.
slide28

Giudizi finali

Distribuzione per area

evidenza statistica
Evidenza statistica
  • Gli articoli in riviste con IF tendono a ricevere le valutazioni più alte, mentre i capitoli di libro quelle più basse.
  • Per gli articoli publicati in riviste con IF, la probabilità di ricevere un giudizio di “Eccellente” o “Buono” cresce con l’IF della rivista.
  • Gran parte delle differenze nella distribuzione dei giudizi tra i Panelist scompare una volta che si controlla per le differenze nella tipologia e nella lingua dei prodotti ricevuti.
  • Queste relazioni sono statisticamente fortemente significative.
  • La loro interpretazione non però affatto ovvia. Per esempio: È la reputazione della rivista dove un prodotto è stato pubblicato che aiuta a creare il giudizio dato a un prodotto, oppure è il giudizio dato a un prodotto checonferma la reputazione della rivista?
regressioni per categoria isi variabile dipendente punteggio civr 1 e 8 b 6 a 2 l
Regressioni per categoria ISI(variabile dipendente: punteggio CIVR = 1*E + .8*B + .6*A + .2*L)

*** livello di significatività osservato (p-value) < .01

** 0.1 ≤ p-value < .05

* 0.5 ≤ p-value < .10

conclusioni
Conclusioni
  • Il CIVR è stato un grande successo, riuscendo a processare in breve tempo (circa 10 mesi) un gran numero di prodotti (quasi 18.000).
  • Il sistema informatico che rappresenta la spina dorsale del CIVR ha funzionato in modo molto efficiente e senza intoppi.
  • L’esercizio potrebbe essere svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale.
  • In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal VTR 2001-2003.
  • Le strutture potrebbero aggiustare la loro politica e i loro incentivi con maggiore gradualità.
ad