Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia

1. Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche Aline Pennisi Ministero dell’economia e delle finanze - RGS 14 giugno 2011

2. principali messaggi del libro bianco • circoscrive il concetto di “valutazione” (termine generalmente utilizzato per indicare attività molto diverse) • valutare l’efficacia delle politiche intesa come capacità di produrre gli effetti desiderati • individuare i motivi del ritardo italiano nell’introdurre la valutazione degli effetti come strumento di aiuto alle decisioni • presentare a un pubblico non specialista alcuni dei metodi disponibili per la valutazione degli effetti • la valutazione contribuisce anche a migliorare la qualità e vivacità del dibattito pubblico, con benefici in termini di: • maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo status quo • maggiore capacità di esplicitare i bisogni della società l’approcciopriviliegato è quellocontrofattuale e, in particolare, dell’esperimentorandomizzato (RCTs) sifocalizzal’attenzionesusingoliinterventi con popolazioni di beneficariomogenei e trattamentotendenzialmenteuniforme

3. buone motivazioni per valutare l’efficacia delle politiche There is nothing a Government hates more than to be well-informed; for it makes the process of arriving at decisions much more complicated and difficult. -- John MaynardKeynes • per i politici • legittimazione e accountability nei confronti di cittadinanza / elettori • maggiori capacità negoziali con parti che vestono interessi conflittuali • per i policy-makers (disegnano la politica, scrivono le norme) • migliore capacità di decidere come allocare le scarse risorse disponibili tra diverse opzioni di intervento • spinta a “sperimentare” / individuare meccanismi innovativi per rispondere ai bisogni della società • maggiore fiducia nell’amministrazione da parte dell’opinione pubblica • ma anche per i practitioners e service providers(gli insegnanti, gli operatori sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il “trattamento”) • hanno spesso domande “più semplici” e “ meno multi-dimensionali” a cui rispondere (più adatte ai RCTs) • le modalità effettive di attuazione di un intervento “nascondono” spesso dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)

4. la valutazione va disegnata assieme all’intervento • Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di disegnare gli interventi, ma porta anche molti benefici in termini di: • razionalizzazione del disegno dell’intervento • esplicitando le varabili-risultato • introducendo sin dall’inizio “varianti” del trattamento da testare • rendendo più trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione casualmente…) • riduzione dei costi della valutazione • orientando i sistemi di gestione e monitoraggio dell’intervento in maniera da fornire dati indispensabili per la valutazione • RCTs possono fornire evidenze “forti” con campioni piccoli e (per gli effetti di breve) in tempi relativamente rapidi • confronto con “problemi” (imprevisti) in corso di attuazione • per garantire la validità dell’esperimento diventa fondamentale porsi il problema della non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel gruppo di trattamento …. gettando luce su dettagli dell’implementazione

5. anche con una valutazione controfattualeè a volte difficile fornire risposte sul “che fare?” • le evidenze possono essere ambigue o addirittura contraddittorie • un caso classico della letteratura, Minneapolis DomesticViolenceExperiment, nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What Works Clearinghouse) • se l’effetto è zero vuol dire davvero che l’intervento “non funziona”? • il “dosaggio” potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunità di practitioners) • anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie nell’intento di capire perché un effetto si produce o meno • se l’effetto è positivo, lo stesso intervento funzionerà a regime e/o altrove? • il problema più grosso dell’approccio controfattuale è la cd. “validità esterna” … Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)

6. valutazione degli effetti e riqualificazione della spesa • Le sfide per la riqualificazione della spesa sono due: • migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei servizi • sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della società (competenze, immigrazione, invecchiamento, innovazione tecnologica, ambiente, …) • l’approccio del Libro bianco enfatizza il contributo della valutazione al secondo aspetto, tuttavia può essere utile anche per il primo • spingere alla misurazione della quantità e qualità dei servizi erogati (senza la quale è difficile analizzare l’efficienza produttiva e organizzativa) • individuare correttivi alle modalità operative esistenti (per es., capire come migliorare il targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania) E’ però importante non restringere il campo della valutazione agli interventi sperimentali e “replicabili” (molte politiche hanno popolazioni di beneficiari eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri strumenti per fornire utili indicazioni …)

7. opportunità per la valutazione degli effetti • E’ più semplice avviare grandi stagioni di valutazione in “goodtimes” … • maggiore disponibilità di risorse finanziare con cui sperimentare nuovi interventi • risorse finanziare e tempo da dedicare alla valutazione degli interventi • … ma è tanto più necessario oggi per imparare come evitare i cd. “tagli lineari” alla spesa • esistono molti presupposti in tal senso a cui però non sono ancora conseguiti risultati visibili: • normativa sull’AIR/VIR • “Relazione sullo stato della spesa” che ciascun Ministro invia al Parlamento annualmente entro il 15 giugno (legge n. 244/2007) • l’introduzione di un programma (prima straordinario e ora permanente) di analisi e valutazione della spesa pubblica affidato al Ministero dell’economia e delle finanze e la recente istituzione di Nuclei di analisi e valutazione della spesa. Come ambito di collaborazione tra ciascun amministrazione e il MEF/RGS, con compiti di individuazione delle aree di inefficienza della spesa e di inefficacia delle politiche perseguite

8. ricercatori e funzionari pubblici • Potrebbero essere i protagonisti principali di un cambiamento verso una maggiore pratica di valutazione delle politiche. Oltre a impegni dall’alto, possono essere maggiormente mobilitati dal basso … • ricercatori • la comunità accademica è chiamata a contribuire … ma i ricercatori sono guidati da ciò che è pubblicabile su riviste internazionali (interventi specifici al contesto italiano e interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono studi che replicano precedenti valutazioni …) • funzionari pubblici • per essere utilizzata (e più facilmente accettata), la valutazione deve essere fatta anche “dall’interno delle amministrazioni” (meglio competenze più diffuse o luoghi deputati di eccellenza?) • naturalmente serve anche acquisire strumenti pratici per affidare una valutazione all’esterno (dall’elaborazione ed espressione di domande di valutazione, alla selezione dei valutatori, alla gestione del processo, alla diffusione dei risultati) … e per questo esistono spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre moduli ad hoc nelle scuole SSEF e SSPA)

9. offerta: migliorare qualità e accessibilità dei dati • “open government data” • superare le difficoltà di diffusione di microdati amministrativi e di indagini • favorire la creazione di dati longitudinali (nel rispetto della privacy) indispensabili in molti campi come quello dell’istruzione e delle politiche sociali per seguire nel tempo gli effetti • rendere i dati accessibili a TUTTI, non solo ai “ricercatori accreditati” • curare la maggiore fruibilità via internet (cfr. il successo dell’indagine OECD-PISA) • ricordando che queste azioni portano benefici di per sé (prima ancora dei risultati delle valutazioni): • costringono gli annunci politici ad essere più fattuali • incoraggiano la creazione di una domanda di valutazione • favoriscono lo sviluppo di studi condotti in modo spontaneo

10. domanda: adempimenti normativi e clausole valutative • Regolamenti UE per la politica di coesione: occasioni per il 2014-2020 • Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in termini della diffusione di una pratica di valutazione e di disponibilità di risorse per farla, anche perché: • mentre la valutazione ex-ante e in itinere sono poste sotto la responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi quella di impatto) rientra esclusivamente nella responsabilità della Commissione Europea e non degli Stati Membri … • Clausole valutative nelle norme che definiscono l’intervento • l’inserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata natura sperimentale, favorisce l’introduzione del disegno della valutazione sin dal disegno dell’intervento • più che introdurre clausole “sunset”, occorre orientare le clausole valutative in maniera da assicurare: • la disponibilità dei dati necessari e la loro accessibilità a terzi • un sistema di governance della valutazione per mettere assieme i funzionari pubblici e i ricercatori

11. domanda: creare incentivi per l’utilizzo della valutazione • la fissazione di tetti di spesa pluriennali per le amministrazioni e target quantificati • la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di revisioni della spesa (spendingreviews) e tetti di spesa per i budget dei Ministeri. Questo tipo di impianto favorisce: • la definizione degli obiettivi misurabili associati ai principali programmi di spesa, ossia un’esplicitazione degli effetti desiderati • la responsabilizzazione dei dirigenti pubblici rispetto al raggiungimento di risultati con un vincolo finanziario complessivo, creando maggiore pressione per l’individuazione di interventi efficaci • la riforma delle legge di contabilità e finanza pubblica (n. 196/2009) contiene alcuni elementi da valorizzare in tal senso (voto parlamentare a livello di programma di spesa, univoca identificazione tra programma e CDR, indicatori da associare ai programmi, programmazione pluriennale, delega all’art.40 con “tetti di spesa”, …) • ilmaggioredecentramentodeiservizi e l’attuazione del federalismofiscalecreano le condizioni per sperimentare un laboratorio di politichediversificate e per sviluppare un nuovoruolotracentro e periferiasulraggiungimento di risultati a fronte di un vincolorigidosullerisorsetrasferite (LEP e obiettivi di servizio)