Cosa significa valutare?

1. Cosa significa valutare? • La valutazione è un’attività di tipo conoscitivo finalizzata ad esprimere un giudizio su azioni, nel nostro caso poste in essere dalla Pubblica Amministrazione Questa attività di tipo conoscitivo può assumere varie connotazioni come: • Descrizione quantitativa o qualitativa dell’attività svolta • Descrizione comparata fra diverse attività • Costruzione di graduatorie fra progetti La Valutazione delle Politiche Pubbliche

2. Cosa significa valutare? • Costruzione di classifiche fra soggetti che attuano o erogano politiche • Descrizione dei punti di forza e debolezza (Analisi SWOT: Strengths, Weakness, Opportunities, Threats) • Giudizi di performance • Analisi degli effetti delle azioni • Previsioni dei risultati delle azioni La Valutazione delle Politiche Pubbliche

3. CINQUE MODI DI INTERPRETARE LA VALUTAZIONE (1/2) • La valutazione come strumento per allocare le risorse agli usi/persone più meritevoli (comparazione tra soggetti: voti a scuola, valutazione dei dirigenti, …) • La valutazione come controllo delle performance delle organizzazioni (individuare quanto bene opera una organizzazione, o parte di essa: confronto tra ‘misurazioni’ di ciò che si è prodotto e ‘valori desiderati’) • La valutazione come mezzo per rendere conto delle realizzazioni effettuate (‘rendicontazione’ ai principali portatori di interessi) La Valutazione delle Politiche Pubbliche

4. CINQUE MODI DI INTERPRETARE LA VALUTAZIONE (2/2) • La valutazione come analisi critica dei processi di attuazione delle politiche (ricostruire i processi per cercare di comprendere gli scostamenti: ‘entrare nei processi’) • La valutazione come stima degli effetti delle politiche (efficacia degli strumenti; ex post, ma proiettata nel futuro) La Valutazione delle Politiche Pubbliche

5. Aspetti della valutazione • Monitoraggio: misurare che cosa si è fatto • Valutazione di efficienza: giudicare come si è fatto • Valutazione di efficacia: misurare gli effetti • Previsione: prevedere gli impatti futuri • Benchmarking: giudicare gli attori delle azioni La Valutazione delle Politiche Pubbliche

6. Valutazione: di politiche o di servizi? L’azione considerata nella valutazione può riguardare: • una politica, ovvero un intervento che ha lo scopo di modificare una situazione a vantaggio di qualcuno o di risolvere un problema • Valutazione degli effetti dell’intervento • la produzione di un bene pubblico, ovvero generalmente un servizio • Valutazione dell’output della produzione e quindi della soddisfazione degli utenti La Valutazione delle Politiche Pubbliche

7. Valutazione: di politiche o di servizi? (2) Quindi la valutazione dei risultati di un’azione dipende dal suo tipo e dal suo contesto: • Se riguarda una politica, ovvero un intervento che ha lo scopo di modificare una situazione a vantaggio di qualcuno o di risolvere un problema, i risultati riguardano la capacità di generare un effetto (un cambiamento) e di raggiungere i soggetti interessati a tale cambiamento. • Se riguarda la produzione di un bene pubblico, ovvero generalmente una prestazione di servizio per soddisfare un bisogno pubblico, i risultati riguardano la capacità di soddisfare gli utenti e di offrire un servizio a tutti i destinatari. La Valutazione delle Politiche Pubbliche

8. 10 Aspetti chiave della valutazione • Rilevanza • Economicità • Efficacia • Efficienza • Processo • Qualità • Impatto • Addizionalità e dislocazione • Utilità • Sostenibilità La Valutazione delle Politiche Pubbliche

9. Valutazione ex ante • Si utilizza il termine valutazione anche per indicare attività di ricognizione ragionata di una situazione (settoriale, territoriale) per identificare l’opportunità e la tipologia di interventi necessari ad un suo miglioramento ed arrivare quindi a definire gli obiettivi e gli strumenti di intervento • In questo caso si parla di valutazione ex ante N. B. In altri casi il termine valutazione ex ante viene usato anche per indicare attività puntuali di apprezzamento di proposte progettuali tra cui scegliere La Valutazione delle Politiche Pubbliche

10. Valutazione in itinere e valutazione ex post In senso stretto con il termine valutazione ci si riferisce alla valutazione delle scelte di intervento compiute con l’obiettivo di identificarne gli effetti (cosa è successo di ricollegabile agli interventi). Adottando una terminologia coniata in ambito comunitario, si parla di valutazione in itinere (mentre l’intervento è ancora in fase di realizzazione) o ex post (dopo che l’intervento è stato realizzato). La valutazione ha quindi non solo lo scopo di accertare cosa le politiche effettivamente realizzate abbiano prodotto, ma anche di estrarre elementi generali e specifici per modificare gli interventi in essere, accertarsi dell’opportunità della loro continuazione o disegnare nuovi interventi o diverse modalità di attuazione. La Valutazione delle Politiche Pubbliche

11. Attori ed azioni delle diverse fasi della valutazione La Valutazione delle Politiche Pubbliche

12. Perché si valuta La Valutazione delle Politiche Pubbliche

13. Quando si valuta La Valutazione delle Politiche Pubbliche

14. Cosa si valuta La Valutazione delle Politiche Pubbliche

15. Con chi si valuta La Valutazione delle Politiche Pubbliche

16. Destinatario della valutazione La Valutazione delle Politiche Pubbliche

17. Come si valuta La Valutazione delle Politiche Pubbliche

18. Monitoraggio e Valutazione ex post (1/2) L’attività di monitoraggio consiste nella descrizione di una politica in termini di procedure (es. tempi di erogazione di incentivi), realizzazioni (es. incentivi concessi), risultati (es. numero di progetti realizzati), impatti (es. posti di lavoro attivati). Questa analisi viene svolta attraverso la costruzione di appositi indicatori (indicatori di realizzazione, di risultato, di impatto, ecc.), espressi generalmente in termini quantitativi. L’attività di monitoraggio è richiesta (insieme a quella di valutazione) in modo esplicito per l’utilizzo dei fondi strutturali della U.E. In questo caso si parla (forse più propriamente) di attività di rendicontazione (della spesa, ovvero finanziaria, o delle realizzazioni, ovvero “fisica”). La Valutazione delle Politiche Pubbliche

19. Monitoraggio e Valutazione ex post (2/2) Questa attività di monitoraggio è solitamente propedeutica alla valutazione come analisi degli effetti delle politiche, in quanto raccoglie informazioni su fenomeni connessi all’attuazione della politica stessa. Non esprime giudizi e non deve quindi essere confusa con l’attività di valutazione in senso proprio, che invece ha come obiettivo l’individuazione degli effetti delle politiche. Non è infatti possibile considerare, a meno di ipotesi molto restrittive, la semplice variazione nel tempo degli indicatori di realizzazione o di impatto quale stima degli effetti delle politiche. La Valutazione delle Politiche Pubbliche

20. Un’analisi d’insieme dei diversi aspetti della valutazione La valutazione diventa efficace se applicata durante tutto il ciclo di programmazione, nella fase di definizione dei programmi e progetti, nella successiva fase di gestione ed infine per l’analisi dei risultati e degli effetti. Tale valutazione avviene tramite l’analisi di opportuni indicatori di contesto e di impatto, indicati nei diversi programmi. Una valutazione dettagliata dell’intervento prevede l’analisi di alcuni aspetti specifici che permettono di caratterizzare il processo di valutazione. La Valutazione delle Politiche Pubbliche

21. Un’analisi d’insieme dei diversi aspetti della valutazione Problemi socioeconomici Impatti Bisogni Risultati Intervento Obiettivi Risorse Operazioni Realizzazioni Valutazione Efficienza Pertinenza Efficacia Utilità e sostenibilità La Valutazione delle Politiche Pubbliche

22. Quesiti - chiave • Efficacia: in che misura il programma ha permesso di raggiungere gli obiettivi specifici e globali? • Efficienza: in che misura le risorse (in particolare quelle finanziarie) si sono tradotte in realizzazioni o in risultati (realizzazioni, risultati e impatti)? • Utilità e sostenibilità: il programma ha avuto un’incidenza sui gruppi o sulle popolazioni destinatarie rispetto ai loro bisogni? Se sì, i cambiamenti (o i benefici) si manterranno nel tempo una volta completato il programma? • Pertinenza: gli obiettivi del programma sono pertinenti rispetto all’evoluzione dei bisogni della popolazione e dell’economia? La Valutazione delle Politiche Pubbliche

23. Valutazione e dati statistici Il tipo e la quantità di informazioni quantitative, ovvero di insiemi di indicatori statistici, sono funzione delle tecniche valutative utilizzate. Questo tipo di informazione non esaurisce mai l’intera attività valutativa, che è fatta di interpretazione e di ricostruzione delle catene causali, attività queste necessarie ad esprimere un giudizio in relazione alla “qualità” dell’intervento. Tuttavia gli stessi benchmark della valutazione, ovvero gli obiettivi dell’intervento, vengono generalmente qualificati ricorrendo a grandezze statistiche, possibilmente scelte fra quelle non direttamente manipolabili dal policy maker. La Valutazione delle Politiche Pubbliche

24. Valutazione/sorveglianza La Valutazione delle Politiche Pubbliche

25. Articolazione del processo di valutazione • Definizione del disegno di valutazione • Valutazione dell’attualità della diagnosi e della strategia ed esame della collocazione del piano/progetto nel contesto degli altri eventi • Valutazione di coerenza e di pertinenza dell’intervento effettivamente avviato e dei criteri di selezione applicati • Valutazione di efficacia ed efficienza ed individuazione dei primi impatti • Valutazione della funzionalità ed adeguatezza del sistema di gestione e dell’avanzamento istituzionale complessivo • Valutazione della qualità e del funzionamento del sistema di monitoraggio La Valutazione delle Politiche Pubbliche

26. Individuazione e quantificazione di una batteria di indicatori • Aspetti descrittivi • Legami logico-funzionali nel processo di programmazione, nell’implementazione e valutazione • Meccanismi che presiedono all’identificazione di un set di indicatori • Problemi di quantificazione e misurabilità La Valutazione delle Politiche Pubbliche

27. Il sistema della sorveglianza e gli indicatori Il sistema informativo della sorveglianza deve permettere di seguire l’evoluzione del programma relativamente al progresso finanziario delle spese effettuate, alle realizzazioni fisiche, ai risultati ottenuti e all’impatto. Per ciascun intervento, il sistema della sorveglianza deve definire un insieme di indicatori tale da permettere: • L’elaborazione, la revisione ed il trattamento dei dati finanziari di base (costo e finanziamento opportunamente disaggregati (per anno, …); • Il controllo dell’avanzamento di bilancio delle spese pubbliche (iscrizione in bilancio, impegni, pagamenti), nel rispetto delle scadenza temporali prescritte; La Valutazione delle Politiche Pubbliche

28. Il sistema della sorveglianza e gli indicatori (2) • Il controllo dell’avanzamento delle spese effettuate dai realizzatori delle opere e dai “beneficiari finali”; • Il controllo dell’avanzamento fisico delle misure (es. km di strade, allievi di corsi di formazione, imprese incentivate, ecc.); • La verifica delle procedure messe in atto e della capacità di gestione degli enti attuatori (es. attraverso la numerosità delle fasi procedurali, i tempi amministrativi, le caratteristiche della struttura tecnico-amministrativa, il profilo e la numerosità del personale impegnato); • I risultati ottenuti; • L’impatto e il grado di soddisfazione degli obiettivi fissati La Valutazione delle Politiche Pubbliche

29. Tipologie di indicatori Di Riferimento Contesto Di Impatto Esogeno Realizzazione INDICATORI Diretti Risultato Impatto Programma Efficacia Derivati Efficienza La Valutazione delle Politiche Pubbliche

30. Gli indicatori di contesto • Indicatori di riferimento: rappresentati da indicatori statistici di tipo strutturale, economico, ambientale, costruiti con la finalità di misurare ed evidenziare le caratteristiche del territorio in cui il programma trova attuazione, e sulle quali il programma stesso ha l’obiettivo generale di incidere. • Indicatori di impatto esogeno: segnalano gli effetti prodotti sul contesto socioeconomico di riferimento da fattori esogeni ovvero non riconducibili all’impatto del programma. Tali indicatori dovrebbero servire ad isolare gli effetti del programma dagli effetti non riconducibili ad esso (analisi controfattuale, cfr. oltre); tale operazione non è in genere agevole. La Valutazione delle Politiche Pubbliche

31. Gli indicatori di programma (1) Riguardano unicamente la categoria o la quota di popolazione o l’area che è direttamente interessata dal programma. Misurano gli effetti diretti ed indiretti del programma. • Indicatori di risorse: segnalano la disponibilità ed il grado di utilizzazione degli input del programma ovvero dei mezzi finanziari, umani, organizzativi e normativi mobilitati per l’attuazione degli interventi. • Indicatori di realizzazione: sono riferiti all’attività in sé e sono in genere misurati in unità fisiche o monetarie (es. km di strade, allievi di corsi di formazione, imprese incentivate, ecc.). La Valutazione delle Politiche Pubbliche

32. Gli indicatori di programma (2) • Indicatori di risultato: rappresentano gli effetti diretti ed immediati di un programma. Forniscono indicazioni circa le trasformazioni che incidono sul comportamento (o sui risultati) dei diretti beneficiari. Possono anch’essi essere quantificati in termini fisici (riduzione del tempo di percorrenza, numero di persone effettivamente formate, numero di incidenti stradali, ecc.) o finanziari (finanziamenti indotti del settore privato, contrazione dei costi di trasporto, ecc.). • Indicatori di impatto: illustrano le conseguenze del programma al di là degli effetti immediati sui diretti beneficiari. Possono venire definite due nozioni di impatto, a seconda che le conseguenze di cui trattasi appaiano dopo un certo tempo, ma siano direttamente riconducibili all’azione svolta (impatti specifici), oppure si concretizzino a lungo termine ed interessino una popolazione più vasta (impatti globali). La Valutazione delle Politiche Pubbliche

33. Indicatori derivati • Indicatori di efficacia: misurano il rapporto fra gli effetti ottenuti e gli effetti attesi (valutati ex ante). Possono essere calcolati a partire da indicatori (semplici) di realizzazione, di risultato o di impatto. • Indicatori di efficienza: misurano il rapporto fra gli effetti ottenuti e le risorse mobilitate. Possono esser calcolati a partire da indicatori (semplici) di realizzazione (determinando il costo unitario degli interventi), di risultato o di impatto (determinando il rapporto costo/efficacia). La Valutazione delle Politiche Pubbliche

34. Collegamenti fra indicatori di Contesto e di Programma Fattori esogeni Modifiche di contesto di partenza Indicatori di contesto Effetti indiretti del programma Stato iniziale del contesto + Effetti del programma + Modifiche del contesto dovute ad altri fattori = STATO FINALE Effetti diretti del programma Indicatori di programma Implementazione del programma Difficoltà di collegare indicatori di programma e di contesto La Valutazione delle Politiche Pubbliche

35. Un esempio di indicatori riferito a progetti infrastrutturali La Valutazione delle Politiche Pubbliche

36. Un esempio di indicatori riferito a progetti di erogazione di servizi La Valutazione delle Politiche Pubbliche

37. Un esempio di indicatori riferito ad aiuti alle imprese La Valutazione delle Politiche Pubbliche

38. Le fonti di informazione e le difficoltà di quantificazione Gli indicatori possono essere classificati sulla base di tre categorie di dati: Dati statistici ufficiali Dati derivanti dalla gestione del Programma Dati derivanti da indagini ad hoc Contesto e Impatto Risorse Realizzazioni Risultati Impatto specifico La Valutazione delle Politiche Pubbliche

39. Il monitoraggio È il complesso di: • Procedure, tecniche ed attività volte alla rilevazione periodica dei dati relativi allo stato di attuazione progressivo di un programma/progetto. • Attraverso un sistema di indicatori, il monitoraggio consente di raccogliere, elaborare e classificare il complesso sistema di flussi informativi (finanziari, fisici, procedurali, amministrativi) che accompagnano il funzionamento di un intervento finanziato da fonti pubbliche La Valutazione delle Politiche Pubbliche

40. di Realizzazione di Risultato di Risorsa di Impatto di Efficacia di Efficienza Indicatori di monitoraggio Indicatori DIRETTI Indicatori DERIVATI La Valutazione delle Politiche Pubbliche

41. Criteri di scelta degli indicatori di monitoraggio • Pertinenza (rispetto a priorità ed obiettivi) • Quantificazione (capacità di definire i valori obiettivo e, eventualmente, stabilire alcuni dati di base quale riferimento iniziale) • Affidabilità (chiarezza di definizione e semplicità di aggregazione) • Disponibilità (immediata in vista dell’inserimento nel sistema di sorveglianza) La Valutazione delle Politiche Pubbliche

42. Requisiti degli indicatori di monitoraggio Dal punto di vista metodologico la scelta degli indicatori dovrebbe garantire la capacità di fornire un valido supporto alla sorveglianza e valutazione di un programma. In particolare l’UE ha individuato una pluralità di criteri cui dovrebbe ispirarsi un sistema di indicatori: • Pragmatismo • Pertinenza • Copertura • Equilibrio • Disponibilità • Freschezza • Sensibilità • Comparabilità • Normatività • Affidabilità • Comunicabilità La Valutazione delle Politiche Pubbliche

43. Approccio controfattualeEffetto su cosa? Specificare la variabile – risultatoEffetto di cosa? Specificare la variabile – trattamentoEffetto = cambiamento nella variabile – risultato attribuibile in senso CAUSALE alla variabile - trattamentoMETODI DI VALUTAZIONE:sperimentalinon sperimentali:la “distorsione da dinamica spontanea” (prima/dopo)la “distorsione da differenze di partenza” (con/senza) E La Valutazione delle Politiche Pubbliche

44. Un esempio (1)(ripreso e adattato da: Formez materiali – Valutare gli effetti delle politiche pubbliche) Il gruppo ‘trattato’: 50 quartieri (in altrettante città) interessati nel periodo 2000-04 da un programma di recupero urbano. Tra le finalità, la riduzione degli atti di vandalismo. Atti vandalici denunciati nell’anno 2000 per 100000 abitanti: 62,90 Atti vandalici denunciati nell’anno 2004 per 100000 abitanti: 66,37 + 3,47 !! Il gruppo ‘non trattato’ (selezione non casuale, con privilegio per i quartieri più degradati): 250 quartieri, pure degradati Atti vandalici denunciati nell’anno 2000 per 100000 abitanti: 46,37 Atti vandalici denunciati nell’anno 2004 per 100000 abitanti: 57,50 + 11,13 La Valutazione delle Politiche Pubbliche

45. Un esempio (2)(ripreso e adattato da: Formez materiali – Valutare gli effetti delle politiche pubbliche) Metodo delle ‘differenze nelle differenze’:+ 3,47 – (+ 11,13) = - 7,66 Tiene conto delle differenze nelle situazioni di partenza, ma … Differenze nel trend? Occorrono ulteriori dati, ad esempio quelli del 1996: ‘trattati’ tasso 54,96 ‘non trattati’ tasso 39,96 dai quali emerge che, prima del trattamento, nei quartieri trattati, l’incremento nel tasso di vandalismo era più accentuato, con un effetto addizionale pari a (46,37 – 39,96) – (62,90 – 54,96) = - 1,53 La Valutazione delle Politiche Pubbliche

46. REGRESSIONE E MATCHING STATISTICO Regressione (modello parametrico): - Semplice • Multipla (preferibile, per la possibilità di considerare numerose variabili esplicative, legate alle caratteristiche di partenza osservabili) Finalità: depurare i dati dalle componenti imputabili alle differenze di partenza nelle caratteristiche osservabili Matching statistico (non parametrico): • Costruire un gruppo di controllo ex post, dalle caratteristiche di partenza più simili possibile al gruppo dei trattati (in termini di variabili osservabili). Utilizza i soggetti ‘più confrontabili’. • Dipende da: come misurare la distanza tra unità; quale criterio di abbinamento considerare. La Valutazione delle Politiche Pubbliche

47. Un esempio (3)(ripreso e adattato da: Formez materiali – Valutare gli effetti delle politiche pubbliche) La regressione semplice, su una variabile dicotomica (Ti =1 per i quartieri trattati; Ti = 0 per quelli non trattati) fornisce gli stessi risultati precedenti REGRESSIONE MULTIPLA Per ogni unità (quartiere imo) si inseriscono nel modello le variabili: DIS = tasso di disoccupazione (al 2000, anno di partenza) IMM = tasso di immigrazione (al 2000, anno di partenza) VANDi = a + b Ti + g IMMi + d DISi + ei ovvero VANDi -g IMMi - d DISi = a + b Ti + ei La Valutazione delle Politiche Pubbliche

48. Un esempio (4)(ripreso e adattato da: Formez materiali – Valutare gli effetti delle politiche pubbliche) Stima del modello: VANDi = - 23,0 - 0,164 Ti + 2,71 IMMi + 3,68 DISi Si depura il modello dalle differenze nei livelli di partenza, ma permangono – se esistenti – le differenze nei trend, sulle quali si può intervenire operando sul ‘modello differenze’, cioè assumendo come variabile dipendente D VANDi = 2004VANDi – 2000VANDi. Risultati: D VANDi = 8,72 - 8,10 Ti + 0,766 IMMi + 0,164 DISi La Valutazione delle Politiche Pubbliche

49. Matching (1) 1 – Calcolo del propensity score (regressione logistica, probit) Probabilità di essere incluso tra le unità trattate. Si calcola per tutte le unità statistiche e solo sulla base di informazioni pre-trattamento. 2 – Distanza tra unità (pi = propensity score dell’ima unità): dij = |pi – pj| 3 –Abbinamento: criteri vari, tra cui: La Valutazione delle Politiche Pubbliche

50. Matching (2) Nearest neighbour matching – Ogni unità trattata è abbinata a quella con il propensity score più vicino Radius matching – Ogni unità trattata è abbinata con tutte quelle non trattate il cui propensity score dista meno di un d prefissato da quello dell’unità trattata. Stratification matching – Si suddivise la distribuzione in intervalli di propensity score. Kernel matching – Ogni unità trattata è abbinata con tutte le non trattate, pesate in modo inversamente proporzionale alla distanza del propensity score di ciascuna da quello dell’unità trattata. La Valutazione delle Politiche Pubbliche