Evaluation Tools: Counterfactual Analysis in Lombardy's Dote Experience
Explore methodologies used in the analysis of social policies in Lombardy's Dote FL. Learn about impact on employment and empowerment. Discover the approach and results of evaluating JEREMIE to support social cooperatives.
Evaluation Tools: Counterfactual Analysis in Lombardy's Dote Experience
E N D
Presentation Transcript
Strumenti per la valutazione: l’analisicontrofattualenell’esperienzadellaRegioneLombardiaAndrea Naldini and Marco Pompili Network for the Better future of the social economy Milano, 5 Dicembre 2011
Introduzione • Intervento Ismeri Europa: spunti di riflessione sulla valutazione delle politiche sociali • 1) Esperienza della Dote FL Lombardia: metodologie di analisi estendibili alla Dote lavoro disabili • 2) Brevi cenni e risultati preliminari sulla valutazione di Jeremie a supporto delle cooperative sociali (in corso)
Background • Dal 2008 la dote costituisceilprincipalestrumentodellaRegioneLombardia di politicheattive del lavoro • La Dote, finanziando la domanda, ha l’obiettivo di responsabilizzaregliindividuibeneficiari e migliorare la qualitàdeiservizioffertiloro (workfare approach) • Glioperatoripubblici e privatisono “competitors” nel quasi-mercatodella Dote • 3.752 interventi di Dote formazione e lavoroconclusi a Febbraio 2010 • Aspettative elevate tragliattorisulfunzionamento e glieffetti
Le domande di valutazione • Funzionamento e qualitàdella Dote • Impattooccupazionale - Si evidenzianodifferenzeneitassi di occupazionetrapercettori Dote e non percettori dote? ....ma anche: • Impatto in termini di empowerment deisoggetti- Si riscontranoimpattisull’attivazionedeisoggettipartecipantialla dote rispettoai non partecipanti?
Metodologia: compositaedintegrata • Analisi qualitative per comprendereilfunzionamento e la qualitàdeiservizierogati (Rapporto 2009) • Rapporto 2010 (questapresentazione): • Survey pressoibeneficiari e non della Dote per comprenderepercorsi verso l’occupazione, contenutiattivitàrealizzate, attivazione • Integrazionebanchedati (vedidopo) • Stimaimpattocontrofattuale (tecniche di matching) sull’occupazione e l’empowermentdeidestinatari
Integrazionetrafonti di informazioni • DatiamministrativiRegioneLombardia(informazioni sui richiedenti la Dote) utili per ilcampionamento • Datiamministratividei CPI (informazionisucarrierelavorativedeitrattati e non trattati con la Dote: ma 30% deitrattati non coperti) utili per verificareirisultatidella survey e per ricostruirei tempi di inserimento • Indaginediretta(condizionioccupazionali di personetrattate e non trattate, soddisfazione, qualità del lavorotrovato...) • Le trerisorsesono state integrate in un dataset unico
Risultatigenerali • 43,5% deibeneficiaridella Dote hanno un lavorodopo 8-10 mesie il 60% hannoavutoalmenounaesperienzadopo la Dote; • Gliimpattinettisull’occupazionesonopositivi solo per la Dote Lavoro(bassasignificativitàstatistica) • Gliimpattinettisull’attivazionedeisoggetti è statisticamentesignificativa e positiva (7%-8%) • L’82% deibeneficiarihannocercatoattivamentelavorodopo la Dote (effetti di scoraggiamentolimitati, intorno al 5%) • Piùche l’80% degliintervistatisonosoddisfatie ripeterebberol’esperienza. L’aspettodamigliorare è relativoall’assistenza post Dote nellaricerca del lavoro
Risultati dell’analisi di impatto: propensity score Probabilità di essereoccupato Probabilità di essereinattivo
Principalimessaggi • La performance della Dote è in lineaconquella di alristrumentisimili e confermal’importanza e l’efficacia di promuovereserviziindividualizzati • Unametodologia simile puòessereestesaalla dote lavorodisabili (la dote lavoro per persone con disabilitàpsichica è unodeglistrumenti di valorizzazionedell’economiasocialelombarda) maggioreenfasi sui percorsi di attivazione del soggetto maggioreattenzioneallaqualitàdell’ambiente di lavoro
L’esperienza del FondoJeremie in Lombardia – brevicenni (in fase di ultimazione)
Jeremie per le cooperative sociali Background • Operativodal 2009 (citato in un seminarioMarzo2011 del “The Network for the better future for social economy”) • Jeremie è rivolto alle cooperative sociali di tipo A e B e alle cooperative di produzione e lavoro (con 30% minimo di lavoratori svantaggiati). Finanzia interventi di capitalizzazione, attraverso micro-crediti di 4.000 euro concessi a soci, o potenziali soci, (sino a un massimo 50 soci a cooperativa 200.000 Euro). • 50% finanziato dal FSE e non deve essere restituita se il socio rimane per 5 anni nella cooperativa, l’altro 50% è concessa da intermediari finanziari si rimborsa in 60 mesi a tassi fisso.
Domande, metodologie e fonti • Domande di valutazione finalizzate a comprendere il reale sostegno dato al consolidamento delle cooperative sociali e prime considerazioni su possibili effetti nelle relazioni tra soci e cooperativa • Anche in questo caso impiego di analisi controfattuali –> metodo “Differencein Differences” (DID) • Di nuovo integrazione di fonti di informazioni necessarie: • Dati di monitoraggio dell’intervento (cooperative e soci che hanno beneficiato) • Dati albo regionale cooperative sociali (cooperative non destinatarie) • Dati indagine diretta questionario online presso 1.000 cooperative circa, di cui 244 aderenti a Jeremie (Tasso di risposta: 119 Jeremie e 170 non Jeremie)
Alcunirisultati...preliminari • Buon tasso di copertura delle cooperative sociali • Elevato tasso di mobilitazione dei soci delle cooperative • Risorse Jeremie utilizzate in modo integrato con strategia di risposta alla crisi da parte delle cooperative la flessibilità è uno degli elementi molto apprezzati dello strumento • La maggioranza delle Cooperative non avrebbe capitalizzato in autonomia senza l’intervento • Forte additività dell’intervento positiva no deadweight. • ImpattoPositivo E Siginificativo Sulla Variazione Di CapitaleSociale questo è unodegliindicatoriimportantinellavalutazionedellavaloresocialedelleimpresesociali (presentazioneRegioneLombardia a CracoviaSettembre 2011)
Lezioni dall’esperienza della Lombardia • Le valutazionirealizzatesonovicine al terminedegliinterventiripeterle per verificaresostenibilità(in letteraturaspessoaumentanoglieffettipositivinel tempo) • l’integrazionedellefonti di informazioniè un fattorecruciale per la valutazionedelle a sostegnodell’economiasociale • L’uso di metodi di analisicontrofattualerendonomaggiormenterobustiirisultati • Metodicontrofattualipossonoessereapplicatianchesuvariabili non strettameneeconomiche e suindicatorisociali(p.e. empowerment deidestinatari)