Evaluación de Impacto Chile Solidario: Primera cohorte de participantes

1. Evaluación de Impacto Chile Solidario: Primera cohorte de participantes O Larrañaga, D Contreras y J Ruiz Tagle PNUD

2. Responsabilidades • Los contenidos de la evaluación son responsabilidad de equipo PNUD. • El trabajo inicial de preparación de las bases de datos y análisis de metodologías de impacto fue realizado junto a la División Social de Mideplan. • Ver también tesis de magister U de Chile de Andrés Hojman (2008) y Fernando Hoces (2008)

3. Diagnóstico de inicios del 2000s • Estancamiento en la reducción de la extrema pobreza • Las familias por debajo de la línea de la extrema pobreza usaban en menor medida e intensidad los programas y servicios públicos existentes, ya sea por desconocimiento, falta de cupos o poca credibilidad en éstos.

4. Objetivos de Chile Solidario El objetivo es promover la incorporación de las familias en extrema pobreza a las redes sociales, mejorar su conocimiento sobre la oferta pública disponible y posibilitar su acceso a una mejor calidad de vida, de manera que superen la condición de indigencia. La condición de pobreza es considerada un problema multidimensional, caracterizada por bajos ingresos monetarios, escasa dotación de capital humano, débil capital social, y alta vulnerabilidad ante eventos como enfermedades, accidentes, cesantía y otros.

5. Componentes de Chile Solidario • Apoyo Familiar que acompaña por dos años a las familias en fortalecimiento psico-social, inserción en programas de oferta pública y cumplimiento de condiciones mínimas. • Acceso garantizado a subsidios monetarios (si elegibles) y a Bono de Protección Social y Bono de Egreso • Acceso preferente a programas de la oferta pública • Salud, educación, vivienda, dinámica familiar, empleo, capacitación e identificación.

6. Ámbito de la presente evaluación • Evalúa la primera cohorte, que ingresa en 2002 • Evalúa las dimensiones de ingreso monetario, empleo y vivienda • Un subconjunto de los objetivos del Programa • Evalúa entre 15 y 48 meses de intervención • Programa dura 5 años, los 2 primeros más intensivos

7. Selección de Beneficiarios • Población meta: alrededor de 210.000 familias en extrema pobreza • Junio del 2008: 278.548 familias egresados o participando (Base Puente) • Implementación: • Puntos de corte comunales extrema pobreza, Casen 2000 • Selección según percentil equivalente en ficha CAS • Prioridad de entrada según puntaje CAS aún cuando hay traslape de puntajes en el tiempo por cambio de ficha CAS y, excepcionalmente, accesibilidad geográfica.

8. Distribución Participantes en año de entrada, deciles Cas Fuente: Consolidados Cas y registros Chile Solidario

9. Evaluación de impacto • Impacto de un programa social: efectividad en el logro de sus objetivos • Desafío de la evaluación: aislar el efecto del programa de otros determinantes de los resultados • Grupo de control provee escenario contra-factual • Metodología ideal: experimento • Práctica predominante: “cuasi-experimentos”

10. Evaluaciones previas de Chile Solidario Galasso 2006; Perticara 2006; Carneiro-Galasso 2007 Impacto positivo en acceso a programas sociales y disposición psico-social. Sin evidencia clara de aumentos de ingreso y empleo, salvo áreas rurales. Basadas en Encuesta Panel Chile Solidario (2003-06); problemas de línea base y consistencia temporal en cuestionarios restan efectividad a la base de datos.

11. Esta evaluación usa Ficha CAS como Panel • Ficha Cas: evaluación socioeconómica de hogares para acceder a programas sociales entre 1998-2006. • Esta es la ficha CAS II, precedida por Ficha CAS I y seguida por FPS • Cobertura de 40% de la población y cerca de 80% en estratos de bajos ingresos. La ficha Cas tiene vigencia de dos años, requiriendo actualización continua • Identificador individual permite construir panel ficha CAS, para ser utilizada en evaluación Chile Solidario

12. Metodología de evaluación • Diferencias en diferencias (DD): cambio en resultado en el grupo de participantes (tratados) versus cambio en resultado en grupo de control • “antes-después”, controlando por efectos ambientales • Conclusiones dependen críticamente de la calidad del grupo de control • Cuán bien aproxima la situación del grupo de tratado si este no hubiera participado en el programa

13. Limitaciones del panel Ficha Cas • Restringe evaluación a variables en la Ficha • Potencial sesgo de selección si no hay medición final • Participantes requieren ficha CAS a la entrada y la salida • Grupo de control podría excluir a dos tipos de familias: • (i) quienes mejoran nivel socioeconómico y no vuelven a tomar la entrevista (sobre-estimación impacto) • (ii) quienes empeoran e ingresan a Chile Solidario en cohortes posteriores

14. Dimensiones de la evaluación • Ingreso autónomo del hogar • Número de personas ocupadas por hogar • Indice de vivienda en base a siete variables: • Materialidad de la vivienda • Infraestructura básica y sanitaria • hacinamiento.

15. Construcción del grupo de control • Cobertura universal en población de extrema pobreza dificulta construcción de grupo de control • Variación de punto corte CAS entre comunas permite selección controles con similar CAS a tratados • Para incluir como controles a participantes futuros se reduce mínimo de intervención a un año de “dosis” • Reduce sesgo de selección para controles que empeoran y se incorporan al programa

16. Selección de participantes y controles • Se consideran participantes que ingresan en 2002, con ficha CAS inicial seis meses antes de entrada y ficha CAS final después de un año de intervención • Para seleccionar controles: vecinos más cercanos según probabilidad de acceso (propensity score) • Variables probit: puntaje CAS, corte comunal CAS, cupos Chile Solidario en comuna, gestión comuna, sexo jefe, tamaño hogar, edad jefe, zona • Gran cantidad de potenciales controles permite elegir un grupo similar en puntaje CAS y otras variables

21. Cambio en ingreso autónomo hogar (M$)

22. Cambio en ingreso hogar según edad receptor bono

23. Cambio en ingreso hogar según intervalo medición

24. Cambio en ocupados por hogar

25. Cambio en ocupados por hogar según edad receptor bono

26. Cambio ocupados hogar según intervalo medición

27. Cambio en índice de vivienda

28. Cambio en índice de vivienda según edad receptor bono

29. Cambio en índice de vivienda según intervalo medición

33. Conclusiones e Interpretaciones • Cohorte 2002 presenta impacto positivo del programa en empleo y vivienda. En cambio, el impacto es negativo en ingreso autónomo. • Resultados robustos a número de vecinos en matching • Notar que participantes de Chile Solidario obtienen ganancias absolutas en todas las dimensiones evaluadas y para casi todos los subgrupos • Las pérdidas en ingresos son relativas a grupo de control

34. Conclusiones e Interpretaciones • Evaluación de ingresos excluye subsidios monetarios; que podrían aumentar ingreso total del hogar y reducir ingresos autónomos por efectos sustitución • Hay evidencia similar en programas de transferencias monetarias en otros países. • Ello es también consistente con caídas absolutas de ingreso y empleo cuando el receptor del bono sobre 60 años

35. Conclusiones e Interpretaciones Impacto del programa es particularmente favorable en el caso de receptores del bono en edades intermedias (29 a 42 años); pero negativo para jóvenes y adultos mayores Impacto tiende a ser mejor en zonas rurales que urbanas Esta evaluación no incluye las dimensiones de acceso a programas ni la variable psico-social, que son objetivos directos de Chile Solidario