El rol de la evidencia científica en la innovación de las políticas de protección social

1. El rol de la evidencia científica en la innovación de las políticas de protección social Ryan Cooper Director Ejecutivo J-PAL LAC

2. Agenda • ¿Cómo se produce evidencia? • Valor de evidencia en Política: Ejemplo Oportunidades • ¿Por qué no se produce suficiente evidencia? • Soluciones Estructurales y Oportunidades

3. ¿Cómo se produce evidencia?

4. Evidencia Causal Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto. • ¿Cuál es el impacto de un programa de transferencias condicionadas en educación? • ¿Cuál es el efecto de reducir el tamaño de clases en los puntajes de los estudiantes? • ¿Cuál es el efecto del encarcelamiento en la reincidencia criminal?

5. Efecto de política A en resultado B • Cuatro elementos importantes: • El problema y la población que presenta problema. • Resultado esperado (que mide resolución del problema). • Política (programa, política, tratamiento, etc) • Punto referencia (Contrafactual). • ¿Cómo estaría la población que presenta el problema si no recibiera programa?

6. Complejidad medir efecto causal 18.2 Salud 16.6 Aporte Padres Pre-Básica 13.4 8.1 Tipo de Escuela Puntaje académico 7.4 6.8 Educación Padres Ingresos -0.2 NO OBSERVABLES

7. ¿Cómo se produce evidencia? • Resultados de población objetivo Resultados que población objetivo hubiera obtenido si no hubieran participado en el programa (hipotético) IMPACTO (evidencia causal)

8. Estimación del Contrafactual 10 días enfermo Ya no podemos identificar el impacto = 20 días enfermo ≠

9. Estimación del Contrafactual ¿Situación sin programa de individuo que recibe programa? • ¿Estamos aislando el efecto del programa de otros elementos relevantes? • ¿Estamos comparando manzanas con manzanas?

10. Estimación del Contrafactual Programa de Transferencias Ingresos Tiempo T=0 Inicio Programa

11. Estimación del Contrafactual Programa de Transferencias Impacto Ingresos Lo que hubiera pasado Tiempo T=0 Inicio Programa

12. Estimación del Contrafactual Lo que hubiera pasado Impacto Programa de Transferencias Ingresos Tiempo T=0 Inicio Programa

13. Estimación del Contrafactual Evaluaciones experimentales • Grupos de control y tratamiento creados aleatoriamente • Muy confiables Métodos no experimentales • Participantes antes vs. Participantes después • Diferencia simple (participantes vs. no participantes) • Emparejamiento • Diferencias en diferencias (combina 1 y 2) • Variables instrumentales • Regresión discontinua

14. ¿Cómo se produce evidencia? T C

15. ¿Valor evidencia. Ejemplo Oportunidades?

16. Valor de evidencia • Expectativa rol evidencia en política • Eficiencia, Innovación y Democracia • Ejemplo Oportunidades www.untechoparamipais.org

17. ¿Cómo se hace política pública?

18. ¿Por qué evaluar impacto? • Asignación presupuestaria coja • 3 problemas • Innovación débil o nula • Política polarizada – Democracia frágil

19. ¿Por qué evaluar un programa? • ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas?

20. Oportunidades: El ejemplo • Cambio estrategia combate a la pobreza. • Fortalecer imapcto redistributivo de gasto público. • Incentivar acumulación de Capital Humano en segmentos más pobres de población. • Reforma profunda en México.

21. Oportunidades: El ejemplo ¿Qué fue lo que permitió el éxito del programa? • Empoderamiento político. • Apoyo externo del BID. • Avalado por evidencia científica.

22. Oportunidades: El ejemplo ¿Rol de la evidencia en éxito? • Dio sustentabilidad política al programa en el tiempo. • Entregó información al mundo de efectividad innovación. • A muy bajo costo político y financiero. • Político: Una vez que hay piloto, diseño experimental es óptimo y trivial. • Financiero: (a) información bien público (b) Orden de magnitud de producción evidencia bajo en relación a producción de programa en escala.

23. Inicio

24. Gran Crecimiento en 10 años

25. La evaluación de impactoesútiltambiénparaprobarpequeñasmodificaciones • Cambiar la estructura de un PTMC en Colombia pudo mejorar drásticamente el impacto del programa para un costo dado(Barrera-Osorio, Bertrand, Linden, et al; 2011) • Postergar parte de las transferencias condicionadas a una suma fija a la hora de reinscripción aumenta la inscripción sin disminuir la asistencia diaria. • Incentivar la graduación en vez de incentivar sólo la asistencia ha demostrado ser particularmente eficaz. • Transferencia Condicionada vs. No Condicionada. (Baird, Chirwa, Garfein, et.al.; 2011) • Estimación del efecto relativo entre transferencias condicionadas y no condicionadas en Malawi.

26. ¿Por qué no se produce suficiente evidencia?

27. Diferenciaabismal de evidencia en relación a lasCienciasNaturales

28. Algunasposiblescausas de la sub-producción de evidencia • Problemas de Agencia • Multiples agentes con intereses distintos • Ilusión de Irrelevancia • Gran confianza al “sentido comun” y sobreestimación de los costos

29. Algunasposiblescausas de la sub-producción de evidencia • Los tiempos de evaluación no siempre se ajustan a los ciclos políticos • Evaluación vista como herramienta de control y no de aprendizaje • Carácter de bien público de la información

30. 4) ¿Soluciones estructurales y oportunidades?

31. Ideas estructurales Fomentar una cultura de evidencia y aprendizaje en el quehacer público 1. Promover mecanismos formales para institucionalizar el aprendizaje 2. Empoderar a la ciudadanía para demandar evidencia en las políticas públicas 3.

32. Ideas oportunistas Aprovechar Pilotos 1. Acercar a políticos con académicos 2. Facilitar el uso de evidencia 3.