17 de Agosto 2009

1. 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS(CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) 17 de Agosto 2009 Alberto Arenas de Mesa Director de Presupuestos

2. SISTEMADE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES • Los resultados que estamos entregando hoy muestran el esfuerzo significativo que ha hecho esta administración evaluando programas e instituciones a través de las distintas líneas de evaluación, lo que ha permitido generar información relevante para mejorar la gestión de los programas públicos y la asignación y uso de recursos. • Este esfuerzo se refleja en el compromiso de que 1 de cada 2 programas del Presupuesto serán evaluados en el período 2006-2010, lo que equivale a 155 programas o instituciones. • Esto ha significado aumentar en este período la escala de evaluaciones comprometidas en más de 30%, respecto del promedio evaluado entre 2000 y 2005. En 2006 se evaluaron 22 programas e instituciones, y hoy se están evaluando 38. • En términos de recursos, entre 2000 y 2005 se había evaluado el equivalente al 12% del Presupuesto de ese último año. Considerando las evaluaciones comprometidas entre 2006 y 2009, el porcentaje equivale al 34% del Presupuesto 2009.

3. SISTEMADE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES Sistema que ha creado distintas líneas de evaluación de manera gradual que entregan información relevante para mejorar asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público. Evaluaciones de Programas Gubernamentales (EPG) (1997): Evaluación de diseño y gestión de un programa, y resultados a nivel de producto (cobertura, focalización, entre otros). Utiliza sólo información disponible. Realizada por un panel de evaluadores externos, aprox. 6 meses de duración, totalmente conectada al ciclo presupuestario. Evaluaciones de Impacto (EI) (2001):Además de lo anterior, permite evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasi-experimentales, construyendo grupos de control y línea de base. Realizada por un entidad evaluadora externa, aprox. 18 meses de duración. Evaluaciones Comprehensivas del Gasto (ECG) (2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados.Realizada por un entidad evaluadora externa, aprox. 14 meses de duración. • Evaluación de Programas Nuevos (EPN) (2009): Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases y utilizando preferiblemente diseño experimental. Realizado con apoyo Panel Internacional Asesor, aprox. 24 a 36 meses de duración.

4. SISTEMADE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES Meta: 155 programas o instituciones serán evaluadas durante esta administración ( ): Evaluaciones en proceso.

5. EVALUACIONES COMPROMETIDASPeríodo 2006-2009 Con el objetivo de ampliar la cobertura de las acciones de evaluación, la presente administración comprometió la evaluación de 155 programas/instituciones en el período 2006-2010, lo que significó aumentar los programas e instituciones a ser evaluadas en más de un 30% respecto del promedio evaluado entre 2000 y 2005.

6. Categorías de Efectos Definición 1.- Ajustes Menores Programas que requieren de pequeños ajustes, tales como perfeccionar sus sistemas de información, monitoreo y seguimiento; precisar algunos aspectos de diseño y/o ajustar procesos administrativos o de gestión interna. 2.- Modificaciones en el Diseño y/o Procesos de Gestión Interna del Programa Programas que requieren incorporar cambios en el diseño de alguno de sus componentes y/o actividades, o en sus procesos de gestión interna (ej.: revisar criterios de focalización, implementar sistemas de información que permitan un mejor seguimiento y monitoreo de sus resultados, perfeccionar la coordinación interna y/o externa y fortalecer las capacidades institucionales). 3.- Rediseño Sustantivo del Programa Programas que requieren reformulaciones o reestructuraciones profundas en su diseño y/o en su estructura organizacional y/o en sus procesos de gestión interna; o completar aspectos sustantivos del diseño necesarios para lograr los objetivos. 4.- Reubicación Institucional Programas que en atención a sus objetivos requieren cambio de dependencia institucional hacia el Ministerio o Servicio responsable de la ejecución de la política pública a la que corresponde el programa. 5.- Finalización o Reemplazo Íntegro del Programa Programas que requieren modificaciones tan sustantivas que equivalen a su reemplazo íntegro o su absorción a la función institucional; o que finalizan su período de ejecución comprometido y en consideración a sus resultados y/o vigencia del problema que dio origen al programa, no se justifica extenderlo por otro período; o que en atención a sus resultados no mantienen sus asignaciones presupuestarias. Evaluación de Programas Públicos (EPG-EI)Definición de Categorías

7. Evaluación de Programas Gubernamentales (EPG) 2009Recomendaciones - Implicancias

8. Evaluación de Impacto (EI) 2007 Recomendaciones - Implicancias

9. Resultados Evaluación de Programas PúblicosRecomendaciones – Implicancias(EPG – EI)

10. Evaluación Comprehensiva del Gasto (ECG) 2008Recomendaciones - Implicancias

11. Estado de Avance Evaluación Programas Nuevos (EPN) • Protocolo de Acuerdo con el Congreso que acompañó el despacho de la Ley de Presupuestos 2009 compromete el diseño de 5 evaluaciones en esta línea: • Subvención Escolar Preferencial (SEP) • Reforma Previsional: Aumento de Cobertura Previsional y Nivel de Pensiones para Mujeres • Reforma Previsional: Subsidio al Ingreso para Jóvenes (Subsidio a la Contratación y Cotización de Jóvenes) • Chile Crece Contigo • Inglés Abre Puertas • Estos 5 programas equivalen a más 50% del incremento de recursos entre 2008 y 2009. • Firma de Convenio con el Centro de Microdatos de la Universidad de Chile, que contempla el apoyo del Panel Asesor en el diseño de las 5 evaluaciones comprometidas. • Los diseños de evaluación elaboradas por el Panel Asesor serán informados en el Informe de Finanzas Públicas en Octubre de 2009.

12. EJEMPLOS

13. Línea Evaluación de Programas Gubernamentales (EPG) 2009

14. 1. AJUSTES MENORES PROGRAMA SERVICIOS COMUNITARIOS – FUNDACIÓN NACIONAL PARA LA SUPERACIÓN DE LA POBREZA – Ministerios de Planificación y Trabajo DESCRIPCIÓN El programa entrega servicios de apoyo y asistencia técnica a personas y familias pobres de sectores urbanos para resolver necesidades educacionales, de salud y habitabilidad, a través de la contratación de trabajadores comunitarios (personas desempleadas correspondientes al segundo perceptor de ingresos en el hogar, preferentemente mujeres) que a su vez reciben capacitación para ampliar y fortalecer su empleabilidad. RESULTADOS Y RECOMENDACIONES El programa tiene una focalización adecuada, valorándose positivamente la pertinencia y diversidad de servicios ofrecidos en tres áreas: educación, salud y vivienda y habitabilidad, donde se han obtenido mejoras en lenguaje y comprensión lectora, matemática, convivencia con sus pares y autoestima; así como en el cumplimiento de los requisitos para acceder a subsidios habitacionales. El número de trabajadores comunitarios contratados por el programa para entregar los servicios ha aumentado en un 8,6% entre 2005 y 2008, alcanzando a 1.777 personas este último año, de las cuales 97% son mujeres, lo que es consistente con el diseño del programa. De estos trabajadores, 90% recibió certificación otorgada por una entidad de educación superior o por una OTEC, 21% encontró trabajo en la misma área desempeñada en el programa luego de egresar del mismo. Esto ha significado un aumento en la tasa de ocupación de los trabajadores comunitarios desde 38% a 54% en igual período. La principal recomendación señala que se requiere perfeccionar la definición de los estándares mínimos de calidad de las prestaciones entregadas.

15. 2. MODIFICACIONES EN EL DISEÑO Y/O PROCESOS DE GESTIÓN INTERNA DEL PROGRAMA PROGRAMA DE TRATAMIENTO Y REHABILITACIÓN – CONACE – Ministerio de Interior DESCRIPCIÓN: El programa entrega tratamiento y rehabilitación gratuitos en centros de salud públicos y privados a quienes presentan dependencia o abuso en el consumo de drogas, a través de tres líneas, cada una asociada a distintas poblaciones y planes de atención, según la complejidad de los casos: población general, mujeres y adolescentes infractores de ley con consumo problemático. RESULTADOS Y RECOMENDACIONES En 2008 el programa tuvo una cobertura de 76% para el componente de población general, 31% para el componente de mujeres y 87% para el de jóvenes infractores. El programa ha logrado cumplir con la entrega del servicio, considerando las metas planificadas, en el tiempo esperado y según los estándares definidos. Sin embargo, no cuenta con información respecto de la permanencia de los beneficiarios en el tratamiento ni del resultado de su aplicación. Por tanto, se desconoce las causales de egreso de la población atendida, las que pueden variar desde un “alta terapéutica” hasta el “abandono del tratamiento”. En ese contexto, se recomienda fortalecer, mediante convenios, los registros de los beneficiarios en la base de datos de FONASA para contar con información sobre la efectividad de estas intervenciones. Asimismo, se deben reforzar acciones (visitas, rescate, prevención de recaídas, seguimiento, etc.) que aseguren la retención de los beneficiarios en el proceso de tratamiento y rehabilitación. 15

16. 3. REDISEÑO SUSTANTIVO DEL PROGRAMA PROGRAMA RECUPERACIÓN DE SUELOS DEGRADADOS – SAG – M. Agricultura DESCRIPCIÓN El programa busca recuperar la condición productiva de los suelos degradados, contribuyendo que los productores agrícolas adopten sistemas de producción sostenibles en sus predios, a través de la entrega de bonificaciones en seis líneas de acción: fertilización fosfatada, prácticas de conservación, enmiendas calcáreas, siembras de praderas, prácticas de rehabilitación y prácticas de rotación de cultivos. RESULTADOS Y RECOMENDACIONES El programa ha cubierto un promedio anual de 212.000 hectáreas entre 2005 y 2008, 47% de las cuales fueron bonificadas a través de SAG. Esto ha significado que en el mismo período han participado más de 34.000 agricultores por año, 88% de los cuales corresponden a pequeños productores. La evaluación constató que la concentración del programa en algunas regiones del país no es consistente con la distribución del problema de degradación de suelos en el territorio nacional, recomendando considerar la condición de los suelos al asignar su oferta a las regiones. Se concluye que el programa debe rediseñarse sustantivamente, conjugando el enfoque ambiental y el agropecuario, en una perspectiva de desarrollo sustentable, definiendo con claridad la población objetivo para cada uno de los componentes según el tipo de suelo, el tipo de intervención y el tipo de agricultores. También sugiere incorporar asistencia técnica o capacitación de agricultores, para no perder los logros alcanzados por falta de mantención de los suelos, e integrar compromisos ambientales en los planes de manejo.

17. 5. REEMPLAZO ÍNTEGRO DEL PROGRAMA PROGRAMA DE EDUCACIÓN EXTRAESCOLAR– M. de Educación DESCRIPCIÓN El objetivo del programa es que niños, niñas y jóvenes del sistema escolar subvencionado reciban una educación integral de acuerdo los contenidos formativos incluidos en los Objetivos Fundamentales Transversales (OFT) asociados al desarrollo personal y formación ética. Es ejecutado a través del Departamento de Educación Extraescolar y entrega: i) capacitación a docentes/sostenedores y alumnos; ii) recursos educativos (sets deportivos, manuales y folletos) a los establecimientos subvencionados; y iii) difusión a la comunidad educativa. RESULTADOS Y RECOMENDACIONES La cobertura asociada a la estrategia de entrega de sets deportivos en el período 2007-2008 alcanzó al 36% de los establecimientos subvencionados y al 42% de la matrícula. La necesidad que enfrenta el programa está bien identificada, no obstante, no se justifica abordar la función formativa de la educación a través de la ejecución de un programa separado de la gestión de los niveles educativos encargados de la implementación del currículum (básica, media y especial). La real y efectiva implementación de éste se logra mediante una gestión integrada de todos los objetivos educacionales, instruccionales y formativos. Por lo que se recomienda, traspasar la gestión curricular y la implementación de los OFT a la Unidad de Currículum y Evaluación y a los niveles de educación, respectivamente.

18. SISTEMADE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES Los Mitos sobre las Evaluaciones y sus Resultados Los resultados presentados en esta oportunidad nos permiten derribar los mitos que se han construido alrededor del sistema de evaluación. • Las evaluaciones las realiza la Dirección de Presupuestos. • La Dirección de Presupuestos evalúa para reducir los recursos de los programas. • Las evaluaciones están hechas para cerrar programas. • Nunca se cierran los programas que han sido mal evaluados. Las evaluaciones realizadas en el marco del Sistema de Evaluación y Control de Gestión buscan mejorar la gestión de los programas, incorporando las recomendaciones realizadas por los evaluadores externos, contribuyendo a la modernización del Estado.