QUE EVALUAR?

1. QUE EVALUAR? TALLER NACIONAL SOBRE EVALUACION DE IMPACTO Evaluando el Impacto de los Programas de Desarrollo: De Promesas a Evidencias El Salvador, 2-5 de Marzo del 210

2. ¿Cómo transformar a este profesor…

3. …en éste?

4. QUÉ Y PARA QUÉ EVALUAR? Evaluamos la gestión de un gobierno para medir sus resultados e impactos ante los objetivos estratégicos planteados, y para identificar los factores que facilitan o impiden unaimplementaciónexitosa. Se evalúa su gestión, sus procesos, sus resultados, sus impactos. Se evalúa para: Alinear acciones y estrategias para aplicar con efectividad los recursos limitados y cumplir con los objetivos

5. QUÉ Y PARA QUÉ EVALUAR? Avanzar en el proceso democrático y rendir cuentas: ¿El gasto público llega a la población objetivo? ¿Los programas se instrumentan como se tiene dispuesto por ley ? ¿Los programas alcanzan sus objetivos? Contar con información creíblequepermita evidenciar los programas que tienen resultados, para que sean sostenibles y los blinde de acciones clientelares y partidistas para cumplir sus objetivos. Realizar cambios a tiempo que permitan el logro de los objetivos propuestos y evitar las distorsionesriesgosas o indeseadas.

6. QUÉ Y PARA QUÉ EVALUAR? Sabemos que la evidencia anecdótica no es suficiente, por tanto necesitamos responder a preguntas específicas de los programas, tales como: El programa está llegando a la población objetivo? La prestación de servicios es coherente con las especificaciones del diseño de la política/programa? Los procesos operativos son eficientes para otorgar la prestación de los bienes y servicios definidos en el diseño del programa? ¿Se puede atribuir al programa la causa de un cambio en el bienestar de la población objetivo? o ¿ existen otras causas? ¿De qué magnitud es el cambio? ¿El aumento en bienestar de la población justifica el costo del programa? Cual es la percepción de los usuarios/beneficiarios del programa?

7. Porqué un Sistema de Evaluación

8. Los objetivos de un SE Es un instrumento para ayudar a la mejor gestión Sus objetivos son: Guiar la toma de decisiones de la política/programa Rendir cuentas del uso de los recursos en términos de resultados e impactos. Generar acuerdos básicos sobre las lógicas causales de una política/programa y evidenciar el cumplimiento de objetivos.

9. Cómo se construye un Sistema de Evaluación? SE = Modelo de la logica causal de un programa, proyecto u organizacion Definición de medidas claras y significativas: Distinción entre resultados e impactos Medidassostenidas con evidenciaconcretaconfiable Medición de resultados e impactos: cuantitativa y cualitativamente

10. Hacia un SE El SE entonces: Permite observar la evidencia de los impactos y resultados. Permite analizar la lógica entre los esfuerzo de gestión y los gastos administrativos, como verdaderos coadyuvantes al resultado del impacto social. Permite encadenar con mayor claridad y transparencia cómo los recursos presupuestarios están siendo utilizados de forma eficiente y eficaz en el alcance de objetivos y no como presas de la inercia. Obliga a una percepción explicita del logro en el tiempo, definiendo riesgos tomados y aprendizajes alcanzados.

11. Peligros de los SE Visión de túnel Sub-optimización Miopía Sobre medición Error de representación Error de Interpretación Simulación Osificación Falta de congruencia entre objetivos Falla en medirfenómenos complejos Falla de control para procesarindicadores Falla en adaptar o vernuevascircunstancias

12. EL SE Y LA CADENA DE RESULTADOS TERMINOLOGIA Def: resultados El resultado o impacto (previsto o no previstos, positivo y/o negativo) de una política o intervención Def: cadena de resultados Secuencia lógica que a través de un programa/intervención, transforma a inputsen outputs específicos, contribuyendo así a medir cambios enoutcomes.

13. EL SE Y LA CADENA DE RESULTADOS La cadena de resultados contesta 3 preguntas: ¿ QUÉes lo que se logra con el proyecto? ¿ CÓMO se va a realizar el logro planteado? ¿CÓMO saber si ese logro se ha cumplido?

14. Resultados (Outcomes) Insumos Actividades Productos (Outputs) Resultados a largo plazo (Lo que el proyecto realiza) (Bienes y Servicios) (Recursos) • Capacitación • Promoción • Provisión • Provisión de servicios • Transferencia de recursos • Cambios de comportamiento de los beneficios (aprendizaje, consumo, estado de la salud) • Cambios en el bienestar de grupo objetivo • Reducción de la pobreza nacional • Reducción de desigualdad • Mejor productividad de la fuerza laboral • Personal • Equipamiento • Dinero Implementación Resultados M&E Basado en Resultados M&E Tradicional Cadena de resultados (en general) EI

15. Resultados (Outcomes) Insumos Actividades Productos (Outputs) Resultados a largo plazo (Lo que el proyecto realiza) (Bienes y Servicios) (Recursos) • Capacitación de las madres • Pesar y monitorear el peso de los niños • Madres con controles prenatales completos • Aumento de la lactancia materna hasta los 6 meses • Reducción de la desnutrición en niños • Reducción de la mortalidad infantil • Mejor bienestar de la población • Mayor productividad de la población • Enfermeras promotores • Equipo (material educativo, básculas, autos, etc) • Micronutrientes/suplementos Implementación Resultados M&E Basado en Resultados M&E Tradicional Cadena de resultados (Salud) EI

16. SITUACION ACTUAL En muchos países sucede que: … tienen que elaborar muchos informes para diferentes usuarios Tienen que reportar muchos indicadores - Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones - Los indicadores miden parcialmente el desempeño de los programas Retos de coordinación institucional Consejo Nacional de Evaluación de la Política de Desarrollo Social

17. SITUACION ACTUAL Los indicadores más relevantes hoy en día son: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc. …además de MUCHOS otros Pero falta medir RESULTADOS: ¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito? ¿Los desempleados que recibieron capacitación encontraron trabajo? ¿El presupuesto debe asignarse por inercia o de acuerdo a los Resultados del programa? Consejo Nacional de Evaluación de la Política de Desarrollo Social

18. Resultados Propósito??? Componentes Implementación Actividades Quisiéramos pasar de esto: Fin????? Consejo Nacional de Evaluación de la Política de Desarrollo Social

19. Propósito? Componentes Actividades … a esto: Fin? Resultados Implementación Consejo Nacional de Evaluación de la Política de Desarrollo Social

20. EL SE, LA CADENA DE RESULTADOS Y EL MARCO LOGICO Para el SE es una herramienta para fortalecer el diseño, la ejecución y la evaluación de políticas/programas. Se sustenta en dos principios básicos: el encadenamiento(vertical y horizontal) y la toma de decisiones participativas. Es una técnica muy útil para establecer la CADENA DE RESULTADOS. Identificando un problema de desarrollo, se pretende resolver el mismo mediante un proceso racional (lógico), que concatene los distintos niveles de objetivos (largo, mediano y corto plazo), sus respectivas estrategias y tácticas e indicadores para medir el logro de estos objetivos mediante la toma de decisiones participativas.

21. ¿Qué es la Matriz de Indicadores? Es un instrumento de gestión de programas y proyectos. Permite fortalecer la preparación y la ejecución de programas y proyectos. Resume los principales resultados de la preparación del programa o proyecto. Permite un seguimiento gerencial de la ejecución. Facilita la evaluación de resultados e impactos.

22. Qué NO es la Matriz de Indicadores? • No es un método de evaluación ex-ante de proyectos o programas. • No es un método de programación de la ejecución. • No es autosuficiente para una buena gestión de programas y proyectos. • No es una panacea ni un dogma.

23. Matriz de Indicadores Medios de verificación Objetivos Indicadores Supuestos Fin Propósito Componentes Actividades

24. Si el programa está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba: Fin Propósito Compo- nentes Activi- dades Logica vertical del programa • El Fin representa un aporte al logro del objetivo estratégico institucional. • Si se logra el Propósito, el programa, contribuirá al logro del Fin. • Los Componentes son los necesarios y suficientes para lograr el Propósito. • Las Actividades son las necesarias y suficientes para producir cada Componente.

25. Esta columna se conoce también como Resumen Narrativo del Programa (Proyecto). Responde a las interrogantes: ¿A que objetivo estratégico contribuye el programa?  ¿Qué se espera lograr con el programa?  ¿Qué bienes o servicios debe producir el programa?  ¿Cómo se producirán los Componentes? Fin Propósito Compo- nentes Activi- dades Objetivos

26. Fin Propósito Componentes Actividades EL RESUMEN NARRATIVO: COMUNIDADES SOLIDARIAS URBANAS Apoyar a la población más pobre a elevar sus ingresos y a mejorar su calidad de vida. Objetivos Nacionales y Sectoriales Contribuir a asegurar el ejercicio de los derechos ciudadanos de la población en situación de pobreza y exclusión en las comunidades urbanas.. Resultados Ampliar las capacidades y las oportunidades de la población pobre y vulnerable que vive en asentamientos urbanos precarios para que mejore su consumo, nutrición, salud, educación, seguridad ciudadana y acceso a servicios básicos comunitarios 1. Hogares acceden a servicios de nutrición, salud y educación para incrementar su capital humano 2. Hogares y comunidades acceden a servicios básicos de saneamiento, vías de comunicación y espacios comunitarios para mejorar su condición habitacional 3. Personas reciben capacitación y apoyos para mejorar su nivel y capacidad de generar ingresos 4. Instituciones, comunidades, escuelas y familias fortalecen su capacidad de prevenir la violencia y generan oportunidades atractivas de desarrollo a jóvenes en situación crítica Implementación Consejo Nacional de Evaluación de la Política de Desarrollo Social

27. Fin Propósito Compo- nentes Activi- dades Objetivo: Fin ¿A que objetivo estratégico contribuye el programa? Indica cómo el programa contribuirá a un objetivo estratégico institucional o nacional. Mejorar la calidad de vida de los grupos vulnerables de la población a través de la atención a adultos mayores. - El objetivo estratégico no se logra solo con el programa. - Varios programas pueden contribuir al mismo objetivo estratégico

28. Fin Propósito Compo- nentes Activi- dades Objetivo: Propósito ¿Qué se espera lograr con el programa? Describe el resultado directo obtenido de la utilización de los Componentes. Debe ser único. Adultos mayores en situación vulnerable y de abandono familiar mejoran su calidad de vida a través de una atención integral y permanente. • Debe ser único. • Debe redactarse como si ya se ha logrado.

29. C-1 Fin Propósito C-2 Compo- nentes C-3 Activi- dades Objetivo: Componentes ¿Qué bienes o servicios se requiere producir? Son los bienes y servicios que debe producir el ejecutor del programa para poder lograr el Propósito. • Pueden ser uno o varios (10 ya es mucho). • Deben redactarse como si ya se han logrado.

30. Objetivos: Actividades Fin Propósito Compo- nentes Activi- dades ¿Cómo se producirán los Componentes? Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo para producir cada Componente. • Se presentan por componente • En orden cronológico • Son las grandes actividades, no • detallar innecesariamente

31. Indicadores Proporcionan la base parasupervisar y evaluar el programa. Establecenunarelación entre dos o más variables. Puedenreflejaraspectoscualitativos o cuantitativos. Entreganinformacióncuantitativa. Para cadaindicador e establecenmetasquenospermitenevaluar en quemedida se cumplen los objetivos. Es recomendableacordarlos con los involucrados. Indicadores Fin Propósito Compo- nentes Activi- dades

32. Eficacia: Miden el nivel de cumplimiento de los objetivos. En general se relacionan con la Población Potencial u Objetivo. Ej. Tasas de terminación de educación básica de los beneficiarios respecto a la nacional. Ej. Porcentaje del total de niños beneficiarios del Programa que están en control nutricional. Eficiencia: Relacionan productos con costos o insumos. Ej. Porcentaje del presupuesto del Programa que se gasta en su administración. Ej. Número promedio de familias atendidas por médico. Tipo de indicadores Según el tipo de información que entregan se distinguen indicadores de:

33. Calidad: Evalúan atributos respecto a normas, referencias externas o satisfacción de los beneficiarios (usuarios). Ej. Porcentaje del total de becarios que considera atractivo el incentivo . Ej. Porcentaje del total de unidades médicas en el Programa que están acreditadas. Economía: Reflejan capacidad para generar y movilizar recursos financieros. Ej. Porcentaje de ejecución del presupuesto asignado. Ej. Porcentaje de recuperación de créditos. Tipo de indicadores

34. Claro: Preciso y sin ambigüedades Características de un buen indicador • Relevante: apropiado para el tema • Económico: disponible a un costo razonable • Monitoreable: factible de validación • Adecuado: Debe proporcionar suficiente información para medir su funcionamiento.

35. Indicadores Fin Indicadores de impactos Propósito Indicadores de resultados Indicadores de servicios Compo- nentes Activi- dades Indicadores de gestión Comparación de la diferencia entre la escolaridad promedio de los hijos de 20 años de edad de las familias beneficiarias y la de sus padres con la misma diferencia en la población nacional. • Miden contribución al logro del fin (a mediano y largo plazo). • Miden los resultados al terminar la ejecución del proyecto o al cabo de algún tiempo de operación del programa. Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional. Recursos entregados respecto a los costos directos de las transferencias monetarias. Tasa de terminación de educación básica de los beneficiarios respecto a la nacional. • Miden eficacia, eficiencia,y calidad en el logro de los componen-tes. Porcentaje de becarios de Primaria que transitan a Secundaria. Ejercicio presupuestal del componente Salud. Porcentaje de embarazadas beneficiarias que están en control prenatal. • Permiten dar seguimiento a las actividades (C4) (eficiencia, eficacia) Sobres de complemento alimenticio entregados a niños beneficiarios.

36. Recomendaciones sobre Indicadores Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades gastro-intestinales). Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes).

37. Medios de Verificación¿Cómo obtenemos la evidencia? Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores). Pueden incluir: Estadísticas Material publicado Inspección visual Encuestas Informes de auditoría Registros contables Medios de verificación Fin Propósito Compo- nentes Activi- dades

40. Supuestos Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto. El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos. Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia. Supuestos Fin Propósito Compo- nentes Activi- dades ¿Cómo incorporamos los riesgos?

41. Supuestos Fin Supuestos Propósito Supuestos Supuestos Compo- nentes Activi- dades Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto. La población asiste a los cursos de capacitación en higiene

42. Supuestos Fin Supuestos Propósito Supuestos Supuestos Compo- nentes Activi- dades Supuestos Representancondicionesnecesariaspara el logro de los objetivosque no dependen de la gerencia del programa. La población aplica lo aprendido sobre higiene en sus actividades diarias Acontecimientos, condiciones o decisionesquetienenqueocurrir paraque los componentes del proyectoalcancen el Propósito.

43. Supuestos Fin Supuestos Propósito Supuestos Supuestos Compo- nentes Activi- dades Supuestos Representancondicionesnecesariaspara el logro de los objetivosque no dependen de la gerencia del programa. Acontecimientos, condiciones o decisionesquetienenqueocurrirparaque el proyectocontribuyasignificativamente al logro del Fin. No ocurrrenplagas o epidemiasimportantes.

44. Supuestos Fin Supuestos Propósito Supuestos Supuestos Compo- nentes Activi- dades Supuestos Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa. Acontecimientos, condiciones o decisionesimportantespara la "sustentabilidad” de los beneficiosgeneradospor el proyecto. La poblaciónenseña los hábitos de higieneaprendidos a sushijos e hijas.

45. Diagrama para el análisis de supuestos ¿El riesgo es externo al proyecto? Si ¿El riesgo es importante? Si No ¿Probabilidad de ocurrencia? Poco probable No incluir Probable Muy probable SUPUESTO ¿Se puede rediseñar el proyecto? Rediseñar Supuesto fatal Si No

46. Monitoreo genera información necesaria para medir el nivel de alcance del fin, el propósito y los bienes y servicios generados y/o entregados. Sucede casi de manera automática en los negocios (ventas, ingresos…) pero tiene que ser al propósito en el sector público Permite generar información continua y sistemática para ver si las actividades realizadas son suficientes, eficientes y eficaces para generar y/entregar los bienes y servicios que permiten cumplir con el propósito y llegar al fin del programa. EL MONITOREO Y LA EVALUACION

47. Monitoreo Tendencia de resultados a través del tiempo ej. matricula escolar, resultados de los exámenes, mortalidad ¿Se mueve en la dirección correcta? Evaluación del “Proceso” Implementación: ¿Se está implementando el programa como se diseño? Eficiencia: ¿Se pueden hacer más eficientes las operaciones? Focalización: ¿Están llegando los beneficios a los individuos correctos? EL MONITOREO Y LA EVALUACION

48. Tipos de Evaluación Fin Propósito Componentes Actividades Evaluación de Impacto Resultados Evaluación de Consistencia Evaluación de Diseño Evaluación operativa Monitoreo de procesos Evaluación de cobertura Implementación Evaluación financiera Monitoreo presupuestal 48

49. Sistema de Evaluación y Monitoreo basado en Resultados:el caso de México Programa Anual de Evaluación Objetivos Estratégicos Evaluación de Consistencia y Resultados Evaluación de Impacto Resultados Evaluación de procesos Matriz de Indicadores Evaluación de indicadores Evaluación Estratégica Gestión por Resultados Evaluación Específica Sistema de Evaluación del Desempeño Programas Nuevos Evaluaciones Complementarias Convenio de Compromisos para el Mejoramiento de la Gestión

50. GRACIAS POR SU ATENCION!!!!! EL MONITOREO Y LA EVALUACION Autoría: laminas elaboradaspor CONEVAL, CEPAL y ConchaSteta.