coneval .gob.mx

1. Metodología de Marco Lógico: La Matriz de Indicadores para Resultados Dirección General Adjunta de Coordinación www.coneval.gob.mx

2. 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestar 2000: Inicio normativo de la evaluación externa 2000-2006: Impulso a la Evaluación Externa y Mejora en la Gestión PEF de cada año y Acuerdo entre SHCP y SFP en el 2002 Ausencia de una estrategia de monitoreo Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad Gubernamental Sistema de Metas Presidenciales 2005: Impulso normativo de la evaluación solo en el sector social Creación del Coneval (LGDS) Primer impulso normativo al monitoreo (indicadores) Vínculo con los temas de pobreza y la Política de Desarrollo Social ANTECEDENTES

3. Nace a partir de la Ley General de Desarrollo Social: Normar y coordinar la evaluación de la política y los programas de desarrollo social Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF Establecer los criterios para la definición, identificación y medición de la pobreza El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública Contribuir a la toma de decisiones de Política de Desarrollo Social y combate a la pobreza y rezago social en México Información útil, objetiva y oportuna EL CONEVAL

4. Identificación del problema Análisis Diseño del programa Presupuesto Operación Evaluación y Monitoreo ANTECEDENTES Rendición de cuentas

5. SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN Objetivos Estratégicos Diferentes tipos de Evaluación Resultados Matriz de Marco Lógico Programas Nuevos Sistema de Evaluación Del Desempeño (SED) Programa Anual de Evaluación Seguimiento a los resultados de las evaluaciones

6. Hoy en día tenemos que reportar muchos indicadores Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones Los indicadores miden parcialmente el desempeño de los programas … y además tenemos que elaborar muchos informes para diferentes usuarios Retos de coordinación institucional Pocos indicadores medían resultados a alcanzar Gran cantidad de indicadores programático - presupuestales ANTECEDENTES

7. Resultados Propósito??? Componentes Implementación Actividades • La ESTRATEGIA DE MONITOREO Y EVALUACIÓN Se pretendía pasar de esto…

8. Propósito? Componentes Actividades • La ESTRATEGIA DE MONITOREO Y EVALUACIÓN …a este esquema en un primer momento Resultados Implementación

9. Fin Propósito Componentes Actividades • La ESTRATEGIA DE MONITOREO Y EVALUACIÓN …a esto en un segundo momento… Objetivos Nacionales Resultados Implementación

10. La ESTRATEGIA DE MONITOREO Y EVALUACIÓN Objetivos Nacionales Ejes política pública Objetivos y Estrategias Política de Desarrollo Social Nivel 1 Programas Sectoriales Nivel 2 Objetivos de las dependencias Nivel 3 Programas presupuestarios Nivel 4 Objetivos de los Programas del PND Estrategias Líneas de acción Objetivo estratégico de la Dependencia Reglas de operación

11. ¿QUÉ ES LA MATRIZ DE INDICADORES? • La metodología tiene su origen en el desarrollo de técnicas de administración por objetivos de los 60´s • A principios de los 70´s, la USAID comenzó a utilizarla formalmente en la planificación de sus proyectos • Múltiples objetivos, • Responsabilidades poco definidas, y • Base poco objetiva • Más tarde, fue adoptada por la GTZ en su método ZOPP (planificación de proyectos orientada a objetivos) • Actualmente es utilizada por: • Entidades financieras internacionales como BM, BID y ADB • Organismos Internaciones como la ONU • Agencias de cooperación como USAID, CIDA • Gobiernos nacionales como Canadá, Estados Unidos, Chile, Colombia, Perú, la Unión Europea, y actualmente México

12. ¿QUÉ ES LA MATRIZ DE INDICADORES? • La Matriz de Indicadores es una herramienta de planeación estratégica que ayuda a: • Entender y mejorar la lógica interna, • Mejorar el diseño de los programas, y • Mejorar los indicadores del programa • Comprende la identificación de: • Los objetivos de un Programa, • Sus relaciones causales, • Los indicadores, y • Los supuestos o riesgos que pueden influir en el éxito o fracaso del mismo • Permite focalizar la atención y los esfuerzos de una dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación

13. ¿QUÉ ES LA MATRIZ DE INDICADORES? • Ventajas del Método: • Permite presentar en forma resumida y estructurada cualquier iniciativa, • Debe ser consensuada con los principales involucrados, • Permite abordar el tema de seguimiento (monitoreo) con mayor facilidad, • Establece mayor claridad sobre los objetivos y metas que se buscan alcanzar, • Hace más evidentes los riesgos de operación, y • Permite establecer una base objetiva para su evaluación . • El método NO essuficienteparaunamejorgestión: • No es un instrumento de evaluación. • No es un esquema de programación y operación. • Aporta terminología uniforme que facilita la comunicación y reduce ambigüedades

14. ¿QUÉ ES LA MATRIZ DE INDICADORES? LÓGICA HORIZONTAL L O G I C A V E R T I C A L INDICADORES VERIFICADORES SUPUESTOS OBJETIVOS FIN PROPÓSITO Matriz de Marco Lógico COMPONENTES • Para su construcción, existen métodos alternos que permiten identificar el problema principal que busca dar solución el programa y acerca de sus participantes ACTIVIDADES

15. LÓGICA VERTICAL: RESUMEN NARRATIVO • FIN: ¿Cuál es la finalidad del programa? • PROPÓSITO: ¿Qué efecto concreto se espera del programa? • COMPONENTES: ¿Qué productos o servicios deben ser generados y/o entregados? • ACTIVIDADES: ¿Qué se tiene que hacer para generar esos productos o servicios? • SUPUESTOS: ¿Cuáles son las condiciones que deben cumplirse para que se logre el nivel siguiente en la jerarquía de objetivos?

16. LÓGICA VERTICAL: RESUMEN NARRATIVO • Resumen Narrativo (Fin) • Fin: Es la descripción de cómo el programa contribuye, en el mediano o largo plazo, a la solución de un problema de desarrollo o a la consecución de objetivos estratégicos de la institución • Objetivo Nacional (PND) • Promover el desarrollo sano e integral de la niñez mexicana garantizando el pleno respeto de sus derechos, la atención a sus necesidades de salud, alimentación, educación y vivienda, y promoviendo el desarrollo pleno de sus capacidades • Objetivo Estratégico de la Dependencia y/o Entidad • Contribuir al desarrollo sano e integral de la niñez mexicana garantizando la atención a sus necesidades de salud y alimentación • Contribuir a mejorar el estado de salud de la niñez mexicana • No implica que el programa, en sí mismo, será suficiente para lograr el Fin. Pueden existir otros programas que contribuyan al logro del mismo, pero si debe tener una contribución.

17. LÓGICA VERTICAL: RESUMEN NARRATIVO • Resumen Narrativo (Propósito) • Propósito: Es el resultado directo a ser logrado en la población objetivo como consecuencia de la utilización de los componentes (bienes y/o servicios) producidos o entregados por el programa • Fin • Contribuir a mejorar el estado de salud de la niñez mexicana • Los niños menores de 5 años, integrantes de las familias • en pobreza extrema beneficiarias, disminuyen sus niveles de desnutrición • Es la aportación específica a la solución del problema • Cada programa debe tener un solo propósito • Su expresión como algo logrado • Normalmente tiene una estrecha relación con el nombre del programa

18. LÓGICA VERTICAL: RESUMEN NARRATIVO • Resumen Narrativo (Componentes) • Componentes: Son los bienes y/o servicios que produce o entrega el programa para cumplir con su propósito • Propósito • Los niños menores de 5 años, integrantes de las familias • en pobreza extrema beneficiarias, disminuyen sus niveles de desnutrición • Paquete básico de servicios de salud • Complemento alimenticio • Están dirigidos al beneficiario final (población objetivo) o en algunos casos, a beneficiarios intermedios • No es una etapa en el proceso de producción o entrega de los bienes y/o servicios • Deben ser los necesarios (y “suficientes”) para lograr el propósito • Tienen una estrecha relación con las vertientes o subprogramas

19. LÓGICA VERTICAL: RESUMEN NARRATIVO • Resumen Narrativo (Actividades) • Actividades: Son las principales tareas que se deben cumplir para el logro de cada uno de los componentes del programa • Componente • (1) Paquete Básico de Servicios de Salud • (1.0) Conformación del padrón de familias beneficiarias con niños menores de 5 años • (1.1) Adquisición de equipo médico para hospitales y clínicas • (1.2) Instalación de equipos • (1.3) Realización de cursos de capacitación a doctores y enfermeras para el otorgamiento de servicios básicos de salud • - Presupuesto Federal • - Residentes para levantamiento de cédula de beneficiario • Deben enlistarse en orden cronológico o de importancia, agruparse por componente e incluir los insumos principales con los que cuenta para realizarlas

20. RESUMEN NARRATIVO (CONSISTENCIA DE LA LÓGICA VERTICAL) Si se logra el Propósito, el programa, contribuirá al logro del Fin. CÓMO? Los Componentes son los necesarios y suficientesparalograr el propósito. Las Actividades son lasnecesarias y suficientesparaproducircadaComponente. PARA QUÉ?

21. LÓGICA VERTICAL: SUPUESTOS • Son factores externos, que están fuera del control de la institución responsable de un programa, pero que inciden en el éxito o fracaso del mismo • Cada programa puede enfrentar riesgos ambientales, financieros, institucionales, climatológicos, sociales u otros que pueden hacer que el mismo fracase • El riesgo se expresa en la Matriz de Indicadores como un supuesto que debe ser cumplido para lograr los objetivos a cada nivel • Los supuestos tienen la virtud de obligar a quienes formulan el programa a explicitar los riesgos y a quienes lo ejecutan a estar pendientes de ellos

22. SUPUESTOS Representancondicionesnecesariaspara el logro de los objetivosque no dependen de la gerencia del programa. Acontecimientos, condiciones o decisionesquetienenqueocurrirparaquelos componentesdel proyectoalcancenel Propósito La poblaciónaplica lo aprendidosobrehigiene en susactividadesdiarias

23. LÓGICA HORIZONTAL: INDICADORES DE DESEMPEÑO • Son la especificación cuantitativa que permite verificar el nivel de logro alcanzado por el programa en el cumplimiento de sus objetivos • Enunciado: Es la expresión conceptual (escrita) de lo que se desea medir a través de uno o varios indicadores • Fórmula de Cálculo: Es la expresión matemática que permite cuantificar el nivel o magnitud que alcanza el indicador en un cierto periodo, considerando variables que se relacionan adecuadamente para este efecto • Frecuencia de Medición: Es el periodo de tiempo en el cual se calcula el indicador • Criterios en su definición: claridad, relevancia, economía, monitoreable, adecuado y aporte marginal • Dimensiones de los indicadores: Eficacia, eficiencia, economía y calidad • Información relevante: unidad de medida, nivel de desagregación, línea de base y meta.

24. LÓGICA HORIZONTAL: INDICADORES DE DESEMPEÑO • Importancia de contar con indicadores • Es una señal, un aviso que entrega información y se relaciona directamente y siempre con un objetivo • Permite disponer de información sobre los niveles de cumplimiento de las instituciones • Enriquece el análisis en la formulación del presupuesto y su discusión en el Congreso • Un indicador de desempeño es una herramienta de gestión que entrega información cuantitativa respecto a la forma cómo se está implementando un programa (gestión de la institución), a qué costo, con que nivel de calidad, y con qué nivel de logro de sus objetivos • Permite además ajustar, mejorar y corregir la ejecución de un programa

25. LÓGICA HORIZONTAL: INDICADORES DE DESEMPEÑO • Criterios de Selección • Al seleccionar un indicador es importante verificar los siguientes criterios: • Claridad: el indicador deberá ser preciso e inequívoco • Relevancia: el indicador deberá reflejar una dimensión importante del logro del objetivo • Economía: la información necesaria para generar el indicador deberá estar disponible a un costo razonable • Monitoreable: el indicador debe poder sujetarse a una verificación independiente • Adecuado: el indicador deberá aportar una base suficiente para evaluar el desempeño • Aporte marginal: en el caso de que exista más de un indicador para medir el desempeño en determinado nivel de objetivo

26. Esquema de nomenclatura utilizada e indicadores por dimensión LGDS MML LFPRH RESULTADOS (Eficiencia y eficacia) FIN (Eficacia) ESTRATÉGICOS (Eficiencia y eficacia) GESTIÓN (Eficiencia, eficacia, calidad y economía) PROPÓSITO (Eficiencia y eficacia) BIENES Y SERVICIOS (Eficiencia, eficacia, calidad y economía) COMPONENTES (Eficiencia, eficacia, calidad y economía) GESTIÓN (Eficiencia, eficacia, calidad y economía) ACTIVIDADES • (Eficiencia, eficacia, calidad y economía)

27. MEJORA en diseño de indicadores • Se ha generado que los indicadores sean más claros y que reflejan de mejor manera el seguimiento del objetivo planteado Programa Fondo Nacional de Apoyos para Empresas en Solidaridad (FONAES) ANTES (2008) DESPUÉS (2012)

28. MEJORA en diseño de indicadores • Se ha generado que los indicadores sean más claros y que reflejan de mejor manera el seguimiento del objetivo planteado Sistema Nacional de Investigadores ANTES (2008) DESPUÉS (2012)

29. LÓGICA HORIZONTAL: MEDIOS DE VERIFICACIÓN • Indican las fuentes de información que se utilizaran para medir los indicadores y para verificar que los objetivos se lograron. • La identificación de los medios de verificación obliga a quien diseña un programa y define los indicadores a comprobar la existencia de fuentes de información; o bien, de no estar disponibles, a incluir en la gestión del programa actividades orientadas a recoger la información necesaria. • Los medios de verificación pueden estar representados por: • Estadísticas • Inspección visual • Encuestas • Informes de auditoría y registros contables de la dependencia y/o programa • Material publicado

30. MEDIOS DE VERIFICACIÓN – FUENTES DE INFORMACIÓN Para cada indicador, ¿está disponible la información en mi programa? SÍNo ¿está en otra Entidad? SíNo ¿el beneficio > costo de obtenerla? SíNo Se mide Se busca una proxy

31. ¡¡¡Muchas gracias!!! Cualquiercomentario o duda José Manuel Del Muro Guerrero jdelmuro@coneval.gob.mx