Medición de impacto de los programas en CARE Perú 22 de Septiembre, 2009

1. Medición de impacto de los programas en CARE Perú 22 de Septiembre, 2009

2. Contenido de la Presentación • Agregación de datos de impactos y resultados de proyectos, por programa, para la Memoria Institucional • Cambio Mas Significativo en causas subyacentes de la pobreza • Sistema de MyE del programa Nutricion/Educacion • Medición de impacto de proyectos – y su uso en la incidencia política • Lecciones y recomendaciones

3. Estructura de Programa • 10 programas • Cambio climático • Desarrollo económico sostenible • Nutrición • Educación • Emergencia y gestión de riesgos • Gestión Integrada de Recursos Hídricos • Gobernabilidad e Industrias Extractivas • Equidad de género • Salud • VIH y TB • 73 proyectos entre 2007 y 2008 • Ejecución financiera: US $ 46.6MM

5. INNOVACION Programas de impacto nacional en ODM y metas país Equipo de coordinación programática - Peru - LAC -Programa Insignia • Peru • LAC • Programa • Insignia • Peru • LAC • Peru • LAC • Peru DESARROLLO ECONOMICO SOSTENIBLE SALUD Materna/Neonatal GOBERNAB e IIEE EMERGENCIA GIRH NUTRICION EDUCACION VIH-TB • ODM 12 y acuerdo nacional • Vigilancia • Transparencia • Participación y buen gobierno • Dialogo y concertación con sector IIEE • ODM 4 y 5 y MMM • Mortalidad materna • Mortalidad neonatal • Sierra rural • Mandato humanitario de CARE • Esfera • ODM 2 y MMM • Desnutricion cronica • Anemia • Sierra rural • ODM 7 • y MMM • Gestión de agua y saneamiento • Sierra rural • ODM 3 y MMM • Calidad y equidad de educacion • Sierra rural • ODM 6 • y Estrat. Nac. • VIH • TB • ODM 1 y MMM • Pobreza • Equidad • Sierra rural CAMBIO CLIMATICO • ODM 6 • Adaptación • Equidad • Sierra y selva rural • 3 estrategias programáticas: • Generación, validación y diseminación de nuevos modelos o estrategias que demuestren avances significativos • para el cumplimiento de las ODMs y otras metas nacionales. • 2. Apoyar al gobierno u otros a replicar, adaptar y llevar a gran escala estrategias exitosas que han sido validadas por CARE y sus socios. • 3. Incidir en cambios en la definición, implementación e institucionalización de políticas públicas. Enfoques transversales: Gobernabilidad, Enfoque basado en derechos , Interculturalidad, Equidad de genero 5 causas subyacentes: El alto nivel de discriminación por género, raza y clase social. Políticas que son inadecuadas o implementadas de manera incompleta y/o incorrecta. El débil ejercicio de ciudadanía. El modelo de desarrollo económico excluyente y poco sostenible. La ausencia de un proyecto nacional que articule una visión integral de eliminación de la pobreza 6 Principios programáticos: Promover el empoderamiento (distribución equitativa del poder), Trabajar en asocio, Asegurar la rendición de cuentas y el cumplimiento de responsabilidad, Oposición a la discriminación, Oposición a la violencia (manejo y resolucion de conflictos), Buscar resultados sostenibles * Modelo económico excluyente *Riesgo y reduccion de desastres *GIRH Equidad de genero

6. Dinamica al interior de los equipos programáticos 1) Definicion de la presencia y coordinación simultanea en diferentes niveles 3. Monitoreo de indicadores de impacto y desempeño, revision y adaptacion de la teoria de cambio Objetivo: Contribuir al cambio y promover la articulación Global Regional 4) Procesos de aprendizaje e intercambio de conocimientos al interior y entre los equipos programáticos 5) Monitoreo del entorno y de los escenarios en los que desenvuelve el programa: Lectura permanente del contexto y trabajo con diferentes actores: Nacional Sub Nacional Proyecto Para desarrollar un modelo Local Modelos con impacto Proyecto de para llevar a escala un modelo • Gobiernos • Sector privado • Sociedad civil • y organizaciones • sociales Procesos desarrollados a partir de la experiencia de CARE o de otros actores Escala Proyecto Incidencia Incidencia 2) Definicion e implementacion de estrategias de intervención de los proyectos dentro de los equipos programáticos (modelos con impacto, escala, incidencia)

7. Áreas de intervención

8. 1. Agregación de impactos y resultados (memoria institucional) Cuantitativa, por programa: Selección de indicadores mas comunes Agregación de datos de los proyectos que reportan contra estos indicadores Número de personas capacitadas Resumen de ejecución financiera por programa Cualitativa, por programa Ejemplos más resaltantes de cambios de políticas públicas o institucionales Testimonios

9. Publicación de memoria institucional (anual – bianual)

10. Recopilación y reporte de indicadores y resultados por programa: • Impacto • Gestion • Resultado • Actividades ¿Cómo se hace? Fuentes: sistemas de monitoreo y evaluación de los diferentes proyectos – en algunos casos, evaluaciones externas, en otras, registros internos

11. Agregación de indicadores de impacto

12. Agregación de indicadores de efecto

13. Agregación de indicadores de resultado

14. Agregación de actividades

15. Ejemplos de impactos cualitativos

16. Lecciones – agregacion de impactos y resultados Permite cierto nivel de rendición de cuentas por resultados, y mayor orden Permite comparación costo efectividad entre proyectos Iniciar de manera sencilla – 1 o 2 indicadores claves por programa Implica bastante trabajo de conseguir información, revisar que está bien, compilar Indicadores cuantitativos no visibilizados en algunos programas (ej. gobernabilidad)

17. 2. Cambio Más Significativo Por qué CMS Para tener información sobre impactos generados por programas de CARE Perú en las causas subyacentes de la pobreza Validar metodología basada en la participación, apropiada para monitorear cambios en procesos Tener insumos para materiales de comunicación y difusión • Incentivos para equipos de proyectos y participantes, de documentar cambios

20. Causas Subyacentes de la Pobreza: • Discriminación étnica, racial o clase social • Discriminación por género • Políticas públicas inadecuadas • Débil ejercicio de ciudadanía • Modelo económico excluyente • Ausencia de un proyecto nacional que articule una visión integral de eliminación de la pobreza Los últimos 12 meses

21. Criterios acordados en EAD Feb 09 • Impacto en la población • Impacto en causas subyacentes de la pobreza • Cambios institucionales • Sostenibilidad • Potencial de escala de impacto o alcance • Valor simbólico o ejemplar • Aprendizaje que se puede generar • Efecto multiplicador

22. XXX

23. CMS POSITIVO CMS NEGATIVO Selección por equipo y a nivel nacional En cada equipo geográfico y programático un Comité prioriza sus 1 o 2 CMS, por causa Comité Nacional (“neutral”) Cada proyecto/iniciativa presenta sus CMS Analiza todos los CMS presentados Para cada área de cambio (causa subyacente de la pobreza), el Comité busca consenso sobre cuál fue el Cambio Más Significativo (positivo y negativo) ocurrido a partir de la intervención de los Programas y Proyectos de CARE Perú en los últimos 12 meses? Definan CMS priorizados

24. Proceso de Selección • Comité de “neutrales” • Calificación de cada ficha en cada criterio, en escala de 1-10 (10 alto, 1 bajo) • Asignación a la causa subyacente de la pobreza que más representa • Compilación de promedios de puntajes, por número de calificaciones • Ordenar experiencias mejor calificadas (promedio mayor a 50 – de máximo de 80) por causa subyacente • Definición del CMS por causa, y del segundo CMS

25. Resultados 2009 - CMS presentados • 34 experiencias • Más de 48 fichas de testimonios • De todos los programas y oficinas departamentales

26. Fuente de Testimonios

27. El alto nivel de discriminación por raza y clase social

28. El alto nivel de discriminación por género

29. Políticas que son inadecuadas o implementadas de manera incompleta y/o incorrecta - LOCAL/REGIONAL

30. Políticas que son inadecuadas o implementadas de manera incompleta y/o incorrecta - NACIONAL

31. El débil ejercicio de ciudadanía

32. El modelo de desarrollo económico excluyente y poco sostenible

33. La ausencia de un proyecto nacional que articule una visión integral de eliminación de la pobreza

34. Menciones especiales para Innovación tecnológica

35. Opiniones Diferentes y Subjetivas

36. Reflexiones iniciales (equipo CARE) • Una experiencia muy linda y de mucho aprendizaje • Hay mucha riqueza y conocimiento en cada una de las fichas • Un trabajo entretenido, agradable, enriquecedor y que me ha motivado a reflexionar sobre nuestros procesos • Realmente es una experiencia muy enriquecedora la que nos ha tocado trabajar, muy interesante • Ha sido interesante la revisión y como es la primera experiencia podemos mejorarla para permitir una fácil calificación y comparación • Es realmente impresionante la diversidad de cosas que estamos haciendo. • Es lógico que la calificación es difícil para nosotros

37. Pasos después de calificación • Retroalimentación con comentarios a todas las experiencias • Validación de todos lo cambios más significativos • Informe con lecciones • Video de CMS y otras formas de difusión • Sugerencias para mejorar proceso o criterios • Profundizar entendimiento de causas subyacentes de la pobreza en todos los equipos • Repetir para la Memoria 2009

38. Todas las Fichas están en intranet • Username:        intranetperu@care.org.pe • Password:        care@portal • Archivo con premiados, con vínculo a su ficha • Mayor información: • Guía CMS – disponible de http://mscguide-translations.blogspot.com/ • Otros materiales (inglés) - http://www.mande.co.uk/MSC.htm

39. 3. Medición de impacto en ProgramaEjemplo programa Educacion/Nutricion Definición de población de impacto prioritario Estructura de sistema Indicadores de impacto nacional Indicadores de gestión nacional Indicadores de resultados de la estrategia Indicadores de gestión de la estrategia Indicadores de proceso (DAO) Contribución de proyectos a metas e indicadores de éxito del programa

40. Criterios para definir poblacion de impacto, dentro de un marco de discriminacion, derechos y equidad…..Cual sector de la población está mas lejos de ver cumplidos sus derechos en el area de impacto relevante para cada programa?? • Grupo poblacional (rural, urbano, nativos, indigenas) • Ubicación territorial (costa, sierra, Ancah) • Genero (Hombre, mujer) • Económicos (pobre, no pobre) • Edad (niños, mujeres edad fertil) • Comportamientos de mayor vulnerabilidad (HSS, TS, Trans, PPL)

41. Distincionintervencion para impacto Poblacion de impacto: Niños y niñas rurales pobres de la zona andina Publico objetivo secundario: Ministerio de Educacion, ministerio de economia, Gobierno Regional, Defensoria del pueblo Publico objetivo primario: maestros, UGELES, madres y padres de familia, comunidad, gobierno local Poblacion meta: niños y niñas con carcateristicas de la poblacion impacto en ambito de intervencion de iniciativas de CARE

43. 1° paso: Proceso de diseñar y construir participativamente una estrategia programática con el equipo programático • 1. Fase inicial de preparación de insumos para el taller con coordinador(a) de programa: • Revisión de contexto, análisis de problemática y brechas (cifras, datos), • Opcional tema nuevo: Taller con expertos para definición de problemática, avances de socios, recomendaciones a CARE • Planteamiento borrador Teoria de cambio • Planteamiento indicadores • 2. Taller(es) con el equipo programático para análisis conjunto y definición de productos de la estrategia: • Presentación de la lógica de programas y el transito de proyectos a programas (reflexiones y retos) • Presentación de problemática y brechas, Definición de población de impacto prioritario • Construcción del FODA, • Ajuste y definición de teoría de cambio: identificación del problema central, factores contribuyentes (según causas subyacentes de la pobreza), cambio deseado, actores responsable del cambio, rol de CARE e identificación de objetivos estratégicos para la estrategia programatica • Reconstrucción de experiencia institucional y lecciones aprendidas • Definición de la gestión de la estrategia: mapeo de socios y aliados, movilización de recursos, gestión de talentos y fortalecimiento de capacidades, monitoreo, evaluacion y aprendizaje • 3. Reuniones con equipo clave y coordinador (a) programático: • Ajustar y perfilar los insumos con los que se cuentan para cada tema. • Estructurar el documento de la estrategia según guía de contenidos • Mapear indicadores (impacto, gestión publica, estrategia programática) • Construir borrador del documento 4. Socializar documento borrador estrategia a equipo programático para aportes (consolidación) 5. Presentar estrategia programática al equipo de coordinación programática para aportes 6. Incorporación de aportes y redacción de documento final de la estrategia Tiempo del proceso: en función de las agendas del equipo

44. 2° paso: Proceso de diseñar y construir participativamente el sistema de planificación, monitoreo, evaluación y aprendizaje de la estrategia • Definición de plan de monitoreo y evaluación de la estrategia en línea con el uso de instrumentos y resultados de desempeño organizacional (DAO). Identificación de líneas de aprendizaje organizacional y social y manejo del conocimiento • 2. Definición de matriz de indicadores de impacto, gestión publica, gestión y proceso de la estrategia por cada programa

47. 3. Construcción del POA de la estrategia programática: actividades prioritarias y alineación con los proyectos en curso, cronograma, recursos y responsables (2 niveles de responsabilidad: nacional y departamental/local)

49. 4. Definicion del proceso de Rendición de cuentas: identificación de procesos para llevar a cabo la rendición de cuentas del programa hacia los stakeholders (proyectos, oficinas departamentales, programas, institucional) 5. Evaluación semestral y anual del POA de cada programa para identificación de avances y vacios. Revisión anual del contexto, actualización de oportunidades y amenazas y replanteo de acciones según objetivos estratégico y teoría de cambio definida (ajustes)

50. Lecciones y recomendaciones • Para construir la estrategia programática, se requiere de tiempo y acompañamiento tanto al lider de equipo como al grupo para entender la logica de programa, ayudar en la reflexion, facilitar el dialogo y generar los productos de cada etapa • Los esquemas y logicas de aprendizaje varian de equipo a equipo, en funcion del perfil y experiencia de sus miembros, esto facilita o retrasa el avance y la comprension de la lógica programatica y de la contruccion de la estrategia en si • El procesos de contruccion de la estrategia si bien culmina en la generacion de un documento, tiene su principal riqueza en el proceso mismo de dialogo y reflexion participativa