Medici ón de Impacto en proyectos FOMIN sobre Microfranquicias

1. Medición de Impacto en proyectos FOMIN sobre Microfranquicias

2. “Accountability” • Donantes (públicos y privados) exigen evidencia de los resultados de las intervenciones que se han financiado con sus recursos • Cambio de cultura: pasar del conteo (cuánto dinero gastado, cuántas aulas construidas, cuántos textos distribuidos) a la medición de los resultados esperados Valor de aprendizaje, ya que los hallazgos sirven para tomar decisiones sobre: • Replicación de programas • Mejorar el diseño de nuevos programas • Compartir hallazgos con actores clave • Brecha de conocimiento del concepto de la microfranquicia Por qué medimos el impacto?

3. Definición: La evaluación de impacto mide la relación causa-efecto entre una intervención y un resultado Aspectos centrales: • Causalidad: Relación causa-efecto • Atribución: Aislar el efecto del programa Evaluación de Impacto

4. Qué ha pasado en comparación con lo que habría ocurrido si la intervención no se hubiera llevado a cabo? A: Resultados logrados por la intervención B: Resultados que habrían ocurrido en ausencia de la intervención (contrafactual) IMPACTO = A – B Evaluación de Impacto

5. Evaluación de Impacto

6. Principal reto: Encontrar ContrafactualapropiadoIdentificar unidades (personas, comunidades, barrios, colegios, etc.) que reúnan características similares a las que hayan participado en el programa • Bases de Datos, censos Robustez de hipótesis contrafactual es clave Evaluación de Impacto: Reto Principal

7. Programa Estable • Teoría del Cambio Coherente • Conocimiento del proceso de implementación • Tiempo del impacto detectado • Datos disponibles RequisitosparaConduciruna EI

8. Diseños experimentales: grupo de tratamiento y control (aleatorización, o “RCT”) Diseños cuasi experimentales: contrafactual se define con individuos que no participan en el programa -grupo de comparación- (Matching, PropensityScore, Diferencias en Diferencias) Conclusiones • Validez interna: la certeza con que es concluye que el programa es el agente responsable de los impactos observados • Validez externa: grado en que las conclusiones pueden ser generalizadas Métodospara la Evaluación de Impacto

9. Indicadores de Impactoparacadaproyecto FOMIN

10. Fundación Paraguaya: diseño preliminar grupos de control • Visión Mundial: bajo análisis Otros estudios relevantes ya empezados por otros organismos: • IRC: Banco Mundial • Adopem-Nestlé: Universidad Internacional de Florida Evaluaciones de Impacto MFR

11. Universo de Mujeres (3000) En qué medida la adopción de las microfranquicias como actividad económica ha tenido un impacto en los ingresos y ahorros de las clientes de FP? Plan de Evaluación: FundaciónParaguaya Sensibilización sobre MFR (promoción) NO interesadas (2000) Interesadas (1000) No recibe MFR (400) Grupo Control SORTEO Sí recibe MFR (600) Grupo Tratamiento

12. Plan de Evaluación: FundaciónParaguaya Grupo Control GrupoBeneficiarias/Tratadas

13. Encuesta socio-económica anual de FP: • rediseñada por grupo de evaluación para incluir nuevas variables y aumentar la muestra (3.000) • oficiales de créditos entrenados (25-30) • nueva encuesta piloteada con muestra de potenciales beneficiarias RETOS: “Attrition” Varias microfranquicias de distintos tipos Posibilidad de auto-selección según la microfranquicia Plan de Evaluación: FundaciónParaguaya

14. Pendiente: Estudio de mercado para determinar la factibilidad geográfica de las potenciales microfranquicias. Se determinarán las zonas de intervención, los productos y el perfil de los microfranquiciados Línea de base se levantaría sobre los microfranquiciados RETO - Que un mayor número de individuos expresen el deseo de unirse al programa Plan de Evaluación:Visión Mundial

15. El piloto se basa en otorgar un producto de subsistencia + línea de crédito para inventario + entrenamiento a un grupo de mujeres clientes de Adopem (RD) Formación de 3 grupos para comparación: Grupo A: micro préstamo para inventario y entrenamiento Grupo B: micro préstamo para inventario y no recibe entrenamiento Grupo C: micro préstamo no necesariamente para inventario y no recibe entrenamiento RETOS Población objetivo: 400-500 (validez interna) Evaluación de Impacto:Adopem-Nestlé

16. La iniciativa de IRC “Niñas Empoderadas por la Microfanquicia” en Nairobi, Kenia, proporciona oportunidades de auto-empleo a niñas de 16-19 años Paquete: entrenamiento en habilidades para la vida, emprendedurismo, manejo de la franquicia y mentoría+ apoyo con inventario y otros gastos para arrancar el negocio. Eval Impacto: RCT (224 tratadas, 100 control) Preguntas: las participantes se acogen al “proceso” y qué beneficios reciben (ganancias, consumo, ahorros, etc.) RETOS Falta de datos/acceso a la información de las beneficiarias Movilidad del grupo objetivo (para seguimiento) Pérdida de participantes (50% primer año) Cambios en el mercado local atentaron contra los productos Muestra muy pequeña para llegar a conclusiones válidas Evaluación de Impacto en progreso:Proyecto de IRC (Banco Mundial + IPA)

17. HALLAZGOS Se reportaron ganancias en el primer año del programa (dos socios locales y algunas participantes) APRENDIENDO DE LOS ERRORES Se integró transferencias de efectivo al programa Métodos de recolección de datos más ágiles Dos micro franquiciadores renovaron su entusiasmo por el programa Programa se expandirá para niñas y niños en el 2014 LECCIONES Inversión del sector privado y empoderamiento son clave Entendimiento del programa por parte de socios locales es crítico Las microfranquicias deben cambiar de acuerdo a los cambios que las niñas experimentan Plan de Evaluación:Proyecto de IRC (Banco Mundial + IPA)

18. Medición Líneas de base (encuestas) Sistemas de Monitoreo y Evaluación Indicadores comunes de impacto El Reto de la Medición

19. "La locura es hacer la misma cosa una y otra vez esperando obtener diferentes resultados” Atribuido a Albert Einstein El valor del aprendizaje

20. GRACIAS