Que evaluar
Download
1 / 50

QUE EVALUAR? - PowerPoint PPT Presentation


  • 106 Views
  • Uploaded on

QUE EVALUAR?. TALLER NACIONAL SOBRE EVALUACION DE IMPACTO Evaluando el Impacto de los Programas de Desarrollo: De Promesas a Evidencias El Salvador, 2-5 de Marzo del 210. ¿Cómo transformar a este profesor…. …en éste?. QUÉ Y PARA QUÉ EVALUAR?.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'QUE EVALUAR?' - cassara


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Que evaluar

QUE EVALUAR?

TALLER NACIONAL SOBRE EVALUACION DE IMPACTO

Evaluando el Impacto de los Programas de Desarrollo:

De Promesas a Evidencias

El Salvador, 2-5 de Marzo del 210




Qu y para qu evaluar
QUÉ Y PARA QUÉ EVALUAR?

Evaluamos la gestión de un gobierno para medir sus resultados e impactos ante los objetivos estratégicos planteados, y para identificar los factores que facilitan o impiden unaimplementaciónexitosa.

Se evalúa su gestión, sus procesos, sus resultados, sus impactos.

Se evalúa para:

Alinear acciones y estrategias para aplicar con efectividad los recursos limitados y cumplir con los objetivos


Qu y para qu evaluar1
QUÉ Y PARA QUÉ EVALUAR?

Avanzar en el proceso democrático y rendir cuentas:

¿El gasto público llega a la población objetivo?

¿Los programas se instrumentan como se tiene dispuesto por ley ?

¿Los programas alcanzan sus objetivos?

Contar con información creíblequepermita evidenciar los programas que tienen resultados, para que sean sostenibles y los blinde de acciones clientelares y partidistas para cumplir sus objetivos.

Realizar cambios a tiempo que permitan el logro de los objetivos propuestos y evitar las distorsionesriesgosas o indeseadas.


Qu y para qu evaluar2
QUÉ Y PARA QUÉ EVALUAR?

Sabemos que la evidencia anecdótica no es suficiente, por tanto necesitamos responder a preguntas específicas de los programas, tales como:

El programa está llegando a la población objetivo?

La prestación de servicios es coherente con las especificaciones del diseño de la política/programa?

Los procesos operativos son eficientes para otorgar la prestación de los bienes y servicios definidos en el diseño del programa?

¿Se puede atribuir al programa la causa de un cambio en el bienestar de la población objetivo? o ¿ existen otras causas?

¿De qué magnitud es el cambio?

¿El aumento en bienestar de la población justifica el costo del programa?

Cual es la percepción de los usuarios/beneficiarios del programa?


Porqu un sistema de evaluaci n

Porqué un Sistema de Evaluación


Los objetivos de un se
Los objetivos de un SE

Es un instrumento para ayudar a la mejor gestión

Sus objetivos son:

Guiar la toma de decisiones de la política/programa

Rendir cuentas del uso de los recursos en términos de resultados e impactos.

Generar acuerdos básicos sobre las lógicas causales de una política/programa y evidenciar el cumplimiento de objetivos.


C mo se construye un sistema de evaluaci n
Cómo se construye un Sistema de Evaluación?

SE =

Modelo de la logica causal de un programa, proyecto u organizacion

Definición de medidas claras y significativas: Distinción entre resultados e impactos

Medidassostenidas con evidenciaconcretaconfiable

Medición de resultados e impactos: cuantitativa y cualitativamente


Hacia un se
Hacia un SE

El SE entonces:

Permite observar la evidencia de los impactos y resultados.

Permite analizar la lógica entre los esfuerzo de gestión y los gastos administrativos, como verdaderos coadyuvantes al resultado del impacto social.

Permite encadenar con mayor claridad y transparencia cómo los recursos presupuestarios están siendo utilizados de forma eficiente y eficaz en el alcance de objetivos y no como presas de la inercia.

Obliga a una percepción explicita del logro en el tiempo, definiendo riesgos tomados y aprendizajes alcanzados.


Peligros de los se
Peligros de los SE

Visión de túnel

Sub-optimización

Miopía

Sobre medición

Error de representación

Error de Interpretación

Simulación

Osificación

Falta de congruencia entre objetivos

Falla en medirfenómenos complejos

Falla de control para procesarindicadores

Falla en adaptar o vernuevascircunstancias


El se y la cadena de resultados
EL SE Y LA CADENA DE RESULTADOS

TERMINOLOGIA

Def: resultados

El resultado o impacto (previsto o no previstos, positivo y/o negativo) de una política o intervención

Def: cadena de resultados

Secuencia lógica que a través de un programa/intervención, transforma a inputsen outputs específicos, contribuyendo así a medir cambios enoutcomes.


El se y la cadena de resultados1
EL SE Y LA CADENA DE RESULTADOS

La cadena de resultados contesta 3 preguntas:

¿ QUÉes lo que se logra con el proyecto?

¿ CÓMO se va a realizar el logro planteado?

¿CÓMO saber si ese logro se ha cumplido?


Cadena de resultados en general

Resultados (Outcomes)

Insumos

Actividades

Productos (Outputs)

Resultados a largo plazo

(Lo que el proyecto realiza)

(Bienes y Servicios)

(Recursos)

  • Capacitación

  • Promoción

  • Provisión

  • Provisión de servicios

  • Transferencia de recursos

  • Cambios de comportamiento de los beneficios (aprendizaje, consumo, estado de la salud)

  • Cambios en el bienestar de grupo objetivo

  • Reducción de la pobreza nacional

  • Reducción de desigualdad

  • Mejor productividad de la fuerza laboral

  • Personal

  • Equipamiento

  • Dinero

Implementación

Resultados

M&E Basado en Resultados

M&E Tradicional

Cadena de resultados (en general)

EI


Cadena de resultados salud

Resultados (Outcomes)

Insumos

Actividades

Productos (Outputs)

Resultados a largo plazo

(Lo que el proyecto realiza)

(Bienes y Servicios)

(Recursos)

  • Capacitación de las madres

  • Pesar y monitorear el peso de los niños

  • Madres con controles prenatales completos

  • Aumento de la lactancia materna hasta los 6 meses

  • Reducción de la desnutrición en niños

  • Reducción de la mortalidad infantil

  • Mejor bienestar de la población

  • Mayor productividad de la población

  • Enfermeras promotores

  • Equipo (material educativo, básculas, autos, etc)

  • Micronutrientes/suplementos

Implementación

Resultados

M&E Basado en Resultados

M&E Tradicional

Cadena de resultados (Salud)

EI


Situacion actual
SITUACION ACTUAL

En muchos países sucede que:

… tienen que elaborar muchos informes para diferentes usuarios

Tienen que reportar muchos indicadores

- Honestamente muchos de esos indicadores no son útiles para tomar mejores decisiones

- Los indicadores miden parcialmente el desempeño de los programas

Retos de coordinación institucional

Consejo Nacional de Evaluación de la Política de Desarrollo Social


Situacion actual1
SITUACION ACTUAL

Los indicadores más relevantes hoy en día son:

El presupuesto asignado a cada programa

El % del presupuesto ejercido cada año

El número de microcréditos/becas/cursos de capacitación/litros de leche/metros cuadrados pavimentados/etc.

…además de MUCHOS otros

Pero falta medir RESULTADOS:

¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?

¿Los desempleados que recibieron capacitación encontraron trabajo?

¿El presupuesto debe asignarse por inercia o de acuerdo a los Resultados del programa?

Consejo Nacional de Evaluación de la Política de Desarrollo Social


Resultados

Propósito???

Componentes

Implementación

Actividades

Quisiéramos pasar de esto:

Fin?????

Consejo Nacional de Evaluación de la Política de Desarrollo Social


Propósito?

Componentes

Actividades

… a esto:

Fin?

Resultados

Implementación

Consejo Nacional de Evaluación de la Política de Desarrollo Social


El se la cadena de resultados y el marco logico
EL SE, LA CADENA DE RESULTADOS Y EL MARCO LOGICO

Para el SE es una herramienta para fortalecer el diseño, la ejecución y la evaluación de políticas/programas.

Se sustenta en dos principios básicos: el encadenamiento(vertical y horizontal) y la toma de decisiones participativas.

Es una técnica muy útil para establecer la CADENA DE RESULTADOS.

Identificando un problema de desarrollo, se pretende resolver el mismo mediante un proceso racional (lógico), que concatene los distintos niveles de objetivos (largo, mediano y corto plazo), sus respectivas estrategias y tácticas e indicadores para medir el logro de estos objetivos mediante la toma de decisiones participativas.


Qu es la matriz de indicadores
¿Qué es la Matriz de Indicadores?

Es un instrumento de gestión de programas y proyectos.

Permite fortalecer la preparación y la ejecución de programas y proyectos.

Resume los principales resultados de la preparación del programa o proyecto.

Permite un seguimiento gerencial de la ejecución.

Facilita la evaluación de resultados e impactos.


Qu no es la matriz de indicadores
Qué NO es la Matriz de Indicadores?

  • No es un método de evaluación ex-ante de proyectos o programas.

  • No es un método de programación de la ejecución.

  • No es autosuficiente para una buena gestión de programas y proyectos.

  • No es una panacea ni un dogma.


Matriz de indicadores
Matriz de Indicadores

Medios de

verificación

Objetivos

Indicadores

Supuestos

Fin

Propósito

Componentes

Actividades


Si el programa está bien diseñado se pueden examinar los vínculos causales de abajo hacia arriba:

Fin

Propósito

Compo-

nentes

Activi-

dades

Logica vertical del programa

  • El Fin representa un aporte al logro del objetivo estratégico institucional.

  • Si se logra el Propósito, el programa, contribuirá al logro del Fin.

  • Los Componentes son los necesarios y suficientes para lograr el Propósito.

  • Las Actividades son las necesarias y suficientes

    para producir cada Componente.


Esta columna se conoce también como vínculos causales de abajo hacia arriba:Resumen Narrativo del Programa (Proyecto).

Responde a las interrogantes:

¿A que objetivo estratégico contribuye

el programa? 

¿Qué se espera lograr con el programa? 

¿Qué bienes o servicios debe producir

el programa? 

¿Cómo se producirán los Componentes?

Fin

Propósito

Compo-

nentes

Activi-

dades

Objetivos


Fin vínculos causales de abajo hacia arriba:

Propósito

Componentes

Actividades

EL RESUMEN NARRATIVO: COMUNIDADES SOLIDARIAS URBANAS

Apoyar a la población más pobre a elevar sus ingresos y a mejorar su calidad de vida.

Objetivos Nacionales y Sectoriales

Contribuir a asegurar el ejercicio de los derechos ciudadanos de la población en situación de pobreza y exclusión en las comunidades urbanas..

Resultados

Ampliar las capacidades y las oportunidades de la población pobre y vulnerable que vive en asentamientos urbanos precarios para que mejore su consumo, nutrición, salud, educación, seguridad ciudadana y acceso a servicios básicos comunitarios

1. Hogares acceden a servicios de nutrición, salud y educación para incrementar su capital humano

2. Hogares y comunidades acceden a servicios básicos de saneamiento, vías de comunicación y espacios comunitarios para mejorar su condición habitacional

3. Personas reciben capacitación y apoyos para mejorar su nivel y capacidad de generar ingresos

4. Instituciones, comunidades, escuelas y familias fortalecen su capacidad de prevenir la violencia y generan oportunidades atractivas de desarrollo a jóvenes en situación crítica

Implementación

Consejo Nacional de Evaluación de la Política de Desarrollo Social


Fin vínculos causales de abajo hacia arriba:

Propósito

Compo-

nentes

Activi-

dades

Objetivo: Fin

¿A que objetivo estratégico contribuye el programa?

Indica cómo el programa contribuirá

a un objetivo estratégico institucional o nacional.

Mejorar la calidad de vida de los grupos vulnerables de la población a través de la atención a adultos mayores.

- El objetivo estratégico no se logra solo con el programa.

- Varios programas pueden contribuir al mismo objetivo estratégico


Fin vínculos causales de abajo hacia arriba:

Propósito

Compo-

nentes

Activi-

dades

Objetivo: Propósito

¿Qué se espera lograr con el programa?

Describe el resultado directo

obtenido de la utilización de los Componentes.

Debe ser único.

Adultos mayores en situación vulnerable y de abandono familiar mejoran su calidad de vida a través de una atención integral y permanente.

  • Debe ser único.

  • Debe redactarse como si ya se ha logrado.


C-1 vínculos causales de abajo hacia arriba:

Fin

Propósito

C-2

Compo-

nentes

C-3

Activi-

dades

Objetivo: Componentes

¿Qué bienes o servicios se requiere producir?

Son los bienes y servicios que debe producir el ejecutor del programa para poder lograr el Propósito.

  • Pueden ser uno o varios (10 ya es mucho).

  • Deben redactarse como si ya se han logrado.


Objetivos actividades

Objetivos: Actividades vínculos causales de abajo hacia arriba:

Fin

Propósito

Compo-

nentes

Activi-

dades

¿Cómo se producirán los Componentes?

Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo para producir cada Componente.

  • Se presentan por componente

  • En orden cronológico

  • Son las grandes actividades, no

  • detallar innecesariamente


Indicadores
Indicadores vínculos causales de abajo hacia arriba:

Proporcionan la base parasupervisar y evaluar el programa.

Establecenunarelación entre dos o más variables.

Puedenreflejaraspectoscualitativos o cuantitativos.

Entreganinformacióncuantitativa.

Para cadaindicador e establecenmetasquenospermitenevaluar en quemedida se cumplen los objetivos.

Es recomendableacordarlos con los involucrados.

Indicadores

Fin

Propósito

Compo-

nentes

Activi-

dades


Tipo de indicadores

Eficacia: vínculos causales de abajo hacia arriba:

Miden el nivel de cumplimiento de los objetivos.

En general se relacionan con la Población Potencial u Objetivo.

Ej. Tasas de terminación de educación básica de los beneficiarios respecto a la nacional.

Ej. Porcentaje del total de niños beneficiarios del Programa que están en control nutricional.

Eficiencia:

Relacionan productos con costos o insumos.

Ej. Porcentaje del presupuesto del Programa que se gasta en su administración.

Ej. Número promedio de familias atendidas por médico.

Tipo de indicadores

Según el tipo de información que entregan se distinguen indicadores de:


Calidad: vínculos causales de abajo hacia arriba:

Evalúan atributos respecto a normas, referencias externas o satisfacción de los beneficiarios (usuarios).

Ej. Porcentaje del total de becarios que considera atractivo el incentivo .

Ej. Porcentaje del total de unidades médicas en el Programa que están acreditadas.

Economía:

Reflejan capacidad para generar y movilizar recursos financieros.

Ej. Porcentaje de ejecución del presupuesto asignado.

Ej. Porcentaje de recuperación de créditos.

Tipo de indicadores


Claro vínculos causales de abajo hacia arriba:: Preciso y sin ambigüedades

Características de un buen indicador

  • Relevante: apropiado para el tema

  • Económico: disponible a un costo razonable

  • Monitoreable: factible de validación

  • Adecuado: Debe proporcionar suficiente información para medir su funcionamiento.


Indicadores1

Indicadores vínculos causales de abajo hacia arriba:

Fin

Indicadores de impactos

Propósito

Indicadores de resultados

Indicadores de servicios

Compo-

nentes

Activi-

dades

Indicadores de gestión

Comparación de la diferencia entre la escolaridad promedio de los hijos de 20 años de edad de las familias beneficiarias y la de sus padres con la misma diferencia en la población nacional.

  • Miden contribución al logro del fin (a mediano y largo plazo).

  • Miden los resultados al terminar la ejecución del proyecto o al cabo de algún tiempo de operación del programa.

Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional.

Recursos entregados respecto a los costos directos de las transferencias monetarias.

Tasa de terminación de educación básica de los beneficiarios respecto a la nacional.

  • Miden eficacia, eficiencia,y calidad en el logro de los componen-tes.

Porcentaje de becarios de Primaria que transitan a Secundaria.

Ejercicio presupuestal del componente Salud.

Porcentaje de embarazadas beneficiarias que están en control prenatal.

  • Permiten dar seguimiento a las actividades (C4) (eficiencia, eficacia)

Sobres de complemento alimenticio entregados a niños beneficiarios.


Recomendaciones sobre indicadores
Recomendaciones sobre Indicadores vínculos causales de abajo hacia arriba:

Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades gastro-intestinales).

Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes).


Medios de verificaci n c mo obtenemos la evidencia
Medios de Verificación vínculos causales de abajo hacia arriba:¿Cómo obtenemos la evidencia?

Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores).

Pueden incluir:

Estadísticas

Material publicado

Inspección visual

Encuestas

Informes de auditoría

Registros contables

Medios de

verificación

Fin

Propósito

Compo-

nentes

Activi-

dades


Supuestos
Supuestos vínculos causales de abajo hacia arriba:

Cada supuesto corresponde a un riesgo que enfrenta el proyecto y que está más allá del control directo de la gerencia del proyecto.

El supuesto se expresa como una condición que tiene que darse para que se cumpla la relación de causalidad en la jerarquía de objetivos.

Sólo se consideran los riesgos que tengan una probabilidad razonable de ocurrencia.

Supuestos

Fin

Propósito

Compo-

nentes

Activi-

dades

¿Cómo incorporamos los riesgos?


Supuestos1
Supuestos vínculos causales de abajo hacia arriba:

Fin

Supuestos

Propósito

Supuestos

Supuestos

Compo-

nentes

Activi-

dades

Supuestos

Representan condiciones necesarias para el logro de los

objetivos que no dependen de la gerencia del programa.

Acontecimientos, condiciones o decisiones que tienen que suceder para completar los Componentes del proyecto.

La población asiste a los cursos de capacitación en higiene


Supuestos2
Supuestos vínculos causales de abajo hacia arriba:

Fin

Supuestos

Propósito

Supuestos

Supuestos

Compo-

nentes

Activi-

dades

Supuestos

Representancondicionesnecesariaspara el logro de los objetivosque no dependen de la gerencia del programa.

La población aplica lo aprendido sobre higiene en sus actividades diarias

Acontecimientos, condiciones o decisionesquetienenqueocurrir

paraque los componentes del proyectoalcancen el Propósito.


Supuestos3
Supuestos vínculos causales de abajo hacia arriba:

Fin

Supuestos

Propósito

Supuestos

Supuestos

Compo-

nentes

Activi-

dades

Supuestos

Representancondicionesnecesariaspara el logro de los objetivosque no dependen de la gerencia del programa.

Acontecimientos, condiciones o decisionesquetienenqueocurrirparaque el proyectocontribuyasignificativamente al logro del Fin.

No ocurrrenplagas o epidemiasimportantes.


Supuestos4
Supuestos vínculos causales de abajo hacia arriba:

Fin

Supuestos

Propósito

Supuestos

Supuestos

Compo-

nentes

Activi-

dades

Supuestos

Representan condiciones necesarias para el logro de los objetivos que no dependen de la gerencia del programa.

Acontecimientos, condiciones o decisionesimportantespara la "sustentabilidad” de los beneficiosgeneradospor el proyecto.

La poblaciónenseña los hábitos de higieneaprendidos a sushijos e hijas.


Diagrama para el an lisis de supuestos
Diagrama para el análisis de supuestos vínculos causales de abajo hacia arriba:

¿El riesgo es externo al proyecto?

Si

¿El riesgo es importante?

Si

No

¿Probabilidad de ocurrencia?

Poco

probable

No incluir

Probable

Muy

probable

SUPUESTO

¿Se puede rediseñar el proyecto?

Rediseñar

Supuesto

fatal

Si

No


Monitoreo genera información necesaria para medir el nivel de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.

Sucede casi de manera automática en los negocios (ventas, ingresos…) pero tiene que ser al propósito en el sector público

Permite generar información continua y sistemática para ver si las actividades realizadas son suficientes, eficientes y eficaces para generar y/entregar los bienes y servicios que permiten cumplir con el propósito y llegar al fin del programa.

EL MONITOREO Y LA EVALUACION


Monitoreo de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.

Tendencia de resultados a través del tiempo

ej. matricula escolar, resultados de los exámenes, mortalidad

¿Se mueve en la dirección correcta?

Evaluación del “Proceso”

Implementación: ¿Se está implementando el programa como se diseño?

Eficiencia: ¿Se pueden hacer más eficientes las operaciones?

Focalización: ¿Están llegando los beneficios a los individuos correctos?

EL MONITOREO Y LA EVALUACION


Tipos de evaluaci n
Tipos de Evaluación de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.

Fin

Propósito

Componentes

Actividades

Evaluación de Impacto

Resultados

Evaluación de Consistencia

Evaluación de Diseño

Evaluación operativa

Monitoreo de procesos

Evaluación de cobertura

Implementación

Evaluación financiera

Monitoreo presupuestal

48


Sistema de evaluaci n y monitoreo basado en resultados el caso de m xico
Sistema de Evaluación y Monitoreo basado en Resultados: de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.el caso de México

Programa Anual de

Evaluación

Objetivos Estratégicos

Evaluación de

Consistencia y Resultados

Evaluación de

Impacto

Resultados

Evaluación

de procesos

Matriz de

Indicadores

Evaluación

de indicadores

Evaluación

Estratégica

Gestión por

Resultados

Evaluación

Específica

Sistema de Evaluación

del Desempeño

Programas Nuevos

Evaluaciones

Complementarias

Convenio de Compromisos para el Mejoramiento de la Gestión


GRACIAS POR SU ATENCION!!!!! de alcance del fin, el propósito y los bienes y servicios generados y/o entregados.

EL MONITOREO Y LA EVALUACION

Autoría: laminas elaboradaspor CONEVAL, CEPAL y ConchaSteta.


ad