Evaluación ? o Medición del desempeño ¿ de los Programas Priorizados A nivel Provincial

1. Evaluación ? o Medición del desempeño ¿ de los Programas Priorizados A nivel Provincial

2. EVALUACION “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención..” Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ Organización para la Cooperación y Desarrollo Económico- OCDE

3. OBJETIVOS DE LA EVALUACION APOYAR EL PROCESO DE TOMA DE DECISIONES • INFORMACION SOBRE IMPACTO DE LAS • POLITICAS • AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS

4. Evaluación. Requisitos básicos 1.1 Independencia y confiabilidad El requisito de independencia y confiabilidad se refiere a la definición de un razonable grado de separación entre el proceso de evaluación y el área evaluada. Este grado de separación debe considerar modalidades de ejecución de las evaluaciones externas al sector público, realizadas por expertos provenientes de universidades, centros de estudios o consultoras, preferiblemente seleccionadas a través de procesos que aseguren competencia técnica. Las Auto evaluaciones: Bien desarrolladas se consideran una buena práctica de gestión interna, que: i) permite ordenar y relacionar información entregando una mirada del estado del programa, ii) ayuda a incorporar mejoras, si la mayor cercanía y participación en el proceso de evaluación hace que los resultados sean mejor comprendidos, internalizados y compartidos por los responsables del programa, iii) ordena la información existente y detecta o precisa sus insuficiencias o limitaciones. No obstante estas ventajas, es difícil que las autoevaluaciones sean creíbles para todos los actores políticos y sociales (dudas de la información suministrada por quién es juez y parte a la vez)

5. Evaluación. Requisitos básicos, cont. 1.2 Relevancia o pertinencia La relevancia o pertinencia de las evaluaciones debe ser abordada en la definición de los ámbitos o alcances de la evaluación. En la práctica, identifcar con anterioridad al inicio de la evaluación preocupaciones e interrogantes respecto del desempeño de cada programa, lo que corresponde a la identificación de las demandas de información, y la exigencia de que, considerando los resultados de dichas evaluaciones, se formulen recomendaciones para mejorar el desempeño 1.3 Oportunidad El requisito de oportunidad se relaciona con la necesidad de que la información sobre los resultados de las evaluaciones este disponible en los procesos de toma de decisiones relevantes. En particular en las etapas del ciclo de toma de decisiones de asignación de recursos, sean internas a las instituciones o entidades ejecutoras de gasto, o parte del proceso de preparación, discusión, aprobación o evaluación del presupuesto público de la nación.

6. Alternativas metodológicas de las Evaluaciones Evaluaciones de escritorio o evaluaciones rápidas (Medir Indicadores según Marco Lógico Fin, Propósito, Componentes y Actividades) Según Enfoques y Metodologías para Evaluar la calidad - Habilitación - Categorización - Acreditación - Condiciones de Eficiencia - Matriculación - Certificación Enfoque estructural • Según Objeto de Evaluación • (Intervenciones Públicas) • - Evaluación de políticas públicas • - Evaluación de Programas públicos • Evaluación de gestión y resultados • de Proyectos y entidades públicas • - Evaluación del Desempeño personal Administrativo Evaluación Externa Enfoque de Proceso Estudios de Caso Estudios Estadístico Utilización Recursos Auditoria Técnico Según etapa de aplicación - Ex Antes (Diseño Programas y Proyectos) - Operativa (Ejecución Programas y Proyectos) - Ex Post (Medición del Desempeño o Impacto) • - Perfil de Salud • Cambios de • Conductas • Satisfacción • de usuarios • Satisfacción • de prestadores Enfoque de Resultados Según quien las realiza - Evaluación Externa - Evaluación Interna - Evaluación Compartida

7. Desempeño. Según la Real Academia Española, desempeño se refiere a: “actuar, trabajar, dedicarse a una actividad”, lo cual nos da una idea básica, pero que requiere una elaboración conceptual más amplia para el ámbito de la gestión pública. Tal desarrollo a menudo se ha asimilado al concepto anglosajón de government performance, el cual se refiere a “la productividad, calidad, oportunidad, responsabilidad y eficacia” de los servicios y programas públicos

8. Que es la Medición del Desempeño? La selección y uso de medidas cuantitativas de capacidades, procesos y resultados con el objetivo de obtener información acerca de los aspectos fundamentales de las actividades, incluido su efecto en el público . La colección y notificación regular de los datos para rastrear el trabajo producido y los resultados logrados.² Fuente: Lichiello P and Turnock BJ. (1999) Guidebook for Performance Measurement. Turning Point National Program Guidebook for Performance Measurement. ¹Health Performance Measurement in the Public Sector: Principles and Policies for Implementing an Information Network. 1999. E.B. Perrin, J.S. Durch, y S.M. Skillman eds. National Research Council. National Academy Press. ²Virginia’s Handbook on Planning and Performance. 1998. http://dit1.state.va.us/dpb/pm/handbook/handbook.htm

9. ¿Por qué medir el desempeño en la salud pública? Establecer metas, objetivos para el desarrollo Evaluar la capacidad de la organización Colaborar Asignar responsabilidad Monitorear el progreso Informar a los actores sobre el progreso Los gerentes de Proyectos públicos tienen una enorme cantidad de razones para medir el desempeño. Una forma de organizar esta gran colección de razones es convertirla en ocho propósitos específicos: identificar, controlar, presupuestar, motivar, promover, celebrar, aprender y mejorar. Las primeras siete razones o propósitos para medir el desempeño están, todas ellas, subordinadas a la octava razón:mejorar

10. Desempeño. Ámbitos de Control y Dimensiones. Ámbitos de Control: Existen diferentes etapas en la cadena de una acción pública respecto de la cual se espera un logro o resultado, éstas difieren en el tipo de resultados esperados y en el momento en que deben ocurrir. Clásicamente estas etapas se ordenan según los conceptos de procesos, productos y, resultados (iniciales, intermedios y finales o impacto). Dimensiones: (EEE) Los conceptos más utilizados para identificar las dimensiones del desempeño son: eficacia, eficiencia y economía. La Calidaddel servicio puede ser considerada una dimensión específica del concepto de eficacia o ser tratada como una dimensión adicional (EEE-C).

11. Interrelación entre Ámbitos de Control y Dimensiones de desempeño del Sistema Resultados Efectividad - Calidad Productos Costo-Efectividad Eficiencia Procesos Insumos Economía Costos Dimensiones Ámbitos de Control

12. Indicadores de Desempeño “son medidas que describen cuan bien se están desarrollando los objetivos de un programa, un proyecto y /o la gestión de una institución.” “establecen lo que será medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo” “tienen una función descriptivaque consiste en aportar información sobre el estado real de una actuación pública o programa y una función valorativaque consiste en añadir a la información anterior un “juicio de valor” basado en antecedentes objetivos sobre si el desempeño en dicho programa o actuación pública es o no el adecuado. (“desempeño esperado”)

13. Requisitos básicos para la construcción de Indicadores de Desempeño • El requisito fundamental para el diseño del indicador es el establecimiento previo de los objetivos y metas“lo que será medido”. La calidad y utilidad del indicador (en tanto instrumento de medición de las variables asociadas al cumplimiento de objetivos) estarán determinadas por la claridad y relevancia de la meta que tiene asociada. • El resultado de la medición del indicador entrega un “valor” de comparación el cual está referido a alguna meta asociada (estándar). • - El indicador deberá estar focalizado y orientado a “medir aquellos aspectos claves”, lo cual implica la necesidad de tener claridad cuáles son los “objetivos o propósitos” de la institución, y no todos, sino aquellos más relevantes que se relacionan con los productos estratégicos, dirigidos a los usuarios externos.

14. Nomenclatura de los Indicadores de Desempeño • Información según Ámbitos de Control de la gestión pública: • Insumos (Inputs) • Procesos o actividades • Productos (outputs) • Resultados (outcomes) • Información según Ámbitos de Control de la gestión pública: • Insumos (Inputs) • Procesos o actividades • Productos (outputs) • Resultados (outcomes) - Información según las actuaciones en las dimensiones de: - Economía - Eficiencia - Eficacia (incluye Calidad)

15. Ejemplo de Indicadores de desempeño de una campaña anti tabaquica, según ámbitos de control Ámbitos de Control Indicadores Inputs (Insumos) $$ de la campaña -diseño y pruebas de los avisos -producción de los avisos -compra del tiempo de aviso comercial Actividades (Proceso) - avisos transmitiéndose en la televisión Productos Resultados Inmediatos Intermedios Finales - las personas ven los avisos - las percepciones de la gente se ven afectadas - menor incidencia de enfermedades relacionadas

16. Ejemplo de Programa Dengue y la interrelación de los Ámbitos de Control y de las Dimensiones de Desempeño

17. Herramientas para medir el desempeño en salud publica (1) Instrumento de Medición de las Funciones Esenciales de Salud Pública - FESP (OPS) Instrumentos del Programa Nacional de Normas de Desempeño en Salud Pública (CDC) Instrumento de evaluación de las capacidades en vigilancia y respuesta (OPS y los países miembros - RSI - en desarrollo)

18. Herramientas para medir el desempeño en salud publica (2) Herramienta de autoevaluación de gestión del desempeño (Public Health Foundation y Turning Point Performance Management National Excellence Collaborative, EEUU) http://www.phf.org/infrastructure/resources/FandRPM/PM_Self_Assess_Tool.pdf Herramienta de medición de desarrollo saludable (San Francisco Departamento de Salud Publica, EEUU) http://www.thehdmt.org/ Proyecto de desempeño de salud pública Australiana (Australia) New South Wales Public Health Bulletin, Volume 16 Number 1 & 2 2005 http://www.publish.csiro.au/nid/227/issue/4215.htm y www.nphp.gov.au

19. Instrumentos delPrograma Nacional de Normas de Desempeño en Salud Pública (NPHPSP) 2007* Evaluación del desempeño del sistema de salud pública del estado Evaluación del desempeño del sistema de salud pública local Instrumento local de evaluación de gobernanza en salud pública * Nuevas versiones de las herramientas disponibles en el sitio del CDC http://www.cdc.gov/od/ocphp/nphpsp/NewInstrument.htm

20. OMS Reglamento Sanitario Internacional (RSI) 2005 El primer Reglamento Sanitario Internacional, fue adoptado en 1969 por la OMS y todos los países miembros Los reglamentos se actualizaron en 2005 y fueron adoptados en la 58 Asamblea Mundial de la Salud Durante 2007-2009 todos los países miembros empezarán a evaluar su sistema existente de salud pública Los requisitos de capacidades básicas para las tareas de vigilancia y respuesta están en el documento: http://www.who.int/gb/ebwha/pdf_files/WHA58/WHA58_3-sp.pdf

21. Instrumento de evaluación de las capacidades en vigilancia y respuesta (OPS) Herramienta nueva para todos los países en las Américas y el Caribe de modo de evaluar sus servicios de salud pública incluyendo su desempeño Focalizar en vigilancia y los servicios de laboratorio del Ministerio de Salud, también en los diferentes programas responsables para el control de enfermedades y vectores Se espera que el proceso de evaluación y la herramienta se difunda dentro de los próximos meses.

22. Evaluación o Medición de Indicadores de Desempeño ?? Las Evaluaciones de desempeño, distinguiéndolas del concepto más general o genérico, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del quehacer de las intervenciones públicas, como un programa, y encontrar factores explicativos a estas valoraciones o juicios evaluativos. De esta forma las Evaluaciones se diferencian de los procesos de monitoreo, los que suelen ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos. Las Mediciones de Indicadores de Desempeño, corresponden a algoritmos matemáticos o formulas de medición, que entregan una valoración cuantitativa del desempeño, pero que por si solosno explican ese resultado. Esta es la propuesta de trabajo que se pretende desarrollar. Un Sistema de Medición de Indicadores de Desempeño de los Programas de Salud Pública a nivel Provincial integrando las dimensiones y los ámbitos de control del desempeño, y el cumplimiento de los diferentes Componentes de las FESP

23. Principales dificultades técnicas para la construcción de indicadores • - Cómo formular objetivos estratégicos y desagregar las metas • - Cómo establecer la ponderación de los indicadores • - Qué unidades o áreas deben generar indicadores • - Cómo construir la fórmula • - Cómo medir la producción “intangible” • Cómo medir los resultados finales de la gestión institucional que están influenciados • por factores externos • Cómo medir los resultados de la gestión institucional que dependen de la gestión de • varias instituciones • - Cómo medir los productos cuyos resultados se obtienen a largo plazo • - Construcción de bases de datos para realizar la medición. • - Dificultad para contar con datos históricos disponibles para realizar la medición • Dificultad para medir los insumos (inputs) y productos (outputs) por falta de sistemas • contables financieros para desarrollar indicadores de eficiencia, etc. • Antecedentes para desarrollar indicadores de productos (outputs) y poder evaluar • los resultados finales • - Sobre qué datos comparo el indicador

24. Principales dificultades operativas de implementación • No se cuenta con una Unidad a cargo del Sistema de Control de Gestión o si existe tiene poca incidencia en el resto de las Unidades de la organización • Las capacidades técnicas y compromiso interno por la evaluación y la construcción de indicadores radican en unos pocos funcionarios. • No se cuenta con recursos para desarrollar un sistema de información que permita la alimentación automática de las variables para la construcción de los indicadores y el cálculo de las fórmulas • No se vislumbra el valor agregado de construir indicadores: a la institución no le trae ninguna consecuencia presupuestaria, incentivo económico, etc. • El ejercicio de realizar indicadores se transforma en una carga burocrática que no estimula el interés por la evaluación. • - Aparte de la autoridad central que demanda los indicadores no existe interés por conocer los resultados.