Metodologia de Avaliação de programa [qualitativa]

1. Metodologia de Avaliação de programa[qualitativa] Material apresentado e discutido em seção científica do Dpto de epidemiologia e métodos quantitativos da Ensp / Fiocruz em 2006 ( Modelo de avaliação operacional do programa ampliado de imunização-PAI/SIV/OPS utilizado e experimentado desde a década de 1980[1984] até o ano atual[2009] ) maranhao@ensp.fiocruz.br emaranhao@hotmail.com E.Maranhão

2. Metodologia de Avaliação de programa[qualitativa]1 • FUNDAMENTOS Teóricos[modelo]: Construtivista-quanto a ontologia é relativista, as realidades são apreendidas em múltiplas formas, são construções mentais intangíveis,socialmente e experimentalmente fundamentadas[baseadas], na natureza local e específica(embora os elementos são freqüentemente repartidos[ divididos]entre muitos indivíduos e também através das culturas),e dependentes da formas e conteúdo, pessoas e grupos realizando construções. As construções não são mais nem menos “verdadeiras”, no sentido absoluto, mas simples ou menos informada e / ou sofisticada. As construções são alteráveis, como as “realidades”. Esta posição deve ser diferenciada [distinguida] tanto do nominalismo como do idealismo( Reese,1980) . Considerando a epistemologia esta é transacional e subjetivista, isto é o investigador e o objeto da investigação são assumidos como sendo interativamente ligados aos “ achados” tanto quanto os “achados” são literalmente criados com o procedimento de investigação. Sob o ponto de vista da metodologia esta é hermenêutica e dialética. A variável e a natureza intramental da construção social sugere que a construção individual pode ser obtida, extraída e refinada somente através da interação entre e em conjunto com o investigador e o investigado. Estas variadas construções são interpretadas usando técnicas hermenêuticas convencionais, e são comparadas e constratadas através das trocas dialéticas. A intenção, a essência é distinguir uma construção de consenso que é mais informada e sofisticada que uma construção anterior, precedente; incluindo, logicamente, a construção ética do investigador(E..G.Guba e Y.S.Lincoln ) ESPM

3. Avaliação de programa 2 • Fundamento[continuação] • Podemos encontrar a origem de tal método na etnometodologia (Shütz;1971), passando pela pesquisa participativa, pesquisa ação.(Mattelart & Mattelart;1995) • O método de avaliação rápida (REM) consiste em um conjunto de pesquisas baseadas em observação e diagnóstico de atividades, realizadas geralmente nos estabelecimentos de saúde. Fornece uma base para a identificação de problemas operacionais e para a tomada de ações gerenciais. (Anker. M. et al;1993) ESPM

4. Avaliação de programa 3 • 1.2-Propósito • O propósito de avaliar um programa a nível nacional é conhecer seu estado atual, especialmente as condições que poderiam facilitar ou dificultar atingir seus objetivos, e usar esta informação para a oportuna tomada de decisões em benefício da população. • Avaliam-se a força e debilidade, a eficiência e eficácia, o impacto sobre as doenças e eventos negativos e a capacidade do programa para adaptar-se a novas demandas, tanto as geradas por processos de reforma do setor saúde e a descentralização, como as que surgem em resposta as necessidades da população de aceder a novas ofertas,atividades e serviços de saúde. • As guias [entrevistas,questionários semi-estruturados e observação orientada] tem como objetivo ajudar aos que conduzem a revisão do programa. • A diferença com outros modelos de avaliação de programas é que os avaliadores estão orientados a enfocar os aspectos específicos relacionados com a situação atual do programa e a avaliação só se torna completa com a elaboração de um plano de ação, geralmente qüinqüenal onde se materializam as recomendações da avaliação em atividades concretas a serem realizadas. ESPM

5. Avaliação de programa 4 • O modelo de avaliação se define como:[ no marco conceitual] • A- Impacto: é a análise que se realiza para estimar em que medida as ações desenvolvidas tem produzido as mudanças esperadas. Os principais indicadores que operacionalizam este conceito são a morbidade , mortalidade e medidas de risco das doenças e eventos relacionados ao programa • B-Processo: é a análise que se realiza a partir das ações implementadas para produzir as mudanças esperadas ESPM

6. Avaliação de programa 5 • São fundamentos do modelo: • INTEGRAÇÃO • MULTIDISCIPLINARIEDADE • PARTICIPAÇÃO/ NEGOCIAÇÃO[de acordo com a 4* geração de avaliação] • TRABALHO DE GRUPO ESPM

7. Componentes da avaliação doPAI/PNI 6 • 1-Prioridade política • 2-Dados demográficos • 3-Planejamento • 4-Programação • 5-Organização • 6-Coordenação • 7-Estratégias e Táticas • 8-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros] • 13- Insumos, material necessário,. logística • 14-Cadeia de frio • 15-Capacitação • 16-Supervisão • 17-Sistema de informação • 18-Vigilância Epidemiológica[incluindo coberturas e risco] • 19-Avaliação e investigação • 20-Participação da Comunidade,Educação para a saúde, Mobilização social • 21-Satisfação dos usuários ESPM

8. Avaliação de programa 7 • Obter os principais : • Aspectos positivos, ganhos,avanços, vantagens[por componente] • Problemas, dificuldades, limitações, bloqueios, aspectos negativos[por componente] • Gerar: • Recomendações para cada componente • a partir das recomendações, definir atividades ,cronograma, responsabilidades, custos de cada atividade ---> O PLANO DE AÇÃO __ ESPM

9. Avaliação de programa 8 • Objetivos: • 1-Descrever a história recente das atividades do Programa[ 3 anos mínimo] • 2-Descrever de forma quantitativa os ganhos,avanços alcançados e atividades do Programa • 3-Definir os problemas, limitações,dificuldades,bloqueios, aspectos negativos • 4-Recomendar os objetivos necessários para alcançar a solução dos problemas • 5-Definir as atividades factíveis, aplicáveis em relação a realidade do país,região, local para alcançar os objetivos recomendados num tempo determinado ESPM

10. Avaliação de programa 9 • Baseia-se: • a- Coleta e analise dos dados disponíveis • b- Trabalho de campo[visita ao terreno], estabelecimentos e ambientes de trabalho • c- Entrevistas individuais e de grupos[ grupos focais] • Envolve 3 níveis do Sistema de Saúde: • Central/nacional • Regional/ intermediário/sub-nacional • Operacional/[local] ESPM

11. Avaliação de programa 10 • Os resultados finais surgem da comparação entre os dados e informações obtidas em relação aos indicadores para cada componente identificado • Obs: É necessário definir um padrão , os pressupostos básicos,indicadores[ a “teoria do programa” na acepção anglosaxonica-EUA • Definir os instrumentos[ guias, questionários, roteiros de entrevistas, para cada nível do sistema de saúde] ESPM

12. Avaliação de programa 11 • Os participantes da equipe de avaliação do PAI, devem ser das seguintes áreas [ áreas mínimas] : • Planejamento/Programação • Materno-infantil • Supervisão • Recursos humanos • Vigilância epidemiológica • Administração geral • Abastecimento e logística • Educação para a saúde e participação comunitária • Estatística e Sistema de informação • Atenção primária da saúde/ atenção médica ESPM

13. Avaliação de programa 12 • Período da avaliação: no máximo 4 semanas[ideal 3] • Fases: • I-Preparação- Levantamento de material, seleção da amostra,garantir infra-estrutura de apoio • II-Trabalho de campo- • III-Dinâmica de grupo e elaboração do documento final da avaliação: • a-relatório final das avaliação= com aspectos positivos, aspectos negativos, problemas e recomendações • b-Plano de Ação= > com atividades, cronograma, responsabilidades, custos ESPM

14. Ex: Saúde do Trabalhador 13 • 1-Prioridade política • 2-Legislação/bases legais • 3-Dados demográficos • 4-Planejamento • 5-Programação • 6-Organização • 7-Coordenação • 8-Estratégias e Táticas • 9-Recursos[9-humanos, 10-de gestão,11-físicos e12- financeiros] • 10- Insumos, material necessário,. logística • 11-Capacitação • 13-Supervisão • 15-Sistema de informação • 16-Vigilância Epidemiológica[incluindo coberturas e risco] • 17-Avaliação e investigação • 18-Participação da Comunidade,Educação para a saúde, Mobilização social • 19-Satisfação dos usuários ESPM

15. Ex: Saúde do trabalhador 14 • Os participantes da equipe de avaliação do Saúde do trabalhador, devem ser das seguintes áreas[ áreas mínimas] : • Área jurídica • Planejamento/Programação • Supervisão • Recursos humanos • Vigilância epidemiológica • Administração geral • Abastecimento e logística • Educação para a saúde e participação comunitária • Estatística e Sistema de informação • Atenção primária da saúde/ atenção médica, atenção a saúde do trabalhador e acidentes de trabalho ESPM

16. A questão da validade 15 • Nas ciências sociais , a triangulação é usada freqüentemente para indicar que + de um método é usado no estudo para checar os resultados( uso de multimétodos) • É também chamada de “exame cruzado” [“cross examination”]. A idéia é que que o resultado é + confiável quando diferentes métodos levam a este resultado • Obs: De modo a maximizar a validade dos resultados da avaliação, as seguintes estratégias devem ser seguidas: • 1. Durante a avaliação , os atributos dos seguintes itens devem ser padronizados: • a - pesquisador; b-técnica de pesquisa; c-contexto da pesquisa(avaliação) • Isto significa que os mesmos avaliadores(com atributos semelhantes)devem executar toda a avaliação ,usando as mesmas técnicas de cada vez, no mesmo cenário( em termos de lugar,de tempo e de circunstâncias ) • 2. Durante a avaliação , os mesmos fenômenos devem ser estudados usando-se técnicas diferentes(selecionadas dos conteúdos das” caixas de ferramentas”, já que um alto grau de convergência entre esses resultados é significativo e maximiza as chances de validade.Este processo de buscar concordância e sobreposição é conhecido como Triangulação . • 3. Ao analisar-se os resultados de uma avaliação ,tal como o corpo do texto produzido por uma questionário aberto/entrevista, o objetivo é conseguir a concordância de vários avaliadores na codificação dos dados, na identificação dos temas subjacentes, na interpretação. Isto é, vários pesquisadores/avaliadores devem ler e analisar o material e identificar as áreas de concordância. • ESPM

17. Bibliografia 16 • OPS-Metodologia para la Evaluación Multidisciplinaria –HPM-PAI; febrero,1984(Borrador) • OPS-Metodologia para la Evaluación multidisciplinariade PAI a nivel país; octobre 2000 [também em inglês] • M.Anker,R J.Guidotti, S.Orzeszina, S.A. Sapirie, M C Thuriaux. Rapid Evaluation methods(REM)of health services performance: methodological observations;1993.WHO Buletin OMS Vol 71(1):15-21 • Guba,E.G & Lincoln,YS- Competing Paradigms in Qualitative Research- handbook of Antropology; capitulo 6-pg 105-117 • CDC,1999.framework for Program Evaluation in Public Health. Morbidity and Mortality Weekly Report(MMWR). .48(RR-11) • Chen,H.T.;2003. Theory-Driven aproach for facilitation of planing health promotion or others programs- The Canadian Journal Evaluation Vol 18 No2 pages 91-113 • Verani;J.F-Metodologias de Avaliação aplicadas a programa de imunização: uma revisão bibliográfica-2004 • Verani;J. F- Uma construção da teoria avaliativa de programas de imunização-2004 • Smith,G.Development of Rapid Epidemiologic Assessment Methods to Evaluate Health Status and Delivery of Health Services. International Journal of Epidemiology 7.18(Suppl.2): S2-S15(1989) • Helman ,C.G 92003) Novos métodos de pesquisa em antropologia médica. In: Cultura, Saúde e Doença -4* edição • Scrimshaw,N.S,and/eds Gleason,G.R(eds)(1992). Rapid Assessment Procedures. International Nutricion Foundation for Developing Countries (INFDC) • Fetterman,D.M.; Kaftarian,S.J.;& Wandersman,A.1996- Empowerment Evaluation: Knowledge and tools for self-assessment and accountability. Thousand Oaks,C A: Sage, 411 p • Mattelart & Mattelart- histoire des Theories de la Comunication.Éditions La Decouvert e Syros,Paris,1995; ISBN:2-7071-2469-9 • Maranhão,E.P.S- Avaliação do Programa de Saúde do Trabalhador- pelo Rapid Evaluation Method[REM],uma proposta metodológica, 2004 • ESPM

18. Glossário 17 • Construtivista- é a idéia de que nada , a rigor , está pronto, acabado, e de que, especificamente, o conhecimento não é dado, em nenhuma instância como algo terminado.ele se constitui pela interação do individuo com o meio físico social, com o simbolismo humano,com o mundo das relações sociais;se constitui por força de sua ação e não por qualquer dotação prévia na bagagem hereditária ou no meio, de tal modo que podemos afirmar que antes da ação não há consciência e muito menos pensamentos. na antropologia- A idéia de “Bricollage”(Levis Strauss), em inglês “Puzlle”(quebra-cabeça) Nominalismo- o conceito,idéia,essência comum a todas as coisas que indicamos é uma ato simples de nossa mente expresso por um nome. Idealismo- tendência filosófica que reduz toda a existência do pensamento. Opõe-se ao realismo, que afirma a existência dos objetos independentemente do pensamento.No idealismo absoluto, o ser é reduzido a consciência ao longo da história da filosofia, ele aparece sob formas menos radicais. Não nega categoricamente existência dos objetos no mundo, mas reduz o problema a questão do conhecimento Ontologia- é a parte da filosofia que trata da natureza do ser, ou seja,da realidade, da existência dos entes e questões metafísicas em geral. Epistemologia- é um ramo da filosofia que trata dos problemas filosóficos relacionados à crença e ao conhecimento. Hermenêutica- ramo da filosofia que se debate com a compreensão humana e interpretação de textos escritos. Dialética-arte no dialogo, demonstrar uma tese por meio de uma argumentação capaz de distinguir claramente os conceito envolvidos na discussão(Konder) ESPM

19. Referencias • OPS .METODOLOGÍA PARA LA EVALUACIÓN MULTIDISCIPLINARIA DEL PROGRAMA AMPLIADO DE INMUNIZACIONES A NIVEL PAÍS Octubre 2000. • OPS. Metodología para la Evaluación Multidisciplinaria-HPM-PAI; febrero,1984 (borrador). • OPS. varios materiales desarrollados en las evaluaciones del PAI.[variados años -de 1984 hasta 2000] ESPM