Workshop Coordenado por Jim Rugh

1. Avaliação em um Mundo RealDesenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticasIII Seminário da Rede Brasileira de Monitoramento e AvaliaçãoBrasília, DF, Brasil01 de junho de 2011 Workshop Coordenado por Jim Rugh A apresentação é um resumo do capítulo do livro que está disponível em : www.RealWorldEvaluation.org Traduzida para o portugues por Marcia Joppert

2. Objetivos do Workshop 1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões.

3. Objetivos do Workshop • Definir qual deveria ser o impacto da avaliação; • Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação; • Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado; • comominimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real.

4. Objetivos do Workshop Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento.

5. Agenda de Trabalho 1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR.[30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos] --- intervalo curto [15 minutos]--- 5. AMR (passo 4): Enfrentando restrições de informação [30 minutos]6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos] --- almoço [60 minutos] --- 7. Métodos qualitativos, quantitativos e mistos [20 minutos] 8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos] 9. Negociação de Termos de Referência entre gurpos [60 minutos]10. Resultados do exercício [15 minutos] 11. Conclusão das discussões. Avaliação do workshop [30 minutos]

6. Avaliação em um Mundo RealDesenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas Resumo do enfoque AMR

7. Cenários de Avaliação em um Mundo Real Cenário 1:avaliadores não participam até quase o final do projeto Por razões políticas, técnicas ou orçamentárias: • Não houve plano de avaliação do ciclo de vida do projeto • Não houve pesquisa de linha de base • Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto • É difícil conseguir informações de grupos de controle comparáveis

8. Cenários da Avaliação em um Mundo Real Cenário 2: A equipe de avaliação é convocada no início do projeto Mas, por razõesorçamentárias, políticas ou metodológicas: • A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual • Não foi possível coletar dados de linha de base de um grupo de comparação

9. Checando a realidade – Desafios da Avaliação do Mundo Real • Em geral, os formuladores de projetos não pensam avaliativamente e a avaliação acaba sendo desenhada ao final do projeto • Não houve linha de base; ao menos não uma com dados comparáveis na avaliação • Não houve e nem pode haver grupos de comparação/controle. • Tempo e recursos limitados para a avaliação • Os clientes têm suas próprias expectativas sobre o que eles querem que os resultados digam • Muitos atores não entendem avaliação; não confiam no proceso ou o vêm como uma ameaça (não gostam de ser julgados)

10. Avaliação em um Mundo Real Metas de Controle de Qualidade • Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto • Identificar e controlar as debilidades metodológicas no desenho de uma avaliação • Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis • A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades

11. A necessidade da abordagem Avaliação em um Mundo Real • Como resultado destasrestrições , muitosdos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentaçãoda metodologia de avaliação, etc.

12. A abordagem Avaliação em um Mundo Real um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sobrestrições políticas, orçamentárias, de tempo e de informação . Ver o livro RealWorld Evaluation ou, ao menos, o capítulo resumo para mais detalhes

13. A abordagem Avaliação em um Mundo Real • Desenvolvido para ajudar avaliadores e clientes • Gerentes de Projetos, agências de financiamento e consultores externos • Um trabalho ainda em construção (continu-se aprendendo a partir de workshops como este) • Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos

14. Desafios particulares da avaliação em países em desenvolvimento • Falta de acesso ou inexistência de dados secundários • Escassos recursos locais para avaliação • Orçamentos limitados para avaliação • Restrições institucionais e políticas • Falta de uma cultura em avaliação (ainda quando as associações de avaliação tentam dar resposta a esta questão) • Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais

15. Expectativas para avaliações “rigorosas” Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento. (Falaremos disto mais tarde…!)

16. A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado • A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares paraavaliadores experientes. • O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.

17. O que há de especial na abordagem Avaliação em um Mundo Real? • Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las. • Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…

18. Os passos do Enfoque Avaliação em um Mundo Real passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentárias passo 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticas passo 6:Avaliar e abordar as fortalezas e debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação

19. A abordagem Avaliação em um Mundo Real • passo 1: Planejando e definindo o escopo da avaliação • . Definir as necessidades de informação do cliente e comprender o contexto político • . Definir o modelo teórico do programa • . Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR • . Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restriçõesda AMR passo 2 Abordar restrições orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveis D. Revisar o desenho amostral E. Definir métodos econômicos de coleta de dados passo 3 Abordar restrições de tempo Todo o passo 2 + : F. Realizar Estudos preparatórios G. Contratar mais recursos humanos H. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto. I. Tecnologia moderna para coleta e análise de dados • passo 4 • Abordar restrições de informação • . Reconstruir linha de base • . Recriar os grupos de controle/comparação • . Trabalhar con grupos de controle não equivalentes • . Coletar informação em temas sensibles ou de grupos difíceis de acessar • . Uso de métodos múltiplos passo 5 Abordar influências políticas A. Acomodar as pressões dasagências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociais C. Reconhecer a influência dos paradigmas de investigação profissional . passo 6 Avaliar e abordar as fortalezas e debilidades do desenho de avaliação Uma lista de verificação integrada para desenhos multi-métodos A. Objetividade/confirmabilidadeB. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidadeD. Validade externa/transferência/adaptabilidade passo 7 Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação 19

20. tempo para discussão em grupos 20

21. Apresentação de cada participante • Que restrições destes tipos vocês enfrentaram em suas prática de avaliação ? • Como lidaram com elas? 21

22. Avaliação em um Mundo RealDesenhando avaliações sob restrições orçamentárias, de tempo, de informação e políticas passo 1 Planejando e definindo o escopo da avaliação

23. Passo1: Planejando e definindo o escopo da avaliação • Comprender as necessidades de informação dos clientes • Definir o modelo teórico do programa • Identificação preliminar de restrições a serem endereçadas pela Avaliação em um Mundo Real

24. A. Comprendendo as necessidades de informação do cliente Perguntas típicas que os clientes desejam responder: • O projeto está alcançando seus objetivos? • Está tendo o impacto desejado? • Todos os setores da população-alvo estão sendo beneficiados? • Os resultados serão sustentáveis? • Que fatores contextuais determinam o grau de êxito ou fracasso?

25. A. Comprendendo as necessidades de informação do cliente Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigornecessário. No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida!

26. B. Definindo o modelo teórico do Programa Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados. • Às vezes isso está claramente explicitado nos documentos de projeto. • Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.

27. B. Definindo o modelo teórico do Programa • Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas. • O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro-crédito no empoderamento social e econômico de mulheres

28. Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero • Sustentabilidade • Mudanças estruturais contribuirão com impactos de longo prazo. • Impactos de médio e longo prazo • Incremento do empoderamento econômico e social das mulheres. • Melhora do bem-estar econômico e social das mulheres e suas famílias. • Resultados a curto prazo • Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda. • As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los. • Produtos • Se há oferta de crédito, as mulheres estarão dispostas e aptas a obter empréstimos e assistência técnica.

29. Consequências Consequências Consequências PROBLEMA CAUSA PRIMARIA 1 CAUSA PRIMARIA 2 CAUSA PRIMARIA 3 Causa Secundaria 2.3 Causa Secundaria 2.1 Causa Secundaria 2.2 Causa Terciaria 2.2.3. Causa Terciaria 2.1.1 Causa Terciaria 2.2.2.

30. Consequências Consequências Consequências IMPACTO DESEJADO RESULTADO 1 RESULTADO 2 RESULTADO 3 PRODUTO 2.3 PRODUTO 2.1 PRODUTO 2.2 Intervenção2.2.1 Intervenção2.2.2 Intervenção2.2.3

31. Redução da Pobreza MULHERES EMPODERADAS Mulheres jovens educadas Mulheres em funções de liderança Oportunidades Econômicas para mulheres Melhores políticas educacionais Melhora nos currículos Aumento da participação das mulheres Pais estimulados a mandar suas filhas para a escola Contratação e remuneração justa de professores Construção de escolas

32. Para ter sinergia e gerar impactos tudo isso precisa envolver O mesmo público alvo. Objetivo do Programa: mulheres jovens instruídas Promoção do Objetivo do projeto :Políticas educacionais melhoradas Objetivos de formação de educadores:Melhorar a qualidadr do currículo Objetivos constructivos do projeto Mais salas de aula construídas NOSSO projeto PRESSUPOSTO (que outros farão isto) PARCEIROS farão isto Objetivos de Programa em nivel de impacto

33. O Que é preciso para medirindicadores em cada nível? Impacto: Pesquisa junto à população (avaliação da linha de base e da linha final) Resultados: Mudanças de comportamento dos participantes (Pode ser checado anualmente) Produto:Medido e reportado pela equipe do projeto (anualmente) Actividades: Durante (monitoramento da intervenção ) Insumos: Durante (acompanhamento financeiro)

34. Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a medição em diferentes níveis • Impacto • Resultados • Produtos • Atividades • Insumos AVALIAÇÃO de IMPACTO AVALIAÇÃO do Projeto MONITORAMENTO do DESEMPENHO

35. Contexto institucional e operacional Contexto Econômico no qual opera o projeto Contexto Político no qual opera o projeto Características sócio-econômicas e culturais das populações afetadas Uma forma de Modelo Teórico (lógico) de um Programa Produtos Resultados Desenho Insumos Proceso de Implementação Impactos Sustenta- bilidade Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa

37. Expandindo a cadeia de resultados para um programa com multi-financiadores e multi-componentes Renda familiar rural aumentada Participação política aumentada Desempenho educacional melhorado Saúde melhorada Impactos Produção aumentada Acesso a emprego não agrícola Aumento do nº de matrículas na escola Aumento do uso de serviços de saúde Resultados Intermediários Produtos Crédito para pequenos produtores Serviços de Saúde Estradas em zonas rurais Escolas Insumos Financiador 1 Governo outros financiadores Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

38. Lógica de uma Intervenção Educacional Impactos Globais Grupo de produtos Impactos específicos Impactos Intermediários Resultados Melhor alocação de recursos educacionais Planejamento familiar e seguros de saúde melhorados Gestão institucional Qualidade da Educação Aumento asequibilidad Educativa CrescimentoEconómico Incremento de habilidades e aprendizado Materiais educativos e Currículo Redução da Pobreza Maior participação da Sociedade ODM 2 ODM 1 Acesso equitativo a educação Emprego e capacitação educadores Desenvolvimento Social ODM 2 Saúde ODM 3 Melhores oportunidades de Renda Emprego ótimo Servicios Educacionais Fonte: OECE/DAC Network on Development Evaluation

39. Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”? • Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ?  Atribuição muito clara. … Ou … • Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)?  Mais significativos, mas muito mais difícil analisar la atribução .

40. Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”? OECD-DAC (2002: 24) define impacto como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”. Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)?

41. Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação • Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível. • Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas

42. Definição de avaliação de Programas Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção . -- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39

43. Alguns Propósitos da Avaliação de Programas • Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas • Geradora de Conocimiento: identificaras relações de causa-efeito e princípios gerais acerca da efetividade. • Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados • Juízos Somativos: determina o valor e o futuro do programa • Avaliação do Desempenho: adaptação em condições complexas, emergentes e dinámicas -- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140

44. Determinando um desenho de avaliação apropriado e viável • Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias.

45. Algumas considerações para o desenho de uma avaliação 1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final) 2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros) 3: Nível de rigor desejado 4: Métodos qualitativos e quantitativos 5: um desenho de avaliação basado no “ciclo de vida” do projeto.

46. Escala do principal indicador de impacto Uma Introdução a vários desenhos de avaliação iIustrando a necessidade de desenhos de avaliação quasi-experimentais e de séries de tempo ou longitudinais Participantes do projeto Grupo de comparação linha de base Avaliação Final do projeto avaliação pós projeto 46

47. OK, vamos dar uma paradinha para identificar cada um dos principais tipos de desenho de avaliação (investigação ) … … um de cada vez, começando pelo desenho mais rigoroso. 47

48. Antes de tudo; a chave dos símbolos tradicionais: • X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade? • O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto) • P (fila superior): Participantes do Projeto • C (fila inferior): Grupo de Comparação (ou de controle) Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real 48

49. desenho # 1: Quasi-experimental Longitudinal P1 X P2 X P3 P4 C1 C2 C3 C4 Participantes do Projeto Grupo de comparação Linha de base Interme- diário Avaliação Final Do Projeto avaliação posterior de Projeto 49

50. Desenho # 2: Quasi-experimental (pre+pós, com comparação ) P1 X P2 C1 C2 Participantes do Projeto Grupo de Comparação Linha de base Avaliação Final Do Projeto 50