slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Workshop Coordenado por Jim Rugh PowerPoint Presentation
Download Presentation
Workshop Coordenado por Jim Rugh

Loading in 2 Seconds...

play fullscreen
1 / 62

Workshop Coordenado por Jim Rugh - PowerPoint PPT Presentation


  • 89 Views
  • Uploaded on

Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011. Workshop Coordenado por Jim Rugh

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Workshop Coordenado por Jim Rugh' - geneva


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Avaliação em um Mundo RealDesenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticasIII Seminário da Rede Brasileira de Monitoramento e AvaliaçãoBrasília, DF, Brasil01 de junho de 2011

Workshop Coordenado por

Jim Rugh

A apresentação é um resumo do capítulo do livro que está disponível em :

www.RealWorldEvaluation.org

Traduzida para o portugues por Marcia Joppert

objetivos do workshop
Objetivos do Workshop

1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões.

objetivos do workshop1
Objetivos do Workshop
  • Definir qual deveria ser o impacto da avaliação;
  • Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação;
  • Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado;
  • comominimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real.
objetivos do workshop2
Objetivos do Workshop

Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento.

agenda de trabalho

Agenda de Trabalho

1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR.[30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos]

--- intervalo curto [15 minutos]---

5. AMR (passo 4): Enfrentando restrições de informação [30 minutos]6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos]

--- almoço [60 minutos] ---

7. Métodos qualitativos, quantitativos e mistos [20 minutos]

8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos]

9. Negociação de Termos de Referência entre gurpos [60 minutos]10. Resultados do exercício [15 minutos]

11. Conclusão das discussões. Avaliação do workshop [30 minutos]

slide6

Avaliação em um Mundo RealDesenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas

Resumo do enfoque AMR

cen rios de avalia o em um mundo real
Cenários de Avaliação em um Mundo Real

Cenário 1:avaliadores não participam até quase o final do projeto

Por razões políticas, técnicas ou orçamentárias:

  • Não houve plano de avaliação do ciclo de vida do projeto
  • Não houve pesquisa de linha de base
  • Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto
  • É difícil conseguir informações de grupos de controle comparáveis
cen rios da avalia o em um mundo real
Cenários da Avaliação em um Mundo Real

Cenário 2: A equipe de avaliação é convocada no início do projeto

Mas, por razõesorçamentárias, políticas ou metodológicas:

  • A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual
  • Não foi possível coletar dados de linha de base de um grupo de comparação
checando a realidade desafios da avalia o do mundo real
Checando a realidade – Desafios da Avaliação do Mundo Real
  • Em geral, os formuladores de projetos não pensam avaliativamente e a avaliação acaba sendo desenhada ao final do projeto
  • Não houve linha de base; ao menos não uma com dados comparáveis na avaliação
  • Não houve e nem pode haver grupos de comparação/controle.
  • Tempo e recursos limitados para a avaliação
  • Os clientes têm suas próprias expectativas sobre o que eles querem que os resultados digam
  • Muitos atores não entendem avaliação; não confiam no proceso ou o vêm como uma ameaça (não gostam de ser julgados)
avalia o em um mundo real metas de controle de qualidade
Avaliação em um Mundo Real Metas de Controle de Qualidade
  • Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto
  • Identificar e controlar as debilidades metodológicas no desenho de uma avaliação
  • Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis
  • A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades
a necessidade da abordagem avalia o em um mundo real
A necessidade da abordagem Avaliação em um Mundo Real
  • Como resultado destasrestrições , muitosdos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentaçãoda metodologia de avaliação, etc.
a abordagem avalia o em um mundo real
A abordagem Avaliação em um Mundo Real

um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sobrestrições políticas, orçamentárias, de tempo e de informação .

Ver o livro RealWorld Evaluation

ou, ao menos, o capítulo resumo para mais detalhes

a abordagem avalia o em um mundo real1
A abordagem Avaliação em um Mundo Real
  • Desenvolvido para ajudar avaliadores e clientes
    • Gerentes de Projetos, agências de financiamento e consultores externos
  • Um trabalho ainda em construção (continu-se aprendendo a partir de workshops como este)
  • Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos
desafios particulares da avalia o em pa ses em desenvolvimento
Desafios particulares da avaliação em países em desenvolvimento
  • Falta de acesso ou inexistência de dados secundários
  • Escassos recursos locais para avaliação
  • Orçamentos limitados para avaliação
  • Restrições institucionais e políticas
  • Falta de uma cultura em avaliação (ainda quando as associações de avaliação tentam dar resposta a esta questão)
  • Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais
expectativas para avalia es rigorosas
Expectativas para avaliações “rigorosas”

Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento.

(Falaremos disto mais tarde…!)

slide16
A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado
  • A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares paraavaliadores experientes.
  • O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.
o q ue h de especial na abordagem avalia o em um mundo real
O que há de especial na abordagem Avaliação em um Mundo Real?
  • Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las.
  • Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…
os passos do enfoque avalia o em um mundo real
Os passos do Enfoque Avaliação em um Mundo Real

passo 1: Planejar e definir o escopo da avaliação

passo 2: Abordar as restrições orçamentárias

passo 3: Abordar as restrições de tempo

passo 4: Abordar as restrições de Informação

passo 5: Abordar as restrições políticas

passo 6:Avaliar e abordar as fortalezas e debilidades do desenho da avaliação

passo 7: Ajudar os clientes a usar a avaliação

slide19

A abordagem Avaliação em um Mundo Real

  • passo 1: Planejando e definindo o escopo da avaliação
  • . Definir as necessidades de informação do cliente e comprender o contexto político
  • . Definir o modelo teórico do programa
  • . Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR
  • . Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restriçõesda AMR

passo 2

Abordar restrições orçamentárias

A. Modificar o desenho da avaliação

B. Racionalizar necessidades de informação

C. Pesquisar informações secundárias confiáveis

D. Revisar o desenho amostral

E. Definir métodos econômicos de coleta de dados

passo 3

Abordar restrições de tempo

Todo o passo 2 + :

F. Realizar Estudos preparatórios

G. Contratar mais recursos humanos

H. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto.

I. Tecnologia moderna para coleta e análise de dados

  • passo 4
  • Abordar restrições de informação
  • . Reconstruir linha de base
  • . Recriar os grupos de controle/comparação
  • . Trabalhar con grupos de controle não equivalentes
  • . Coletar informação em temas sensibles ou de grupos difíceis de acessar
  • . Uso de métodos múltiplos

passo 5

Abordar influências políticas

A. Acomodar as pressões dasagências de financiamento ou dos clientes sobre o desenho da avaliação

B. Endereçar as preferências metodológicas dos atores sociais

C. Reconhecer a influência dos paradigmas de investigação profissional .

passo 6

Avaliar e abordar as fortalezas e debilidades do desenho de avaliação

Uma lista de verificação integrada para desenhos multi-métodos

A. Objetividade/confirmabilidadeB. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidadeD. Validade externa/transferência/adaptabilidade

passo 7

Ajudar os clientes a usar a avaliação

A. Utilização

B. Aplicação

C. Orientação D. Ação

19

slide21

Apresentação de cada participante

  • Que restrições destes tipos vocês enfrentaram em suas prática de avaliação ?
  • Como lidaram com elas?

21

slide22

Avaliação em um Mundo RealDesenhando avaliações sob restrições orçamentárias, de tempo, de informação e políticas

passo 1

Planejando e definindo o escopo da avaliação

passo1 planejando e definindo o escopo da avalia o
Passo1: Planejando e definindo o escopo da avaliação
  • Comprender as necessidades de informação dos clientes
  • Definir o modelo teórico do programa
  • Identificação preliminar de restrições a serem endereçadas pela Avaliação em um Mundo Real
a comprendendo as necessidades de informa o do cliente
A. Comprendendo as necessidades de informação do cliente

Perguntas típicas que os clientes desejam responder:

  • O projeto está alcançando seus objetivos?
  • Está tendo o impacto desejado?
  • Todos os setores da população-alvo estão sendo beneficiados?
  • Os resultados serão sustentáveis?
  • Que fatores contextuais determinam o grau de êxito ou fracasso?
a comprendendo as necessidades de informa o do cliente1
A. Comprendendo as necessidades de informação do cliente

Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigornecessário.

No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida!

b definindo o modelo te rico do programa
B. Definindo o modelo teórico do Programa

Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados.

  • Às vezes isso está claramente explicitado nos documentos de projeto.
  • Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.
b definindo o modelo te rico do programa1
B. Definindo o modelo teórico do Programa
  • Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas.
  • O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro-crédito no empoderamento social e econômico de mulheres
hip teses cr ticas da cadeia l gica em um programa de micro cr dito com inclus o de g nero
Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero
  • Sustentabilidade
    • Mudanças estruturais contribuirão com impactos de longo prazo.
  • Impactos de médio e longo prazo
    • Incremento do empoderamento econômico e social das mulheres.
    • Melhora do bem-estar econômico e social das mulheres e suas famílias.
  • Resultados a curto prazo
    • Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda.
    • As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los.
  • Produtos
    • Se há oferta de crédito, as mulheres estarão dispostas e aptas a obter empréstimos e assistência técnica.
slide29

Consequências

Consequências

Consequências

PROBLEMA

CAUSA PRIMARIA 1

CAUSA PRIMARIA 2

CAUSA PRIMARIA 3

Causa Secundaria 2.3

Causa Secundaria 2.1

Causa Secundaria 2.2

Causa Terciaria 2.2.3.

Causa Terciaria 2.1.1

Causa Terciaria 2.2.2.

slide30

Consequências

Consequências

Consequências

IMPACTO DESEJADO

RESULTADO 1

RESULTADO 2

RESULTADO 3

PRODUTO 2.3

PRODUTO 2.1

PRODUTO 2.2

Intervenção2.2.1

Intervenção2.2.2

Intervenção2.2.3

slide31

Redução da Pobreza

MULHERES EMPODERADAS

Mulheres jovens educadas

Mulheres em funções de liderança

Oportunidades Econômicas para mulheres

Melhores políticas educacionais

Melhora nos currículos

Aumento da participação das mulheres

Pais estimulados a mandar suas filhas para a escola

Contratação e remuneração justa de professores

Construção de escolas

slide32

Para ter sinergia e gerar impactos tudo isso precisa envolver

O mesmo público alvo.

Objetivo do Programa: mulheres jovens instruídas

Promoção do Objetivo do projeto :Políticas educacionais melhoradas

Objetivos de formação de educadores:Melhorar a qualidadr do currículo

Objetivos constructivos do projeto Mais salas de aula construídas

NOSSO

projeto

PRESSUPOSTO

(que outros farão isto)

PARCEIROS farão isto

Objetivos de Programa em nivel de impacto

o q ue preciso para medir indicadores em cada n vel
O Que é preciso para medirindicadores em cada nível?

Impacto: Pesquisa junto à população (avaliação da linha de base e da linha final)

Resultados: Mudanças de comportamento dos participantes

(Pode ser checado anualmente)

Produto:Medido e reportado pela equipe do projeto (anualmente)

Actividades: Durante (monitoramento da intervenção )

Insumos: Durante (acompanhamento financeiro)

slide34

Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a medição em diferentes níveis

  • Impacto
  • Resultados
  • Produtos
  • Atividades
  • Insumos

AVALIAÇÃO de IMPACTO

AVALIAÇÃO do Projeto

MONITORAMENTO do DESEMPENHO

slide35

Contexto institucional e operacional

Contexto Econômico no qual opera o projeto

Contexto Político no qual opera o projeto

Características sócio-econômicas e culturais das populações afetadas

Uma forma de Modelo Teórico (lógico) de um Programa

Produtos

Resultados

Desenho

Insumos

Proceso

de

Implementação

Impactos

Sustenta-

bilidade

Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa

slide37

Expandindo a cadeia de resultados para um programa com multi-financiadores e multi-componentes

Renda familiar rural aumentada

Participação política aumentada

Desempenho educacional melhorado

Saúde melhorada

Impactos

Produção aumentada

Acesso a emprego não agrícola

Aumento do nº de matrículas na escola

Aumento do uso de serviços de saúde

Resultados Intermediários

Produtos

Crédito para pequenos produtores

Serviços de Saúde

Estradas em zonas rurais

Escolas

Insumos

Financiador 1

Governo

outros financiadores

Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

l gica de uma interven o educacional
Lógica de uma Intervenção Educacional

Impactos

Globais

Grupo de produtos

Impactos específicos

Impactos Intermediários

Resultados

Melhor alocação de recursos educacionais

Planejamento familiar e seguros de saúde melhorados

Gestão institucional

Qualidade da Educação

Aumento asequibilidad Educativa

CrescimentoEconómico

Incremento de habilidades e aprendizado

Materiais educativos e Currículo

Redução da Pobreza

Maior participação da Sociedade

ODM 2

ODM 1

Acesso equitativo a educação

Emprego e capacitação educadores

Desenvolvimento Social

ODM 2

Saúde

ODM 3

Melhores oportunidades de Renda

Emprego ótimo

Servicios Educacionais

Fonte: OECE/DAC Network on Development Evaluation

ent o o que dever amos incluir em uma avalia o de impacto rigorosa
Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?
  • Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ?  Atribuição muito clara.

… Ou …

  • Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)?  Mais significativos, mas muito mais difícil analisar la atribução .
ent o o que dever amos incluir em uma avalia o de impacto rigorosa1
Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?

OECD-DAC (2002: 24) define impacto como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”.

Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)?

chegando a um acordo sobre que n veis do modelo l gico incluir na avalia o
Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação
  • Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível.
  • Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas
defini o de avalia o de programas
Definição de avaliação de Programas

Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção .

-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39

alguns prop sitos da avalia o de programas
Alguns Propósitos da Avaliação de Programas
  • Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas
  • Geradora de Conocimiento: identificaras relações de causa-efeito e princípios gerais acerca da efetividade.
  • Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados
  • Juízos Somativos: determina o valor e o futuro do programa
  • Avaliação do Desempenho: adaptação em condições complexas, emergentes e dinámicas

-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140

determinando um desenho de avalia o apropriado e vi vel
Determinando um desenho de avaliação apropriado e viável
  • Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias.
algumas considera es para o desenho de uma avalia o
Algumas considerações para o desenho de uma avaliação

1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final)

2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros)

3: Nível de rigor desejado

4: Métodos qualitativos e quantitativos

5: um desenho de avaliação basado no “ciclo de vida” do projeto.

slide46

Escala do principal indicador de impacto

Uma Introdução a vários desenhos de avaliação

iIustrando a necessidade de desenhos de avaliação quasi-experimentais e de séries de tempo ou longitudinais

Participantes do projeto

Grupo de comparação

linha de base

Avaliação Final

do projeto

avaliação pós projeto

46

slide47

OK, vamos dar uma paradinha para identificar cada um dos principais tipos de desenho de avaliação (investigação ) …

… um de cada vez, começando pelo desenho mais rigoroso.

47

antes de tudo a chave dos s mbolos tradicionais
Antes de tudo; a chave dos símbolos tradicionais:
  • X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade?
  • O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto)
  • P (fila superior): Participantes do Projeto
  • C (fila inferior): Grupo de Comparação (ou de controle)

Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real

48

slide49

desenho # 1: Quasi-experimental Longitudinal

P1 X P2 X P3 P4

C1 C2 C3 C4

Participantes do Projeto

Grupo de comparação

Linha

de base

Interme-

diário

Avaliação Final

Do Projeto

avaliação posterior de Projeto

49

slide50

Desenho # 2: Quasi-experimental (pre+pós, com comparação )

P1 X P2

C1 C2

Participantes do Projeto

Grupo de Comparação

Linha de base

Avaliação Final

Do Projeto

50

slide51

Desenho #2+: Teste de Controle Aleatório

P1 X P2

C1 C2

Participantes de Projeto

Temas de investigação selecionados aleatoriamente seja para o grupo de projeto ou o grupo de controle

Grupo de Controle

linha de base

Avaliação Final

do Projeto

51

slide52

desenho #3: Longitudinal Truncado

X P1 X P2

C1 C2

Participantes de Projeto

Grupo de Comparação

Interme-

diária

Avaliação Final

do Projeto

52

slide53

desenho #4: Pre+pós do Projeto; comparação só posterior

P1 X P2

C

Participantes do Projeto

Grupo de Comparação

Linha de base

Avaliação Final

do Projeto

53

slide54

Desenho #5: apenas pós-teste do Projeto e comparação

X P

C

Participantes do Projeto

Grupo de Comparação

Avaliação Final

do Projeto

54

slide55

Desenho # 6: Pre+posterior do Projeto; sem comparação

P1 X P2

Participantes do projeto

linha de base

Avaliação Final do Projeto

55

slide56

desenho #7: Pós-teste apenas de Participantes do Projeto

X P

Participantes do projeto

Avaliação Final do Projeto

56

atribu o e contrafactuais
Atribução e contrafactuais

Como saber se as mudanças observadas nos participantes do Projeto ou comunidade

  • renda, saúde, atitudes, assistência escolar, etc.

se devem à implementação do projeto

  • crédito, abastecimento de água, vale-transporte, construção de escolas, etc.

ou a outros fctores não relacionados?

  • Mudanças na economia, mudanças demográficas, outros programas de desenvolvimento, etc.
o contrafactual
O contrafactual
  • Que mudanças teriam ocorrido na condição da população alvo se não houvesse existido a intervenção através deste Projeto ?
onde est o contrafactual
Onde está o contrafactual?

Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que sua renda cresceu 50 %

Isto mostra que as casas são uma maneira efetiva para elevar a renda?

comparando o projeto com dois poss veis grupos de compara o
Comparando o Projeto com dois possíveis grupos de comparação

Grupo de projeto . Melhora em 50%

I

n

c

o

m

e

Ingreso

Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto do Projeto

750

500

Cenário1. Renda do grupo de comparação não melhora. Potencial evidência de impacto do Proejto

250

2004

2009

grupo de controle e grupo de compara o
Grupo de Controle e Grupo de Comparação
  • Grupo de controle = atribuição aleatoria de temas a grupos do Projeto e grupos sem ‘tratamento’
  • Grupo de Comparação = procedimento separado de amostragem para grupos beneficiados (do Projeto) e sem tratamento (não beneficiários), grupos que são praticamente idênticos salvo pelo tratamento (intervenção)