Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto

1. Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto

2. Diferenças em Diferenças Método de avaliação de impacto não experimental quando as informações de ANTES e de DEPOIS do projeto são disponíveis.

3. Plano de Aula Revisão das metodologias de estimação de impacto; Método não experimental: diferenças em diferenças; Resumo das metodologias de avaliação de impacto; Validade interna e externa da avaliação.

4. Revisão das metodologias de estimação de impacto

5. Na aula anterior Método experimental: aleatorização/sorteio Obtém um grupo controle que é o contrafactual perfeito dos tratados, pois a forma de seleção garante, estatisticamente, grupos semelhantes em variáveis que se observa e que não se observa. Método não experimental: regressão linear múltipla Quando não se realizou o sorteio dos tratados, o grupo controle não é estatisticamente semelhante ao tratado. Para corrigir as implicações das diferenças do indicador de impacto antes do projeto entre os grupos, estima-se o impacto controlando pelas variáveis que se observa. Note que esse método controla/corrige o impacto ao considerar variáveis que se observa, mas ainda resta os problemas causados por variáveis não observadas.

6. Nessa aula Método não experimental: diferenças em diferenças Quando não se realizou o sorteio dos tratados e existem informações do indicador de impacto antes e após o projeto, para o tratado e o controle, é possível controlar/corrigir o impacto dos problemas advindos das variáveis que se observa e que não se observa. Esse método também utiliza a regressão linear múltipla para estimar o impacto, porém com a base de dados organizados de maneira diversa ao visto na aula anterior.

7. Método não experimental: diferenças em diferenças

8. Diferenças em diferenças Quando existem informações sobre os grupos tratado e controle em dois momentos no tempo – no período anterior ao projeto social e no período após ao projeto social; Corrige o impacto estimado pelas variáveis observadas e não observadas. Como os dados de antes do projeto estão disponíveis, sabe-se quais são as diferenças existentes entre os grupos tratado e controle antes do projeto. Como considera-se a o indicador de impacto inicial (antes do projeto), controla-se pelas condições iniciais observadas e não observadas. Assim, resolve-se o problema das diferenças existentes entre os grupos antes do tratamento.

9. Problema Se o método de diferenças em diferenças controla o impacto estimado pelas diferenças iniciais observadas e não observadas, então ele é um método que substitui perfeitamente o sorteio? A resposta é Não. Como os grupos não são similares e as diferenças são controladas, pode ocorrer algum fato exógeno ao projeto que afete somente o indicador de impacto de um dos grupos (tratado ou controle). Se isso ocorrer, o método não consegue estimar o impacto perfeito. Ou seja, controlar as diferenças iniciais não é a mesma coisa de selecionar pessoas similares, pois algo pode afetar o indicador de impacto de apenas um grupo. .

10. Exemplo: Projeto: “Melhoria”. Objetivo: aumentar a renda dos participantes. Ações: curso de formação para jovens. Indicador de impacto: renda. Seleção dos participantes: primeiros inscritos. Controle: demais inscritos. Banco de dados: informações coletadas antes e um ano após o projeto.

12. Intuitivamente:

13. Intuitivamente: Cuidado!!! Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado.

14. Como fazer? • O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados. • Passos: • Monte o banco de dados com as variáveis dos tratados e os controles; • Crie uma variável “projeto”, com valores “1” para os tratados e “0” para os controles; • Crie uma variável “data”, com valores “1” para tratados e controles após o projeto e “0” para tratados e controles antes do projeto; • Crie uma variável “projeto*data”, por meio da multiplicação da variável “projeto” pela variável “data”; • Obtenha o valor do indicador de impacto para os • tratados e controles antes e após o projeto;

15. Passos (continuação): Obtenha valores das variáveis que afetam o indicador de impacto e que podem variar de forma diferente entre os entre os tratados e controles; Estime a regressão linear múltipla: “dados > análise de dados > regressão”; Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá-lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo. O coeficiente que interessa para ver o impacto é o relacionado à variável “projeto*data”.

16. Exemplo: projeto“Melhoria”.

17. Resumo dos métodos de avaliação de impacto

18. 1. Metodologia experimental ou de Seleção Aleatória • Os grupos tratado e controle são escolhidos por sorteio. Propriedades estatísticas garantem que os dois grupos, na média, serão muito semelhantes. • Vantagem: Éo método mais simples de operacionalizar. • É o método de resultado mais confiável. • Limitações: Tem que ser pensado no início do projeto.

19. Indicador de impacto após a implementação da política Importante: para concluir acerca do impacto faz-se o teste de diferença de médias!!!!

20. 2. Método não experimental: regressão. • Observa-se os tratados e os controles depois do programa. A seleção não foi por sorteio. Portanto, os grupos devem ser estatisticamente diferentes. • É usado quando temos dados depois do projeto e a seleção não foi aleatória. • Vantagem: resolve o problema de diferenças observadas entre os participantes. • Limitações: o resultado não é confiável se algo ocorreu de forma isolada em apenas um grupo.

21. Base de dados após a implementação da política Importante: para concluir acerca do impacto faz-se a regressão!!!!

22. 3.Método não experimental: diferenças em diferenças • Os tratados e os controles são observados e comparados antes e depois do programa. Quando fazemos isso o que estamos comparando é a variação do crescimento do indicador de impacto. • É usado quando temos dados antes e depois do projeto. • Vantagem: resolve o problema de diferenças observadas e não observadas antes do programa. • Limitações: o resultado não é confiável se algo ocorrer entre antes e depois do programa de forma isolada em apenas um grupo. • Temos que ter os dados em dois momentos no tempo.

23. Importante: para concluir acerca do impacto faz-se a regressão de diferenças em diferenças !!!!!

24. Validade Interna e Externa da Avaliação

25. Validade Interna Garante que o desenho da avaliação identifica corretamente o efeito causal do projeto. A avaliação conseguem isolar o verdadeiro impacto do projeto. Se a avaliação possui validade interna significa que os resultados valem para aquele contexto de avaliação – aqueles tratados, naquele momento do tempo. Ou seja, apenas para os beneficiários que participaram daquela edição do programa, com seu formato específico, etc. Nada garante que a repetição do programa com o mesmo formato em outro momento no tempo e para outras pessoas terá o mesmo impacto do que o encontrado com a avaliação.

26. Como assegurar a validade interna O experimento aleatório bem sucedido!!!! Porque? O sorteio dos tratados entre os indivíduos elegíveis garante a semelhança entre os grupos tratado e controle nas características observáveis e não observáveis. Isso decorre do fato de todos os elegíveis terem a mesma probabilidade de serem sorteados para participar do projeto. O grupo controle é totalmente similar ao contrafactual.

27. E se não é possível o sorteio? Garante-se a validade interna dos métodos não experimentais por meio de três fatores: Tamanho da amostra Variáveis não observadas Grupos muito diferentes – Suporte comum

28. 1. Validade Interna: Tamanho da amostra Como o método de regressão é uma análise estatística, quanto maior o número de indivíduos analisados (tratados e controles) maior a confiança nos resultados. Lembrem-se a validade da estatística se relaciona diretamente com o tamanho da amostra. Quanto maior for a amostra em relação ao tamanho da população, mais precisas serão as estimativas. Quanto menor a amostra, maior é a probabilidade de se calcular um resultado estatisticamente não significativo, mesmo que o projeto tenha impacto.

29. 2. Validade Interna: variáveis não observadas Quando acredita-se na existência de muitas variáveis não observadas relacionadas ao indicador de impacto, deve-se empregar o método de diferenças em diferenças. O método de regressão linear múltipla apenas com dados de depois não tem validade interna, nesse caso específico.

30. 2. Validade Interna: variáveis não observadas Exemplo: projeto Melhoria Objetivo: aumentar a renda dos participantes. Indicador de impacto: renda do indivíduo Os jovens se diferem em diversos atributos: anos de estudo, motivação, interesse etc. Anos de estudo: avaliador observa. Motivação, interesse: avaliador não observa

31. 3. Validade Interna: suporte comum O método de diferenças em diferenças controla a estimação do indicador de impacto por variáveis não observadas. Entretanto, não é capaz de controlar para alterações exógenas que afetem o indicador de impacto de apenas um grupo. Portanto, quanto mais diferentes forem tratados dos controles maior a probabilidade de algo ocorrer em apenas um grupo. Para manter a validade interna de uma avaliação é importante que tratados e controles sejam o mais parecidos possível. Suporte Comum: os grupos tratado e controle diferem, mas dentro de um limite. Se forem muito diferentes estarão fora do suporte comum e a avaliação não terá validade interna.

32. Validade Externa Garante a generalização do resultado da avaliação para outros beneficiários do público alvo e em outros momentos do tempo. Se a avaliação tem validade externa significa que se pode replicar o projeto com outros grupos do público alvo e obter impactos semelhantes.

33. Como assegurar a validade externa A amostra de tratados e controles é representativa do público alvo!!!! Porque? Como a amostra de indivíduos que participaram da avaliação é representativa da população de elegíveis, pode-se considerar que qualquer resultado obtidos com base nela seria o mesmo para toda a população.

34. Validade Interna e Externa - Conclusão Para que a avaliação tenha: validade interna o grupo controle deve representar os tratados. validade externa os indivíduos da avaliação (tratados e controles) devem representar a população. Quando não há garantia da validade interna e da validade externa, deve-se questionar os resultados da avaliação de impacto.

35. Comentários Finais Nessa aula: discutiu-se como fazer a avaliação quando está disponível os dados antes e após o projeto. Além disso, analisou-se a validade interna e externa da avaliação de impacto. Próxima aula: introdução à avaliação de retorno econômico.