Aula 8 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto

1. Aula 8 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto Modificado por Guilherme Irffi e Francis Petterini

2. Diferenças em Diferenças “ Procedimentos estatísticos para Avaliação de Impacto do programa quando temos disponíveis as informações de ANTES e de DEPOIS do tratamento”.

3. Plano de Aula Conceito de avaliação de impacto pelo método de diferenças em diferenças Implicação sobre o viés de seleção Combinação do método de diferenças em diferenças com o pareamento por escore de propensão.

4. Diferenças em Diferenças - DD Quando: a separação entre os grupos de tratamento e controle não foi aleatória e quando temos grupos de tratamento e controle diferentes em relação a características que não são observáveis. O estimador de DD é uma popular abordagem de avaliação utilizada quando existe amostra para mais de um período no tempo. .

5. O que é requerido Esta metodologia compara os grupos de tratamento e de controle em termos de mudanças no produto relativo à pré-intervenção. Para isto, requer dados amostrais para os tratados e não tratados em pelo menos dois períodos no tempo, antes e depois da intervenção.

6. Intuitivamente Por meio do método DD, comparamos amostras de tratados e não tratados antes e depois da intervenção. Calculamos a diferença na média dos produtos antes e depois da intervenção para cada grupo, tratado e não tratado. A diferença entre estas duas diferenças é o impacto estimado.

7. Relembrando: Problema da Avaliação Impacto = ATT = E[Yp, P=1] - E[Ysp, P=1] Não observamos Ysp quando P=1. Se E[Ysp, P=1] ≠ E[Yc, P=0] Erro: ε= E[Ysp, P=1] - E[Yc, P=0] (1) O ATT é dado por: ATT = E[Yp, P=1] - E[Yc, P=0]+ ε (2) Substituindo (1) em (2) ATT = E[Yp, P=1] - E[Yc, P=0]+ {E[Ysp, P=1] - E[Yc, P=0] } Viés ou erro

8. Relembrando: O Erro ou Viés O Viés é causado pelas características diferentes entre tratado e controle que levam à que o indicador de impacto seja diferente entre os grupos. O Viés poderia ser decomposto em 3 componentes ou causas: 1) primeiro é a falta de suporte comum. (pareamento) 2) viés proveniente dos observáveis. (regressão linear/pareamento) 3) viés de seleção, ou viés proveniente dos não observáveis (Diferenças em Diferenças)

9. Formalmente: Diferenças em Diferenças Yit denota o produto mensurado para a i-ésima unidade observada nas duas datas, t = 0,1. Por definição no período 0 ninguém é tratado Ti0=0 ATT = E(YPi1 - YPi0 |Ti1 = 1) – E(Yspi1 - Yspi0 |Ti1 = 0)

10. Implicação Supondo que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo - o viés de seleção não varia com o tempo... ...Quando se faz a diferença da diferença do indicador de impacto, o viés de seleção, caso presente, se anula, fazendo com que o estimador DD seja não viesado. Neste caso, mudanças no produto dos não tratados revelam mudanças no produto do contra-factual. Então, E(Yspi1 - Yspi0 |Ti1 = 1) = E(Yci1 - Yci0 |Ti1 = 0)

11. Violação da pressuposição Caso a pressuposição de que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo seja violada, podemos esperar que o estimador DD seja viesado.

12. Diferenças e Diferenças em Diferenças e Diferenças em Diferenças com Pareamento Na metodologia Diferenças em Diferenças, aplicamos o método utilizando toda a amostra. No método Diferenças em Diferenças com Pareamento, aplicamos o DD na sub-amostra selecionada pelo PSM. Neste caso, o viés é bastante reduzido, pois o PSM ajuda a minimizar o viés proveniente dos observáveis e de ausência de suporte comum, enquanto que o DD ajuda a reduzir o viés de seleção.

13. Preparação do Banco de Dados (1) Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

14. Preparação do Banco de Dados (2) Criamos também uma outra variável = “programa” vezes “depois” chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

15. Utilizando a regressão linear Renda =  + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa. 1 captura se os grupos são diferentes, independentemente do programa. 2 captura se o indicador muda no tempo, independentemente do programa.

16. Porque 3 é o estimador de diferenças em diferenças?

17. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ TA =  + 1 x ‘1’ + 2 x ‘0’ + 3 x 0 TA =  + 1 TD =  + 1 x ‘1’ + 2 x ‘1’ + 3 x 1 TD =  + 1 + 2 + 3 TD – TA = 2 + 3

18. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ CA =  + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 CA =  CD =  + 1 x ‘0’ + 2 x ‘1’ + 3 x 0 CD =  + 2 CD – CA = 2

19. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ (TD – TA) = 2 + 3 (CD – CA) = 2 (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 ) = 3

20. Graficamente- Diferença em Diferença Resultado Tempo Intervenção Média estimada do efeito no grupo de intervenção Grupo de intervenção Grupo de Controle

21. Exemplo 1 Suponha um programa para melhoria de renda com seleção não aleatória. O indicador de impacto é renda e esta informação foi coletada antes e depois do programa.

24. Resumo das metodologias de avaliação de impacto Seleção aleatória – teste de diferença de médias. Pode ser realizado por meio de regressão com a variável programa como única independente

25. Resumo das metodologias de avaliação de impacto Seleção não aleatória: - Regressão Simples – 1 momento no tempo; considera as possíveis variáveis observáveis diferentes entre tratado e controle. Atua no viés proveniente dos observáveis - PSM – 1 momento no tempo; seleciona o grupo controle. Atua sobre o viés de suporte comum e viés proveniente dos observáveis. - DD – 2 momentos no tempo; considera antes e depois. Atua sobre o viés de seleção ( não observáveis) - DD com pareamento- 2 momentos no tempo. O pareamento ocorre utilizando dados apenas de antes do programa. Atua sobre os três componentes do viés.

26. Comentários Finais Aula de hoje: como fazer a avaliação quando temos disponíveis os dados de ‘antes’ e de ‘depois’ do tratamento. É o ideal, visto que este instrumental permite controlar as características iniciais dos grupos. Próxima aula: primeiros passos da avaliação de retorno econômico.