Métodos Quase-Experimentais I

1. AbdoulayeSy MétodosQuase-Experimentais I

2. O quesabemos Objetivo: Nós queremos isolar o efeito causal de nossas intervenções sobre alguns resultados de interesse • Usar métodos de avaliação rigorosos para responder às nossas perguntas operacionais • Randomizar a designação do tratamento é a metodologia “padrão de ouro” (simples, precisa) • E se não pudermos usá-los? • Nós paramos de medir o efeito da irrigação porque não podemos randomizar a alocação?

3. Quando é que faz sentido? • Conseguimos encontrar um contrafatual plausível? • Experiência natural? • Métodos não-experimentais estão associados a um conjunto de premissas • Quanto maior o número de premissas, menos válida será a medida do efeito de causalidade • É importante questionar as nossas premissas • Utilize o senso-comum!

4. Exemplo: Programa de Subsídios (Matching Grant) • Objetivo Principal • Aumentar a produtividade e vendas da empresa • Intervenção • Distribuição de subsídios • Seleção de participantes não-aleatória • Grupo alvo • PMEs entre 1 e 10 empregados • Principal indicador • Vendas

5. (+) Impacto do programa Ilustração: Programa de Subsídios (Matching Grant) (1) (+) Impacto de fatores externos 5

6. Ilustração: Programa de Subsídios (Matching Grant) (2) (+) Medida ENVIESADA do impacto do programa “Antes-e-Depois” nãogeraresultados emquepossamosacreditar! 6

7. Ilustração: Programa de Subsídios (Matching Grant) (3) Diferença inicial (« antes ») entre participantes e não participantes Diferença final (« depois »)  entre participantes e não participantes >> Qual é o impactodanossaintervenção? 7

8. Estratégia de IdentificaçãoDiferencanaDiferença (1) Contrafatual: 2 Opções • Vendas de não participantes depois da intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos) • Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos) • 1 e 2 são equivalentes

9. Estratégia de IdentificaçãoDiferencanaDiferença (2) Premissa subjacente: Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência) >> Gráfico intuitivo a caminho....

10. Dados – Exempl0 1

11. Dados – Exempl0 1

12. Impacto = (P2008-P2007)-(NP2008-NP2007) = 0.6 – 0.8 = -0.2 P2008-P2007=0.6 NP2008-NP2007=0.8

13. Impacto = (P-NP)2008-(P-NP)2007 = 0.5 - 0.7 = -0.2 P-NP2008=0.5 P-NP2007=0.7

14. Presunção de mesmatendência: Implicaçãográfica Impacto=-0.2

15. Conclusão • Impacto negativo: • Muito contra-intuitivo: O aumento do financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta! • Presumir a mesma tendência é muito forte • Os 2 grupos estavam em 2007 a produzir a níveis muito diferentes • Questione a presunção de mesma tendência! • Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores

16. Questionando a premissa de mesmatendência: Dados pré-programa Rejeite a premissa contrafatual da mesma tendência!

17. Dados – Exemplo 2

18. Impact0 = (P2008-P2007)-(NP2008-NP2007) = 0.6 – 0.2 = + 0.4 NP08-NP07=0.2

19. Presunção de mesmatendência: ImplicaçãoGráfica Impacto = +0.4

20. Conclusão • Impacto Positivo: • Mais intuitivo • Sera que presumir a mesma tendência é razoável? • Ainda precisamos de questionar a presunção contrafatual de mesma tendência! • Utilizemos dados de anos anteriores

21. Questionando a premissa de mesmatendência: Dados pré-programa Parece razoável aceitar a premissa conceitual de mesma tendência!

22. Atenção (1) • Assumir a mesmatendência é normalmenteproblemático • Quandonãoexistem dados paratestar a mesmatendênciahistórica • E mesmo se as tendênciasforemsemelhantes no ano anterior… • Foram as tendênciassempresemelhantes (outivemossorte)? • Maisimportante, serãoessastendênciassempresemelhantes? • Exemplo: Outroprojetointervemnasnossasempresasnãoparticipantes…

23. Atenção (2) • Quefazemosentão? >> Temos de ser descritivos! • Verificar as semelhançasemcaracterísticasobserváveis • Se nãosãosemelhantesaonível das característicasobserváveis, é provavelque as tendênciassejamdiferentes de uma forma imprevisível >> No entanto, nãoconseguimosverificar o quenãoconseguimosver…E as característicasnãoobserváveispodem ser maisimportantesque as observáveis (capacidade, motivação, paciência, etc)

24. Métodos de Combinação + Diferença das diferenças Agrupe participantes e não participantes com base em características observáveis Contrafatual: • Grupo de comparação com semelhanças em características observáveis: • Procura-se para cada participante do programa um ou mais pares de não participante(s) com base nas características observáveis >>Em média, participantes e não participantes partilham as mesmas características observáveis (por construção) • Estimar o efeito da nossa intervenção utilizando diferença das diferenças

25. MétodosCombinação (2) Premissas subjacentes • Não há diferenças entre os participantes e não participantes em termos de características não observáveis E/OU • Características não observáveis não afetam a designação para o tratamento e/ou resultado

26. Como se faz? • Criar um grupo de controleatravésdaidentificação de sub-grupos (de um oumais) com característicasobserváveissemelhantesaosparticipantes • Temos de escolher com cuidado as variáveisparaagruparosparticipantes com o grupo de controle • De forma a quefiquemosapenas com • Grupo de tratamento: Participantesqueconseguiramobter um par • Grupo de controle:não-participantesparecidos com osparticipantes >> Emresultadodesteprocesso, eliminamosuma parte do nossogrupo de tratamento!

27. Implicações • Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes • Precisamos de perceber quem fica de fora • Exemplo Parte combinada Parte do grupo de tratamento excluída não-participantes Participantes Pontuação Riqueza

28. Conclusão (1) • Vantagens do metodo de combinação: • Não precisa de randomização

29. Conclusão (2) • Desvantagens: • A premissa subjacente ao contrafatual não é plausível em todos os contextos, dificil de testar • Utilize o senso comum • Necessita dados de muita qualidade • Necessário controlar todos os fatores que influenciam o a alocação ao programa / resultado em análise • Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação • não se consegue sempre encontrar pares para todos...

30. Emresumo • A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!) • Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas • Mais intensivo em termos de dados • Nem sempre testavel • Seja criativo: • Misture-e-combine os métodos! • Responda as perguntas relevantes com os métodos apropriados

31. Obrigado Agradecendo o apoiofinanciero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally & Socially Sustainable Development (TFESSD), is gratefully acknowledged.