O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas

1. Arianna Legovini O Uso de AvaliaçõesAleatoria para MelhorarPolíticas e Programas

2. Objetivo • Identificar o Verdadeiro Efeito de um Programa • Separar o impacto do programa de outros fatores >>Qual o efeito causal de um programa? • Necessidade de descobrir o que teria ocorrido sem programa • Não se pode observar a mesma pessoa com e sem o programa >>Conta com análise contrafatual (grupo de controle)

3. Correlaçãonão é causalidade Questao: O credito incrementa os lucros das empresas? Suponha que observamos que as empresas com mais de crédito também realizar lucros maiores Uso de crédito Lucrosmaiselevados 1 OU Lucrosmaiselevados ? Conhecimentos de gestão do negócio 2 ? Crédito

4. Ilustração: Programa de Crédito (1) Grupo de tratamento (+6) aumento da margem bruta de exploração Um programa de crédito foi oferecido em 2008. Por que o aumento da margem? 2007 2009 4

5. (+) Impacto do programa Ilustração: Programa de Crédito (2) Grupo de controle Grupo de tratamento (+) Impacto de outros fatores (externos) Antes Depois 5

6. Ilustração: Programa de Crédito (Antes-e-Depois) Grupo de controle Grupo de tratamento (+) Medida ENVIESADA do impacto do programa Antes Depois 6

7. Motivação • Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes • Independente da complexidade da estatística, só mostra que X (programa de credito) vai com Y (margem) • Difícil corrigir características não observadas, como motivação / habilidade • Motivação / habilidade podem ser os principais fatores a serem corrigidos • Viés de seleção: um grande problema para a avaliação do impacto • Os projetos tiveram início em determinado tempo e local por motivos particulares • Os participantespodem ser seleccionadosoupodem-se auto-seleccionarparaparticipar num programa (critérios de elegibilidade) • As pessoasquetêmacesso a créditoserãoprovavelmentemuitodiferentes do empresáriomédio; analisaroslucrosdessaspessoaspoderádarumaimpressãoerrada dos benefícios do financiamento

8. Motivação • Avaliação retrospectiva de impacto: • Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa • É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento. • A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder • Permite a coleta dos dados necessários 8

9. Desenho Experimental • Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle • Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média • A única diferença é o tratamento • Com grandes amostras, todas as características convergem para a média • Estimativas de impacto não enviesadas

10. Opções de Randomização • Sorteio • (apenas alguns entram no programa) • Entrada gradual • (todos entram eventualmente) • Variação no tratamento • (cobertura integral, diferentes opções) • Desenho de incentivo (no caso de adesão parcial) • Todos podem entrar, alguns são encorajados a fazê-lo

11. Exemplo no desenvolvimento do sector privado Sorteio (apenasalgunsentram no programa) Sorteioparateracesso a novosempréstimos Entrada gradual(entradafaseada) Algunsgruposoupessoasrecebemcréditocadaano Variação no tratamento Algunsrecebem um matching grant, outroscrédito, outrosserviços de apoioaodesenvolvimento do negócio Incentivo Um balcãobancáriopordistrito Algunsempresariosrecebemvisitaaodomicílioparaexplicar o empréstimo, outros não recebem a visita 1111

12. Loteria entre oselegíveis Deve recebir o programa Aleatorizar quem recebe o programa Inelegível para o programa

13. Oportunidades para a aleatorização (1) • As limitações orçamentárias impedem a cobertura integral • A distribuição aleatória (sorteio) é justa e transparente • Capacidade limitada de implementação • A introdução gradual oferece a todos a mesma chance de serem os primeiros • Inexistência de evidências sobre qual a melhor alternativa • Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso

14. Oportunidades para a aleatorização (2) • Adesão ao programa existente não é completa • Fornecer informações ou incentivos para a adesão de alguns • Um novo programa piloto • Boa oportunidade de testar o desenho antes de expandi-lo • Mudanças operacionais em programas em andamento • Boa oportunidade de testar as mudanças antes de expandi-las • Introduzir innovaçoes de manera aleatoria

15. Aleatorizaçãoem diferentes níveis • Individual (donos de empresa) • Empresa • Associaçãoempresarial • Nível da aldeia • Jurisdição/ distritoadministrativo • Associação de mulheres • Grupos jovens • Nível da escola

16. Aleatorização individualouemgrupo? • A aleatorização è feita o mesmo nivel que o nivel de intervenção • Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados Aleaorização individual Aleaorização de grupos

17. Unidade de Aleatorização • A aleatorização em nível mais alto às vezes é necessária: • Limitações políticas a tratamentos diferenciados na comunidade • Limitações práticas – confusão para implementar diferentes versões • Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto • Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

18. Elementos do desenho experimental

19. ValidadeExterna e Interna (1) • Validade externa • A amostra é representativa da população total • Os resultados na amostra representam os resultados na população • Podemos aplicar as lições a toda a população • Validade interna • O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população • Ou seja, os grupos de intervenção e de controle são comparáveis

20. ValidadeExterna e Interna(2) • Uma avaliação pode ter validade interna sem validade externa • Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais • Uma avaliação sem validade interna não pode ter validade externa • Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar.

21. Randomização Randomização Validadeexterna & interna População Nacional Amostras da População Nacional

22. Estratificação Randomização Validadeinterna (APENAS) População Estrato do População Amostras do Estrato da População

23. Representativoporémenviesado: inútil População Nacional Randomização DistribuiçãoEnviesadaINÚTIL! 23

24. Exemplo: programa de crédito, validade interna Amostra de mulheresempresárias Distribuição Randômica

25. Exemplo: programa de crédito Sequência básica de tarefas para a avaliação • Listar as empresas elegíveis nas áreas alvo • ex. PMEs com volume de negócios abaixo de um certo limite • Dados de base (antes do programa) das empresas • Distribuição randômica ao diferentes tratamentos, o tratamento e controle • Projeto implementado • Pesquisa de seguimento (follow-up)

26. Eficácia e Efetividade • Eficácia • Prova de conceito • Menor escala • Piloto em condições ideais • Efectividad • Em escala • Arranjos de implementação prevalentes – “vida real” • Maior ou menor impacto? • Maiores ou menores custos?

27. Vantagens de “experimentos” • Impacto causal claro e preciso • Em relação a outros métodos • Muito mais fácil de analisar • Mais barato (tamanhos menores de amostra) • Mais fácil de explicar • Mais convincente para os formuladores de política • Metodologicamente incontroverso

28. E se houverrestriçõessobre a aleatorização? • Limitações orçamentárias: randomizar entre os mais necessitados • Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado) • Promover o programa aleatoriamente para alguns, nao para outros... (participantes fazem suas próprias escolhas sobre adoção) 28

29. DivulgaçãoRandômica(Desenho de Encorajamento) • Quem recebe divulgação tem maior chance de participar • Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis • Compare os resultados médios dos dois grupos: com / sem divulgação • Efeito da oferta do programa (Intenção de Tratar) • Efeito da intervenção (Tratamento Médio no Tratado) • ATT= efeito da oferta do programa / proporção dos que aderiram

30. Aleatorização

31. Incentivorandômico

32. Erroscomuns a evitar • Cálculo incorreto da amostra • Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas • Coleta de dados diferente no tratamento e no controle • Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! 32

33. Quando é que é realmenteimpossível? O tratamentojáfoialocado e anunciado enãohápossibilidade de expansão do tratamento O programajáacabou (retrospectiva) Jáháadesão universal O programa é nacional e nãoexcluininguém A amostra é muitopequenapara ser válida 3333

34. Obrigada Agradecendo o apoiofinanciero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally & Socially Sustainable Development (TFESSD), is gratefully acknowledged.