1 / 48

Aula 5

Aula 5. 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais. Avaliação Econômica. Avaliação de Impacto Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões Se os efeitos foram intencionais ou não-intencionais

sukey
Download Presentation

Aula 5

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais

  2. Avaliação Econômica Avaliação de Impacto • Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões • Se os efeitos foram intencionais ou não-intencionais • Se os efeitos foram realmente resultado do projeto ou ocorreriam de qualquer forma

  3. Avaliação de Impacto • Isto é feito com o uso de um indicador que se relacione diretamente com o objetivo do programa. • Dois aspectos: mensuração e causalidade • Mensuração: não apenas saber se houve mudança,mas também medir essa mudança. • Causalidade: garantir que a mudança observada foi causada pelo programa.

  4. Mensuração • Para isso, o cuidado com a escolha do indicador de impacto é fundamental. • Preferência por indicadores objetivos e de fácil observação.

  5. Causalidade • É uma das etapas mais difíceis da avaliação, mas é fundamental! • Exemplo: ‘programa de melhoria da qualidade do ensino médio, com foco na evasão escolar’. • Ação: oferecer oficinas (de arte, de música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola. • Indicador de resultado: índice de freqüência escolar (IFr).

  6. O contrafactual • IDEAL: comparar o índice de freqüência escolar dos jovens que participaram das oficinas com o índice de freqüência observado para esses mesmos jovens, caso eles não tivessem participado das oficinas. • Essa seria a única maneira de ter certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas. estamos buscando o contrafactual • Infelizmente, tal contrafactual não existe...

  7. Grupos de controle • Como não temos os contrafactuais, o problema é resolvido com a construção dos chamados grupos de controle. • Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). • No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc) com aqueles que participaram.

  8. Mas nem sempre é fácil encontrar bons ‘grupos de controle’... • Existência de auto-seleçãoas pessoas que participam dos programas muitas vezes escolhem participar. • Nosso exemplo: jovens que se inscrevem em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem. • Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

  9. Caso: • IFralunos que participaram das oficinas IFrcolegas que não participaram Não saberemos se é: • efeito da participação nas oficinas (do tratamento); • do maior tempo disponível para a escola (relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos); • ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar.

  10.  A diferença entre os grupos antes do programa dificulta a determinação da causalidade.

  11. Mesmo que o programa não seja de inscrição voluntária... • ... o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o programa ter um público-alvo específico. • Exemplo: diversos programas sociais utilizam a renda per capita como critério de elegibilidade, ou seja, só podem participar do programa indivíduos que tenham ‘renda familiar per capita’ menor ou igual a um determinado valor de corte. • Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários.

  12. Tratados antes x tratados depois • Da mesma forma que não podemos comparar o grupo de tratados com um grupo de controle qualquer (os não-tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados. Voltando ao exemplo dos jovens nas oficinas, caso IFralunos tratados depois do programa  IFralunos tratados antes do programa podemos dizer que isso é devido ao programa?

  13. Tratados antes x tratados depois • A resposta é “Não!” • Não há como garantir que a melhora no indicador de freqüência escolar foi causada pelo programa. • Diversos acontecimentos podem estar explicando tal evidência. • Por exemplo, este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar como um todo (melhor merenda, novos computadores, nova professora etc.).

  14. Outra possibilidade: • E se mostrarmos que a freqüência dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram? Método das diferenças em diferenças

  15. Diferenças em diferenças • Como a freqüência escolar inicial é considerada, o problema da diferença inicial entre os jovens que participam e os que não participam está resolvido. • Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a freqüência na oficina.

  16. Diferenças em diferenças Quando: • a separação entre os grupos de tratamento e controle não foi aleatória; e • quando temos grupos de tratamento e controle muito diferentes, principalmente com relação a características que não são observáveis. • Ideal para a análise de impacto: avaliador ter as informações sobre os grupos de tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao programa social e no período posterior ao programa social.

  17. “Diferenças em diferenças” • Precisamos conhecer as informações dos indivíduos de ‘antes’ e de ‘depois’ do tratamento. • Suponha que estamos avaliando o impacto de um programa de qualificação profissional e que a renda seja o indicador de interesse. • Idéia básica: comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento com a do grupo de controle.

  18. Idéia Básica Y = renda = indicador de interesse t = depois do programa t-1 = antes do programa

  19. “Diferenças em Diferenças” • Como a renda inicial é considerada, é como se as condições iniciais tivessem sido controladas e, então, resolve-se o problema das diferençasexistentes antes do tratamento, entre os indivíduos que participaram e os que não participaram do programa. • Seleção aleatória: indivíduos são iguais antes do tratamento.

  20. Calcule a medida de impacto do programa

  21. Será que o ‘R$30’ é estatisticamente diferente de zero? • Em razão de estarmos trabalhando com amostras, novamente estas diferenças serão variáveis aleatórias e, para compará-las, precisaremos construir algum intervalo de confiança. • Felizmente, o instrumental discutido na seção anterior fornece uma forma rápida e simples de realizar esta análise.

  22. Utilizando a regressão linear • Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. • Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

  23. Utilizando a regressão linear • Criamos também uma outra variável = “programa” vezes “depois” • chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. • A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

  24. Utilizando a regressão linear • Renda =  + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro • 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa.

  25. Como analisar? • Se 3 for positivo e o valor ‘0’ não estiver contido no intervalo de confiança associado a 3, dizemos que há impacto positivo em Y gerado pelo programa. • Se 3 for negativo e o valor ‘0’ não estiver contido no intervalo de confiança associado a 3, dizemos que há impacto negativo em Y gerado pelo programa. • Se o valor ‘0’ estiver contido no intervalo de confiança associado a 3, dizemos que não há impacto do programa em Y.

  26. Demais coeficientes • Renda =  + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro • 1 captura se os grupos são diferentes, independentemente do programa. • 2 captura se o indicador muda no tempo, independentemente do programa. • Para saber se os coeficientes são estatisticamente diferentes de zero, a análise é similar àapresentada para 3 (slide anterior).

  27. Termos das diferenças

  28. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • TA =  + 1 x ‘1’ + 2 x ‘0’ + 3 x 0 • TA =  + 1 • TD =  + 1 x ‘1’ + 2 x ‘1’ + 3 x 1 • TD =  + 1 + 2 + 3 • TD – TA = 2 + 3

  29. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • CA =  + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 • CA =  • CD =  + 1 x ‘0’ + 2 x ‘1’ + 3 x 0 • CD =  + 2 • CD – CA = 2

  30. Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • (TD – TA) = 2 + 3 • (CD – CA) = 2 • (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 ) = 3

  31. Causalidade • Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle? • Construir bons grupos de controle. .

  32. Limites da Avaliação • Para termos mais confiança nos efeitos do programa, precisamos de um tamanho amostral mínimo • Este tamanho depende da população alvo do programa, do número de variáveis explicativas, da proporção entre tratada dos e controles e do poder explicativo da regressão

  33. Limites da Avaliação • Por exemplo, se o programa aumentou a empregabilidade do jovem em 15% • A amostra é bem balanceada entre tratados e controles • O poder explicativo da regressão é alto: 50% • Precisamos de uma amostra de cerca de 100 jovens para termos confiança de que este efeito é diferente de zero • 50 no grupo de tratamento e 50 no grupo de controle

  34. Exemplos de avaliação de programas • Progresa – México • Progressão Continuada no Brasil

  35. 1) PROGRESA • Transferências em $ para mães, condicional à freqüência escolar e exames de saúde • Usando escolas e postos já existentes • Avaliação nos estágios iniciais do programa • 2.6 milhões de famílias em 72,000 localidades • Orçamento: 20% do orçamento nacional para diminuição da pobreza

  36. PROGRESA Educação • Requerimento-> matrícula e freqüência à escola (80% das aulas) Saúde: • Planejamento Familiar , Pré-natal, Vacinações, Prevenção e tratamento de diarréia, etc...

  37. PROGRESA • Programa experimental: aleatorizado ao nível da comunidade-> resultados confiáveis! • Grupo de controle aderiu ao programa 2 anos depois • Amostra: 506 localidades • 186 controle • 320 tratamento • 24.077 Domicílios • Domicílios no grupo de tratamento e controle foram entrevistados antes e depois do começo do PROGRESA

  38. FREQUÊNCIA ESCOLAR - MENINOS

  39. FREQUÊNCIA ESCOLAR- MENINAS

  40. TRABALHO INFANTIL - MENINOS

  41. INCIDÊNCIA DE DOENÇAS-0/2 ANOS

  42. INCIDÊNCIA DE DOENÇAS 3/5 ANOS

  43. PROGRESA • Efeitos significativos no crescimento das crianças (1cm) • Consumo Domiciliar Total Aumenta • Domicílios do PROGRESA “comem melhor”: • Aumento nos gastos com frutas, vegetais, carnes, e produtos animais

  44. PROGRESA-CUSTOS • Para cada 100 pesos alocados no programa, apenas 8.2 pesos são custos administrativos • 56% dos custos administrativos são relacionados com focalização e condicionantes • Taxa Interna de Retorno: 8%

  45. Avaliação de impacto • Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. • Notícia de que um novo incinerador seria construído apareceu em 1978. Em 1981, a sua construção iniciou. Entrou em operação em 1985. • Banco de dados com preço dos imóveis para 1978 e 1981. • A hipótese é que preço dos imóveis próximos ao incinerador tenha caído em relação ao preço de imóveis mais distantes.

  46. Avaliação de impacto • Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. • Uma casa está próxima do incinerador se estiver localizada a menos de 3 milhas deste (nearinc =1). • Todos preços dos imóveis estão cotados ao valor de 1978 • Poderia usar dados apenas de 1981 e apenas de 1978 e testar esta relação:

More Related