Aula 4 – Metodologias de avaliação de impacto Material Elaborado por Betânia Peixoto

1. Aula 4 – Metodologias de avaliação de impacto Material Elaborado por Betânia Peixoto

2. Metodologias de Avaliação de Impacto Objetiva quantificar as mudanças que o projeto causou na vida dos beneficiários.

3. Plano de Aula Método experimental /seleção aleatória; Método não experimental: regressão.

4. Método experimental /seleção aleatória

5. Porque realizar seleção aleatória? Melhor técnica para garantir que o grupo controle representa o contrafactual – garante a confiabilidade do impacto estimado Porque? Resolve-se os problemas decorrente da autoseleção e do viés de seleção. A aleatorização (sorteio) garante que os tratados e controles se assemelham em termos de características que observamos e as que não observamos. A única diferença entre eles é que os tratados participaram do projeto e os controles não participaram.

6. Questões Técnicas -1 Não comparecimento: algumas pessoas selecionados para participar não comparecem ou desistem no meio do projeto. Isso compromete o grupo tratado e os resultados da avaliação. Substituição de projeto: alguns controles passam a participar de outro projeto similar. Assim, eles deixam de representar o contrafactual dos tratados na situação de não participarem de nenhum projeto. As vezes o sorteio não resolve os problemas...

7. Questões Técnicas -2 Atrito: alguns tratados e controles não são encontrados no momento da avaliação (que sempre é posterior ao projeto), o que compromete os resultados. Externalidades: apesar de os controles não se beneficiarem diretamente, o projeto pode atingi-los indiretamente, seja porque eles alteram seu comportamento ao observarem os tratados, seja porque o projeto altera o contexto social do local onde vivem.

8. Porque nem sempre realiza-se o sorteio? Questões Éticas Quando o projeto tem recursos para atender todo público alvo, questiona-se eticamente a exclusão de pessoas a fim de se fazer avaliação. ... Mas se o projeto não vai atender a todo público alvo, seja por falta de recurso ou por escassez de vagas, o sorteio para selecionar os tratados entre os inscritos é um critério mais justo do que, por exemplo, os primeiros inscritos ou os que estão em situação de maior vulnerabilidade. A avaliação requer recursos extras do projeto;

9. Seleção Aleatória Aleatório = Sorteio Dentre os elegíveis (público alvo), defini-se o grupo tratado por sorteio. Como fazer: Abre-se inscrição Verifica-se se todos os inscritos são elegíveis dentre os inscritos elegíveis, sorteia-se os que serão tratados os inscritos elegíveis não sorteados formam o grupo controle. Compara estatisticamente a média do indicador de impacto do grupo tratado com a média do indicador de impacto do grupo controle.

10. Interpretação dos resultados - 1 Indicador de impacto: Maior-melhor média do indicador (tratado) > média do indicador (controle) impacto média do indicador (tratado) = média do indicador (controle) sem impacto média do indicador (tratado) < média do indicador (controle) projeto piorou os participantes Ex: proficiência escolar, índice de nutrição infantil

11. Interpretação dos resultados - 2 Indicador de impacto: Menor-melhor média do indicador (tratado) < média do indicador (controle) impacto média do indicador (tratado) = média do indicador (controle) sem impacto média do indicador (tratado) > média do indicador (controle) projeto piorou os participantes Ex: percentual de abandono escolar; incidência de diarreia; número de crimes.

12. Cuidado!!! A avaliação de impacto é uma técnica estatística, por isso não se pode comparar as médias dos grupos tratado e controle matematicamente. Realiza-se o teste de diferenças de médias para verificar se a média do grupo tratado é significativamente maior, menor ou igual à do grupo controle. Vamos aprender a fazer?

13. Cálculo da Média A média é uma estatística que descreve um conjunto de dados. Veja o exemplo para entendê-la:

14. Distribuição em torno da média Notas da sala 1 Notas da sala 2 Para comparar as duas médias precisa-se considerar como os dados se distribuem, ou variam, no seu entorno. Esse é o motivo, pelo qual não é correto comparar matematicamente a média do tratado e controle.

15. Distribuição em torno da média Notas da sala 1 Notas da sala 2 A variância e o desvio padrão são estatísticas que captam o quão distante ou próximo da média está o conjunto de dados.

16. Teste de diferença de médias O teste de diferença de médias compara as médias dos grupos tratado e controle, considerando a variância dos dados, ou seja, considerando as diferenças de distribuição dos dados nos dois grupos. Ele fornece um intervalo numérico (chamado de intervalo de confiança) para o qual qualquer valor nos seus limites não pode ser considerado estatisticamente diferente da média, com um determinado percentual de confiança (ou probabilidade de acerto). Para realizar o teste de diferença de médias, basta calcular esse intervalo de confiança para a média do indicar de impacto do grupo tratado e ver se a média do indicador de impacto do grupo controle está compreendido nele.

17. Teste de Diferenças de Médias: como fazer No Excel, monte um banco de dados com os tratados e com os controles de forma a conseguir identificá-los. Calcule a média do indicador de impacto para cada grupo. No Excel utilize a função média. Calcule o desvio padrão do indicador de impacto para cada grupo. No Excel utilize a função desvpad.

18. Teste de Diferenças de Médias: como fazer Continuação: Calcule o “intervalo de confiança”. a) No Excel utilize a função int.confiança; b) para achar o limite inferior do intervalo de confiança subtraia da média o valor obtido em “a”, para o limite superior some esse valor à média. Interprete o resultado: se a média do grupo controle estiver contida no intervalo de confiança do grupo tratado, não se rejeita a hipótese que as médias são iguais estatisticamente. Portanto, o projeto não teve impacto.

19. Método não experimental: regressão com dados de depois do projeto

20. Método não-experimental Nos projetos sociais, em geral, a seleção dos participantes não acontece por sorteio: porque todas as pessoas elegíveis para participar do projeto efetivamente participam; porque dentro dos elegíveis, seleciona-se, por exemplo, os mais vulneráveis ou os primeiros a se inscreverem. Quando a seleção não é aleatória, precisa-se construir o grupo controle.

21. Exemplo: projeto de combate à desnutrição Indicador de impacto: índice nutricional. Grupo tratado: os mais vulneráveis. Pergunta: Quem poderia ser o grupo controle?

22. Pergunta: quem poderia ser o grupo controle? Possíveis respostas: 1. Pessoas um pouco menos vulneráveis da mesma região. Problema: é bem provável que o índice nutricional médio do grupo controle seja maior do que o do grupo tratado antes do projeto. Assim, o controle não representa muito bem os tratados na situação sem o programa, ou seja, não é um contrafactual muito confiável

23. Implicações do controle um pouco diferente - 1 O indicador de impacto médio do grupo controle já difere do grupo tratado antes do projeto isso leva a um falso resultado. A comparação da média do indicador de impacto dos dois grupos indicaria, erroneamente, que o projeto não teve impacto ou que o impacto foi menor do que realmente ocorreu. Exemplo:

24. Pergunta: quem poderia ser o grupo controle? Possíveis respostas: 2. Pessoas parecidas com os tratados, mas de outra região do pais. Problema: por morar em outra região, o grupo controle já é diferente do tratado e não o representa muito bem na situação desses sem o programa, ou seja, é um contrafactual não muito confiável.

25. Implicações do controle um pouco diferente - 2 2. A média do indicador de impacto antes do projeto é similar entre o grupo tratado e controle, mas eles diferem em relação à várias características que afetam o indicador de impacto. A diferença na média do indicador de impacto dos dois grupos após o projeto pode não ser resultado desse, e sim das diferenças dos outros fatores que afetaram o indicador de impacto Exemplo:

26. O método experimental ou aleatório (sorteio) é o único que garante o grupo controle como contrafactual do tratado. No método não experimental ou não aleatório (sem sorteio) o grupo controle sempre será um pouco diferente do grupo tratado, não representa o seu contrafactual perfeito. Cuidado!!! Quando o método é não experimental, precisa-se empregar técnicas estatísticas especiais para comparar o indicador de impacto nos dois grupos. Método não experimental - Conclusão

27. A regressão é o instrumento estatístico para estimar o impacto do projeto quando se utiliza o método não experimental/não aleatório. Vamos aprender? Técnica estatística especial

28. Regressão Intuição: a regressão procura isolar a parte do indicador de impacto que é afetada pelas características do grupo tratado e controle. Compara-se o indicador de impacto do grupo tratado e controle “livre” do efeito que outros fatores (que não o tratamento) têm sobre ele.

30. Procedimentos - 1 Identificar as características que tornam os grupos diferentes e que afetam o indicador de impacto. No exemplo do projeto de combate à desnutrição, o indicador de impacto é o índice nutricional. Muitas variáveis podem afetar esse índice. Educação dos pais, renda familiar, região onde moram, saneamento básico, participação outro projeto social ...

31. Criar uma base de dados que contenha o valor dessas variáveis para cada um dos tratados e controles. No exemplo do projeto de combate à desnutrição, a base de dados de avaliação deve conter o índice nutricional (indicador de impacto) e as variáveis que acredita-se afetar o indicador de impacto e ser diferente, na média, entre tratado e controle. Procedimentos - 2

32. Comparar a parte do indicador de impacto dos grupos tratado e controle que não sofre influência das variáveis identificadas no procedimento anterior. Ou seja, compara-se o indicador de impacto do grupo tratado e controle “livre” do efeito das variáveis identificadas. No curso, realiza-se essa comparação por meio de um tipo de regressão: a regressão linear. Procedimentos - 3

33. Relação entre as variáveis X e Y Y X Regressão Linear para duas variáveis Suponha duas variáveis, X e Y. A regressão linear é uma técnica que ajusta uma reta para representar o conjunto de dado. Uma forma de ajuste é a reta que minimiza a distância de cada ponto à reta. Esse ajuste permite identificar o quanto, em média, X explica Y.

34. Regressão Linear Múltipla Quando se quer descobrir a relação, em média, de uma variável Y com várias outras ao mesmo tempo, estima-se a regressão linear múltipla que segue a mesma ideia do slide anterior. Entretanto, como existem várias variáveis a representação em gráfica não é possível. O resultado, então, é expresso em uma tabela na qual o coeficiente relacionado a cada variável representa sua relação com Y, “livre” da influência das demais variáveis.

35. Exemplo: projeto de combate à desnutrição Cuidado!!! Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado.

36. Como considerar a variância? Antes de interpretar os coeficientes, testa-se a hipótese de eles serem estatisticamente iguais de zero.

37. Mas como calcular o coeficiente e o intervalo de confiança? • O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados. • Passos: • Monte o banco de dados com as variáveis dos tratados e os controles; • Crie uma variável “projeto”, com valores “1” para os tratados e “0” para os controles; • Obtenha o valor do indicador de impacto para os tratados e controles; • Obtenha valores das variáveis que afetam o indicador de impacto e que são diferentes entre os tratados e controles;

38. Passos (continuação): • Estime a regressão linear múltipla: “dados > análise de dados > regressão”. • Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá-lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo. • O coeficiente que interessa para ver o impacto é o relacionado à variável projeto (1=tratado; 0=controle).

39. Não seja ingênuo É muito fácil estimar a regressão no Excel e interpretá-la como você aprendeu. Entretanto, essa é uma técnica estatística extremamente complexa. Por trás de um simples conjunto de comandos muitas questões, que não abordadas nesse curso, estão envolvidas. Para estimação de regressões confiáveis procure um especialista.

40. Nessa aula: discutiu-se duas técnicas para realizar avaliação de impacto: método experimental e método não experimental com dados de depois do projeto. Próxima aula: método não experimental com dados de depois do projeto, validade da avaliação de impacto, aplicação da avaliação de impacto na gestão. Comentários Finais