Strategic Impact Evaluation Fund

1. Strategic Impact Evaluation Fund www.worldbank.org/sief

2. Bénédicte de la Brière Banco Mundial ANÁLISE DE CUSTO Além dos impactos

3. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a relação CE de diferentes intervenções 5 • Armadilhas comuns 6

4. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a relação CE de diferentes intervenções 5 • Armadilhas comuns 6

5. O problema: Os impactos por si só não bastam para os tomadores de decisões políticos • Avaliações de impacto rigorosas frequentes porém a análise de custo é mais rara • Muita pouca análise de custo-benefício nos projectos do BM e ainda menos na educação e saúde • “Quanto custará?” O impacto por si só não permite os decisores escolherem entre diferentes opções de intervenções

6. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a relação CE de diferentes intervenções 5 • Armadilhas comuns 6

7. O problema: Quais custos? • As intervenções de Desenvolmimento Humano envolvem uma série de atores: governo, ONG, clientes (beneficiários), não clientes afetados • Custo dos voluntários “gratuitos” ou do tempo dos clientes? • Pagamentos de transferências (transferências monetárias)? • Medição das externalidades positivas/negativas?

8. Análise Custo-Beneficio (ACB) “ Quantifica os benefícios e custos de uma actividade, na mesma unidade (dinheiro) • Para responder: será que a intervenção produz suficientes benefícios para compensar os custos dela? A sociedade fica mais rica após este investimento?, e • Para informar sobreo valor de uma intervenção dada e comparar intervenções dentro e entre setores quando os benefícios podem ser monetizados.

9. Análise Custo-Beneficio (ACB) “ • Bt e Ct : Benefícios/custos adicionais no ano t • t: benefícios e custospodem acontecer entre agora (t=0) e n anos • r: a taxa de desconto. • Taxa Interna de Retorno: taxa de retorno em que a VAL=0 • Razão B/C : Valor actual líquido:

10. ACB (exemplo) Fonte: Horton, Alderman, Rivera 2008

11. Análise Custo/Eficácia (ACE) “ Determina os efeitos não monetários por metical gasto, • Para responder: qual o impacto obtido pelo Ministério por MT gasto ? quanto custou para obter uma unidade do impacto? e • Para informar as comparações de intervenções com efeitos comparáveis num setor dado

12. ACE (exemplo) “ Fonte: Loeb e McEwan (2010)

13. Análise de Custo/Utilidade (ACU) “ Determina os ganhos de utilidade não monetários por MT gasto (similar à ACE) • Para responder: quanto mais utilidade (qualidade de vida) o Ministério da Saúde obteve por MT gasto? quanto custou para obter mais uma unidade de utilidade? e • Para informar as comparações das intervenções sobretudo na saúde, com efeitos comparáveis

14. ACU (exemplo) “ 1 Com tratamento Sem tratamento 0 Anos de vida 10 8 Fonte: Loeb and McEwan (2010)

15. Resumo– Prós e contras Fonte: Loeb e McEwan (2010)

16. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a relação CE de diferentes intervenções 5 • Armadilhas comuns 6

17. Medir os efeitos • Desenho da avaliação de impacto Comparar efeitos entre estudos • Comparar efeitos na mesma escala levando em conta as diferênças contextuais, os pressupostos metodológicos • Converter numa medida comum • Dos níveis de cloração da água ou lavagem das mãos à incidência de diarreia nas crianças • Dos resultados das provas aos ganhos na renda • Curto prazo e longo prazo

18. Comparar efeitos entre estudos 1 Literatura: 1 d.e. nos resultados das provas aumenta a renda em 20 porcentos (Neal e Johnson, 1996) 2 Obter estimativas de renda da Pesquida Actual à População dos Estados Unidos 3 4 TIR= 5.2%

19. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a CE de diferentes intervenções 5 • Armadilhas comuns 6

20. Medição e análise dos custos • Custos de oportunidade O método baseado em “ingredientes” • Identificar detalhadamente os ingredientes • Valorizar os ingredientes • Analisar os custos Os dados de custo são difíceis de obter. Porquê se preocupar? Porquê não usar os orçamentos?

21. 1. Identificar os ingredientes • Pessoal, instalações, equipamentos e materiais, contribuições dos clientes, administração e despesas gerais Fontes: • Documentos acadêmicos • Entrevistas (funcionários, equipe da pesquisa de campo) • Documentos dos programas • Fontes públicas (salários locais) Questões • Plano vs. realidade: orçamento vs. custos • Horizonte de tempo de avaliação

22. 2. Valorizar os ingredientes • Custo total do pessoal: salário e vantagens Valor das infra-estruturas e ingredientes duráveis (manutenção/construção) • Utilização de uma escola existente ou construção de salas de aulas adicionais Utilizar custos de mercado dos ingredientes gratuitos Utilizar custos económicos (p.ex. tempo do usuário caso ele seja obrigado a asssistir) Pagamentos de transferências

23. 2. Valorizar os ingredientes • As categorias devem incluir: • Insumos • Funcões/atividades • Fontes de recursos • Nível de oferta dos serviços As categorias devem ser completas, sem se sobrepor. Custos capitais e recorrentes por insumos

24. 3. Analisar custos • Taxa de desconto Inflação dos preços Moeda • Taxas de câmbio nominais vs. paridade de poder de compra • Custo para a compra da mesma quantidae de bens e serviços em duas regiões diferentes

25. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a CE de intervenções diferentes 5 • Armadilhas comuns 6

26. Análise de sensibilidade • Diferênças contextuais: densidade populacional e CE de intervenções contra a diarréia (cloração, comportamento, fonte) Fonte: J-PAL

27. Análise de sensibilidade • Custos aos beneficiarios: intervenções na educação com informação, desparasitação, úniformes, bolsas. Fonte: J-PAL

28. Análise de sensibilidade • Validade externa • Custos de piloto vs. na escala (tem realmente economias de escala em aquisições?) • A “margem” pode mudar quando passar à escala (ir de escolas com computadores para escola ssem computadores) • Custos iniciais elevados e custos de funcionamento baixos podem tornar o programa mais custo-eficaz na escala Source: J-PAL

29. Ex: Uganda – Vacina HPV à escala • Atividades e insumos Fonte: C. Levin, PATH *Esta análise só cubre os custos operacionais anticipados para a passagem à escala e a manutencão da implementação. Custos capitais e depreciacão excluidos.

30. Ex: Uganda – Vacina HPV à escala • Píloto e programa * Por menina refere-se a completamente vacinada pelo piloto e por menina elegível no programa. † Custos de lancamento depois de dois anos de piloto e um ano de ponte. Fonte: C. Levin, PATH

31. Outros assuntos • Distribuição dos Efeitos • Pensamos que é melhor providenciar: • Mais um ano de escolaridade a 100 estudantes? • Mais cinco anos a 20 estudantes? • Se há efeitos limiares claros como a conclusão do ensino primário então, meça este efeito e não os anos de escolaridade . • Bolsas escolares em Cambodia aumentam as inscrição/assistência de estudantes com poucas abilidades (nenhum impacto nos resultados das provas) (Filmer, Schady 2009)

32. Outros assuntos • Custos de curto prazo /beneficios de longo prazo • Intervenções contra a malnutrição: VAL de 7 classes de beneficios de passar uma criança com baixo peso de nascimento a um peso normal (taxa de desconto de 5%) Fonte: Alderman e Behrman, 2003

33. Os objetivos desta sessão • O problema 1 • Quadro e definições 2 • Medir os efeitos 3 • Medir os custos 4 • Comparar a CE de intervenções diferentes 5 • Armadilhas comuns 6

34. Preste atenção à (ACB e ACE) Ignorar: • Categorias de ingredientes: instalações, equipamentos, contribuições dos clientes • Tempo e taxa desconto • Sensibilidade • Ajustes de moeda e taxa de câmbio • Realidade (estimativa de custos do programa ideal em vez do real). • Não há informações suficientes para verificar os pontos 1 a 5

35. Conclusões A análise CE é útil para analisar programas alternativos que visam os mesmos resultados A ACB permite monetizar um conjunto de diferentes impactos A recolha de custos é uma actividade de recolha de dados em si só Necessidade de dar a conhecer o usuario sobre os pressupostos A analise da sensibilidade permite os decisores a analisarem o impacto da modificação dos pressupostos e das condições locais

36. Referencias Levin, H.M. and P. McEwan. 2001. Cost-Effectiveness Analysis: Methods and application. Sage. McEwan, P. 2012. CEA of Education and Health in Developing Countries. Journal of Development Effectiveness http://www.povertyactionlab.org/publication/cost-effectiveness (education) Horton, S., H. Alderman, and J. Rivera. 2008. “Hunger and Malnutrition.” Copenhagen Consensus 2008 Challenge Paper. Copenhagen Consensus Center.

37. Obrigada Perguntas?