Monitoramento dos Programas Sociais – parte 4

1. Monitoramento dos Programas Sociais – parte 4 Dionara B Andreani Barbosa Rio de Janeiro - 2012

2. Exercício

3. Exercício

4. Tipos • Dicas: • Se o planejamento/desenho da ação contar com um recurso (financeiro, material ou humano) que já existe na instituição: insumo; • Bem ou serviço entregue, finalizado: produto; • Tempos verbais: acordo • Infinitivo: atividades; • Pretérito: produtos. • População-alvo: resultados, pois restringe o efeito sobre os beneficiários da ação.

5. Exercício

6. Exercício

7. Tipos • Existem vários formatos de modelo lógico: depende do momento no qual se encontra a intervenção pública e das necessidades dos gestores: • Formulação: problemas / hipóteses; • Implementação: atividades / produtos; • Efeitos esperados: público-alvo / população em geral.

8. Características do modelo lógico Recurso analítico: não é um retrato preciso da realidade (que não é nem tão simples nem tão linear); Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a transformação social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado; Ferramenta dinâmica: passível de alterações ao longo da vida do programa.

9. Elaboração do modelo lógico • Estudo de documentos do programa; • Realização de oficina com pessoas-chave para construção do primeiro esboço do modelo: • Construção do modelo de trás para frente; • Processo: vários esboços e reuniões; • Fomento de debate e acordos entre os gestores; • Validação do modelo pelos gestores: • Esse modelo descreve logicamente o funcionamento do programa e os efeitos esperados? O que precisa mudar?

10. Diferença do “marco” lógico • Em virtude do formato matricial, da similaridade semântica e da base conceitual comum, é frequente a confusão do “modelo lógico” com o “marco lógico”. • Marco lógico: única matriz com componentes-chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas). • Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.

11. Marco lógico

12. Informações • Necessidade: tempestivas, simples e em quantidade adequada. • Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública. • Recurso: indicadores

13. Desafio para a estruturação do monitoramento dos programas • Especificar o conjunto de indicadores para o monitoramento dos programas sociais que será acompanhado. • as que destrincham a teoria do programa e; • as que oferecerem os principais tipos de medidas de desempenho.

14. Especificação de indicadores • A explicitação da teoria de funcionamento do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado, que trate das questões-chave da ação – tanto aquelas relacionadas ao processo de implementação quanto aos efeitos gerados sobre a população.

15. Tipos de indicadores de programas

16. Identificação/construção de indicadores • Plano de implementação: • Indicadores com possibilidade de cálculo imediato; • Indicadores com necessidade de desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).

17. (Fontes de) alimentação dos indicadores • Indicadores de impacto: tem como principais fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE; • Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas; • Indicadores de produto: tem como principais fontes de alimentação os dados operacionais dos programas.

18. O caso do BPC • Explicitação da teoria do programa (modelo lógico): 3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); • Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); • 3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia). • 5 indicadores com possibilidade de cálculo imediato. • Apresentação do 1º relatório de monitoramento: abril de 2011 • Retorno da área-fim em 45 dias (ciclos completos de três meses).

19. Antecedentes • Contato com o DBA/SNAS para discutir necessidades de monitoramento: • Apresentação pelo DBA/SNAS da ação BPC e da situação de seu monitoramento (desestruturado e não periódico); • Apresentação pelo DM/SAGI de seus métodos de trabalho.

23. Indicadores do BPC IMPACTOS • Aumento da expectativa de vida da população: • Tempo médio de vida do beneficiário • Redução da pobreza e extrema pobreza no Brasil • Aumento médio da renda dos beneficiários em relação ao referencial de pobreza • Dinamização das economias locais • Participação BPC no PIB local

24. Indicadores do BPC RESULTADOS • Garantia de renda a idosos e a pessoas com deficiência • Número de beneficiários do BPC • Percentual de idosos com renda familiar per capita menor que 1/4 SM com benefícios mantidos • Percentual de pessoas com deficiência com renda familiar per capita menor que 1/4 SM com benefícios mantidos • Erro de inclusão de beneficiários • Erro de exclusão de beneficiários • Participação do valor do benefício na renda familiar

25. Indicadores do BPC • Redução da quantidade de idosos e pessoas com deficiência em situação de pobreza e extrema pobreza • Percentual de famílias com idosos beneficiários do BPC que ultrapassaram a linha de pobreza • Percentual de famílias com pessoas com deficiência beneficiárias do BPC que ultrapassaram a linha de pobreza

26. Indicadores do BPC PRODUTOS • BPC divulgado • Percentual de cartilhas distribuídas pelos CRAS • Benefícios requeridos • Número de benefícios requeridos por mês • Avaliação para pessoa com deficiência realizada (social e médica) • Efeito do novo modelo de avaliação da pessoa com deficiência na concessão do benefício RESULTADOS • Garantia de renda a idosos e a pessoas com deficiência • Número de beneficiários do BPC • Percentual de idosos com renda familiar per capita menor que 1/4 SM com benefícios mantidos • Percentual de pessoas com deficiência com renda familiar per capita menor que 1/4 SM com benefícios mantidos • Erro de inclusão de beneficiários • Erro de exclusão de beneficiários • Participação do valor do benefício na renda familiar

27. Indicadores do BPC • Benefícios concedidos ao idoso e à pessoa com deficiência • Taxa de concessão de benefícios • Tempo médio para concessão do benefício • Percentual de benefícios concedidos por via judicial • Percentual de benefícios concedidos por recurso administrativo • Benefícios reavaliados • Percentual de benefícios não reavaliados há mais de dois anos

28. Indicadores do BPC • Benefícios acompanhados • Percentual de famílias de beneficiários do BPC acompanhadas pelo PAIF ou PAEFI • Percentual de elegíveis mas não beneficiários do BPC inscritos no CadÚnico • Percentual de inclusão dos beneficiários do BPC no CadÚnico

29. Alimentação dos indicadores • Fontes: • IBGE; • DATAPREV/Previdência Social; • Censo SUAS. • Fluxo da informação: • Banco de dados: recuperação (com séries temporais) e marcação de variáveis de interesse; • Problemas na transmissão da base da DATAPREV para o DBA/SNAS: dados tratados disponíveis com defasagem de 6 meses.

30. Retroalimentação • Temporalidade: • Ciclos de três meses; • 45 dias de espaço entre a apresentação do relatório de monitoramento pelo DM/SAGI e as alternativas de correção de rumos pelo DBA/SNAS.

31. Retroalimentação • Proposta de cronograma: • 25 de abril: 1° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação • 6 de junho:1° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos • 25 de julho: 2° oficina para apresentação da evolução dos indicadores e recomendações de (re)ação • 5 de setembro: 2° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos • 24 de outubro: 3° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação • 5 de dezembro: 3° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos • 23 de janeiro (de 2012): 4° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação • 5 de março (de 2012): 4° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos

32. Painel de monitoramento

33. Bibliografia • BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília. Disponível em: http://www.aids.gov.br/data/Pages/LUMISCEEB81DCPTBRIE.htm. • BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/100324_indicadores_programas-guia_metodologico.pdf • FREY, Klaus. (2000), Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, nº 21. • JANNUZZI, Paulo et al.(2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais.Brasília, Enap - EIAPP. • PFEIFFER, Peter. (2006), O Quadro Lógico: Método para Gerenciar Mudanças. In: GIACOMONI, James e PAGNUSSAT, José Luiz. Planejamento e Orçamento Governamental. ENAP. • POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers. • VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores. Mimeo. Rio de Janeiro. • W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em: http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.

34. Sistema de Monitoramento Brasília, 2012.

35. Sistemas de Indicadores • Um bom sistema de indicadores de monitoramento de programas é aquele em que a informação foi selecionada de diferentes fontes e está organizada de forma sintetizada e mais adequada ao uso analítico pelos diferentes gestores.

36. Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública. Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas. Sistemas de M&A

37. Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam, a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos. mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos. Sistemas de M&A

38. Ferramentas para análise comparativa no tempo e espaço Sistemas de M&A no Ciclo de Políticas e Programas Pesquisas do IBGE Dados Integrados em uma Mesma plataforma Cadastros Públicos Registros de Outros Ministérios Indicadores de recursos Indicadores de processos Registro de Gestão dos Programas Chave de integração de dados: municípios, CPF, NIS Indicadores de resultados Indicadores de impacto Indicadores de contexto Categorias de análise Dados de Execução Orçamentária Jannuzzi, 2011

39. A abrangência conceitual e programática dos sistemas de M&A pode ser mais macro- quando se referem a Políticas ou Estratégias de Governo meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos. Sistemas de M&A

40. Monitoramento Gerencial e Monitoramento Analítico Brasília, 2012.

41. Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa  Sistemas informatizados, planilhas de controle  Muito intensivo em dados, estruturados ou não  Subentende a lógica de encadeamento de ações  Prazos e metas são os parâmetros de avaliação Monitoramento Gerencial

42. Monitoramento analítico: é entendido como o exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços- e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo- ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo. Monitoramento Analítico

45. a) Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ? b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ? c) Como evoluem os indicadores de efeitos nos municípios ? d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ? e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ? f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ? g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ? Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico

46. O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades Os indicadores devem permitir evolução dos esforços, processos e efeitos Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais Princípios relativos à construção do Painel de Indicadores

47. Os indicadores devem ter interpretação normativa clara Os indicadores devem ser mutuamente consistentes e com importância equivalente Os indicadores devem ser inteligíveis e acessíveis ao gestor Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente. Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares) Princípios relativos à construção do Painel de Indicadores

48. Etapas para Construção de um Painel de Indicadores

49. Sala de monitoramento Essa sala serve para monitorar processos industriais, sinais de emergência, imagens de um determinado local ou mesmo centralizar a cadeia de comando de um plano de emergência ou de contingência.

50. Monitoramento Estratégico: exemplos Será que o poder de compra do benefício básico desde agosto de 2007 foi assegurado?