Programa Avançado em Gestão Pública Contemporânea

1. Governo do Estado de São PauloCasa CivílSubsecretaria de Gestão e Recursos HumanoEgap/Fundap Programa Avançado em Gestão Pública Contemporânea Avaliação de Programas de Governo A experiência do Tribunal de Contas da União Selma Maria Hayakawa Cunha Serpa Secretária de Fiscalização e Avaliação de Programas de Governo São Paulo 03/06/05

2. Legislação • Constituição Federal/88, Art. 71, Inciso IV • Resolução/TCU Nº 256/91 • Lei Nº 8.443/92, Art. 38, Inciso I • Regimento Interno TCU (1993 e 2002) • IN/TCU Nº 09/1995 • Manual de Auditoria de Natureza Operacional (1998 e 2000)

3. Inovações na forma de atuação do TCU • ÊNFASE NA ESPECIALIZAÇÃO • ESTABELECIMENTO DE METAS E PRIORIDADES • RACIONALIZAÇÃO DO PROCESSO DE INSTRUÇÃO DE CONTAS • INFORMATIZAÇÃO DO ENVIO DAS CONTAS AO TCU • ACORDOS DE COOPERAÇÃO TÉCNICA

4. O Controle Externo no contexto da Reforma do EstadoBrasileiro de 1995 o novo paradigma de accountability projeta a prestação de contas do gestor para além dos limites formais da burocracia, responsabilizando-o perante a sociedade e pressupondo mecanismos de salvaguarda dos ativos públicos contra excessos de poder.

5. Desafio Como o TCU poderia contribuir de forma efetiva para aumentar a responsabilização dos agentes públicos, para aperfeiçoar a ação de governo e para garantir à sociedade que as informações disponíveis sobre desempenho são fidedignas?

6. Secretaria de Fiscalização e Avaliação de Programas de Governo - Seprog • Criada em 2001 • Avalia programas de governo de abrangência nacional ou regional mediante a realização de Auditorias de Natureza Operacional - Anop • Desenvolve e dissemina métodos, técnicas e padrões de Anop • Presta apoio técnico para as Secex • Acompanha e consolida os resultados do monitoramento das avaliações de programas.

7. Projeto CERDS Acordo de Cooperação Técnica firmado entre os Governos do Brasil e do Reino Unido da Grã-Bretanha e Irlanda e executado pelo Tribunal de Contas da União e o Department for International Development – DFID: Fase I : 1998 a 2001 Fase II : 2002 a 2006

8. Projeto de Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social - CERDS/Fase II Objetivos: • avaliação de programas voltados para a superação da pobreza e da desigualdade social no país • fortalecimento do controle social • aproximação com a sociedade civil

9. Aporte do DFID • assessor residente e consultoria especializada • apoio à publicação de manuais, documentos técnicos e de divulgação; • apoio à realização de eventos de divulgação • desenvolvimento de bancos de dados • capacitação do corpo técnico • viagens de estudo

10. Instrumentos de Controle TCU: • exame e julgamento de contas; • apreciação de denúncia, representação e consulta; fiscalização; • apreciação dos atos de pessoal (admissões e concessões); • apreciação de desestatização; e, • apreciação de contas do governo.

11. Auditoria de Natureza Operacional Auditoria de natureza operacional é um processo de coleta e análise sistemáticas de informações sobre características, processos e impactos de um programa, atividade ou organização, com base em critérios fundamentados,  com o objetivo de avaliar a economicidade, eficiência, eficácia e efetividade, gerar recomendações para aperfeiçoar a gestão e contribuir para a responsabilização dos gestores pelo desempenho da ação estatal.

12. Avaliação de programa Auditoria de desempenho operacional Auditoria de Natureza Operacional Modalidades

13. Auditoria de Natureza Operacional Impacto Avaliação de programa efetividade Missão Objetivos gerais Auditoria de desempenho operacional economicidade eficiência eficácia Objetivos específicos Funções Atividades

14. Auditoria Desempenho X Avaliação de Programa Objeto: programas Foco: resultados/efeitos (relações de causa-e-efeito) Metodologias: modelos experimentais, modelos quase-experimentais, análise custo-benefício Examina questões avaliativas Objeto: órgãos e entidades jurisdicionadas Foco: economicidade, eficiência e eficácia Examina questões normativas Análise da gestão Metodologias/técnicas comuns: estudos de caso, pesquisa, entrevistas estruturadas, observação direta, indicadores de desempenho, benchmarking Uso de especialistas

15. Objetivos Avaliação de Programas • aperfeiçoar a ação governamental; • avaliar o desempenho e a efetividade do programa quanto a sua contribuição para melhorar a realidade sobre a qual atua; • assegurar a responsabilização por desempenho.

16. Responsabilização por Desempenho Responsabilização por desempenho é uma das dimensões do paradigma de accountability, pois relaciona-se a noção de governança, à capacidade do governo de responder às demandas da sociedade, à transparência das ações do poder público e à responsabilidade dos agentes políticos e administradores públicos pelos seus atos, transcendendo-se assim ao conceito de prestação de contas tradicional.

17. CICLO DAS AUDITORIAS DE NATUREZA OPERACIONAL . Seleção – Matriz de Risco Monitoramento Divulgação Seleção – Estudo de Viabilidade Planejamento Apreciação Comentário do gestor Execução e Relatório

18. Programas de Governo LOA 2004 • 387 Programas (6.741 ações) • 299 Programas Finalísticos: (4.681 ações): • 64 Programas relacionados ao Megaobjetivo I/PLPPA - 56,3% do gasto previsto (1.597 ações) • 136 Programas relacionados ao Megaobjetivo II/PLPPA - 33,3% do gasto previsto (1.646 ações) • 90 Programas relacionados ao Megaobjetivo III/PLPPA - 10,4% do gasto previsto (878 ações)

19. Gráfico 1 – Forma de Implementação das Ações Governamentais Fonte: Plano de Gestão do PPA 2004-2007 Texto para discussão-MPOG/SPI

21. Seleção - Matriz de Risco Critérios utilizados: • Relevância - é um critério de avaliação qualitativo que busca levantar a importância relativa das ações em estudo, independentemente da sua materialidade • Risco –é a expressão da probabilidade de ocorrência de eventos futuros incertos que têm potencial para influenciar o atingimento dos objetivos de uma organização/programa • Materialidade - é a importância relativa ou representatividade do valor ou do volume de recursos envolvidos, isoladamente ou em determinado contexto

22. Seleção – Estudo de Viabilidade Manifestação sobre a conveniência e a oportunidade de se realizar avaliação de programa ou auditoria de natureza operacional, considerando o impacto potencial da auditoria na melhoria do desempenho.

23. Planejamento • Elaboração do Projeto de Auditoria – Matriz de Planejamento • Definição do problema e das questões de auditoria, identificação de fontes de informações, definição de estratégia metodológica, dos métodos de obtenção e análise de dados.

24. Planejamento • Estudo das possíveis limitações • Identificação do que a análise permitirá dizer • identificação dos benefícios potenciais da auditoria • Elaboração de papéis de trabalho para coleta de dados • Teste piloto

25. Técnicas de Diagnóstico de Problema • Mapa de Processo • Mapa de Produto • Entrevistas • RECI (Responsável, Executor, Consultado, Informado) • SWOT (Strenghts – Forças, Weaknesses – Fraquezas, Opportunities – Oportunidades, Threats – ameaças) • Matriz de Verificação de Risco • Análise Stakeholder (atores envolvidos)

26. Estratégias Metodológicas • Estudo de Caso • Pesquisa • Delineamento Quase-experimental

27. Métodos de obtenção dos dados • Entrevistas • Questionários • Observação direta • Grupo Focal • Consulta documental • Consulta base de dados

28. Matriz de Planejamento

29. Execução e Relatório • Coleta de dados • Análise de dados • Elaboração do relatório preliminar • Comentários do gestor • Elaboração do relatório final

31. Controle de Qualidade • Controle Concomitante: • Supervisão • Cronograma • Painel de Referência • Controle posterior • Revisão dos pares • Metodológica - Adfis

32. Divulgação • Briefing: mídia • Série Sumário Executivo : • Público-alvo: • Parlamentares • Tribunais de contas estaduais e municipais • Bibliotecas e instituições de ensino • Demais atores envolvidos • Série Relatórios de Avaliação de Programas • Público-alvo: • Gestores Federais, Estaduais, Municipais • Sistema de Controle • Sociedade Civil

33. Monitoramento das Recomendações • Acompanhamento, pela Unidade Técnica competente, das providências adotadas pelo órgão auditado em resposta às recomendações proferidas pelo Tribunal • Avaliação do impacto das recomendações implementadas para o aperfeiçoamento do desempenho de órgãos/programas

34. Por que Monitorar? • Maximizar a probabilidade de adoção das recomendações • Acompanhar as providências adotadas • Garantir o alcance dos efeitos desejados • Verificar a adequação das recomendações em face das condições vigentes • Auxiliar o gestor no acompanhamento do desempenho do órgão/programa • Colher informações que alimentem o processo orçamentário e o de formulação de políticas públicas • Aferir o benefício decorrente das recomendações implementadas

35. PRINCIPAIS CONSTATAÇÕES • Desenho dos programas • Estrutura organizacional deficiente • Ausência de dados e indicadores de desempenho adequados • Metas físicas e financeiras definidas segundo série histórica • Contingenciamento de recursos • Sistemática precária de coordenação das ações dos programas quanto a implementação, ao monitoramento e a avaliação

36. RESULTADOS DAS AVALIAÇÕES “ ... Gostaria de levar ao conhecimento deste Tribunal a visão do gestor público sobre auditoria operacional realizada sobre o Bolsa Família. Dentro de um novo enfoque da administração pública, no qual aspectos gerenciais ampliam a visão meramente burocrática da atuação do Estado, a realização dessa auditoria operacional pelo TCU colocou em foco para os gestores e para a sociedade não apenas deficiências mas, sobretudo, a complexidade da ação governamental do Bolsa Família, presente hoje em mais de 90% dos municípios e com mais de 6,7 milhões de famílias. Na medida em que essa Secretaria buscará atender sistematicamente todas as recomendações deste Tribunal, queremos registrar a importância do feedback proporcionado por essa auditoria operacional do programa, ainda que realizada na fase inicial do programa, possibilitando nesse momento a realocação de esforços e a correção de rumos.” (Rosane Evangelista da Cunha, Secretária Nacional de Renda de Cidadania do MDS)

37. RESULTADOS DAS AVALIAÇÕES • Energia das Pequenas Comunidades • o MME suspendeu a aquisição de 6.000 novos equipamentos estimada em US$ 30 milhões, até que fossem estabelecidos controles patrimoniais que permitissem a redução do risco de perda desses equipamentos;

38. RESULTADOS DAS AVALIAÇÕES • Saúde do Escolar - Olho no Olho • constatou-se que o programa atingia apenas 37% dos escolares que integravam seu público-alvo, acrescendo em 48% o custo per capita do programa. • a Intosai, no documento sobre Avaliação de Programas de 2004, ressalta a pertinência das recomendações propostas nesse trabalho, que visam benefícios qualitativos e quantitativos aos beneficiários do programa.

39. RESULTADOS DAS AVALIAÇÕES • Morar Melhor • foi identificado o valor de R$ 121 milhões, correspondente a 26,5% do total dos recursos repassados, parados em contas bancárias vinculados a obras paralisadas, atrasadas e não iniciadas, comprometendo a eficácia e o benefício social esperado.

40. RESULTADOS DAS AVALIAÇÕES • Novo Mundo Rural • capacidade ociosa de aproximadamente 3,7 milhões de ha, o que a princípio corresponderia ao assentamento de 90 mil famílias.

41. RESULTADOS DAS AVALIAÇÕES • Assistência Farmacêutica • verificada a variação de até 531% nos custos médios unitários praticados pelos estados na aquisição de 4 medicamentos pesquisados; • identificada a oportunidade de economia de mais de 35% no custo de aquisição de medicamento essencial para transplantados renais e pacientes com artrite reumatóide.

42. RESULTADOS DAS AVALIAÇÕES • Livro Didático • o valor total economizado pelo PNLD, em três anos, em decorrência da implementação das recomendações do TCU, foi de cerca de R$ 1.440.000,00; • relação custo/benefício de aproximadamente R$ 25,26 poupado pelo Programa para R$1,00 investido na auditoria.

43. RESULTADOS DAS AVALIAÇÕES • Proágua • a implementação de recomendação formulada pelo TCU permitiu a economia de 57% (R$ 200 milhões) sobre os recursos inicialmente programados para a implantação de um projeto de adução de água.

44. RESULTADOS • Disseminação de boas práticas de gestão • Melhoria do desempenho dos programas mediante a implementação e o monitoramento das recomendações • Desenvolvimento e disseminação da metodologia utilizada nas Auditorias Operacionais para demais órgãos de controle e auditoria.

45. PERCEPÇÃO DE DIFERENTES ATORES • 89% de respondentes da pesquisa realizada por ocasião do Diálogo Público da Seprog, considerou que as avaliações realizadas pelo TCU contribuem para o aperfeiçoamento dos programas governamentais; • 100% considerou o relatório útil para a organização em que atua. • Objetivo estratégico do TCU nº4 • o sumário executivo do Cadastro foi apresentado, como referência do caso brasileiro, aos participantes do “Second International Workshop on Conditional Cash Transfer (CCT) Programs”, promovido pelo Banco Mundial em parceria com outros organismos internacionais, que tinha como objetivo discutir as experiências de diversos países com programas de transferências de renda com condicionalidades.

46. CONTATO SECRETARIA DE FISCALIZAÇÃO E AVALIAÇÃO DE PROGRAMAS DE GOVERNO - SEPROG • Secretária: Selma M Hayakawa Cunha Serpa • Fone: 55-61- 316.7902 • Fax: 55-61- 316.7896 • E-mail: SEPROG@TCU.GOV.BR