Monitoramento e Avaliação na Gestão Pública

1. Monitoramento e Avaliação na Gestão Pública Glauco Knopp glauco.knopp@institutopublix.com.br

2. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO • A prática de Avaliação na Gestão Pública tem início após a II Guerra Mundial • Esforço de reconstrução dos países, avaliações de alguns programas sociais de grande vulto • Incentivo de organismos multilaterais (BIRD)

3. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO • Países em desenvolvimento: M&A nos governos incipiente até início de 1990. • Os avanços da nova administração pública têm muitas implicações sobre a função e a prática da avaliação

4. Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) Estado tradicional: Protagonismo isolado na cena do desenvolvimento Estado em rede: Concertador ativador e direcionador estratégico das capacidades do mercado e da sociedade • Reformas de primeira geração, o ajuste fiscal • Se basta: ajuste pelo ajuste • como pré-condição: primeiro o ajuste, depois o desenvolvimento • É uma agenda negativa: “custos de oportunidade ao desenvolvimento” • Reformas de segunda geração: a estratégia “dual” • Ênfase no desenvolvimento e no fortalecimento institucional • + • Qualidade (com responsabilidade) fiscal e consolidação do ajuste pelo ganho de eficiência: “fazer (o que deve ser feito) mais e melhor com menos” ... Gerando resultados que criam VALOR PÚBLICO sustentável

5. Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) Estado tradicional: Protagonismo isolado na cena do desenvolvimento Estado em rede: Concertador ativador e direcionador estratégico das capacidades do mercado e da sociedade • Reformas de primeira geração, o ajuste fiscal • Se basta: ajuste pelo ajuste • como pré-condição: primeiro o ajuste, depois o desenvolvimento • É uma agenda negativa: “custos de oportunidade ao desenvolvimento” • Reformas de segunda geração : a estratégia “dual” • Ênfase no desenvolvimento e no fortalecimento institucional • + • Qualidade (com responsabilidade) fiscal e consolidação do ajuste pelo ganho de eficiência: “fazer (o que deve ser feito) mais e melhor com menos” GESTÃO DA ESTRATÉGIA GESTÃO DA EFICIÊNCIA OPERACIONAL GESTÃO DA EFICIÊNCIA OPERACIONAL ... Gerando resultados que criam VALOR PÚBLICO sustentável

6. Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) • GOVERNANÇA SOCIAL • Orientada para resultados que geram valor público • Sistêmica • Relacional (em rede) • BUROCRACIA ORTODOXA • Orientada para a conformidade normativa • Fragmentada • Comando-controle

7. UM NOVO PADRÃO DE GESTÃO PÚBLICA: O QUE MUDA? • Orientação para o cidadão-usuário, ênfase na qualidade do serviço e do atendimento (integrado) • Gestão orientada para resultados: planejamento estratégico, orçamento por resultados, acordos de resultados, gerenciamento intensivo de programas e projetos, monitoramento & avaliação • Flexibilização, simplificação burocrática e autonomia (com responsabilização) • Novas formas de prestação de serviços públicos por meio de parcerias com entes de cooperação e parcerias público-privada • Fortalecimento do núcleo estratégico de governo por meio da profissionalização da alta burocracia e do desenvolvimento de formas inovadoras na gestão de políticas públicas • Gestão em rede fortalecendo a capacidade relacional para lidar com a transversalidade e relações intergovernamentais • Uma nova gestão de pessoas:estratégica e profissional (carreiras, desenvolvimento de competências, remuneração variável por desempenho, sistema de gerência pública) • Mudanças na relações governo-sociedade, controle social, transparência, participação, governança social

8. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA ... Um Modelo de Governança Estratégica Para Resultados RESULTADOS MAPA ESTRATÉGICO Indicadores Metas projetos 1 ESFORÇOS CENTRAL DE RESULTADOS 5 2 DESDOBRAMENTO Processos Pessoas ALINHAMENTO Processos, estrutura, pessoas 4 3 CONTRATUALIZAÇÃO Abordagem desenvolvida por Marini & Martins

9. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA ... Um Modelo de Governança Estratégica Para Resultados CONTROLE SOCIAL CONSTRUÇÃO COLETIVA DA AGENDA RESULTADOS ESFORÇOS PROCESSO DE CO-PRODUÇÃO NA IMPLEMENTAÇÃO Do governo que governa a sociedade PARA o governo que governa COM a sociedade Processos Pessoas Abordagem desenvolvida por Marini & Martins

10. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA ... Gerando VALOR PÚBLICO sustentável Dimensões do Resultado Eficácia Efetividade Eficiência Outros Outros Produtos (outputs) Impactos (outcomes) Insumos (inputs) Ética Ética Poder Poder Cultura Cultura Ações/Atividades Projetos Organizações Processos Dimensões de Esforço Excelência Execução Economicidade

11. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO Estamosfalando de um novo modelo de Estado, baseadoemGovernança (GovernoMatricial e emRede) e Desempenho (Esforços e Resultados), cujoalcancesó é possível a partir de mecanismos de Monitoramento e Avaliação

12. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: DIFERENTES OBJETOS DE ANÁLISE Estamos falando de monitorar e avaliar o desempenho do que? • Organizações: Governos • Setores: áreas ou domínios de políticas públicas e da economia • Intervenções: planos, programas, projetos • Pessoas: equipes, líderes, cada indivíduo • Serviços: internos e externos às organizações • Processos • Sistemas Cada objeto com seus sistemas, métodos e estratégias de monitoramento e avaliação que devem “conversar” entre si

13. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Alguns princípios básicos • A criação de um Sistema de M&A não pode ser entendida como um fim em si mesmo • Mais importante que avaliar olhando para trás, ou seja, buscando responder se um determinado projeto apresentou resultados, é olhar pra frente, buscando melhorar a qualidade dos programas, e constituir instituições governamentais capazes de construir políticas públicas com base em evidências (LEGOVINI, 2009). • Deve-se respeitar o timing político-eleitoral

14. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Fatores Críticos de Sucesso em M&A • Utilidade (tempestividade, relevância, qualidade) e credibilidade (confiabilidade do método, da fonte) das informações geradas • Capacidade de integração à agenda de planejamento, gestão e orçamento governamentais • Forte estrutura de incentivos para a geração e uso da informação • Demanda pela informação

15. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Usos das Informações de M&A • Aprendizagem organizacional • Melhorar a prática • Accountability e transparência • Alocação de recursos (integrar informações sobre resultados ao processo de tomada de decisões orçamentárias) • Controle/Fiscalização/Auditoria (Órgãos de Controle)**

16. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Partes Interessadas (usuários) nas informações de M&A • Gestores: Aprimorar desenho e funcionamento • Legislativo/Planejamento/Fazenda: alocação de recursos entre programas • Sociedade civil: Prestação de contas a quem paga os impostos • Beneficiário: “Empoderamento”

17. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Vantagens da adoção de sistemas de M&A em governos • Fortalecimento das relações de prestação de contas para dentro e para fora do governo • Tomadas de decisão mais eficazes • Fomento ao intercâmbio de idéias e experiências sobre os programas e projetos públicos • Implementação de inovações • Geração e Sistematização de conhecimentos na Administração Pública

18. Implementação Política Sociedade Intervenções Estratégias políticas Normas e Valores • Abre oportunidades de aprendizagem • Provê recomendações • Melhora o nível de informações • Abre oportunidades para participação democrática • Cria transparência • Ajuda na supervisão • Torna as políticas públicas mais efetivas, eficientes e sustentáveis • Permite a avaliação usando critérios de sustentabilidade • Dá mais credibilidade às políticas públicas Iluminação e Controle social Gerenciamento Legitimação MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: UTILIDADES DAS INFORMAÇÕES DE M&A Monitoramento & Avaliação Fonte: R. Stockmann

19. IDENTIFICAÇÃO FORMULAÇÃO IMPLANTAÇÃO PÓS IMPLANTAÇÃO CORREÇÕES DE RUMO MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CICLO DE VIDA E FERRAMENTAS DE M&A Diagnóstico Concepção Execução Iniciativa em Operação Avaliação (ex-post) Avaliação “ex-ante” Monitoramento Avaliação de término Avaliação Intermediária DECISÃO DE CONTINUAR DECISÃO DE IMPLANTAR DECISÃO DE REPETIR

20. ANO 0 ANO 1 ANO 2 ANO 3 CORREÇÕES DE RUMO MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: TIPOS DE AVALIAÇÃO NO GOVERNO DO MÉXICO Avaliação de Impacto Avaliação de processos Avaliação de Desenho Avaliação Executiva Avaliação Econômica Avaliação de Indicadores Monitoramento Avaliações Complementares Focalização Meta-avaliação Linha de Base Stakeholders CORREÇÕES DE RUMO DECISÃO DE CONTINUAR DECISÃO DE IMPLANTAR DECISÃO DE REPETIR

21. Ciclo de Vida T-1 T0 Ti Tf Tf+1 Efetividade Eficácia Eficiência Dimensões do Desempenho Monitoramento Execução Excelência Economicidade Avaliação

22. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA M&A em Governos no Brasil • Crescente difusão e adoção nos últimos anos • Requisito formal (condicionalidadescontratuaisimpostaspor BMDs) • Focoemfiscalização e controle • Poucouso dos resultados

23. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • A demanda espontânea por avaliações de políticas, programas e projetos ainda é incipiente no setor público brasileiro • A geração de informações sobre os resultados de organizações, programas, políticas etc., ainda apresenta severas fragilidades • A incorporação destas informações aos processos decisórios, buscando-se ajustes e aprendizado, é incipiente Fonte: MarciaJoppert (2010; 2011)

24. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • Publicização externa sobre a prática de M&A ainda é ruim • Impactos políticos das avaliações • Cultura reativa e defensiva típica de certas administrações (exposição das vísceras; avaliação vista como controle/punição) Fonte: MarciaJoppert (2010; 2011)

25. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • A avaliação não é uma profissão institucionalizada e regulamentada e bem definida • Há poucos profissionais especializados disponíveis na área de M&A. Acaba-se limitando aos que se conhece. • Há insuficiência da oferta acadêmica de cursos de especialização em M&A Fonte: MarciaJoppert (2010; 2011)

26. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • As avaliações são reduzidas à dimensão output, quando o ideal seria considerar diferentes dimensões de diferentes realidades (desenho, implementação, custo-efetividade, impacto) para contextos diferentes • Há pouca aderência dos resultados de avaliação à realidade prática dos programas, ou seja, baixo valor agregado da avaliação na geração de aprendizado e soluções efetivas Fonte: MarciaJoppert (2010; 2011)

27. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • Quase inexistência de avaliações mistas (avaliações externas causam reações negativas dos gestores e as internas sofrem problemas de isenção) • Falta de cultura de tratar a avaliação como parte do projeto (previsão de $$ para avaliar) Fonte: MarciaJoppert (2010; 2011)

28. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • Ausência de cultura de planejamento com base em métodos e evidências (uso do “achômetro”, feeling, conhecimento tácito) • Desintegração entre formulação e avaliação (condições de avaliabilidade; retroalimentação) • Ausência de equipes no setor público com expertise para demandar avaliações (problemas nos TdR, editais) e analisar seus resultados Fonte: MarciaJoppert (2010; 2011)

29. MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil • Sociedade pouco instrumentalizada para saber demandar • O conhecimento no tema é acumulado em áreas específicas (educação, saúde), mas não sistematizado e compartilhado • Legislativo pouco proativo (comissões mistas, projetos de lei exigindo avaliações de programas) Fonte: MarciaJoppert (2010; 2011)

30. Glauco Knopp Mestre em Administração Pública pela FGV e Bacharel em Administração pela Escola Superior de Propaganda e Marketing (ESPM). Possui experiência profissional em organizações privadas (com e sem fins lucrativos) e na administração pública, com destaque para: Lojas Americanas S.A. (Gerente de Loja); Governo do Estado do Rio de Janeiro (Coordenador de Monitoramento e Avaliação do PNAGE); OSCIP Centro Mineiro de Alianças Intersetoriais (Coordenador de Projetos); Governo do Estado de Minas Gerais (Empreendedor Público). Lecionou em instituições de ensino superior, em cursos de graduação e pós-graduação, entre elas EBAPE/FGV e UFRJ. Atua como docente-colaborador eventual da Escola de Governo da Fundação João Pinheiro/MG em cursos de pós-graduação e Professor Associado da Fundação Dom Cabral (FDC). É palestrante e autor de diversas publicações em temas relacionados à gestão pública. É Consultor Sênior do Instituto Publix. glauco.knopp@institutopublix.combr