Monitoramento Analítico como
This presentation is the property of its rightful owner.
Sponsored Links
1 / 32

Tem havido em esforço crescente em M&A no Brasil nos últimos 20 anos PowerPoint PPT Presentation


  • 33 Views
  • Uploaded on
  • Presentation posted in: General

Monitoramento Analítico como Ferramenta para Aprimoramento da Gestão de Programas Sociais Paulo de Martino Jannuzzi ENCE/IBGE e SEADE. Tem havido em esforço crescente em M&A no Brasil nos últimos 20 anos.

Download Presentation

Tem havido em esforço crescente em M&A no Brasil nos últimos 20 anos

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Monitoramento Analítico como Ferramenta para Aprimoramento da Gestão de Programas SociaisPaulo de Martino Jannuzzi ENCE/IBGE e SEADE


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Tem havido em esforço crescente em M&A no Brasil nos últimos 20 anos

Ampliação da agenda, escopo e escala das Políticas Sociais, instituída na Constituição de 1988

Potencializado pela pressão e controle social crescente (Imprensa, mov. Sociais etc)

Viabilizado por mudanças institucionais importantes

- Reforma da Adm. Pública, para foco nos resultados

- Descentralização da ação governamental

- Emponderamento dos órgãos de controle (TCU, Min.Público etc)

- Recuperação da capacidade de gestão no setor

- Aumento do número de servidores, mais qualificados


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Tem se ampliado Pesquisas e Estudos Avaliativos voltados às diferentes etapas do Ciclo de Políticas e Programas

Avaliação de desenhos de implementação

Avaliação ex-ante de demandas

Tipologia de pesquisas de avaliação segundo maturidade do programa

( Peter Rossi 2004)

Avaliação de processos

Avaliação custo-efetividade

Avaliação de resultados e impactos


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Há muitas iniciativas para melhoria da captação e disseminação de informação para Formulação

Fontes e Pesquisas

Públicos-alvo (Censo Demográfico, Pesquisas amostrais. Cadastros e registros de programas)

Agentes implementadores ( MUNIC, pesq. Inst. )

Participação social

(MUNIC, pesq. Inst. )

Avaliação de desenhos de implementação

Avaliação ex-ante de demandas

Avaliação de processos

Avaliação custo-efetividade

Avaliação de resultados e impactos


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Tem se reconhecido a importância de se rever e discutir os desenhos e lógicas de implementação dos programas

Avaliação de desenhos de implementação

Avaliação ex-ante de demandas

Pesquisas de avaliação

Análise Institucional da Política

Análise da Lógica de Intervenção do Programa

Avaliação de processos

Avaliação custo-efetividade

Avaliação de resultados e impactos


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Tem se reconhecido a importância de utilização de diferentes abordagens metodológicas conjugadas

Unidades de análise

Produtos

Serviços prestados

Públicos-alvo

Gestores

Técnicos atendentes

Instituições prestadoras de serviços

Municípios

Estados

Outros Ministérios

Avaliação de desenhos de implementação

Pesquisas de avaliação

Abordagens qualitativas (Observação, Entrevistas, Grupos de Discussão)

Abordagens quantitativas (Amostras intencionais, probabilísticas, desenhos quase-experimentais)

Avaliação ex-ante de demandas

Avaliação de processos

Avaliação custo-efetividade

Pesquisas encomendadas

Avaliações do TCU

Auditorias da CGU

Pesquisas do IBGE e outras instituições

Avaliação de resultados e impactos


Triangula o

Tem se reconhecido a importância de utilização de diferentes abordagens metodológicas conjugadas

Triangulação

Triangular significa abordar o objeto de pesquisa a partir de mais de uma técnica diferente de investigação ou sujeitos a entrevistar, como linhas não paralelas na forma de um triângulo cercando o objeto de pesquisa ao centro.


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Plano de Avaliação Formativa do Programa Seguro-Desemprego (Benefício SD, Intermediação de MO, Qualif.Profissional)

Estudos de caso

81 Grupos focais em todos os estados da Federação

Pesquisa de opinião com 1990 empregadores em 17 estados

Pesquisa qualitativa

Entrevistas em profundidade com 292 agentes em todos estados da Federação

Pesquisa de opinião com 1999 trabalhadores em postos do SINE em 44 municípios

Pesquisa documental – CPUs, PROESQs e relatórios em geral

Pesquisa quantitativa

Pesquisa de opinião com 2039 egressos do PNQ 2007 em 90 municípios

388 supervisores e entrevistadores

envolvidos na pesquisa de opinião

Pesquisa de opinião com 19618 beneficiários do SD em 109 municípios

Análise da Arquitetura do

Sistema de Informações

RAIS, SIGAE, CAGED, Base de Gestão e IBGE

Pesquisa

em bases de dados

6 Oficinas de Avaliação Participativa em 5 regiões (duas no Nordeste)

Oficinas Regionais

8


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Experiência em M&A no MDS- O papel da SAGI


Em que pese todo o esfor o h um certo desencanto com a avalia o

Em que pese todo o esforço, há um certo desencanto com a Avaliação...

As metodologias de avaliação de programas sociais têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo decisório porque seus resultados são inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das próprias limitações deste tipo de estudo, inoportunos devido à morosidade do processo avaliativo e irrelevantes, porque não respondem às demandas informacionais de todos os agentes sociais afetos à intervenção (COTTA 1998, p.118).


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Alguns fatores que contribuem para o desencanto

  • Complexidade do objeto

    • Problemas sociais são complexos e multi-causais,

    • Públicos-alvo bastante distintos e dispersos

    • Parte significativa dos programas são muito recentes

    • Natureza diversa das “entregas” – benefícios monetários, produtos, serviços

    • Complexidade do contexto de operação dos programas, envolvendo articulação entre setores da Política Social, entes federativos e entidades público-privadas


Alguns fatores que contribuem para o desencanto

Alguns fatores que contribuem para o desencanto

Desconhecimento sobre o estágio de Avaliabilidade dos Programas

- Antecipação de avaliações externas de natureza mais de auditoria

- Medição de resultados e impactos em detrimento de avaliações de desenho da intervenção ou do processo de implementação, mais voltados ao aprimoramento do programa

Avaliação de programas têm sido realizadas por equipes com boa experiência em Análise de Macro-Políticas, Conjuntura Social ou projetos de pesquisa acadêmicos, mas sem muita experiência ou conhecimento na implementação real de programas. sem a interdisciplinaridade exigida

Gestores e técnicos mais como expectadores do que protagonistas, encarando M&A mais como espasmos ou estorvos avaliativos do que como ferramentas para aprendizado e aprimoramento dos programas


Alguns fatores que contribuem para o desencanto1

Alguns fatores que contribuem para o desencanto

Gestores e técnicos mais como expectadores do que protagonistas, encarando M&A mais como espasmos ou estorvos avaliativos do que como ferramentas para aprendizado e aprimoramento dos programas

Deficiência na estruturação ou inexistência de Sistemas de Monitoramento de Programas, que possam aportar subsídios analíticos para a gestão

Demandas cotidianas de gestão conspiram contra a disseminação de uma cultura em M&A


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Desafio: Enfoque multidisciplinar e maior envolvimento das equipes dos programas nas atividades de M&A

Garcia, 2001, 17-18)


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação.

Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

M&A de programas compõe-se de ferramentas

Sistemas de MonitoramentoPesquisas de Avaliação

subentende um lógica da intervenção desenho pode ser obj de avaliação

vale-se de dados já coletados envolve em geral coleta primária

busca dispor de indicadores informação qualitativa e quantitat.

na forma de Painéis gerenciais relatório de avaliação, respondendo

ou Painéis analíticos - mérito da demanda

- recursos e insumos - desenho e institucionalidades

- processos e produtos - dificuldades da implementação

- resultados e impactos - resultados e impactos

- qualidade, produtividade - custo-efetividade

Aprimoramento da Gestão do Programa

Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação


Estrutura l gica de um painel de monitoramento

Estrutura lógica de um Painel de Monitoramento


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa

 Sistemas informatizados, planilhas de controle

 Muito intensivo em dados, estruturados ou não

 Subentende a lógica de encadeamento de ações

 Prazos e metas são os parâmetros de avaliação

Monitoramento Gerencial e Monitoramento Analítico


Monitoramento anal tico

Monitoramento Analítico

Exercício sistemático de análise de séries temporais

de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços-

e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo,

tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo-

ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.


Monitoramento anal tico1

Monitoramento Analítico

- Painéis de Indicadores

- Construção de Indicadores-sintese

- Construção de Indicadores relacionais


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Indicador de

Capacidade

Gestão

Indicador de bem estar


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador

Por que minhas “entregas” estão se processando se forma diferente nesses dois contextos?

Indicador de

Capacidade

Gestão

Indicador de bem estar


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ?

Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ?

c) Como evoluem os indicadores de efeitos nos municípios ?

d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ?

e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ?

f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ?

g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Desafio: Especificar Painel de Indicadores para Monitoramento Analítico de Programas para uso do Gestor

Avaliação de desenhos de implementação

Avaliação ex-ante de demandas

Painel de Indicadores para Monitoramento Analítico de Programas

Avaliação de processos

Avaliação custo-efetividade

Avaliação de resultados e impactos


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Painel de Controle do SIMEC

Matriz de Informações Sociais da SAGI/MDS

SIM-Trabalho da SERT e Seade/SP

SIM-Escolas da Sec.Educ e Seade/SP

Exemplos de Painéis de Indicadores de Monitorameto Analítico


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Etapas para Construção de um Painel de Indicadores


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

Indicadores de Monitoramento como sequências de fotos - filme


Princ pios relativos constru o do painel de indicadores

Princípios relativos à construção do Painel de Indicadores

Os indicadores devem ter interpretação normativa clara

Os indicadores devem ser mutuamente consistentes e com importância equivalente

Os indicadores devem ser inteligíveis e acessíveis ao gestor

Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente.

Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento

Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades

Os indicadores devem permitir evolução dos esforços, processos e efeitos

Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura

Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

Princípios relativos à construção do Painel de Indicadores


Tem havido em esfor o crescente em m a no brasil nos ltimos 20 anos

FIMObrigado !


  • Login