Avaliação da extensão: Aspectos teóricos e metodológicos

1. Avaliação da extensão: Aspectos teóricos e metodológicos

2. Começo de conversa...A ideia de uma universidade que dialoga com o social • Concepção marcada pelo interação dialógica pertinente e permanente com os distintos grupos humanos e sociais, criando canais de comunicação e participação para o desenvolvimento do potencial humano. • A universidade, seus saberes e valores, se fazem socialmente úteis. • A investigação e a docência se nutrem da ação social- repensam o currículo e os projetos de investigação.

3. O que se sabe sobre o tema? • A instauração de processos avaliativos da extensão universitária, nos últimos anos, indica a forte tendência de uma gestão da extensão que intenciona conhecer e analisar suas ações na sociedade. • Há um espaço descoberto para a avaliação dos programas e projetos quanto aos seus efeitos e impactos na comunidade interna e na sociedade.

4. Dados de 2004- pesquisa Forproext • IPES que declararam possuir um sistema de avaliação implantado Ações Total F% (n=38) Programas 29 76,32 Projetos 33 86,84 Cursos 32 84,21 Prestação de serviços 13 34,21 Eventos 20 52,63 Produtosacadêmicos 15 39,47

5. Histórico da CPAE 1999 – XV Encontro Nacional, Campo Grande - criação do GT Avaliação 2001 – Publicação: Avaliação Nacional da Extensão Universitária – FORPROEX-MEC/SESu ( UFPR ) 2001 – Criação da CPAE

6. Quatro elementos da avaliação • (I) a atribuição de sentido aos processos avaliativos, • (II) o uso de métodos e técnicas de investigação da realidade, • (III) a ética dos processos e • (IV) a necessidade de estímulo ao desenvolvimento de capacidade avaliativa nos projetos.

7. O que nos falta? Sistematizar Divulgar • A sistematização de um processo de avaliação útil para o aperfeiçoamento dos projetos existentes, • Construir diferentes formas de divulgação do que a extensão realiza e produz.

8. O que nos falta? Um olhar multidisciplinar • Como quebrar a lógica da disciplinarização no ensino e nos processos de produção do conhecimento ? • Quanto mais multidisciplinares forem os grupos, maiores serão as condições de análise, intervenção e compreensão dos problemas sociais. • A crença na transformação confere a universidade um sentido para os conhecimentos que constrói e recria, propiciando uma ciência com consciência.

9. Extensão e avaliação Se a extensão não tem um processo avaliativo sistematizado, como podemos valorá-la? •Como podemos propor a repetição de uma ação? •Como incorporamos as ações de extensão na imagem da universidade? •Como comprovamos que os recursos foram ou serão bem investidos? •Como convencer alunos, técnicos e docentes a participar das ações? E a comunidade externa?

10. Extensão e avaliação A necessidade da avaliação da extensão origina-se da sua própria dimensão extra-muros ou extra sala de aula –os outros dois processos de aprendizado e formação de conhecimento –ensino e pesquisa –são naturalmente avaliados de forma constante, tanto interna, quanto externamente.

11. Por um começo... • Os propósitos devem estar claramente identificados: • O que se deseja conhecer?Que decisões se pretende tomar? • Deve-se definir o pessoal responsável pelo projeto. • Deve-se identificar os métodos e técnicas a serem utilizados.

12. Primeiro movimento- vontade política • Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço. • Determinar as razões dos êxitos e fracassos. • Facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto. • Analisar outros objetivos que podem ser alcançados. • Resultar em uma cultura organizacional que preze a melhoria continuada.

13. Definindo avaliação • A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa... de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação. (Aguilar e Ander-Egg, p. 31-32).

14. Avaliação: em busca de um sentido • O melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais.

15. Projetos? • Até que ponto a extensão trabalha com projetos no sentido da experimentação e aprendizagem contínua? • Projeto é um empreendimento com objetivo identificável, que consome recursos e opera sob pressão de prazos,custos e qualidade( Kerzner, 2002).Se não podemos considerar nossa ação como projetos ...fica difícil pensar na avaliação.

16. Avaliar , acompanhar, monitorar O planejado foi realizado? O monitoramento é uma avaliação contínua e faz parte integral do gerenciamento do projeto. -O monitoramento diz respeito a observação regular e sistemática do desenvolvimento das atividades . -a avaliação analisa criticamente o andamento do projetos segundo seus objetivos, segundo as informações obtidas pelo MONITORAMENTO.

17. Avaliar , acompanhar, monitorar A avaliação é conduzida periodicamente tanto pela equipe do projeto quanto pelos beneficiários e com a ajuda de equipes externas. Um sistema de monitoramento requer a adoção de indicadores. Indicador - O que demonstra a, sinaliza a evolução, o avanço rumo aos objetivos, as metas?

18. Avaliação: para quê??? Um processo de avaliação, para ter sucesso, deve contar com a participação efetiva dos avaliados. Mas quem gosta de ser avaliado? A avaliação é considerada ◦Punitiva ◦Investigativa ◦Comparativa

19. Macro- indicadores • Eficiência – quais os resultado com menor dispêndio de recursos? • Eficácia- quais os resultados alcançados com os meios sob controle? • Efetividade- quais foram osresultados exitosos sob condições reais não controladas? • Impacto- quais resultados foram mantidos ?

20. Princípios gerais • Definidos com precisão, • Consistentes, • Específicos, • Fáceis de coletar, • Mostrar resultados materiais.

21. Conceitos-chave • Eficiência - refere-se à rentabilidade econômica que, em alguns casos, deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em relação aos resultados obtidos. • Eficácia, analisa-se até que ponto estão sendo alcançados os resultados previstos e mesmo se os resultados previstos são pertinentes

22. Exemplo: Eficiência Eficácia Ex: o projeto foi eficiente pois em 3 meses atendeu 25 pessoas com cinco estudantes a um desembolso de R$ 250, o que significa 5 pessoas por estudante, R$ 10 por pessoa, média de 8,33 pessoas/mês; o projeto não foi eficaz, pois em 60% das pessoas o nível de alfabetização não foi suficiente para uma leitura de um texto de 10 linhas em letra cursiva

23. Eficiência • Revela o grau de utilização de recursos • ◦Quantas horas? • ◦Quantas salas? • ◦Quantas cópias? • ◦Quantas pessoas? • ◦Quantas viagens, almoços, diárias? • ◦Quanto custou? • ◦Quanto rendeu?

24. Sobre eficácia • Anos 90-dimensões desejáveis de desempenho das organizações e programas-eficácia, eficiência e efetividade. • Eficácia é o grau de atendimento às metas e objetivos estabelecidos. • O programa ou projeto produziu algum efeito sobre os seus beneficiários? quais? • Não é tarefa fácil...Como cada um percebe? • Precisamos de formas para medir o desempenho perante os objetivos e metas almejados.

25. Eficácia I Indicadores de eficácia Como assim? Capacidade de implementar decisões Diversidade de canais, suficiência e qualidade das mensagens % de publico atingido, agilidade de fluxo Suficiência dos recursos, prazos e fluxos qualidade da infra-estrutura, material de apoio Regularidade, abrangência e agilidade na identificação dos desvios e incorreções, agilidade para recomendar correções.. • 1. Sistema gerencial • 2. Processo de divulgação e informação • 3. Processos de seleção de agentes implementadores e beneficiários • 4. Sistema operacional- financiamento, gasto, provisão dos recursos materiais • 6. Processos de monitoramento e avaliação interna

26. Indicadores de impacto/efetividade Efetividade Como assim? Taxas de crescimento de um fenômeno, intensidade da mudança Avaliação do atores Níveis de aprendizagem institucional, inovações, autonomia, transferência de metodologia, institucionalização dos processos. • Impactos- variações mudanças na realidade • Efeitos sociais –opinião e satisfação dos atores • Efeitos institucionais - sustentabilidade e reprodutibilidade

27. Mais conceitos • Efetividade se refere ao resultado mais imediato provocado pela intervenção. Fizemos o que tinha que ser feito? • Impacto se refere às consequências ou aos produtos finais que resultam, direta ou indiretamente, de uma intervenção

28. Impacto • É a análise das mudanças duradouras ou significativas, previstas ou não, na vida dos indivíduos, grupos familiares ou comunidades, ocasionadas por determinada ação ou série de ações, decorrente de uma política, projeto social ou programa. ( DRAIBE, 2001)

29. Impacto • O impacto se reflete nas mudanças na cultura ... É a permanência dos novos hábitos e é também a expansão dos efeitos imediatos em espaços colaterais que se verifica a médio e longo prazos. • Lembramos que a avaliação de impacto não é trivial. Há muita dificuldade de atribuição do impacto a um determinado Programa ou Projeto pois, no mundo social/relacional há inúmeras fontes intervenientes simultaneamente.

30. Onde nos metemos? • a melhoria da condição humana, nas áreas de saúde, educação e assistência social, • apoio a atividades econômicas das classes de baixa renda • alimentação e nutrição, • formação de mão de obra, geração de emprego e renda, • habitação popular, • melhoria de condições sanitárias de áreas periféricas aos grandes centros urbanos, • renovação de áreas urbanas degradadas, • promoção da saúde, assistência médica, preventiva ou curativa, • apoio a clínicas de saúde mental, de tratamento de excepcionais, • assistência para a preservação das famílias, proteção à criança e ao adolescente, apoio a menores abandonados ou delinquentes, tratamento de viciados em drogas

31. Quando avaliar? • Ex ante– Consiste na análise da relevância e viabilidade –política, técnica , financeira e institucional para que se possa decidir se o projeto deve ou não ser implementado. Qual o cenário atual?

32. Ex-ante em extensão • Realiza-se antes de iniciar um programa ou projeto. Tem o foco na formulação, ou seja, verifica o cumprimento das condições requeridas para a implementação do projeto; • Permite ajustar a formulação do programa ou projeto, produzindo melhorias ainda no desenho; • Pontos a serem analisados: pertinência (se responde ao que se propõe); coerência interna (entre recursos, objetivos, atividades, etc); factibilidade (se estão dadas as condições no contexto para o desenvolvimento do projeto); • É realizada por alguém externo ao programa ou projeto.

33. Ex-ante • Existe um problema?Qual é o problema? Quais são os elementos essenciais do problema? • Quem está(ão) afetado(s) pelo problema? Ou seja, qual é a população--objetivo? • Qual é a magnitude atual do problema e suas conseqüências? • Conta-se com toda a informação relevante acerca do problema para realizar um estudo acabado? • Dispõe-se de uma visão clara e definida do meio geográfico, econômico e social do problema?

34. Ex-ante • Quais são as principais dificuldades para enfrentar o problema?Que necessidades serão atendidas e, em conseqüência, quais sãos os bens e/ou serviços que constituirão os produtos do projeto? • Quanto existe de recursos e em que condições? • Onde estará localizado? • Quando se vai iniciar o projeto? Em alguns casos há condicionantes temporais que limitam a possibilidade de começar a operação do projeto. • Que alternativas são propostas para levá-lo a cabo?

35. Quando avaliar? • Durante a execução • Enfocando seus produtos, eficácia e repercussão. Até que ponto a proposta inicial está sendo cumprida? Quais ações corretivas podem ser tomadas?

36. Quando avaliar? • Ex post Ao final do projeto dimensiona sua eficácia, eficiência e impacto. Que lições extraímos?

37. Síntese • Avaliação ex-ante- O projeto deve ser implementado? • Monitoramento- Como está o processo? • Avaliação ex-post- Quais foram os resultados?

38. Tipos de avaliação • Externa(Não incide sobre a extensão) • Interna( A avaliação interna é realizada por técnicos da instituição mas independentes da unidade de implementação, processo de revisão qualitativa, realizado dentro de uma instituição para seu próprio fim/uso (com ou sem o envolvimento de pares externos). • mista • auto-avaliação- a auto-avaliação é, necessariamente, realizada por quem está directamente envolvido na gestão e implementação do programa

39. Av. Externa e Interna Av. Externa Av. Interna Quem quer uma avaliação ao serviço da compreensão, da entre-ajuda, da formação, da melhoria e do desenvolvimento profissional defende uma avaliação interna. • - uma avaliação externa nunca terá condições de perceber e compreender todos os contextos da acão, será sempre superficial, situar-se-á sempre nas margens das atividades Será sobretudo uma avaliação ao serviço do controle e da regulação

40. Processos e conversas difíceis • Quem deve fazer? • O coordenador da ação • Por quê? Para saber o esforço despendido na ação, para indicar o retorno do investimento, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços... • Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas • Fará de boa vontade? Não espere um sorriso sincero.

41. Processos e conversas difíceis • Quem deve fazer? • –A Pró-Reitoria de Extensão • •Por quê? Para saber os recursos envolvidos na ação, para verificar o retorno do investimento, para identificar a demanda do público, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços... • •Por quê? Para demonstrar a eficiência da Pró-Reitoria de Extensão no atendimento das demandas • •Fará de boa vontade? Normalmente, sim, mas será que saberá fazer????

42. Como se pode fazer? • ◦O coordenador de extensão • Deverá manter os registros da utilização dos recursos, do recebimento dos inputs solicitados, das horas dedicadas à ação, das razões de falha e dos motivos de sucesso • Uma dica útil: registro da forma de divulgação da ação, dos motivos que levaram o público a buscar a ação.

43. Como se pode fazer? • ◦A Pró-Reitoria • Deverá manter os registros da real utilização dos recursos solicitados, da entrega dos inputs solicitados, das horas alocadas à ação pelo coordenador e equipe, das razões de falha e dos motivos de sucesso da atitude da Pró-Reitoria • Uma dica útil: registro da forma de divulgação da ação por parte da Pró-Reitoria, um “clipping”

44. Como se pode fazer? • ◦A partir de formulários de ação bem construídos • ◦A partir de roteiros de relatórios bem construídos • ◦A partir de auditorias • ◦A partir de entrevistas • ◦A partir de sistemas de registro de ações concebidos a partir da avaliação

45. Fala sério! • O Coordenador da ação NÃO faz essa avaliação de forma espontânea... Se for forçado a fazê-la, por conta de Resoluções, o resultado poderá ser ruim, com colocações genéricas do tipo: • ◦A ação foi executada como planejada; • ◦Os resultados obtidos são plenamente satisfatórios • ◦Todos gostaram muito.

46. Conversa difícil! • O processo avaliativo é essencialmente político. Se for adotado, a instituição tem que entender que isso demandará: • –Esforço • –Tempo • –Dinheiro • –Estrutura • –Metodologia • –Regulamentação

47. Dá para simplificar? • Sim! Mas só depois de pensar no processo como um todo e na forma de sua execução. Não há uma solução padrão, pois a extensão é uma característica de cada Universidade. • •A forma mais fácil e viável de retirar as informações necessárias é facilitar a vida do coordenador. • Uma possibilidade básica: • – Utilizar-se de Sistemas informatizados de registro e relato de ações

48. Passo a passo • Da ação • –Da concepção da ação: capacidade de planejamento do coordenador, diagnostico, habilidade em determinar os recursos necessários, identificação correta do público alvo, adequação dos horários e locais oferecidos... • –Da realização: capacidade do coordenador em dirigir a ação, em buscar solução para problemas não previstos, facilidade de comunicação com a Pró-Reitoria (ou se os canais de comunicação são adequados), previsão correta de equipamentos, materiais, do cronograma, da especificação

49. Passo a Passo • Do Coordenador • –Durante a concepção: capacidade de comunicação com a Pró-Reitoria e outros docentes; conhecimento do problema e da realidade da Universidade e do público; observação de prazos e normas; destaque dado ao nome da Universidade; • –Durante a realização: organização dos materiais, dos equipamentos, da sala; cumprimento de prazos e normas para a realização do relatório final; conhecimento dos fluxos de processos

50. Passo a passo • Da Pró-Reitoria • –Durante a concepção: como as normas e regras são entendidas pelos coordenadores; como as facilidades oferecidas pela Universidade e pela Pró-Reitoria são acessadas pelos coordenadores; como a equipe atende as solicitações; como apóia a divulgação das ações planejadas • –Durante a realização: organização dos materiais, dos equipamentos, da sala solicitados; cumprimento de prazos para o fornecimento dos materiais solicitados; facilidade de atender demandas inesperadas; atendimento no processo de inscrição; identificação de salas...