Avaliação de Projectos

1. Avaliação de Projectos Alguns Modelos de Avaliação

2. Modelos de avaliaçãoPredomínio • Abordagens centradas na verificação do cumprimento de objectivos de aprendizagem (Tyler) • Abordagens centradas no processo formativo (Stufflebeam) • Abordagens centradas nos resultados/benefícios da formação para os destinatários (Kirkpatrick)

3. Modelos de avaliação • Multinível de KirkPatrick RACR • CIRO de Warr • CIPP de Stufflebeam • Hadji, Figari e Roegiers • R. Brinkerhoff (sete áreas de intervenção FDRAAGM) • Abordagem P E R T A

4. Donald KirkpatrickModelo hierárquico de resultados da formação • Visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação: • Nível 1 - Avaliação da reacção dos participantes • Nível 2 - Avaliação das aprendizagens dos participantes • Nível 3 - Avaliação do comportamento dos participantes • Nível 4 - Avaliação dos resultados da formação

5. Donald KirkpatrickPressupostos do modelo hierárquico de resultados da formação • Cada nível é importante e tem impacto no nível seguinte • Conforme se avança nos níveis, o processo torna-se mais complexo • Nenhum dos níveis deve ser ignorado, por considerar o nível seguinte mais importante

6. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • Os formandos gostaram do curso? • É uma das formas mais utilizadas na avaliação • É fácil, rápida e com baixo custo de aplicação • Os resultados negativos podem significar dificuldades de aprendizagem no curso

7. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • Tem por objectivos: • Recolher as reacções, as opiniões dos formandos sobre determinados aspectos da formação (formador, métodos...) • Detectar disfuncionalidades no sistema de formação • Regular as práticas formativas, tendo em conta as necessidades do público alvo

8. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • Pode ser efectuada de forma contínua... • Assim os formandos são avaliados de acordo com vários critérios: • A forma como participam na acção • O desempenho nas actividades propostas • A forma como utilizam os recursos disponibilizados • A capacidade de interacção com o grupo de formação

9. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • A generalidade as avaliações efectuadas consiste na recolha de opinião e do grau de satisfação dos formandos com determinados aspectos da formação • Neste sentido, importa considerar diferentes tipos de reacção: • As reacções afectivas, de satisfação • As reacções instrumentais, de utilidade • As reacções de dificuldade, da aprendizagem

10. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • Técnicas mais utilizadas: • Inquéritos por questionário sobre o grau de satisfação • Realização de focus group • Inquérito por entrevista • Registo de comentários em fóruns de discussão • Realização de observações de comportamentos dos participantes

11. Donald KirkpatrickNível 1 - Avaliação do grau de satisfação • Dimensões de análise nos questionários de satisfação: • Expectativas iniciais • Objectivos de aprendizagem • Desempenho do formador • Conteúdos programáticos • Estratégicas pedagógicas • Suportes de apoio utilizados na formação • Documentação de apoio à formação • Apoio logístico • Espaços/instalações

12. Donald KirkpatrickNível 2 - Avaliação das aprendizagens • Os formandos aprenderam com base nos objectivos do curso? • Objectivos: • Verificar se os formandos estão a adquirir as aprendizagens pretendidas • Proporcionar ao formando um feedback sobre o modo como está a evoluir na auto-aprendizagem orientada • Permitir a reformulação da acção, corrigindo eventuais fragilidades, e a melhoria constante dos formandos

13. Donald KirkpatrickNível 2 - Avaliação das aprendizagens • Diz respeito à aquisição, aumento ou melhoria das competências e atitudes dos formandos • Este nível pode-se realizar-se através de uma abordagem mais completa: • Que contempla a recolha de dados antes, durante e após a formação • Que não se circunscreve apenas ao aprofundamento de conhecimentos, mas inclui a demonstração prática de aptidões e competências apreendidas

14. Donald KirkpatrickNível 2 - Avaliação das aprendizagens • Técnicas mais utilizadas • Testes escritos (de entrada/de progresso/finais) e orais • Role playing (simulação/dramatização sobre situações) • Elaboração de projectos • Jogos pedagógicos para a resolução se situações/problemas • Estudos de caso(análise de situações e construção de planos) • Aplicação de instrumentos de auto-avaliação • Realização de observações • Registo e análise de incidentes críticos • Elaboração de portefólios de competências • Elaboração de mapas conceptuais

15. Donald KirkpatrickNível 3 - Avaliar a transferência da formação • O que mudou ao nível dos comportamentos dos indivíduos? • Sinalizar com rigor antes da formação que comportamentos se pretendem alterar... • Em que medida as alterações nos comportamentos contribuíram para alcançar os objectivos individuais de desempenho? • Determinar quais os indicadores para avaliar o impacto da formação nos desempenhos dos formandos

16. Donald KirkpatrickNível 3 - Avaliar a transferência da formação • Objectivo: • Averiguar em que medida os formandos transferem para o contexto de trabalho as aprendizagens (conhecimentos, competências e comportamentos) • Requer o desenvolvimento de planos que permitam comparar o comportamento antes e depois da formação, podendo ser feito através de: • Auto-relatos • Observações de superiores hierárquicos • Pares

17. Donald Kirkpatrick (1998)Nível 3 - Avaliar a transferência da formação • Técnicas mais utilizadas: • Entrevista de chegada (quando o formando regressa...) • Aplicação de questionários para avaliar a transferência e resultados no desempenho individual • Aplicação do instrumento LTSI - Learning Transfer System Inventory www.edholton.com; http://reviewing.co.uk/reviews/evaluation-transfer.htm • Construção de um plano de intervenção específico • Observações no posto de trabalho • Análise de performance (através de avaliação inter-pares) • Registo de análise de incidentes críticos (análise comparativa) • Auto-avaliação

18. Donald KirkpatrickNível 3 - Avaliar a transferência da formação • Modelo de análise da transferência da formação • Características dos formandos(motivação, experiência profissional, prontidão para mudar, atitude face à formação, auto-eficácia • Design da formação(características do projecto de mudança, modelos pedagógicos, conteúdos, conhecimento e oportunidade para transferir) • Contexto organizacional (valores e cultura, política de recursos humanos, apoio e suporte, consequências da transferência)

19. Donald KirkpatrickNível 3 - Avaliar a transferência da formação • Características dos formandos • Competências • capacidade cognitiva (tempo, energia, disponibilidade mental no trabalho para transferir) • experiência profissional (nível de proficiência atingido, cargo ocupado e antiguidade na organização) • Factores de personalidade - satisfação com o trabalho, crenças de auto-eficácia, atitude face à mudança • Variáveis motivacionais - Motivação para aprender e motivação para transferir

20. Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação • Concepção/design da formação • Garantir o ajustamento dos conteúdos (relevância e aprofundamento) às exigências do trabalho dos formandos • Assegurar que os modelos e práticas pedagógicas permitem aos formandos aprender o que se pretende que aprendam • Incluir conhecimentos sobre o modo de transferir a aprendizagem para o local de trabalho

21. Donald KirkpatrickNível 3 - Avaliar a transferência da formação • Contexto organizacional • Capaz de promover a aprendizagem contínua dos trabalhadores terá maior probabilidade de obter comportamentos pós-formativos • Capaz de propiciar um clima facilitador de transferência concretizado: • pela frequência de feedback sobre o desempenho • pelo apoio dos pares e da hierarquia • pela percepção das consequências positivas da utilização das aprendizagens no desempenho profissional

22. Donald KirkpatrickNível 4 - Avaliação de Resultados • Qual o impacto da formação nos resultados da organização? • Objectivos: • Avaliar o impacto da formação em termos de resultados na actividade da organização • Ou avaliar a variação de indicadores concretos previamente estabelecidos que resultaram da análise de necessidades

23. Donald KirkpatrickNível 4 - Avaliação de Resultados • Indicadores de eficácia da formação: • Mais reuniões de trabalho em equipa entre professores • Melhoria nas práticas pedagógicas e de avaliação • Menor número de reclamações por parte dos pais relativamente às avaliações dos alunos • Melhoria no sucesso escolar dos alunos • Aumento da procura da escola por parte dos pais e alunos

24. Donald KirkpatrickNível 4 - Avaliação de Resultados • Técnicas mais utilizadas: • Análise dos resultados de intervenção específicos • Análise de painel de indicadores de performance • Aplicação da fórmula ROI (Return of Investment) • Análise custo-benefício

25. Donald Kirkpatrick • Segundo aAmerican Society for Training and Development (2002): • 78% das organizações avaliam as acções formativas ao nível da satisfação dos formandos - nível 1 reacção; • Somente 32% avaliam o nível 2, aprendizagem; • 9% o nível 3, comportamento; • 6% o nível 4, resultados • Assim, os níveis mais interessantes são os menos utilizados

26. Retorno do investimento (ROI) • Não basta obter bons resultados • É preciso garantir a recuperação do investimento feito • Objectivos do cálculo doRetorno do Investimento • Conhecer se a implementação de uma acção é rentável para a organização do ponto de vista financeiro • Identificar as vantagens e os inconvenientes de uma dada acção formativa

27. Retorno do investimento (ROI) • Não confundir Retorno do Investimento com Índice custo/benefício • ICB= benefícios brutos da formação/custos do programa • ROI=benefícios líquidos da formação/custos do programa

28. Retorno do investimento (ROI)Benefícios da formação • Evidentemente que a formação em qualquer organização gera benefícios e custos • É mais complexa a identificação dos benefícios • Existem três tipos de benefícios • Melhorias no trabalho (mais fácil de quantificar) • Inovação e a criatividade • Satisfação/realização (mais difícil de quantificar)

29. Retorno do investimento (ROI) • Exemplo: • Os custos de um dado programa de formação são 20.000 euros (custos podem ser relativos a viagens, à realização da formação, à preparação material...) e os benefícios são de 100.000 euros (os benefícios podem ser relativos ao aumento da produtividade, à redução do absentismo...) • ICB = 100.000/20.000 = 5 Benefícios brutos • ROI = 80.000/20.000 x 100% = 400% Benefícios líquidos

30. KirkpatrickQuais os objectos de avaliação? • A satisfação dos formandos • O desempenho dos formadores • A adequação dos programas aos formandos • A aplicação dos conhecimento adquiridos • Os efeitos inesperados da formação • O impacto nos resultados da instituição

31. Modelo CIRO de WarrDomínios da avaliação • Contexto ou ambiente de partida da formação • Inputs a mobilizar para a intervenção educativa • Reacções dos participantes à formação • Outcomes (resultados) da formação

32. Modelo CIRO de Warr • A avaliação do contexto pretende compreender: • As razões que justificam a intervenção formativa • A distância entre as competências reais dos formandos e as desejadas • O tipo de saber a desenvolver na formação • O que se deseja modificar com a intervenção

33. Modelo CIRO de Warr • A avaliação dos inputs pretende analisar: • O processo de selecção dos formandos e dos formadores • Os conteúdos e a estratégia de formação • Os recursos materiais, humanos e financeiros de apoio

34. Modelo CIRO de Warr • A avaliação das reacções pretende: • Averiguar o grau de satisfação dos participantes em relação à formação desenvolvida

35. Modelo CIRO de Warr • A avaliação dos outcomes visa aferir os resultados da formação em termos: • Das competências desenvolvidas • Da aplicação das competências nos contextos de trabalho • Importa responder à questão: que mudanças ocorreram após a realização da formação?

36. StufflebeamModelo CIPP • A intenção da avaliação • é servir de guia à tomada de decisões • A avaliação • tem por finalidade o aperfeiçoamento do processo formativo • a partir do levantamento de necessidades • O processo de decisão • não acaba num dado momento é cumulativo e orientado • por reajustamentos constantes rumo ao aperfeiçoamento

37. Modelo CIPPDomínios de análise • Contexto • Inputs da formação • Processo formativo • Produtos resultantes da formação

38. Modelo CIPP • A avaliação de contexto incide sobre: • As suas características • As necessidades de formação • As características dos participantes da formação • Os problemas que originaram as necessidades identificadas • A coerência entre necessidades sinalizadas e os objectivos de aprendizagem propostos

39. Questões para avaliar o contexto • Que objectivos se pretendem alcançar ao realizar o diagnóstico de necessidades? • Que tipo de informação se obtém quando se efectua o diagnóstico? • De quem se obtém essa informação e com que métodos? • Quanto tempo é necessário? • Como se processam os dados?

40. Modelo CIPP • A avaliação de inputs incide sobre: • A suficiência de recursos materiais e humanos • Medidas alternativas à formação • A capacidade de resposta do sistema de formação • A sinalização de eventuais entraves à formação • A adequação da proposta formativa e as estratégias de intervenção

41. Questões para avaliar os “inputs” • Quais os critérios para seleccionar os formandos e os formadores? • Os formadores têm provas dadas na área da formação? • Quais são as expectativas dos formandos? • Qual o conhecimento, os interesses, as atitudes e as preocupações dos formandos?

42. Modelo CIPP • A avaliação do processo incide na: • Implementação das intervenções formativas • Observação de processos de ensino-aprendizagem • Conduta do formador • Conduta dos formandos • Relação entre formador e formandos • Interacção dos formandos com os materiais pedagógicos • Sinalização de eventuais aspectos a melhorar

43. Questões para avaliar o processo • Como está a decorrer a formação? • Os conteúdos planificados estão a ser desenvolvidos? • O formador demonstra conhecimento e competência? • Os formandos tiveram oportunidade de praticar (simulações)? • Houve um equilíbrio entre as componentes teóricas e práticas? • Qual foi o ambiente durante a formação? • Os conteúdos têm aplicabilidade nos contextos de trabalho?

44. Modelo CIPP • A avaliação dos produtos incide sobre: • Resultados da formação (satisfação) • Resultados face a objectivos pré-definidos • Resultados face a necessidades do contexto

45. Questões para avaliar o produto • O que muda em consequência da proposta formativa: • A formação proporcionou aos formandos conhecimentos, competências, atitudes que antes não possuíam ? • Teve repercussões no contexto de trabalho (melhor desenvolvimento das tarefas, maior motivação e satisfação) ? • Teve repercussões na instituição(coesão, organização, participação, trabalho em equipa, resolução de conflitos) ?

46. Modelo CIPP • Segundo Roegiers (1997) este modelo teve sucesso na avaliação da formação devido: • À associação entre a avaliação e a tomada de decisão • À superação da avaliação reduzida aos produtos • À ênfase dada ao contexto

47. Hadji (1994)Modelo de “avaliação plural” • Remete para a dimensão pragmática e instrumental da avaliação: para que é que serve ? • Realça a temporalidade que é inerente ao processo de avaliação de uma acção (antes, durante e depois) • Destaca as diversas funções da avaliação

48. HadjiFunções na sequência da acção

49. Hadji e os dispositivos de avaliação • Dispositivo é o conjunto das modalidades previstas de levantamento e tratamento da informação: • Circunstâncias e momentos • Natureza das informações a recolher • Instrumentos de ajuda nesse trabalho • Não pode haver dispositivo sem plano prévio

50. Hadji e os dispositivos de avaliação • Construir um dispositivo é organizar os meios (instrumentos, actores) de acordo com um plano estruturado em função: • Da natureza do projecto de avaliação • Da natureza do projecto de formação