Algumas contribuições da docimologia

1. Algumas contribuições da docimologia Jean-François MARCEL Professeur de l’Enseignement Supérieur Agricole en Sciences de l’éducation ENFA, Université de Toulouse (France)

2. A docimologia • A docimologia é a ciência de exames • Ela produziu uma certa quantidade de trabalho no intuito de melhorar : • O procedimento da avaliação • Os instrumentos da avaliação • A notação • Ela conseguiu em parte. Todavia é interessante para os professores conhecer alguns de seus avanços. J-F Marcel, Brésil, mai 2009

3. As 5 qualidades de uma avaliação • A partir das 5 « qualidades » da avaliação (do jeito que foram reparado pela docimologia) vejamos que é dejesavel se fazer certas perguntas quando nós elaboramos e colocamos em prática uma avaliação J-F Marcel, Brésil, mai 2009

4. 1 - A pertinência da avaliação • É o grau de inscrição para a prova na linha dos objetivos visados. • Diz respeito a consistência da transposição do objetivo aos indicadores. • Questão : Será que o instrumento que eu construi se refere realmente as competências que eu queria avaliar? J-F Marcel, Brésil, mai 2009

5. 2 – A validade da avaliação • É ou grau de adequação entre aquilo que a prova pretende medir e aquilo que ela mede. • Diz resreito a consistência do procedimento inverso em relação ao procedimento de transposição (dos indicadores ao objetivo) • Questão : Será que os indicadores (que me servem de apoio para elaborar minha prova de avaliação) cobrem o critério e o objetivo visado? J-F Marcel, Brésil, mai 2009

6. 3 - A confiabilidade da avaliação • É o grau de confiança que nós podemos dar aos resultados observados. • Questão : Se eu reitero minha avaliação em vários momentos e em circunstâncias diferentes, será que meus alunos conseguirão os mesmos resultados? J-F Marcel, Brésil, mai 2009

7. 4 – A objetividade da avaliação • As conclusões da avaliação não foram influenciadas pelas preferências pessoais de quem avalia. Ele conseguiu parcialmente a <<controlar>> sua subjetividade. • Questão : Será que eu fui capaz de distânciar o suficiente minhas opniões do aluno para avaliá-lo de forma justa? J-F Marcel, Brésil, mai 2009

8. 5 – A possibilidade de generalização da avaliação • Diz respeito ao fato: • De estender uma conclusão pontual (a partir de uma prova particular) • A um nível mais amplo de generalidade (boletim, orientação, aprovação a um exame, etc.) • Questão : A elaboração da prova e minha anotação são bastante confiáveis para me permitir tomar esta decisão? J-F Marcel, Brésil, mai 2009

9. Docimologia e anotação • A docimologia se prendeu muito a mostrar os limites do fato de recorrer à nota. • Vejam alguns exemplos (para a maioria, talvez você tenha um conhecimento implícito, por ser antigos alunos) J-F Marcel, Brésil, mai 2009

10. A variabilidade da avaliação • Independente da disciplina: • Um mesmo lote de cópias intrega os vários avaliadores • Vai dar para cada cópia, • Uma vasta gama de notas e diferenças muito consideráveis. • É um pouco menos verdade: • Para provas do tipo QCM • Todavia elas só medem objetivos de baixo nível cognitivo J-F Marcel, Brésil, mai 2009

11. O valor do ponto • Na escala de 0 à 20, todos os pontos não tem o mesmo « valor » : • Pouco valor abaixo de 5 • Valor importante acima de 15 • Valor muito particular do 10 (« constante macabra ») • Portanto: • A média é um cálculo estatisticamente inadimissível (variáveis ordinais não variáveis de intervalos), • Sobretudo entre disciplinas diferentes. J-F Marcel, Brésil, mai 2009

12. Os ajustes « automáticos » • Muitos estudos revelam que os resultados de uma prova (não importa a prova) se dividem sistematicamente segundo a curva de Gauss (curva em forma de sino): • Muito pouco de notas muito ruim • Muito pouco de notas muito boas • Muitas notas « médias » (em torno de 10). • Vejamos assim uma função « implícita » da prova: • Discriminar os resultados dos alunos • Para discriminar os alunos • Não importa os « atendidos » J-F Marcel, Brésil, mai 2009

13. Os efeitos danosos • A mesma cópia : • Foi oferecida à dois grupos selecionados de avaliadores. • Trocando somente o nome do aluno suposto: Marie-Amélie e Zohra • As diferencias foram muito significativas • … à favor da primeira. • Na hora de corrigir : • Pense nos danos • Que você causa de forma implícita • Nos alunos que convive o ano todo J-F Marcel, Brésil, mai 2009

14. O efeito de contaminação • Variáveis chamadas « choque » • Produzem um efeito importante na avaliação de uma cópia • Fazendo a avaliação « escalar» : uma boa idéia, uma descoberta original (sobretudo no início e no final da cópia) • Fazendo a avaliação cair : uma aberração, uma grande besteira (sobretudo no início e no final da cópia) • Essas variáveis « atropelam » o gabarito J-F Marcel, Brésil, mai 2009

15. O efeito da « mancha » • É originário das variáveis de « transbordagem» • A ortografia • A apresentação da cópia • A partir de um certo limite (muito subjetivo), essas variáveis vão ceder o lugar à uma « penalização » • Pontos a menos para erro de ortografia • Pontos a menos para razuras ou manchas • Entretanto, essas penalizações são ilegítimas : • Elas saem do gabarito • Elas saem das expectativas da prova J-F Marcel, Brésil, mai 2009

16. O efeito « ordem de correção » • A variável chamada de « contraste » com a cópia anterior: • A cópia que segue uma muito boa cópia é avaliada mais rigorosamente • A cópia que segue uma cópia muito fraca é avaliada mais generosamente • Induz estratégias de restituição das cópias muito usadas para os bons alunos J-F Marcel, Brésil, mai 2009

17. O efeito « acostumar» • Em um lote de cópias, o limite de exigência evolue (não importa o gabarito) • As primeiras cópias são corrigidas mais rigorosamente • Um « ajuste » ocorre no final de um certo número de cópias: elaboração para o professor de formas de « rotinas » de avaliação (em função do sujeito) • É mais prudente, no final da correção, rever as primeiras cópias J-F Marcel, Brésil, mai 2009

18. O efeito de « tendência central » : • Em caso de incerteza do avaliador (principalmente nos exames) : • Por medo de sub-avaliar • ou por medo de sobre avaliar • ele se refugia numa nota em torno de 10 • Assim a « nota central» : • Desempenha um papél de variável refúgio • Induz o efeito « Curva de Gauss » J-F Marcel, Brésil, mai 2009

19. O efeito de « contorno » • Dos usos de avaliador: • Nas provas com critério • Porém nas provas com gabarito também • Atestem estratégias de contorno: • Eles començam para atribuir a nota final (a partir de 20) • Eles « repartem » em seguida os pontos em função dos critérios ou do gabarito J-F Marcel, Brésil, mai 2009

20. Em conclusão • A docimologia revelou: • A existência de numerosas « armadilhas» e « desvios » da notação • Que a avaliação não poderia jamais « expulsar » totalmente a subjetividade do avaliador • Portanto, quando eu corrijo : • Eu me esforço para racionalizar o procedimento (com um certo número de balisas : gabaritos, elementos de repostas esperadas, etc.) • Eu sei que terei mesmo assim que decidir de forma subjetiva em parte • Eu assumo conscientemente essa falha « dar um jeito » pedagógico. J-F Marcel, Brésil, mai 2009