Validation théorique et évaluation/testing: un débat déjà ancien

1. Validation théorique et évaluation/testing:un débat déjà ancien • Patrick Doucet • Université de Poitiers • Jean-Paul Narcy-Combes • Sorbonne nouvelle-Paris 3 • Diltec Paris - UPMC

2. Point de départ épistémologique  :Doxa = certitude = contrôle => automaticité et accès universel (TIC) => risque rigidité/dictatureEpistémè = incertitude = adaptation permanente (local vs global) = fluidité => risque : le désordre/l’anarchieCECR = Bible (P. Delahaye, Grenoble, 2010)= doxa…

3. Cadre épistémologique organisateur - Bachelard (1938) et obstacles épistémologiques => objet de recherche créé en fonction des théories scientifiques et non en fonction de l’expérience. • Pratique et recherche en didactique des langues  illusion ontologique. • Cinq obstacles épistémologiques clés: • Expérience première, • Connaissance générale, • Obstacle verbal, • Connaissance pragmatique, • Connaissance quantitative.

4. Conséquences sur l’évaluation en langues - Evaluation selon Théories d’acquisition (RAL) ou théories sur traitement langagier (psycholinguistique, neurolinguistique) - Compétence  performanceCompétences = savoir => Est-il pertinent de mesurer le savoir ? Le passage de théories symboliques à des théories non-symboliques => épreuves doivent avoir une validité processuelles et sociales…Théories symbolistes représentent le savoir comme une collection de symboles accompagnés de règles qui spécifient les relations entre ces symboles. Théories non-symbolistes: Randall, 2007 = modèles basés sur Micro tâches ou items isolés.

5. Théories non-symbolistes - Herdina et Jessner: 157 dans la théorie connectionniste le savoir est un comportement dirigé par des règles qui résultent de l’apprentissage (pas une somme de petits détails mais des modèles d’activation dans des réseaux neuronaux (Dörnyei: 79)  Théories à base d’instances . • Autres exemples: Competition model Theories des systèmes dynamiques Emergentisme Pour ces théories : apprentissage résulte d’interactions entre des processus biologiques et sociaux. Les théories symbolistes brouillaient les pistes et donnaient une idée fausse de la compétence.

6. Pourquoi faut-il une certification (critériée)? • Les questions clés en amont – • Pourquoi évaluer? Qu’est ce qu’évaluer ? l’évaluation / la certification? Dans quel but? Quels acteurs, quels enjeux? • L’état des lieux sans le DCL/CLES – que fait-on actuellement? Cette évaluation correspond-elle aux questions précédentes? • Comment évaluer? Quel type de test? Quelles types de “questions”?

7. Degré d’utilité d’un test (Bachman) • Fonction combinée de • validité théorique • authenticité (validité faciale + validité du contenu) • fiabilité • interactivité • impact • faisabilité

8. L’évaluation d’hier et d’aujourd’hui

9. L’évaluation d’hier et d’aujourd’hui (cont)

10. Evaluation Critériée Collecte de données Tâche(s) Grille d’évaluation spécifique Tri sélectif des données Détermination du niveau démontré par critère Pondération Conversion Traitement Placement sur une échelle de référence: niveaux de compétence Décision Notation • score • niveau de compétence • …profil de compétence Publication du résultat

11. Principes de TBLA • Définition de Brindley, 1994 • Langue = outil de communication • Évaluation intégrée • indices pour une rétroaction, sur progrès, et réussite • Résultat accessible à acteurs externes et compétences nécessaires pour un contexte réel • McNamara: on juge la performance en rapport à critères acceptés • Langue < ou > réalisation de la tâche?

12. Le scénario • Mots-clés: authentique, vraisemblable, integré • Concept de rôle(s) à jouer • Concept de mission à accomplir • Le déroulement Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

13. Scenario: compétence globale de communication Evaluation directe: logique actionnelle Critères et indicateurs Evaluation des composantes linguistique / pragmatique / socioculturelle de la compétence de communication Rôle de l’examinateur Prise de décision DCL: un test intégré

14. Questions de validité / fiabilité • Validité faciale ou apparente • Validité du contenu et de la réponse • Validité criterielle / concourante • Validité prédictive • Validité théorique • Fiabilité des critères • Fiabilité entre deux tests (fidelité CECRL) • Fiabilité des décisions prises • Fiabilité intra et inter examinateurs

15. Faisabilité institutionelle Faisabilité de la part du candidat Faisabilité de la part de l’examinateur Questions de faisabilité DCL/CLES

16. Quelques problèmes DCL / CLES • Facteurs pouvant influer sur la performance • Conditions • Interaction orale : • Avec examinateur / interlocuteur • binômes (CLES 2) • Planification • Caractéristiques de la tâche • Accomplissement ou non? Qui décide? Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

17. Impact : l’effet retour du DCL/CLES • “Washback” positif • Comportement des apprenants • Dispositifs mis en oeuvre par les enseignants • Démarches adoptées par les enseignants • Décisions politiques des institutions Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

18. Le DCL/CLES vecteurs de changement • Le dilemme critères/grands nombres pas résolus (contradictions internes) • Evaluation automatisée (postionnement, etc.) redevient normative (Dialang) • Certification des individus ou des modules? • Pragmatisme… Jemma Buck, Patrick Doucet, DILEM, Rennes 4 / 12/ 2009

19. Bibliographie selective • Wigglesworth, G 2008 Task and performance-based assessment Language Testing and Assessment • Brindley, G, 2009 Task-based assessment in Language Learning programs: pieces of the puzzle TBLT 2009 • Bachman, L.F, 2002 Some reflections on task-based language performance assessment Language Testing • Brown, Hudson, Norris et Bonk, 2002 An investigation of second language task based performance tasks UHP • Elder, Iwashita, McNamara, 2002 Estimating the difficulty of oral proficiency tasks: what does the test-taker have to offer? Language Testing • Kunnan, A.J. 1995 Test-taker characteristics and test performance, CUP • Underhill, N. 1987 Testing Spoken Performance CUP • Bourguignon et al, 2007, Evaluer dans une perspective actionnelle …

20. Merci de votre attention