Cours à l’Université de Liège Approches quantitatives des faits éducatifs

1. Les enquêtes internationales et nationales sur vastes échelles: une épopée scientifique et politique Cours à l’Université de Liège Approches quantitatives des faits éducatifs Département Education et Formation Lundi le 12 décembre 2011 Norberto. Bottani@gmail.com www.oxydiane.net

2. Deux phases • 1930-1988: phase scientifique (environ 60 ans) • Constitution d’une communauté scientifique et d’une discipline • Mise en place des critères méthodologiques • Réglages des programmes d’enquête • 1988-2011: phase politique (environ 20 ans, mais on y est encore et on y restera peut-être encore pour une dizaine d’année) • Perfectionnement des outils (la phase scientifique continue) • Production régulières d’évaluations sur vaste èchelle au niveau international • Ingérence politique: • indirecte plutôt que directe • masquée plutôt qu’évidente

3. La phase scientifique: trois périodes • Les antécédants (1927 - 1931) • La préhistoire (1931-1938) • L’après-guerre : tâtonnements méthodologiques, essais, perfectionnement de la méthode, améliorations techniques dans l’organisation des évaluations, constitution d’une communauté scientifique et établissement d’une hiérarchie, mise en place d’un lexique, conflits personnels entre les pionniers (1958 - 1988)

4. Les antécédantsLa question initiale de recherche : comment évaluer dans l’école active? • Les évaluations des travaux des élèves ne sont pas objectives. La docimologie au cours des années 20 en a fait la démonstration. Dès lors comment évaluer d’une façon juste les élèves? • Au sein de l’école active on est confronté à un dilemme: • Ne pas évaluer, car toute évaluation fausse le travail de l’èlève (cette attitude est encore présente même si le mouvement de l’école active n’existe plus); • Mettre en oeuvre une évaluation objective

5. La conférence internationale de l’école active (New Education-L’éducation nouvelle) de Locarno en 1927 • Le début de l’histoire au niveau international • On propose d’effectuer une enquête internationale sur les évaluations des élèves • Le but: • Recueillir des preuves sur la subjectivité des évaluations par les correcteurs • Promouvoir le développement de méthodes d’évaluations empiriques.

6. L’évaluation dans un système d’éducation de masse • On est au début de la scolarisation de masse, mouvement qui a été interrompu par la deuxième guerre mondiale. • La généralisation de l’enseignement secondaire du 1er cycle fait surgir un nouveau problème: comment sélectionner d’une manière juste les meilleurs élèves qui méritent de poursuivre les études, d’aller au lycée? • Une scolarisation juste exige l’abandon des méthodes d’évaluation arbitraire. Comment procéder lorsqu’on scolarise la totalité des jeunes générations? • On ne parle pas encore de bagage de base, de socle commun de connaissance. La philosophie politique de l’éducation est centrée sur la reconnaissance du mérite.

7. Une expérience d’avant-garde: la “Scottish Mental Survey” ( 1932) • Tous les enfants nés en Ecosse en 1921 (100 000 enfants environ) • Tous les enfants de cette cohorte qui à onze ans se trouvaient dans le système d’enseignement écossais • Passation de l’enquête le même jour: le mercredi 1er juin 1932 (le groupe d’âge a 11 ans) • Commentaire: • On met en oeuvre un dispositif qu’on retrouvera par la suite: l’âge, la date de passation, l’échantillon • L’enquête a été rendue possible grâce à l’aide des enseignants et des autorités locales. Les enseignants ont été engagé dans l’enquête dès le début. Sans eux l’enquête n’aurait pu être effectuée. Cet élément (la participation des enseignants) va disparaître progressivement.

8. La préhistoire:le projet international de la Carnegie Foundation sur l’organisation des examens et sur la sélection des élèves dans l’enseignement secondaire du 1er degré The International Examination Inquiry (1931- 1938) pilotée par le Teacher College de la Columbia University de New York. Le Teacher College de NY restera pendant des décennies un pôle de références des évaluations internationales sur vaste échelle. • Problème : comparer les méthodes d’évaluation des élèves de différents systèmes d’enseignement pour identifier la méthode la meilleure de notation, c’est-à-dire la plus juste, à appliquer dans un système d’enseignement de masse ou dans un dispositif de scolarisation prolongée. • Participation à l’enquête: sur invitation (participent les puissances mondiales dans le domaine de l’éducation des années 30): USA, UK, Ecosse, France, Allemagne, Suisse, Finlande, Suède et Norvège. Forte influence de l’école française: Binet, Piéron, Laugier, mais faible présence politique de la France. Pour la Suisse participent Piaget et Bovet.

9. The International Examination Inquiry • Voir: • Lawn, M. (2008). An Atlantic Crossing? The Work of the International Examination Inquiry, its Researchers, Methods and Influence (Comparative Histories of Education). Symposium Books.

10. The International Examination Inquiry:1931- 1938 • Deux options face à face: • les tests objectifs ou • l’approche traditionnelle basée sur l’essai jugé par l’enseignant d’une façon subjective. On savait que cette deuxième option était biaisée, mais on connaissait la première? • Le défi à relever: • l’adoption et la généralisation de méthodes statistiques de mesure pour fournir des preuves empiriques non contaminées sur les performances des élèves.

11. L’après guerre:Le rôle de l’UNESCO qui réunit les stars de la recherche en éducation • La création de l’Institut de l’éducation de l’UNESCO à Hambourg en 1952, lieu de rencontre (une fois par an) des directeurs des instituts de recherche en éducation (Bloom, Anderson, Thorndike, Husén, Mialeret, Hotyat, De Landsheere, Visalberghi, ecc. De grosses pointures) • Les années 50: la guerre froide entre le système capitaliste et le système communiste.L’éducation en est un enjeu important. • Déplacement du problème de l’évaluation par rapport à l’avant-guerre: quel est le meilleur système d’enseignement? Sur quelles preuves se baser pour le déterminer?

12. Le programme annuel de travail des directeurs des centres de recherche en éducation • Primauté aux démarches empiriques • L’évaluation comparée de la qualité des systèmes d’enseignemen: le sujet est à l’odj après 1955 et surtout après le lancement du Sputnik en 1957. • La compétition internationale:l’enjeu politique fait son apparition • Comparer pour classer: l’exigence de comparaisons objectives • Nécessité de mesures empiriques comparables de l’éducation • Des preuves objectives: la construction de tests solides dont la passation s’effectue dans des conditions semblables, strictement reproductibles

13. Le prototype d’une évaluation sur vaste échelle (1959-1961) Accord des directeurs de la recherche en éducation de tester une démarche de ce type. A l’époque personne ne savait comment procéder. La faisabilité d’un projet de ce type était une gageure. Le souci primordial de la comparabilité: la traduction des instruments, les modalités de passation Discussions préliminaires lors des réunions annuelles des directeurs de recherche entre 1957 et 1958 Premier essai d’une évaluation comparable des résultats scolaires : 1959-1961: 12 pays participants/1000 étudiants/pays, étudiants âgés de 13 ans, 4 sujets: lecture-mathématiques- sciences- géo Le maître d’ouvrage est Benjamin Bloom de l’Université de Chicago (le modèle se base sur la taxonomie des objectifs éducatifs de Bloom, connue avec l’étiquette de « mastery learning »)

14. Naissance de l’IEA • Effets surprenants de l’enquête de faisabilité: • Il est démontré que l’ évaluations sur vaste èchelle pour comparer entre eux les systèmes d’enseignement est possible • On se rend compte qu’on ne peut pas organiser des recherches de ce type sans une structure stable, sans un secrétariat permanent et équipé • Les directeurs de recherche proposent la création d’une association scientifique pour effectuer ces enquêtes: c’est la naissance de l’IEA en 1961(International Association for the Evaluation of Educational Achievemeent). • L’IEA naît comme une association scientifique de chercheurs spécialisés dans l’évaluation comparée sur vaste échelle des compétences des élèves. Son siège est à Hambourg auprès de l’Institut régional de l’UNESCO. • On atteint avec la constitution de l’IEA l’apogée de la phase scientifique. PISA au contraire ne sera pas une entreprise dirigée par des scientifiques.

15. Les évaluations de l’IEA • Pendant trois décennies (1960-1990 environ) l’IEA effectuera une série de grandes enquêtes internationales sur les connaissances et les compétence des élèves. • Les enquêtes sont échelonnées dans le temps: elles ne sont pas organisées selon une périodicité régulière mais selon la disponibilité des ressources financières et n’ont pas une architecture cyclique. Les évaluations n’ont pas des items d’ancrage. • L’IEA décide les sujets des évaluations et les réalise selon un protocole de plus en plus précis • Quelques enquêtes de cette époque: • FIMSS, 1964 • Six subjects study, 1970-1973 • SISS e SIMS, 1982 • Reading Literacy, 1991

16. La crise de l’IEA • Facteurs endogènes: • Les problèmes de financement • La lenteur des analyses et les retards dans la publication des résultats • Le choix des thèmes des enquêtes • La lutte interne entre défenseurs de l’autonomie de la recherche scientifique et les collaborationnistes des décideurs politiques • L’ambiguité de IEA qui prend progressivement les distances des milieux scientifiques et devient dépendante des financeurs publiques • Facteurs exogènes: • La concurrence méthodologique du NAEP aux Etats Unis(début en 1964; premier test en 1969). Le NAEP sera un laboratoire expérimental formidable en concurrence avec l’IEA. Le NAEP obligera l’IEA à évoluer. On a ici un exemple d’effet positif de la concurrence. • La crise de la qualité de l’éducation au cours des années 80. Elle est enclenchée par le rapport américain « A Nation at Risk » en 1983 qui pendants des années est contesté par une partie consistante de la communauté scientifique. • L’absence de données et d’informations sur les fissures des systèmes d’enseignement, c’est à dire sur la crise de la qualité des systèmes d’enseignement qui au contraire intéresse beaucoup les instances politiques • Le refus de prendre en compte les requêtes des responsables politiques de l’éducation, la méfiance ou la réticence à fournir des preuves empiriques des lacunes des systèmes d’enseignement

17. La phase politique (1988-2015…) • Le double ou triple jeu de la puissance impériale en éducation, les Etats-Unis qui sabotent l’IEA depuis l’intérieur et depuis l’extérieur • L’alliance avec l’OCDE • L’entrée en scène des gouvernements et la mise à l’écart de l’IEA • Changement brutale de la donne: on passe du milieu feutré de la recherche aux bagarres idéologiques de la politiques. • Les jeux de pouvoir remplacent la prudence scientifique

18. La puissance de feu des Etats-Unis • Retrouver un blason sur la scène mondiale dans le domaine de l’éducation Etre le premier pays au monde en 2000 en ce qui concerne la culture mathématique Utilisation politique des évaluations internationales. A cet effet les Etats-Unis jouent sur un triple échiquier : • La mise en œuvre d’une enquête internationale doublon du NAEP. Ce sera l’enquête IAEPI 1988 et IAEP II 1991. Démarchage des systèmes d’enseignement au niveau de la planète. Echec pitoyable. La communauté scientifique de l’évaluation se rebiffe et a un sursaut de dignité. L’IAEP est enterrée mondialement mais démontre qu’on peut réaliser une évaluation internationale en deux ou trois ans, tandis que l’IEA employait cinq ans ou plus. • Le financement conditionné par les Etats-Unis de l’enquête TIMSS de l’IEA (1994-1995) en imposant des exigences méthodologiques multiples • La recherche d’alliés parmi les gouvernements intéressés à coopérer à la mise sur pied d’un dispositif d’évaluation des systèmes d’enseignement concurrentiel à l’IEA et selon des critères différents que ceux appliqués par l’IEA.

19. L’entrée en action de l’OCDE • L’évaluation au service de la politique et non seulement de la recherche sur l’éducation • Fournir des informations sur le niveau d’instruction de la population afin de piloter les politiques de l’enseignement pour faire en sorte de maintenir la primauté commerciale et financière au niveau mondial • Neutraliser la concurrence dans la compétition mondiale • Rentabiliser les investissements dans le capital humain, améliorer la production du capital humain, réduire le gâchis en éducation • L’outils: un ensemble d’indicateurs internationaux de l’enseignement (INES: International Indicators of the Education Systems). Première version en 1992 • Le choc des responsables politiques: l’absence d’indicateurs sur les résultats scolaires des étudiants. L’IEA a le dos au mur car elle ne parvient pas à fournir à l’OCDE les informations que demandent les décideurs politiques. • La préparation de PISA: 1995-1997 • La décision de lancer PISA: 1997 • Tous les pays de l’OCDE adhèrent au projet • L’argent coule à flot: le Secrétariat de l’OCDE à Paris s’étoffe comme il n’a jamais été le cas au sein de l’IEA • Le premier cycle de PISA : 2000

20. L’enquête OECD - PISA« Programme International pour le suivi des acquis des élèves » • Une opération technologique, scientifique, organisationnelle et financière de grande envergure comparable à n’importe quel autre projet scientifique international • La taille de l’entreprise: • En 2000: 32 pays, une cinquantaine de systèmes d’enseignement, 150 000 étudiants de 15 ans, 4500 établissements scolaires • En 2009:75 pays, environ cent cinquante systèmes d’enseignement, 470 000 étudiants de 15 ans

21. Les nouveautés de PISAou les requêtes des autorités politiques • Une évaluation comparable rapide : résultats tous les quatre ans • Se concentrer sur les étudiants à la fin de la scolarité obligatoire • Se borner aux connaissances instrumentales: lecture, math et sciences • Des items d’ancrage pour rendre comparable dans la durée les évaluations La nouveauté (une cassure): la disjonction entre tests et curricula scolaire.On n’évalue plus ce qu’on apprend à l’école.

22. Conclusion:Les acquis de l’épopée scientifique et politique • Au cours de ces derniers 80 ans on a assisté à la constitution d’un champ disciplinaire nouveau: l’évaluation comparée sur vaste échelle des étudiants. Cette évolution n’est pas terminée: elle met en cause la théorie de l’école. A quoi sert l’école? • Constitution d’une communauté scientifique avec ses codes, ses règles, ses publications, sa structure organisationnelle • Apparition de centres transnationaux de recherche en éducation et sur l’évaluation des systèmes d’enseignement qui fonctionnent comme des pôles d’agrégations scientifiques et imposent les modalités et les standards reconnus de qualité