Evaluation und Akkreditierung in den Niederlanden

1. Evaluation und Akkreditierung in den Niederlanden Dietmar Braun Institut d’Etudes Politiques et Internationales, Université de Lausanne Beitrag zum Kongress „Akkreditierung und Qualitätssicherung in den Geistes- und Sozialwissenschaften“, am 29. April 2004 in Bern (Gurten) Am Beispiel der Politikwissenschaft

2. Hintergrund • Lange Tradition der Evaluation • Seit Ende der 80er Jahre • Umstellung der Universitäten auf „bedingte Finanzierung“ in der Forschung und Leistungsfinanzierung in der Lehre (Finanzierung auf der Basis der Zahl der Student(in)) und der „Erfolgsquoten“ • Studiendauer • Diplome • Elsevier Umfragen • Organisatorischer Rahmen: Mehrere Universitätsreformen • New Public Management • Starke Rektorate und Dekane

3. Hintergrund (Forts.) • Zentralstaat mit erheblicher Macht • Evaluationen können Konsequenzen für die Finanzierung durch den Staat haben • Kontrolle über „Inspectie“ • Im Abstand von 6 Jahren wurden für alle Fächer Evaluation von Forschung und Lehre durchgeführt • Zuerst Forschung und dann Lehre • Ist das richtig? > s.u.

5. Von der Evaluation zur Akkreditierung • VSNU als Implementationsorgan der Evaluation • Zwischen Selbstverwaltung und staatlicher Kontrolle • Gesetzliche Verpflichtung der Unis, Evaluation durch externe Experten durchführen zu lassen • Durchführung aber an VSNU abgegeben • Trotzdem Deregulierung und mehr Autonomie für die Universitäten als Grundgedanke • Gründung der NAO (Nederlandse Accreditatie Organisatie; heute NVAO (Nederlands-Vlaamse Accreditatie Organisatie), die anstelle der „Inspectie“ die „Meta-Evaluation“ übernimmt. Ab 2007

6. Organisation der Akkreditierung • Jedes Fach muss sich akkredieren lassen. Nur dann Finanzierung und Diplomvergaberecht. • Die NVAO publiziert die Resultate in einem öffentlichen Bericht • Die Beurteilung erfolgt über externe Experten, deren Bericht von der NVAO gut geheissen werden muss. • Die Organisation der Evaluation erfolgt über sogenannte „Besuchende und Beurteilende Instanzen“ (VBIs; Visiterende en Beoordelende Instanties“), die unabhängig von der NVAO im Auftrag der Universitäten agieren

7. Organisation der Akkreditierung (Forts.) • Die heutige VSNU hat eine solche Organisation gegründet, die QANU (Stiftung Quality Assurance Netherlands Universities). • Aufgabe der externen Evaluation: • Qualitätsüberwachung • Qualitätsverbesserung • Verantwortung gegenüber der Öffentlichkeit

8. Im Übergang von Evaluation und Akkreditierung • Unser Auftrag (Politikwissenschaft): • Evaluation der bisherigen Leistungen und Organisation der Politikwissenschaft • Aber zusätzliche Informationen, um bei Beantragung einer verfrühten Akkreditierung, direkt auch Vorlage für Akkreditierung geben zu können > Bachelor und Masterprogramme (zum grossen Teil bereits implementiert in den Niederlanden seit 2001) • Periode des Übergangs mit Schwierigkeiten, beide Aufträge klar voneinander zu trennen > Übergangsregelung • Im Grunde wird die Evaluation eine Evaluation des BAMA-Programms

9. „A la recherche de la commission..“ • Die Zusammenstellung der Evaluationskommission erfolgt durch die VSNU auf Vorschlag der Vereinigung des Faches • Externe Experten (national/international?) • In unserem Fall: Soviel wie mögliche Ausländer, die Niederländisch sprechen und die Breite des Faches abdecken; sowie ein Experte auf dem Gebiet der Erziehungskunde sowie eine Studentin (Insgesamt 6 und ein Sekretär) • Unabhängigkeitserklärung • Man muss sich auf Experten einigen: Konfrontationen, Konflikte... • Der Präsident der Kommission, einmal gewählt, hat aber relativ viel Spielraum, um die anderen Mitglieder vorzuschlagen • Die Mitglieder der Kommission werden bezahlt

10. „A la recherche de la commission..“ (Forts.) • Alle Institutionen, die das Fach unterrichten, werden evaluiert (in diesem Fall 4) • Ziel ist es eine qualitative Bewertung des Ausbildungsgangs für jede Institution zu geben • Aber auch eine vergleichende Bewertung anhand von: Exzellent; Gut, Ausreichend, Ungenügend • Und eine allgemeine vergleichende Betrachtung

12. Ein Site-Visit.... • Vorbesprechung der Kommission • Gespräch mit den Verfassern der Selbstevaluation • Gespräch mit der Studienkommission • Gespäch mit Studenten der Studienkommission • Gespräch mit Studenten aus unterschiedlichen Jahren • Gespräch mit der Examenskommission • Gespräch mit Studienkoordinator und Studienberater • Gespräch mit Diplomanden, die im Berufsleben stehen sowie mit Arbeitgebern • Gemeinsames Essen mit Rektor, Dekan und Leitung des Faches

13. Ein Site-Visit....Tag 2 • Vorbesprechung der Kommission • Gespräch mit Koordinator Internationalisierung • Gespräch mit Dozenten • Sprechstunde • Begutachtung der Infrastruktur • Gespräch mit dem Unterrichtsmanagement und dem Dekanat • Befindungen der Kommission • Präsentation des vorläufigen Berichts

14. Kriterienraster (1) • Es besteht ein „Protokoll Qualitätsvorsorge in der Bildung 2000-2005“, von der VSNU zusammen-gestellt. Definiert 11 Qualitätsaspekte als Grundlage der Arbeit der Kommission • Die Kommission formuliert ein Zielraster, das sich an internationalen Kriterien orientiert • Die Qualitätsaspekte und das Zielraster werden in einer Checkliste ausgearbeitet, die die Befragungen anleitet. • In der Checkliste wird nach den neuen Richtlinien zwischen den „Aspekten“ unterschieden (die 11 alllgemeinen Qualitätsaspekte („genügend“ oder ungenügend“) und den „Facetten“, den unter die Aspekte fallenden Unterzielen (4-Punkte-Skala)

15. Die 11 Qualitätsaspekte • Zielsetzungen des Faches und angestrebtes Niveau an Ausbildung (Wissen, Fähigkeiten); angestrebtes Profil; Orientierung an internationalen Massstäben; Operationalisierung der Ziele im Lehrprogramm ZIELE > PROFIL > LEHRPROGRAMME • Inhalt und Struktur des Lehrprogramms (Orientierungsfunktion der Lehrprogramme; Selektion; Wissenschaftliches Niveau; Anschluss der Lehre an die Forschung; Vermittlung von welchen Fähigkeiten in welcher Lehrperiode; Abstimmung der Lehrprogramme)

16. Die 11 Qualitätsaspekte (Forts.) • Die Unterrichtskonzepte und Unterrichtsformen (adäquate Konzepte zur Umsetzung der Ziele; didaktische Konzepte; passende Unterrichtsformen; Prüfungsformen; Qualität der Begleitung durch Dozenten; Beurteilungsweise bei den Abschlussarbeiten; Kontakte zwischen Dozenten und Studenten in Stunden ausgedrückt) • Zulauf an StudentInnen (Anzahl und Qualität (mit welcher Ausbildung); Mann/Frau-Verhältnis; konkrete Massnahmen zur Gewinnung neuer Studenten; Informationspolitik)

17. Die 11 Qualitätsaspekte (Forts.) • „Studierbarkeit“ (Mass, in dem das Fach ein schnelles und qualitativ hochstehendes Studium möglich macht) > Studienbegleitung; „Machbarkeit“: Studium kann in der geplanten Zeit durchgeführt werden; Anschluss der einzelnen Programmteile aufeinander; Prüfungsbedingungen; besteht ein Studienregistrierungssystem

18. Die 11 Qualitätsaspekte (Forts.) • Effektivität (in welcher Zeit studieren die StudentInnen fertig (erstes Jahr, Bachelor, Master), mittlere Studiendauer; konkrete Politik zur Verbesserung der Effektivität • Qualität der Diplomanden (akademische Qualitäten; Berufsqualitäten; realisierte Arbeitsmarktperspektiven; Beurteilung des Studiums durch die fertigen Diplomanden; Inhalt und Niveau der Abschlussarbeiten)

19. Die 11 Qualitätsaspekte (Forts.) • Organisatorische Effizienz (Kommunikationslinien; Verteilung der Verantwortung; genügend Personal; Verhältnis Fakultät - Fach) • und Qualität der Unterrichtenden (akademisches und didaktisches Niveau; welche Art von Expertisen, Verteilung der Expertisen auf Dozenten; unterrichten Professoren im ersten Jahr; Personalpolitik)

20. Die 11 Qualitätsaspekte (Forts.) • Infrastruktur (Räumlichkeiten; Bibliotheken, ICT; Finanzielle Bedingungen) • Internationalisierung und externe Kontakte (institutionelle Kontakte mit ausländischen Einrichtungen; Studieren im Ausland; ausländische Studenten (Austausch); Internationalisierungspolitik; aber auch Kontakte mit der Arbeitswelt; Netzwerke der Dozenten

21. Die 11 Qualitätsaspekte (Forts.) • Interne Qualitätssicherung (System der internen Qualitätssicherung; sein Funktionieren (Rolle der Studienkommission; Beteiligung der StudentInnen; Verbesserungen anlässlich der vorigen Evaluation; Wert der Selbstevaluation)

22. Das Zielraster der Kommission • Kommission formuliert selbst die allgemeinen Zielsetzungen: was kann nach internationalen Massstäben von einer politikwissenschaftlichen Ausbildung erwartet werden > Definition der Politikwissenschaft; welche Bestandteile; Zielsetzungen in bezug auf Berufsprofil und akademisches Profil • Was kann daraufhin von einem Diplomanden idealiter erwartet werden? • Z.B. bei Wissen: Kenntnis der Grundbegriffe und Theorien, Beherrschen der wichtigsten Methoden; die Besonderheiten der PW gegenüber anderen Disziplinen

23. Das Zielraster der Kommission (Forts.) • Urteilsbildung (z.B. Fähigkeit, selbständig zu analysieren, ein Problem zu formulieren und zu lösen; kritische Reflexion über wissenschaftliches Handeln usw.) • Kommunikative Fähigkeiten (Teilnahme an öffentlichen Debatten; Diskussion mit anderen Disziplinen; Vulgarisierung der Wissenschaft) • Sonstige Fähigkeiten (Verarbeiten relevanter Informationen usw.) • Wir haben auf Festlegung idealer Lösungswege verzichtet: Wie man die Lehre gestaltet, sollte frei bleiben

24. Dublin Deskriptoren • Die Dublin Deskriptoren sollen auf das neue BAMA Studium angewandt werden • Hieraus ergeben sich keine Veränderungen, ausser in bezug auf die Vertiefung von Wissen und die Fähigkeit des autonomen, wissenschaftlichen Handelns.

25. Anwendung von Wissen in bekannten Situationen Mit Begleitung arbeiten können Imstande einen Beitrag zur Lösung gesellschaftlicher Probleme zu machen Genügend Wissen über die neuesten Entwicklungen auf dem Fachgebiet Anwendung von Wissen auch in neuen Situationen Selbständig arbeiten können Imstande sein, einen originellen Beitrag zur Lösung ges. Probleme zu machen Vertieftes Wissen, um sich ein selbständiges Urteil zu bilden BA vs. MA

26. Fähigkeit, um disziplinäres Wissen zu verarbeiten Imstande sein, um Ideen, Lösungen, Informationen zu vermitteln In Kontakt mit wiss. Forschung gekommen sein Fähigkeit, um multidisziplinäres Wissen zu verarbeiten Imstande sein, um Resultate sowie die Überlegungen, die hier zugrunde liegen, deutlich und konsistent zu vermitteln Aktive Partizipation in wiss. Forschung BA vs. MA

27. Indikatorenentwicklung • Kommission muss über Zielraster, Aspekte und Facetten zu testbaren Kriterien kommen • Problem: hohe Komplexität (Anzahl solcher Kriterien: 11 Aspekte mal 5 Facetten mal Indikatoren) • Beispiel: • Aspekt Zielsetzungen des Faches und angestrebtes Niveau an Ausbildung (Wissen, Fähigkeiten) • Facette: Akademische und professionelle Zielsetzungen des Faches gemäss dem Zielraster der Kommission • Indikatoren: z.B. werden die wichtigsten Kernbegriffe vermittelt; wird das Besondere an der PW vermittelt; besteht der Anschluss der Lehre an die Forschung; wird das Teilnehmen an öffentlichen Debatten gefördert als Zielsetzung usw.

28. Schwierigkeiten • Internationalität • Welche Vorbilder im Ausland? • Gibt es internationale Regeln über „best practices“ • Hilfskriterium: Kontakte mit ausländischen Universitäten • Interdisziplinarität • Anzahl Nebenfächer? • Gemeinsamer Unterricht mit anderen Fächern? • Multidisziplinäre Fragestellungen?

29. Schwierigkeiten (Forts.) • Berufsqualifikation • Heikles und schwieriges Thema: Inwiefern sollen die Geistes- und Sozialwissenschaften auf ein konkretes Berufsprofil vorbereiten? • Problem: „akademische Signatur“; breites Berufsprofil des Politologen • Organisation von Kontakten über Praktiken? • Beteiligung von Stakeholders bei den Lehrplänen? • Besonderes Problem: Bachelor und Master. Bachelor berufsvorbereitend? Zeit für Praktiken? Master nur „akademisch“ oder auch berufsvorbereitend? Zeit für Praktiken?

30. Schwierigkeiten (Forts.) • Plus und Minus • Quantitative Bewertung im Vergleich: Notwendig? • Reicht nicht eine qualitative Bewertung? • Konsensfindung in der Kommission • Steckenpferde der Kommissionsmitglieder • Zeitdruck bei der Konsensfindung • Behandlung nach „Aspekten“ • Rolle des Präsidenten .....Durchschauen, was die „Wahrheit“ ist....

31. Arbeitsweise der Kommission • Reduktion auf wichtige Fragen anhand der Selbstevaluation • Ausarbeiten von Fragen für jedes Gespräch (Kommissionen, Dekanat, Studenten usw.) • Befragung - Mitschreiben • Nachgespräch - Erste Eindrücke

32. Strukturüberlegungen (1) • Akkreditierung ist sinnvoll, um „reflexive“ Bildungspolitik in den Einrichtungen zu stimulieren • Die Selbstevaluation ist ein taugliches Instrument reflexiver Bildungspolitik. Sie erzwingt - gemeinsam mit dem vorgegebenen Kriterienraster - grundsätzliche Überlegungen zweckrationaler Art: Wie geeignete Mittel in bezug auf die gesetzten Ziele finden? • Akkreditierung muss eine permanente Übung sein: Nur wenn in bestimmten Zeiträumen Evaluationen wiederholt geplant sind, entsteht der notwendige Druck zur permanenten Qualitätssicherung

33. Strukturüberlegungen (2) • Evaluationen können von den Institutionen als internes Druckmittel gebraucht werden, können aber auch negative Effekte nach aussen haben • Von Nivellierung der Unterrichtsqualität durch Akkreditierung kann keine Rede sein. • Jede Institution hängt vielmehr von den finanziellen und organisatorischen Rahmenbedingungen ab • In diesem Rahmen werden kreative und jeweils passende Lösungen für den Unterricht gefunden • Die Qualitätskriterien heben im allgemeinen die Unterrichtsqualität

34. Strukturüberlegungen (3) • Es gibt - in Grenzen - einen „Race to the Top“ • Die Qualitätskriterien garantieren eine Angleichung der Lehre nach oben • Dies kann aber nur tatsächlich geleistet werden, wenn die finanziellen Rahmenbedingungen stimmen • Auf jeden Fall kann man sich nicht zur Ruhe setzen, wenn man einen „Minimalstandard“ hat, solange Akkreditierung regelmässig durchgeführt wird

35. Strukturüberlegungen (4) • Akkreditierung unter Bedingungen der Austerität ist demotivierend • Es wird ein vermehrter Einsatz aller Beteiligten gefordert, während die Ressourcen nicht wachsen • Hochfliegende Qualitätsvorhaben können nicht realisiert werden • Es besteht ein ständiger Kampf zwischen den Fächern • Die Beziehungen zum Dekanat müssen ständig beachtet werden

36. Strukturüberlegungen (5) • StudentInnen als Indikator für Ressourcenzuweisung ist problematisch • Widerspruch Qualität - Quantität • Konkurrenz um StudentInnen zwischen den Universitäten • Aber verzerrte Konkurrenz: Standort spielt eine Rolle: Amsterdam hat einen Wettbewerbsvorteil; in der Peripherie grössere Probleme • Man muss nicht „gut“ sein, um Studenten zu haben • Konkurrenz um ausländische Studenten im MA nimmt zu > englischsprachige MA

37. Strukturüberlegungen (6) • Schafft Akkreditierung Konkurrenz? • In begrenztem Rahmen ja: die Veröffentlichung des Evaluationsberichtes und die Verwendung dieses Berichtes in Elsevier und anderen Zeitschriften macht Unterschiede sichtbar und beeinflusst zum Teil die Entscheidungen der StudentInnen, wo sie studieren. • Die Universitäten versuchen, ihre Stärken in der Konkurrenz um StudentInnen hervorzuheben und ggf. Nischen zu finden. • In Amsterdam stark problemorientiertes Studium, in Leiden starke „akademische Signatur“

38. Strukturüberlegungen (7) • Akkreditierung ist ein aufwendiges Verfahren • Vorbereitungen etwa ein halbes Jahr • Arbeit der Kommission • Organisation der Besuche • Sie ist ein sehr geeignetes Mittel, um erbrachte Leistungen - aber auch Schwächen - auszuweisen • Akkreditierung unterstützt die Umsetzung von BAMA, weil sie Qualitätsmassstäbe setzt und Kontrolle ausübt, inwiefern die neue Ausbildung nach den Vorgaben der Dublin Deskriptoren organisiert ist. Diese alleine reichen aber nicht aus. Es bedarf eines erweiterten Kriterienraster für die Qualitätssicherung.

39. Strukturüberlegungen (8) • Akkreditierung lohnt sich, weil sie das Denken in Ziel-Mittel-Relationen einübt und Strategien der Qualitätssicherung institutionalisiert. Dies kommt den StudentInnen zugute.