Qualitätsentwicklung & Evaluation von E-Learning – eine kritische Zwischenbilanz

1. Qualitätsentwicklung & Evaluation von E-Learning – eine kritische Zwischenbilanz Prof. Dr. Patricia Arnold Hochschule München Campus Innovation, 26.11.09, Hamburg

2. Anlass: Zeit für einen Rückblick… Qualitätsentwicklung im e-Learning Bis 2003 (Arnold et.al. 2004) Seit 2004 PAS 1032-1/2 („Prozessmodell) 2004 ISO 19796-1/3 (Internationaler Standard) 2005/2009 PAS 1037 „QM-Stufenmodell“) 2004 PAS 1068 „Beipackzettel“ 2006 PAS 1069 „Leitfaden“ 2009 Qualitätsplattform Lernen Gütesiegel TU Darmstadt E-Learning Label TU Darmstadt Certificate of E-Learning (CEL) … • DIN 9000ff. • EFQM • LQW • ZFU Leitfaden

3. Struktur des Vortrags • Herausforderung Qualität im E-Learning • Qualitätsentwicklung im Überblick • E-Learning Label der TU Darmstadt • Referenzprozessmodell PAS 1032-1 • Qualitätsplattform Lernen (QPL) • Zwischenbilanz - und neue Herausforderungen

4. Herausforderung: Qualität im E-Learning • „Eine Eigenart von Bildung insgesamt, die sie von anderen Dienstleistungen unterscheidet, ist, dass der Abnehmer der Leistung die Leistung selber mitproduziert.Bildungsarbeit ist die Leistung derjenigen, die sich bilden, sie ist ein Prozess, der wesentlich subjektive Faktoren integriert, wie Interesse, Emotionalität und Engagement.“ (Küchler 2000) • Qualität wird „erst im Prozess des Lernens von den Lernenden selbst hergestellt.“ (Zimmer/Psaralidis 2000) • Ko-Produzentenverhältnis von Qualität im Bereich Bildung berücksichtigen!

5. Qualität - ein vielschichtiges Konzept Begriffsdimensionen Qualitätsebenen Input-Aspekte Durchführungs-Aspekte Output-Aspekte • Einhalten / Über- treffen von Standards • Fehlerlosigkeit • Zweckmäßigkeit • Angemessener Gegenwert • Transformation: Lernergebnis Bezugspunkt • Produktqualität • Prozessqualität „Über Qualität […] lässt sich also nicht abstrakt, sondern nur in einem definierten Kontext verhandeln.“ (Küchler 2000)

6. Herausforderung: Qualität im E-Learning II • E-Learning hochgradig interdisziplinär, zahlreiche verschiedene Akteure beteiligt, mit je unterschiedlichen Akteursperspektiven auf Qualität:Lernende, Lehrende, Autoren, Medienentwickler, Teletutoren etc. • Im Hochschulkontext: Fakultäten, Rechenzentren, Hochschulleitungenetc. • Verständigungsprozess über unterschiedliche Akteursperspektiven auf Qualität notwendig • Nachweis von Qualitätsmanagementsystemen zunehmend gefordert z.B. in der Anerkennungs- und Zulasssungsverordnung Weiterbildung (AZVW) im Bereich der beruflichen Bildung

7. Qualitätsentwicklung im Überblick • 1 Qualität auf der Ebene des E-Learning-Produkts (Mikroebene) • Z.B. TU Darmstadt Gütesiegel, ZFU-Leitfaden • 2 Qualität auf der Ebene eines Bildungsangebots/Studiengangs (Mesoebene) • Z.B. TU Darmstadt E-Learning Label, Certifcateof E-Learning • 3 Qualität auf Prozessebene der Organisation (Makroebene): • Z.B. QM-Modelle PAS 1032-1 (ISO 19796-1), PAS 1037 QM Stufenmodell • 4 Qualität durch Preise/Auszeichnungen entwickeln – E-Learning Awards • 5 Qualität durch Qualifizierung der Lehrenden/Online-Tutoren entwickeln

8. Mikroebene Mesoebene Makroebene Beispiel: Online-Studiengang BA Soziale Arbeit (basa-online) • Online-Module mit multimedial aufbereiteten Studienmaterialien entwickeln • Online-Studiengang an den einzelnen Hochschulen (als Angebot des lebenslangen Lernens gemäß Bologna-Zielen) etablieren • Weiterentwicklungsprozesse (Aktualisierung, Evaluation etc.) auf Ebene des Anbieter-Hochschulverbundes entwickeln

9. Beispiel E-Learning Label TU Darmstadt Funktionen • Definition von EL-Veranstaltungen • Kennzeichnung von EL- Angeboten • Sicherung einer Mindestqualität • Etablierung von Evaluationsmaßnahmen zur Weiterentwicklung Selbstevaluation mittels Online-Fragebogen Evaluation durch Befragung der Studierenden Durchführung • Lernerorientierung • Erweiterung der Lehr/Lerninhalte • Unterstützung der Selbststudiums-phasen • Betreuung und Beratung der Studierenden • Erweiterung der Lernzugänge • Aktivierung der Studierenden Im Lehr/LernprozessSonnberger 2008

10. Evaluation von E-Learning Expertenverfahren Empirische Verfahren Überblick über Evaluationsverfahren Beobach-tungen Kriterien-kataloge … Logfile-Analyse Befragungen Cognitivewalkthrough … + reale Lernsituation berücksichtigt + Evaluationsdesigns mit Handlungsforschung …möglich + Lernerorientierung - aufwändiger, je spezifisches Design + geringer Aufwand, scheinen ...Qualität objektiv zu messen - Berücksichtigen Lerner und ...Rahmenbedingungen nicht

11. Prozessmodell PAS 1032-1 (ISO 19796-1) Anforderungsermittlung Rahmen-bedingungen Konzeption… Produktion… Einführung… Durch-führung Evaluation… Konzeption Produktion Einführung Konzeption des Medien- und Interaktions-designs KonzeptionMedieneinsatz Konzeption der Kommunikations-möglichkeiten und -formen

12. Qualitätsmanagementmodelle im Überblick generisch spezifisch . DIN EN ISO 9000ff. LQW(Lernerorientierte Qualitätstestierung in der Weiterbildung) PAS 1032-1/2(Aus– und Weiterbildung mit Schwerpunkt E-Learning) „Hauskonzept“ EFQM (European Foundation for Quality Management) PAS 1037(Organisationen der wirtschaftsorientierten Aus- und Weiter-bildung: QM STUFEN-MODELL) ISO 19796-1/3(Informationstechnik - Lernen, Ausbilden und Weiterbilden ) Spezifische Entwicklung für die eigene Organisation Branchenunabhängig, „Übersetzungsleistung“ erforderlich für Bildungssektor für E-Learning

13. Weitere Spezifikationen für E-Learning • PAS 1068:2006 • Aus- und Weiterbildung unter besonderer Berücksichtigung von e-Learning – Leitfaden zur Beschreibung von Bildungsangeboten • „Beipackzettel“ zur Förderung von Transparenz im E-Learning • PAS 1069:2009 • Aus- und Weiterbildung unter besonderer Berücksichtigung von E-Learning - Leitfaden zum Referenzprozessmodell für Qualitätsmanagement und Qualitätssicherung - Planung, Entwicklung, Durchführung und Evaluation von Bildungsprozessen und Bildungsangeboten : Leitfaden und Qualitätsprofile für die PAS 1032-1 • Leitfaden zur Umsetzung der PAS 1032-1 mit Praxisbeispielen

14. Qualitätsplattform Lernen (QPL) • Verschiedene etablierte Instrumente der Qualitätsenwicklung sind integriert: • Prozessmodell der ISO/IEC 19796-1 (bzw. PAS 1032-1 ), PAS 1068 • „Leitfaden für die Begutachtung von Fernlehrgängen“ (ZFU), • Qualitätssiegel E-Learning QSEL sowie alle derzeit relevanten Zertifizierungsmodelle wie z.B. LQW, EFQM • Kriterienkataloge z.B. des TU Darmstadt-Gütesiegels,. • Modularer Aufbau Teil A: Qualität von Bildungsangeboten • Teil B: Qualität von Organisationen - Basic • Teil C: Qualität von Organisationen – Exzellenz • Steht seit Juni 2009 unter Creative-Commons- Lizenz "BY-NC-SA 3.0" online zur Verfügung

15. Zwischenbilanz … • Es liegen eine Reihe E-Learning spezifischer Zertifizierungsmodelle, Spezifikationen sowie ein internationaler Standard ISO 19796 vor - auf Prozess- wie auch auf Produktebene • Qualitätsentwicklung muss aber immer kontextualisiert erfolgen, d.h. auf die eigene Organisation, die Rahmenbedingungen, die Lernenden und die Ziele angepasst werden • Komplexer Aushandlungsprozess, der Ressourcen und Kommunikation benötigt („QM muss leben“) • Qualitätsentwicklung ist ein zyklischer, iterativer Prozess • Formative Evaluationen mit unterschiedlichen empirischen Verfahren integrieren • ...und neue Herausforderungen:

16. Neue Herausforderungen… • Wie lassen sich Qualitätsstandards, Prozessmodelle und Spezifikationen auf E-Learning 2.0 (mit Wikis, Weblogs, Online Communities)sowie im Bereich der Freien Bildungsressourcen (Open Educational Resources OER) anwenden bzw. hier umsetzen? • Auf der Agenda 2010 der European Foundation for Quality in E-Learning (EFQUEL) • “Promote the use of Open Educational Resources through the identification of suitable methods for quality development for Open Educational Resources • Increasing usage in Open Educational Resources by creating mechanisms which improve the trust in Open Educational Resources within and outside of education” http://www.qualityfoundation.org/:

17. Vielen Dank… …..für Ihre Aufmerksamkeit! Kontakt: Prof. Dr. Patricia Arnold Fakultät für angewandte Sozialwissenschaften Hochschule München arnold@hm.edu