Extending the Theory of Knowledge Spaces: A Competence-Performance Approach

1. Korossy, K. (1997): Extending the Theory of Knowledge Spaces: A Competence-Performance Approach Zeitschrift für Psychologie, 205, 53-82 Tina Ressl SE Aktuelle Themen psychologischer Forschung 01.06.2006

2. Überblick • Dissertationsthema • Zusammenfassung des Artikels • Theoretischer Hintergrund • Wissensraumtheorie (Doignon & Falmagne) • Kompetenz-Performanz-Ansatz (Korossy) • Empirische Anwendung am Bsp. einer Untersuchung • Relevanz für die Dissertation

3. Dissertationsthema Theoretische Führerscheinprüfung (Klasse B) „Kompetenz-basierte, adaptive Führerscheinprüfung“ Wissensraumtheorie bzw. Kompetenz-Performanz-Ansatz

4. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Wissensraumtheorie(Doignon & Falmagne, 1985): • Wissensbereich charakterisiert durch eine Menge X von Aufgaben (richtig/falsch) • Wissenszustand einer Person = Teilmenge an Aufgaben, die die Person lösen kann • häufig Lösungsabhängigkeiten zwischen Aufgaben eines Wissensbereiches (Aufgabe x richtig  Aufgabe z richtig) • nicht mehr alle Antwortmuster sind „erlaubt“  (Familie K) empirisch erwartbare(r) Lösungsmuster Wissenszustände • Wissensstruktur = Menge aller möglichen/erlaubten Wissenszustände Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

5. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) • Wissensstruktur heißt Wissensraum, wenn Ø, X Kundwenn K vereinigungsabgeschlossen ist. • Bsp.: 100 010 • Wissensraum darstellbar in Form einer Basis B(K): • kleinste Teilmenge von K, so dass jeder Wissenszustand von K als Vereinigung von Zuständen aus B(K) darstellbar ist • Bsp.: Auch die Vereinigung, also 110, muss in der Wissensstruktur enthalten sein. • 0000 1100 • 1110 • 0010 1111 • 1010 1010 und 1110 sind keine Elemente der Basis  lassen sich erzeugen Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

6. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) • Lösungsabhängigkeiten auch durch das Konzept des Surmise-Systems erfassbar • geordnetes Paar (X, ) mit einer Menge X an Aufgaben und einer Zuordnung  (genannt Surmise Funktion), die jeder Aufgabe eine Familie (x) von Teilmengen von X (genannt Klauseln) zuordnet • Wenn eine Person Aufgabe x lösen kann, dann kann sie vermutlich auch alle Aufgaben in mindestens einer dieser Klauseln lösen. • z.B.: Verfügt eine Person über die Fähigkeit Y, dann verfügt diese Person vermutlich auch über mindestens eine der Fähigkeiten W oder Z. Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

7. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Vorteile: • bereichsspezifisches Wissen wird als Familie empirisch erwarteter Zustände modelliert, welches grundsätzlich durch Lösungsmuster von Aufgaben beobachtet werden kann • individuelle Wissensdiagnose Kritik: • rein deskriptiv und verhaltensorientiert • keine theoretische Erklärung für die beobachteten Wissenszustände • kein Bezug auf zugrunde liegende Fähigkeiten (welche Fähigkeiten sollte sich eine Person aneignen, um das Problem das nächste Mal lösen zu können?) Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

8. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Kompetenz-Performanz-Ansatz: • Erweiterung der Wissensraumtheorie durch Korossy (1996) • Unterscheidung zwischen Kompetenz und Performanz • Performanz: empirisch beobachtbares Lösungsverhalten (einer Person) bei Aufgaben • Kompetenz: nicht beobachtbares, theoretisches Konstrukt zur Erklärung und Prognose von Performanz (Wissen, Fähigkeit) WissensraumtheorieKompetenz-Performanz-Ansatz Empirische Anwendung

9. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) • Kompetenzstruktur = geordnetes Paar (ℰ,K), bestehend aus einer Menge ℰ von Elementarkompetenzen und einer Familie K von Teilmengen von ℰ (Kompetenzzustände) • Ist Ø, ℰ  K und K vereinigungsabgeschlossen, dann heißt die Kompetenzstruktur Kompetenzraum • Performanzstruktur = geordnetes Paar (A,P), bestehend aus einer Menge A von Aufgaben und einer Familie P von Teilmengen von A (Performanzzustände) • Ist Ø, A  P und P vereinigunsabgeschlossen, dann heißt die Performanzstruktur Performanzraum WissensraumtheorieKompetenz-Performanz-Ansatz Empirische Anwendung

10. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Empirische Anwendung: • Zur Überprüfung der Anwendbarkeit und Nützlichkeit des Ansatzes • Wissensbereich: Satzgruppe des Pythagoras • Lehr-/Lernziele laut Bildungsplan (Gymnasium): • Phytagoräischer Lehrsatz: Satz des Phytagoras, Kathetensatz, Höhensatz • Anwendungen dieser drei Lehrsätze: Flächenumwandlungen und Längenberechnungen Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

11. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Elementarkompetenzen Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

12. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Vorhaben: • Modellierung eines Lehr-/Lernzielnetzes in Form eines Kompetenzraumes • Auswahl geeigneter Aufgaben sowie Konstruktion des resultierenden Performanz-raumes • Vergleich der hypothetisch erwarteten Lösungsmuster (der Performanzzustände) mit empirisch auftretenden Lösungsmustern  Hinweise auf die empirische Validität der Modellierung Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

13. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Kognitive Aufgabenanalyse: • Identifizierung jener Fähigkeiten, die für das richtige/falsche Lösen der jeweiligen Aufgabe benötigt werden • bei typischen Aufgaben eines Geometrie-Lehrbuchs • 3 Schritte: • Lösungsweg-Analyse: Bestimmung aller möglichen (und akzeptablen) Lösungswege • Kompetenzanalyse: Bestimmung einer Familie ℰ von Elementarkompetenzen • Um die Hinlänglichkeit der Elementarkompetenzen zu überprüfen, wird jeder Lösungsweg einer Teilmenge von ℰ zugeordnet Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

14. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Elementarkompetenzen: • E = {P, K, H, A, Z, T} • in diesem Fall sehr abstrakt  eine Elementarkompetenz beschreibt eine Einheit an mathematischem Wissen (deklarativ und prozedural) • Grundlage für die Modellierung der Kompetenz- zustände Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

15. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Modellierung des Kompetenzraumes: • Kompetenzzustände reflektieren das Wissen, welches dem beobachtbaren Lösungsverhalten zugrunde liegt • B(K) = {K, H, PK, PH, KA, HA, KZ, HZ, PKTA, KHTA} • Kompetenzraum (K,e) durch Abschluss von B(K) unter Vereinigung: 31 Kompetenzzustände Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

16. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

17. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

18. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Erstellung einer Performanzstruktur: • Interpretationsfunktion: ordnet jeder Aufgabe jene Kompetenzzustände zu, in denen die Lösung der Aufgabe erwartbar scheint • z.B.: Um Aufgabe a lösen zu können, muss sich eine Person in einem Kompetenzzustand befinden, welcher {P,K} und/oder {H} enthält • Repräsentationsfunktion: ordnet jedem Kompetenzzustand die in ihm lösbaren Aufgaben zu • Z.B.: Befindet sich eine Person in einem der Kompetenzzustände {P,K}, {K,H} oder {P,K,H}, kann sie die Aufgaben a, c und g (und nur diese) lösen. Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

19. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) x Basis-Interpretationen

20. Surmise-Interpretationen x Basis-Interpretationen

21. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) x Basis-Interpretationen  Surmise-Interpretationen Wo ist a, b, c,… überall enthalten?

22. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) B(P) = {a, c, ab, ad, bc, cd, abce} Anm.: {ac} nicht in Basis enthalten  lässt sich aus {a} und {c} erzeugen Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

23. Performanzraum: B(P) = {a, c, ab, ad, bc, cd, abce}

24. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Methode: • 2 Paralleltestgruppen (L, R – aufgrund Gruppenversuch) mit je 5 Aufgaben + 2 Aufwärmitems • Mindestens 5 min, maximal 10 min pro Item • Stichprobe: 21 SchülerInnen im Alter von 15 bis 17 Jahren (Gymnasium in Deutschland) • 2 Gruppenversuche (jeweils mit L und R) • in einer Mathematikstunde • in einer „mathematical study group“ • Papier-Bleistift-Test • 2-kategorielle Bewertung (richtig/falsch) Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

25. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Auswertung: • Theorie bedingt zweikategorielles Antwort-verhalten (richtig/falsch) • Untersuchung (Papier-Bleistift) liefert zusätzliche Informationen (Lösungswege) • 2 Auswertungen: • Die Aufgabe ist vollständig richtig gelöst. • Der Lösungsweg ist richtig, das numerische Ergebnis jedoch falsch (Rechenfehler). Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

26. Ergebnisse der Gruppe L (nach Korossy, 1997): --- Aufgabe wurde nicht bzw. nicht richtig gelöst ( ) Lösungsweg richtig, numerisches Ergebnis falsch * nicht-modell-konformer Lösungsweg

27. Ergebnisse der Gruppe R (nach Korossy, 1997): --- Aufgabe wurde nicht bzw. nicht richtig gelöst ( ) Lösungsweg richtig, numerisches Ergebnis falsch * nicht-modell-konformer Lösungsweg Anm.: 3 SchülerInnen wurden aufgrund eines Missverständnisses bei Aufgabe b von der Auswertung ausgeschlossen

28. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Ergebnisse: • Bzgl. Auswertung 1 (vollständig richtige Beantwortung) stimmen bei allen 18 Vpn (Gruppe L und R) die Lösungsmuster mit den erwarteten Performanz-zuständen überein. • Bzgl. Auswertung 2 (richtiger Lösungsweg, falsches numerisches Ergebnis) wurde lediglich ein nicht-erwartetes Antwortmuster (Vpn 19) beobachtet. • Bei Ausschluss jener drei Vpn mit dem Lösungsmuster = Ø bleiben 15 Vpn (Auswertung 1) bzw. 14 Vpn (Auswertung 2), bei denen die Antwortmuster mit den Performanzzuständen übereinstimmen. Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

29. Extending the Theory of Knowledge Spaces: A Competence-Performance Approach(Korossy, 1997) Diskussion: • geringe Stichprobengröße • nur 5 Items  kleine Auswahl an Lösungsmuster  Ergebnisse „not very powerful“ (Korossy, 1997) • trotzdem Beweis für die psychologische Validität des zugrunde liegenden Kompetenz-Modells (und der Aufgabenanalyse) aufgrund großer Übereinstimmung zw. erwarteten und beobachteten Antwortmustern • Vorhersage des Lösungsverhaltens bei neuen Problemen sowie gezieltes Lernen möglich • ev. zu „grobe“ Elementarkompetenzen Wissensraumtheorie Kompetenz-Performanz-Ansatz Empirische Anwendung

30. Relevanz für meine Dissertation • Anwendung des Kompetenz-Performanz-Ansatzes • Entwicklung eines Auswahlverfahrens • adaptive Testung • Umsetzung muss realisierbar sein (geringe Kosten,…) • Möglichkeit, größeres Wissensgebiet mit gleicher Anzahl von Fragen abzuprüfen • „Glück“ bzw. „Pech“ mit Fragen soll im Rahmen gehalten werden • besseres Feedback bei Nicht-Bestehen • qualitativ besser ausgebildete FahrschülerInnen  positive Auswirkungen auf den Straßenverkehr (weniger Unfälle etc.)

31. Danke für die Aufmerksamkeit! Literatur: Korossy, K. (1997). Extending the Theory of Knowledge Spaces: A Compe- tence-Performance Approach. Zeitschrift für Psychologie, 205, 53-82.