Definition

1. Definition Ein Test ist ein wissenschaftliches Routineverfahrenzur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeits-merkmalemit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung (G.A.Lienert) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

2. Warum eine Theorie über Tests? • Eigentlich: Theorie über verschiedene Arten von Tests, ihren Aufbau und ihre Konstruktionsprinzipien, weil: • Testauswertung = Antwortverhalten  Merkmal • Dies bedarf einer Theorie! • Die Testtheorie beschäftigt sich mit dem Zusammenhang von Testverhalten und dem zu erfassenden Merkmal WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

3. Messfehlertheorie X = T + e Axiome der klassischen Testtheorie • (e) = 0, d.h. bei wiederholter Messung an der gleichen Vp heben sich die Messfehler gegenseitig auf • (T,e) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom getesteten Merkmal • (ex,Ty) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom Ausprägungsgrad anderer Persönlichkeitsmerkmale • (ex, ey) = 0, d.h. die Messfehler verschiedener Testanwendungen sind unabhängig voneinander WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

4. Gütekriterien WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

5. Objektivität oderwie unabhängig ist der Test? Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

6. Reliabilität oderwie genau misst der Test? Retest-Reliabilität Paralleltest-Reliabilität Innere Konsistenz, gemessen durch Testhalbierung oder Konsistenzanalyse (Itemanalysen) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

7. Validität oderwasmisst der Test? • Inhaltliche Validität: z.B. Schulleistungstest • Konstruktvalidität: direkte Ableitung aus Theorie (z.B. Angst, Aggression) • Kriteriumsvalidität: Außenkriterium • „Augenscheinvalidität“: Expertenrating WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

8. Wechselbeziehungen • Die Parallel- oder Retestreliabilität kann nicht höher sein als die Konsistenz oder die Objektivität • Ein Test kann nicht valider sein als er reliabel ist • Hohe Validität bedeutet zwangsläufig auch hohe Objektivität, Konsistent und Reliabilität Objektivität Interpretation / Auswertung / Durchführung Reliabilität Innere Konsistenz Parallel- und Retest Validität kriteriumsbezogen WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

9. Ende des 1. Teils WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

10. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

11. Dichotomer Antworttyp Essen Sie gerne Spaghetti?  ja  nein Das Jahr 2000 ist ein Schaltjahr stimmt stimmt nicht TestaufgabentypenGebundene Aufgabenbeantwortung • Einfache Auswertung • Kurze Lösungszeit • Frageformulierung nicht immer leicht (Negativfragen!!) • hohe Ratewahrscheinlichkeit  Verringerung der Reliabilität • Entscheidung für den Pb manchmal schwierig WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

12. Testaufgabentypendichotome Antwortmöglichkeit • Geeignet wenn ... • ein Test schnell konstruiert bzw. improvisiert werden soll • die Testdurchführung wenig Zeit beanspruchen soll • Auswertung durch Hilfspersonal geschieht • Aufgabeninhalt leicht verständlich ist • Informationen über ein Persönlichkeitsmerkmal auf möglichst breiter Basis durch möglichst viele Fragen und Aufgaben erzielt werden soll • gedankliche Verarbeitung und Gedächtnisleistung keine Rolle spielt • Zufallslösungen irrelevant sind oder berücksichtigt werden (Zufallskorrektur) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

13. Mehrfach-Wahl-Aufgabe (multiple choice) • Deutschland war Fußballweltmeister ... • 1968 b) 1980 c) 1974 d) 1984 TestaufgabentypenGebundene Aufgabenbeantwortung Ich komme gerne in dieses Seminar: Immer oft manchmal selten nie • ökonomische Durchführung und Auswertung • geringe Ratewahrschein-lichkeit, wenn Distraktoren gut sind • Erfahrung zur Formulierung von Items nötig • Spontaneität bei Vpn behindert WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

14. Testaufgabentypenmultiple choice • Gut geeignet weil ... • beste Anwendungsmöglichkeit für geeichte Tests • Weniger gut geeignet wenn ... • die Lösungsfindung selbstständig erfolgen soll • die Erstellung von Antwortalternativen (Distraktoren) schwierig ist, wie das folgende Beispiel verdeutlicht: WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

15. Testaufgabentypenmultiple choice Bild der Frau vom 3.9.01 WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

16. Offene Antworten Woher kommt der Wind? ____________________________________ Wie beurteilen Sie dieses Seminar? ___________________________ Testaufgabentypenoffene Antwortmöglichkeit • wichtige Form zur Erfassung bestimmter Eigenschaften wie z.B. Ausdrucksfähigkeit, Wortschatz etc. • Auswertungsobjektivität problematisch zu erreichen • Auswertung zeitaufwendig WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

17. An welchen Flüssen liegen die folgenden Städte? Nürnberg:____________ Frankfurt:_____________ Hamburg:____________ Berlin:________________ Bremen:_____________ Saarlouis:_____________ Testaufgabenbeispielehalboffene Antwortmöglichkeit WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

18. Welches Verb gehört zu welchem Substantiv? 1) ein Vortrag a) erzählen 2) eine Geschichte b) machen 3) eine Erklärung c) halten 4) ein Gespräch d) abgeben 5) einen Vorschlag e) führen Testaufgabenbeispiele Zuordnungsaufgaben • eignen sich gut zur Feststellung erworbenen Wissens • Informiert schnell über elementares Tatsachenwissen • große Anzahl von Aufgaben auf kleiner Fläche möglich • Freiheitsgrad = 1 • Lösungsfindung erfolgt nicht selbstständig, da Antworten vorgegeben WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

19. Blitz : Donner = Hören : ? Gewitter / Sehen / Regen / Fühlen / Wolken Sortiere die folgenden Brüche der Größe nach, beginne mit dem Größten 4/9 ......... 3/4 ......... 2/3 ......... 7/12 ......... 5/6 Testaufgabenbeispiele Ergänzungsaufgaben Umordnungsaufgaben WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

20. Die menschliche Persönlichkeit und deren ___________ ist eine sehr _______________ Angelegenheit. Unstrittig ist, dass es sich bei den Entwicklungs_________ um eine Interaktion, also ein Zusammenspiel zwischen _________-________ Veranlagungen und _________ handelt. Jeder Teil für sich genommen führt nicht zwingend und unmittelbar zu bestimmten __________; sondern die Reaktion des einen Teils (_______) auf entsprechende Veranlagungen steuert die _________ einer menschlichen Persönlichkeit. Testaufgabenbeispiele Lückentext • frei von Zufallseinflüssen • Antwortformulierung nach freiem Ermessen -> • Gefahr von Suggestivwirkung • Antwortformulierung nach freiem Ermessen • zeitaufwendig • nicht immer eindeutig (Objektivität!) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

21. Formale Kriterien einer guten Testaufgabe • Objektivität: Sie muss von verschiedenen Auswertern gleichermaßen als „richtig“ oder „falsch“ bewertet werden • Reliabilität: Gleiche Antworten bei kurzzeitiger Testwiederholung muss erwartet werden • Validität: Eine Aufgabe ist dann valide, wenn sie von Pbn mit starker Merkmalsaufprägung häufiger richtig beantwortet wird als von Pbn mit geringer Merkmalsausprägung („Trennschärfe“) WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

22. Inhaltliche Kriterien einer guten Testaufgabe • Die Aufgabe als inhaltliche Ganzheit soll einen wesentlichen Aspekt des untersuchten Merkmals betreffen • Jede Aufgabe soll von jeder anderen inhaltlich unabhängig sein. Die Lösung einer Aufgabe darf keinen Hinweis auf die Lösung einer anderen Aufgabe enthalten und schon gar nicht von deren Lösung abhängig sein • Jede Aufgabe soll, soweit dies mit dem Testziel vereinbar ist, speziell, konkret und wirklichkeitsnah gestaltet sein und nicht allgemein, abstrakt und wirklichkeitsfern WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

23. Regeln für den sprachlichen Aufbau einer Testaufgabe • Vermeide mehrdeutige Begriffe (u.a. „oft“) • Vermeide Begriffe, die nur einem Teil der Pbn geläufig sind • Jede Aufgabe soll nur einen Aspekt oder Gedanken enthalten, d.h. keine durch „und“ verbundenen Aussagen • Möglichst positive Aussagen, Fragen oder Formulierungen ( doppelte Verneinung) • Vermeide Verallgemeinerungen jeder Art, besonders solche, die nur zeitweise Gültigkeit haben • Vermeide umständliche Länge oder telegrafische Kürze im Aufgabentext • Prüfe die Eindeutigkeit der Frage an einer kleinen Teststichprobe („Fragentext ist eindeutig / nicht ganz / unklar“) • Gleiches gilt für die Testanweisung WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

24. Ende des 2. Teils WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

25. Kriteriumsorientierte Leistungsmessung Abgrenzung Konstruktion Analyse Praxis

26. Abgrenzung • Frage: Kann ein Schüler Aufgaben lösen, die ein Kriterium um- oder beschreibt? WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

27. Abgrenzung • ... nicht auf Erfassung individueller Differenzen (wie klassische Persönlichkeitstests), also auf die Ermittlung eines Rangplatzes in einer Normgruppe, ab • ... sondern auf Feststellung der Leistung eines Schülers bzgl. eines vorgegebenen spezifischen Aufgabenbereichs Kriteriumsorientierte Test zielen ... WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

28. Definitionen • Ein Test zur Erfassung eines Persönlichkeitsmerkmals, sofern dieses durch die ´Bewältigung´ einer wohldefinierten Aufgabe gekennzeichnet ist (nach Klauer, 1987) • Kriteriumsorientiert ist ein Test, der die Gesamtheit einer wohldefinierten Menge von Aufgaben enthält oder repräsentiert und der zu dem Zweck konstruiert ist, • die Fähigkeit des Schülers zur Lösung der definierten Aufgabe zu schätzen und/oder • ihn gemäß dieser Fähigkeit einer Klasse von Schülern zuzuordnen (dto.) • Informelle Schulleistungstests sind Verfahren der Pädagogischen Diagnostik, die durch Lehrer konstruiert werden, um die Ergebnisse der von ihnen geplanten Lernvorgänge in ihrer Klasse möglichst objektiv zu erfassen und für ihr pädagogisches Handeln nutzbar zu machen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

29. Definitionen • Kurz: wir messen, ob ein Schüler das vorher festgesetzte Kriterium oder Leistungsniveau erreicht hat oder nicht • Dies setzt einen absoluten Gütemaßstab voraus • Dieser ist nicht von der Leistung der anderen Schüler abhängig, die den gleichen Unterricht und gleichen Test erhalten haben WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

30. Das bedeutet im Prinzip ... Es geht nur um die Entscheidung: „bestanden“ oder „nicht bestanden“ Trotzdem sind Vergleiche zwischen Schülerleistungen möglich WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

31. Definitionen „Kriterium“ kann dabei bedeuten: • ein Lernziel (das erreicht oder nicht erreicht worden sein kann) • ein Leistungskontinuum, in dem unterschiedlich gute Schüler unterschiedliche Positionen einnehmen können • ein Leistungsstandard, an dem sich Vorhersagen bestätigen oder nicht WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

32. Alltags-Beispiele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

33. Alltags-Beispiele http://www.psychologie.uni-trier.de/personen/phank/veranstaltungen/Diagnostik0001/Diagnostik0001.pdf WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

34. Alltags-Beispiele http://www.psychologie.uni-trier.de/personen/phank/veranstaltungen/Diagnostik0001/Diagnostik0001.pdf WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

35. Einsatzmöglichkeiten • Beurteilung individualisierter Lernprogramme • Diagnose individueller Schwierigkeiten einzelner Schüler • Einschätzung der Fähigkeit eines Schülers in einem bestimmten Bereich • Messung dessen, was ein Schüler gelernt hat • Nachweis von Kompetenz • Eingangskontrolle zu Beginn einer neuen Lerneinheit WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

36. Merkmale • Die materiale Basis für die Erstellung und Durchführung ist die Unterrichtseinheit oder Teile davon. • Die Tests orientieren sich an den vorher aufgestellten Lernzielen. • Die Tests erwachsen in Inhalt und Methode dem vorhergehenden Unterricht. • In einer Aufgabe wird nur ein Lernziel getestet. • Art der Durchführung, Lösungsschlüssel und Auswertungsschemata sind nach verbindlichen Kriterien vorher festgelegt. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

37. Vorgehensweise: Konstruktion • Die Konstruktion geschieht durch den Lehrer („teacher made tests“). Der methodische Konstruktionsaufwand richtet sich nach Ausbildung, Verfügbarkeit technischer Hilfsmittel und Arbeitszeit des Lehrers. Das bedeutet z. B. Abstriche beim Umfang (Aufgabenniveaus, Ableitung der Testaufgaben, Genauigkeit...) • Der Test orientiert sich an den pädagogischen Bedürfnissen einer oder weniger Schulklassen. Diese Tests sind nicht auf überregionale Anwendbarkeit angelegt. • Die Objektivität wird weitgehend durch die Standardisierung der Prüfungssituation, der Aufgabenstellung und Rohpunktauswertung erreicht. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

38. Vorgehensweise: Konstruktion • Bei sorgfältiger Testkonstruktion können auch für informelle Tests Zuverlässigkeit und Gültigkeit angenommen werden, werden aber nicht durch statistische Verfahren nachgewiesen. • Diese Tests sollen dazu beitragen, dass viele traditionellen Kurzarbeiten und mündlichen Prüfungen durch objektivere Methoden ersetzt werden. • Es werden dieselben Aufgabentypen wie für formelle Tests benutzt, wobei Alternativformen und Kurzantworten überwiegen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

39. Vorgehensweise: Konstruktionsphasen Curriculare Phase: • Der Lehrer orientiert sich nur an den Lehrzielen, die er für seine Klasse ausgewählt hat. Meist untersucht er kleinere Unterrichtseinheiten. • Die Lehrziele werden häufig operationalisiert und in Testaufgaben umgesetzt. • Spezifikationstabellen sollen helfen, sich über inhaltliche und kognitive Anforderungen klar zu werden und diese angemessen zu berücksichtigen. • Die Aufgabenkonstruktion unterscheidet sich nicht wesentlich von den formellen Tests. Auch Karten, Demonstrationen von Versuchen usw. können in die Aufgabenstellung mit einbezogen werden. Die Lehrer sollten ihre Entwürfe mit Kollegen diskutieren WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

40. Vorgehensweise: Analyse • Eine Aufgabenanalyse wird nach vereinfachten Verfahren durchgeführt. Diese Verfahren der Aufgabenanalyse sind überwiegend an Prinzipien bezugsgruppenorientierter Tests orientiert. • Oft fehlt die Zeit und Möglichkeit, die Versuchsform des Tests an einer anderen Klasse zu erproben. • Eine Eichung und eine Überprüfung der Testgütekriterien finden bei informellen Tests nicht statt. Von den geeigneten Aufgaben zählt der Lehrer die Punkte zusammen und kann seine Schüler in eine Rangordnung bringen. • Nach der Verteilung der Lösungen auf die einzelnen Testaufgaben kann er für die Klasse oder den einzelnen Schüler eine Art Profil der Stärken und Schwächen erstellen und an diesen Informationen seine didaktischen Bemühungen ausrichten. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

41. Praxis • Außer in Versuchsschulen spielen informelle Tests in unserem Schulwesen bisher eine unbedeutende Rolle. Der Aufwand wird von den Lehrern gescheut. Der informelle Test könnte viele schriftliche Arbeiten und mündliche Wiederholungsaufgaben durch mess-methodisch und curricular überlegenes Verfahren ersetzen. • Das System des Itembanking oder der Testaufgabensammlung sollte die Vorteile des informellen Testens mit Reduzierung des Arbeits-aufwands bei gleichzeitiger Steigerung der Testgüte verbinden. Zu diesem Zweck werden aus operationalisierten Lernzielen Test-aufgaben entwickelt, in formellen Verfahren empirische erprobt und mit den wichtigsten Kenndaten gespeichert. Sie können von Lehrern abgerufen werden. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

42. Ende des 6. Teils

43. Lernziel-Operationalisierung Folien: Andrea Kloß / C. Paulus

44. Überblick • Verfahren der Leistungsbeurteilung(subjektiv, objektiv: formell, informell) • Lernziel-Niveaus nach Bloom (präzisiert, Bsp.) • Lernziel-Analyse • Orientierung an Bildungsstandards WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

45. Objektive Verfahren alle formellen, standardisierten Verfahren alle informellen, kriterienbezogene Verfahren Subjektive Verfahren alle Formen von Lehrerurteilen (traditioneller Art): Verhaltensbeobachtung Aufsatzbeurteilung Leistungsbeurteilung WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

46. Formale Testkonstruktion wurde aus der Psychologie auf den schulischen Bereich übertragen:  mangelnder Zusammenhang von Leistungsfeststellung und Unterricht Problem der Validität: Gütekriterien also weniger verwirklicht Formelle Schulleistungstests WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

47. Formale Tests • von Interesse, wenn überregional die Leistungen von Schülern gemessen werden sollen • jedoch ist die Bindung von standardisierten Tests an den Unterricht gering WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

48. Informelle Schulleistungstests • Messinstrument zur gerechten Beurteilung von Schülerleistungen • wodurch wird Gerechtigkeit erreicht? Informelle Tests werden auf der Basis von Lernzielen konstruiert Die Notengebung orientiert sich an der konkreten Unterrichtssituation WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

49. Voraussetzungen der Leistungsmessung • Exakte Planung von Unterrichtseinheiten • Operationalisierte Lernziele WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken

50. Vorteile operationalisierter Lernziele • Es wird gemessen, was unterrichtet wurde. • Gemessene Schülerleistung liefert Ansatzpunkte für Förderungsmaßnahmen. WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken