Das Multifacetten-Korrekturverfahren beim DSD

1. Das Multifacetten-Korrekturverfahrenbeim DSD

2. Fehleranfälligkeit bei Leistungsbeurteilungen

3. Metaanalyse von 79 Einzelstudien (Hoyt & Kerns, 1999) 37% der Urteilsvarianz gingen auf Urteilsfehler zurück Bei nicht direkt beobachtbaren Merkmalen (z.B. Fähigkeiten) waren es gar 49% Zeitlich ausgedehnte Beurteilertrainings hatten nicht den angestrebten Effekt Fehleranfälligkeit

4. Fehleranfälligkeit

5. Fehleranfälligkeit

6. 1. Es gibt 4 Kriterien zur Bewertung von SK beim DSD. 2. Die Bewertungs-Skala umfasst 0 bis 6 Punkte. 3. Es existieren drei Aspekte der Beurteilungssituation, die die Bewertung beeinflussen (Facetten): - die Fähigkeit des Kandidaten - die Strenge bzw. Milde des Bewerters - die Schwierigkeit eines einzelnen Kriteriums Ziel ist es, die Fähigkeit des Kandidaten zu isolieren und hierzu die Einflüsse der anderen beiden Facetten zu Eliminieren. Vorbedingungen

7. Das Verfahren besteht aus mehreren Schritten. Am Ende steht im Ergebnis eine Bewertung, die ein idealer, durchschnittlich strenger Beurteiler, auf mittelschweren Kriterien abgegeben hätte. Das Ziel

8. Alle Elemente jeweils einer Facette werden auf einer Skala angeordnet. Hierfür ist für jede Facette ein gemeinsames Bindeglied notwendig. Teilnehmerfacette: Anordnung aller Teilnehmer auf einer Skala anhand der mittleren Bewertung (Mittelwert) in den vier Kriterien (Bindeglied: Jeder Teilnehmer ist in den gleichen vier Kriterien bewertet worden) Kriterienfacette: Anordnung der vier Kriterien auf einer Skala anhand der mittleren Ergebnisse (Mittelwert) aller Teilnehmer in jedem der Kriterien (Bindeglied: Jedes Kriterium hat eine Bewertung von jedem Teilnehmer bekommen) Beurteilerfacette: Problem – Hier fehlt ein gemeinsames Bindeglied, da jeder Beurteiler andere Teilnehmer beurteilt hat Der Weg – Schritt 1

9. Um Beurteiler in Hinblick auf ihre Teilnehmerbewertungen vergleichbar zu machen, muss ein Bindeglied geschaffen werden. Hierfür werden Vergleichsbewertungen eingeführt. Aus dem Testlauf werden 7 Leistungen von Teilnehmern ausgewählt, die exemplarisch das ganze Leistungsspektrum abdecken. Diese 7 Leistungen bekommt jeder der Bewerter zur Beurteilung vorgelegt. Sie bilden den Vergleichsmaßstab für die Anordnung der Beurteiler auf einer Skala von mild nach streng. Schritt 1: Beurteiler

10. Die 3 Facetten werden auf eine gemeinsame Skala gebracht, um sie miteinander verrechnen zu können. Die 7stufige Skala (Werte 0-6) der Kriterien ist aber in der Realität nicht linear und daher für Rechnungen ungeeignet. Daher werden die Werte in die Logit-Skala transformiert. Dies stellt eine komplizierte Rechnung dar, die im Detail hier nicht erläutert wird. Mit dieser Logit-Skala können jetzt alle Facetten in einem gemeinsamen Raum angeordnet werden (Facettenraum). Schritt 2

11. +------------------------------------------------+ |Logit|Teilnehmer |Bewerter |Kriterium |Skala| |-----+------------+---------+-------------+-----| | 8 + ***. + + + (6) | | | . | | | | | 7 + . + + + | | | . | | | | | 6 + . + + + | | | . | | | | | 5 + *. + + + | | | *. | | | --- | | 4 + *. + + + | | | ***. | | | 5 | | 3 + ****. + + + | | | ***. | | | --- | | 2 + *****. + . + + | | | ******. | * | | 4 | | 1 + ********. + *** + Korrektheit + | | | *********. | ** | | --- | * 0 * *********. * ******. * SprachMitt * 3 * | | ********. | ****. | Inhalt | | | -1 + *********. + *. + Textaufbau + --- | | | ******. | . | | 2 | | -2 + ******. + . + + | | | *****. | | | --- | | -3 + ***. + + + | | | **. | | | 1 | | -4 + *. + + + | | | *. | | | | | -5 + . + + + | | | . | | | | | -6 + . + + + | | | . | | | | | -7 + *. + + + (0) | |-----+------------+---------+-------------+-----| |Measr| * = 18 | * = 2 |-Criterion |Scale| +------------------------------------------------+ Schritt 2: der Facettenraum Ein * steht für 18 Teilnehmer oder 2 Bewerter Je höher der Logit desto: - besser der Teilnehmer - strenger der Bewerter - schwerer das Kriterium

12. Jede einzelne Bewertung jedes Bewerters für jeden Teilnehmer in jedem der Kriterien wird jetzt wie folgt verrechnet: Korrigierter Logit = L(T) + L(B) + L(K) L(T) Logit des Teilnehmers in dem Kriterium K L(B) Logit des Beurteilers (Strenge) L(K) Logit des Kriteriums (Schwierigkeit) Der so ermittelte korrigierte Logit wird dann wieder in die ursprüngliche 7stufige Skala zurück transformiert und ergibt die faire Bewertung des Teilnehmers. Schritt 3 die Berechnung

13. Schritt 3 Veranschaulichung Wir haben unsere 7stufige (0-6) Skala, auf der die Bewerter jedes der Kriterien beurteilen Skala 6 5 4 3 2 1 0

14. Schritt 3 Veranschaulichung Teilnehmer, Beurteiler und Kriterien werden auf dieser Skala angeordnet Skala Teilnehmer Beurteiler Kriterium 6 5 4 3 2 1 0

15. Schritt 3 Veranschaulichung Die Kriterienskala wird in die Logit-Skala umgerechnet um weitere Berechnungen vornehmen zu können Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

16. Schritt 3 Veranschaulichung Beispiel: Ein Teilnehmer hat in Kriterium X eine Bewertung von 4 Punkten erhalten was einem Logit von ca. 1,3 entspricht Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

17. Schritt 3 Veranschaulichung Dieser Teilnehmer wurde von einem eher strengen Beurteiler bewertet der einen Logit von 1,0 hat Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

18. Schritt 3 Veranschaulichung Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

19. Schritt 3 Veranschaulichung Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

20. Schritt 3 Veranschaulichung Das Kriterium, in dem der Teilnehmer bewertet wurde, ist ebenfalls ein eher schweres Kriterium mit einem Logit von 1,0 Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

21. Schritt 3 Veranschaulichung Der Kriteriumslogit wird zum Teilnehmerlogit hinzuaddiert Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

22. Schritt 3 Veranschaulichung Der Krieriumslogit wird zum Teilnehmerlogit und Bewerterlogit hinzuaddiert Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

23. Schritt 3 Veranschaulichung In der Summe entsteht der neue korrigierte Teilnehmerlogit mit einem Wert von 3,2 der umgerechnet in die 7stufige Kriterienskala einem fairen Punktwert von 5 entspricht. Logit Skala Teilnehmer Beurteiler Kriterium 8 7 6 5 4 3 2 1 0 -1 -2 -3 -4 -5 -6 -7 6 5 4 3 2 1 0

24. Genauso wird verfahren wenn die Beurteiler eher milde bzw. die Kriterien eher leicht sind. Nur wird dann der Teilnehmerlogit nach unten statt nach oben verschoben, um eine faire Bewertung zu erhalten Dieses Prozedere wird für jede einzelne Bewertung jedes Beurteilers in jedem Kriterium durchgeführt und aus den dann ermittelten neuen Einstufungen die Gesamtbewertung des Teilnehmers gebildet. Schritt 3