1 / 92

E lementy teorii testów osiągnięć szkolnych

E lementy teorii testów osiągnięć szkolnych. Roman Dolata Wydział Pedagogiczny UW. Kontakt. Roman Dolata Dyżury Piątki od 16 do 17, s. 314 Poczta r.dolata@uw.edu.pl. Co to jest test?.

tress
Download Presentation

E lementy teorii testów osiągnięć szkolnych

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Elementy teorii testów osiągnięć szkolnych Roman Dolata Wydział Pedagogiczny UW

  2. Kontakt Roman Dolata • Dyżury Piątki od 16 do 17, s. 314 • Poczta r.dolata@uw.edu.pl

  3. Co to jest test? • Mała próbka zadań, której używamy do oszacowania opanowania przez uczniów szerokiego wachlarza wiadomości i umiejętności (Daniel Koretz) Cechy formalne testu: - obiektywność • standaryzacja • liczbowa postać wyniku

  4. Podstawowe pojęcia statystyczne przydatne przy konstrukcji testów i analizie ich wyników

  5. Rozkład liczebnościWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  6. Rozkład procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  7. Rozkład skumulowany, procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  8. Podstawowe parametry rozkładu1. Miary tendencji centralnej i inne miary pozycji Wyniki sprawdzianu 2009, rozkład dla kraju, n=400887 • Średnia arytmetyczna x: 22,6 • Mediana Me: 23 • Pierwszy kwartyl (25 percentyl): 17 • Drugi kwartyl (mediana, 50 percentyl): 23 • Trzeci kwartyl (75 percentyl): 28

  9. Jak wyznaczamy medianę i kwartyle • Porządkujemy wszystkie uzyskane wyniki od najmniejszego do największego (400887 wyników, najpierw zera, potem jedynki itd.) • Poczynając od wyników najniższych szukamy takiego wyniku, że: • a) 25% wyników jest od niego niższych, a 75% wyższych – pierwszy kwartyl • b) 50% wyników jest od niego niższych, a 50% wyższych – drugi kwartyl, mediana • c) 75% wyników jest od niego niższych, a 25% wyższych – trzeci kwartyl minimum 1. kwartyl mediana 3.kwartyl maksimum 25% wyników 25% wyników 25% wyników 25% wyników

  10. Podstawowe parametry rozkładu2. Miary zmienności wynikówWyniki sprawdzianu 2009, rozkład dla kraju, n=400887 średnia 3. kwartyl 1. kwartyl • Wariancja: 58,2 • Odchylenie standardowe: 7,6 • Odchylenie kwartylowe (ćwiartkowe): 11

  11. Porównanie dwóch rozkładówSprawdzian 2009, szkoły publiczne i niepubliczne

  12. Porównanie dwóch rozkładówSprawdzian 2009, dwie szkoły

  13. Badanie współzmienności wyników dwóch testów • Czy zmianom jednej zmiennej towarzyszą zmiany drugiej zmiennej? • Analiza graficzna: wykresy rozrzutu • Możliwe do zastosowania statystyki: - współczynnik korelacji r Pearsona - współczyniki regresji

  14. Korelacja dodatnia (pozytywna)współczynnik korelacji wyższy od zera

  15. Korelacja ujemna (negatywna) współczynnik korelacji niższy od zera

  16. Brak korelacji (zerowa)współczynnik korelacji bliski zeru

  17. Korelacja nieliniowa

  18. Konstruowanie testów osiągnięć szkolnych

  19. Testy osiągnięć a testy zdolności

  20. Typy testów osiągnięć szkolnych • Do pomiaru indywidualnej cechy lub cechy grupy • Indywidualne: • Przesiewowe (minimum kompetencji) • Szerokiego stosowania • Selekcyjne • Testy różnicujące i testy kryterialne • Testy mocy i testy szybkości • Koncepcja oceniania kształtującego

  21. Konstrukcja testu – podejście klasyczne

  22. Schemat konstrukcyjny testów osiągnięć szkolnych Cele kształcenia Zadania testowe Badania pilotażowe – wybór zadań, określenie rzetelności testu Ostateczna postać testu Wynik surowy Skalowanie Wynik testu Normy wykonania

  23. Elementy składowe testu 1. Lista celów edukacyjnych 2. Plan testu 3. Zadania testowe 4. Schematy punktacji 5. Kwestionariusz testu 6. Instrukcja przeprowadzenia testu (standaryzacja sytuacji testowej) 7. Normy wykonania testu: ilościowe i treściowe

  24. Zadania testowe: klasyfikacja

  25. Trafność testu

  26. Trafność testu • Podejście dydaktyczne: test jest trafny, gdy: • uczniowie wykonują, te operacje umysłowe, na których nam zależy • możemy dostać na to dowód

  27. Trafność testu Aspekt trafności: Dydaktyczny Czy zadania sprawdzają przyswojenie wiadomości i umiejętności przewidzianych w programie Fasadowy Czy test zdaniem użytkowników i odbiorców jest adekwatny Kryterialny Czy wynik testu koreluje z uznanymi miarami danego zasobu wiedzy lub ich korelatami Prognostyczny Czy test pozwala prognozować przyszłe osiągnięcia Interpretacyjny Czy wynik jest właściwie interpretowany i na jego podstawie podejmowane są adekwatne decyzje Konsekwencyjny Jakie konsekwencje społeczne niesie za sobą stosowanie testu

  28. Metody analizy trafności • Analiza treściowa testu • Analiza jakościowa rozwiązywania zadań: wywiady pogłębione z uczniem (Jak rozwiązywałeś to zadanie?) • Analiza statystyczna: związek z innymi miarami odniesienia

  29. Rzetelność testu

  30. Rzetelność testu • Każdy pomiar obarczony jest niepewnością pomiarową • Klasyczne ujęcie niepewności pomiarowej wynik empiryczny = wynik prawdziwy + błąd pomiaru Wynik prawdziwy: średni wynik z nieskończonej liczby powtórzeń testu

  31. Błąd pomiaru Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

  32. Błąd pomiaru Wynik ucznia w teście Wynik prawdziwy Uczeń Błąd pomiaru Wysokie Niskie Wyniki

  33. Główne źródła błędu pomiaru w testach osiągnięć szkolnych • Arbitralność doboru zadań testowych • Niedostatki standaryzacji procedury testowej • Zgadywanie w zadaniach zamkniętych • Ocena wykonania zadań otwartych • Ściąganie • Losowe wahania dyspozycji intelektualnych ucznia • Błędy systematyczne: stronniczość testu

  34. Metody ilościowego określania rzetelności wyniku testu • Dwukrotne testowanie • Korelacja między wynikami dwóch testów • Metoda połówkowa • Korelacja między wynikami dwóch połówek testu • Wewnętrzna spójność testu • Współczynnik rzetelności Alfa Cronbacha

  35. Współczynnik rzetelności Alfa Cronbacha Rzetelność jest to stosunek zróżnicowania wyniku prawdziwego do zróżnicowania wyniku uzyskanego na podstawie testowania (będącego sumą zróżnicowania wyniku prawdziwego oraz zróżnicowania błędu pomiaru)

  36. Intertretacja ws. Alfa Cronbacha

  37. Wykorzystanie wsp. rzetelności w interpretacji wyniku testu Przykładowa informacja o wyniku ucznia dla rodziców, Massachusets, MCSA 2002 Prawdopodobieństwo że wynik ucznia znajduje się w przedziale wyznaczonym przez oddcinek wynosi 95%

  38. Idea szacowania przedziału ufności Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

  39. Idea szacowania przedziału ufności Uczeń Wysokie Niskie Wyniki

  40. Idea szacowania przedziału ufności Uczeń Wysokie Niskie Wyniki

  41. Idea szacowania przedziału ufności Uczeń Wysokie Niskie Wyniki

  42. Idea szacowania przedziału ufności Przedział ufności Uczeń Wysokie Niskie Wyniki

  43. Idea szacowania przedziału ufności Funkcja prawdopodobieństwa Wynik mało prawdopodobny (2,5%) Wynik mało prawdopodobny (2,5%) Wyniki Wysokie Niskie Wynik prawdopodobny (95%) Rzetelność testu Wynik ucznia

  44. Rzetelność oceny zadań otwartych – opis eksperymentuNa podstawie: R. Dolata, E. Putkiewicz, A. Wiłkomirska Reforma egzaminu maturalnego: oceny i rekomendacjeInstytut Spraw Publicznych, badanie sfinansowane przez MENiS

  45. Analiza rzetelności systemów punktacji • Przedmiotem analiz były systemy punktacji przygotowane na maturę 2002: • Język polski - wypracowania (arkusz I i III), rozumienie czytanego tekstu (arkusz II). • Historia – test i interpretacja źródeł (arkusz I i II). • Matematyka – poziom podstawowy i rozszerzony (arkusz I i II).

  46. Procedura badania rzetelności • Dobór prac. • Przygotowanie prac do ponownego sprawdzania. • Dobór egzaminatorów.

  47. Problem trafności ekologicznej eksperymentu • Czynniki mogące zawyżać oszacowanie rzetelności: - dobór egzaminatorów (posługiwanie się dobrze znanym schematem punktacji), - pominięcie opcji (polski, historia). • Czynniki mogące zaniżać oszacowanie rzetelności: - upływ czasu, - brak procedur oceniania grupowego

  48. Metoda badania rzetelności systemów punktacji • Każda praca była niezależnie sprawdzana przez ośmiu egzaminatorów. Problem wielkości próbki. • Zbiór danych (dla każdego kryterium):

  49. Model analizy statystycznej

  50. Wyniki analizy rzetelności punktacji dla wypracowania, arkusz III Efekt jakości pracy Prosty efekt egzaminatora Interakcyjny efekt egzaminatora

More Related