ITEM RESPONSE ANALYSIS

1. ITEM RESPONSE ANALYSIS Понятие латентной переменной. Item Response Theory. Вычисление логита трудности и логита подготовленности. Модели IRT. Основные принципы моделирования теста.

2. Латентные переменные • Свойство личности, измеряемое косвенным образом, посредством индикаторов, называется латентным (скрытым). • Специалисты такую переменную могут описать, перечислив признаки, характеризующие проявление интересующего свойства. • Например, • «интеллект» непосредственно не измеряется, однако по проявляемым признакам можно оценить уровень интеллекта индивида; • «подготовленность студентов», «знание учебной дисциплины», «способность понимать».

3. Латентные переменные • Чтобы измерить способность студента, необходимо разработать шкалу измерения, то есть сконструировать «линейку», позволяющую получить количественное значение способности студента. Это даст возможность сравнения нескольких индивидов. • Теоретический диапазон изменения значений способности личности – от минус бесконечности до плюс бесконечности, со средним значением в области 0. На практике, при измерении способности, ограничиваются интервалом от -5 до +5, хотя надо иметь в виду, что возможны значения и за пределами выбранного диапазона.

4. Item Response Theory • Теория ответов на задания • Современная теория тестов • Теория латентных черт • Теория характеристических кривых заданий • Современная теория параметризации и моделирования тестов

5. Item Response Theory • Классическая теория – Уровень подготовленности зависит от трудности заданий, включенных в тест Трудность задания зависит от уровня подготовленности студентов, выполнивших тест (Hambleton и Swamination, 1985). Поэтому при использовании различных тестов характеристики задания и уровень подготовленности студентов измерены в различных шкалах, и, как следствие, несопоставимы (Wright & Stone, 1979).

6. Item Response Theory • IRT базируется на двух постулатах: 1. Результат выполнения студентом тестового задания может быть предсказан набором факторов, представленных скрытыми способностями. 2. Отношение между результатом выполнения студентом тестового задания и набором черт, лежащих в основе выполнения данного задания могут быть определены характеристической кривой задания (Hambleton & Swaminathan, 1985).

7. Item Response Theory В IRT рассматривается три основных модели: 1) Трехпараметрическая модель, 2) Двухпараметрическая модель, 3) Однопараметрическая модель. Трехпараметрическая модель (Warm, 1978) – форма характеристической кривой определяется тремя параметрами: • a – параметр дифференцирующей способности задания – задает крутизну характеристической кривой. • b – параметр трудности тестового задания – указывает местоположение на оси уровня подготовленности (θ), где вероятность правильного ответа составляет 50%, Р(θ)=0,5. • с – параметр угадывания – вероятность угадывания правильного ответа на задание.

8. Трехпараметрическаямодель Характеристические кривые заданий

9. Двухпараметрическаямодель Характеристические кривые заданий

10. Однопараметрическаямодель Характеристические кривые заданий

11. Item Response Theory В IRT принимаются во внимание несколько мер трудности заданий: • Доля неправильных ответов испытуемых на каждое задание проектируемого теста (qj); • Отношение qj/pj , предложена Г. Рашем, ее можно условно назвать потенциалом трудности задания; • Значение натурального логарифма отношения qj/pj; • Корректированные в процессе шкалирования значения ln qj/p. В качестве окончательной меры трудности заданий принимается именно эта мера. В IRT она называется параметром трудности задания. Скорректированные значения ln pi/qi называются параметром подготовленности испытуемого.

12. Item Response Theory • Основная цель IRT-моделей Анализ различий в тестовых оценках, которые первоначально не линейны (Wright & Stone, 1973). Преобразование вероятностей в логиты позволяет исследователям сравнивать трудности заданий и уровень подготовленности студента независимо от используемого теста (Warm, 1978). График вероятностей доли правильных ответов и график логит-преобразованных вероятностей

13. Первичные баллы. Нелинейность. Теория утверждает, а практика подтверждает, что даже небольшое изменение состава теста (в рамках той же учебной программы) приводит к другому ранжированию. При этом вполне возможна инверсия, то есть вполне может случиться так, что после этого изменения уже студент B окажется лучше студента A. Понятно, что ни о какой объективности и точности баллов здесь говорить не приходится. Увеличение такого балла на единицу дает различный вклад в реальный уровень подготовленности испытуемого в зависимости от того, к какому количеству баллов эта единица добавляется.Поэтому подобные баллы не являются взаимозаменяемыми, а соответствующаяшкала не линейна, что недопустимо для объективных измерений.

14. Первичные баллы. Линеаризация. Необходимая линеаризация состоит в выражении имеющейся впервичныхбаллах информации в терминах такой новой единицы, которая являетсянеизменной на всем используемом диапазоне соответствующейметрической шкалы. Такой единицей является логит.

15. Первичные баллы – исходные данные, а не результаты. Кстати, термин "балл" часто смущает и приводит к спорам о том, сколько баллов приписать верному выполнению того или иного задания. Споры эти беспочвенны, так как речь должна идти только о подсчете количества положительных исходов. Так что первичный балл - это, по существу, вовсе и не балл! Это не конечные результаты, а, наоборот, исходные данные. Если же пользоваться ими как результатом, то ни о какой объективности говорить не приходится. Невозможно всерьез говорить и о точности первичных баллов. По образному выражению одного из классиков тестологии, первичные баллы - это кривое зеркало, способное исказить реальную ситуацию причудливым образом и сделать серьезное дело смешным.

16. Графическая интерпретация инвариантности оценок учебных достижений

17. Графическая интерпретация неинвариантности первичных баллов.

18. Разница в первичных баллах • В случае инвариантности оценок учебных достижений разность между баллами двух испытуемых по результатам выполнения разных тестов должна остаться неизменной. • При отсутствии инвариантности разности между баллами двух испытуемых по результатам выполнения обоих тестов различны, например, как на предыдущих слайдах. • Таким образом, первичные баллы определяют собой конкретные факты и являются важными исходными данными, но не конечными результатами. • Для того чтобы из фактов извлечь нужную информацию об уровне подготовленности испытуемых, необходима специальная теория, обеспечивающая, в частности, линеаризацию первичных баллов.

19. Графическая иллюстрация линеаризации первичных баллов

23. Логит трудности • Вычисляются: • Начальные значения логита трудности тестовых заданий; • Среднее значение для логита трудности, где р – количество заданий: • Вариация для логита трудности, где р – количество заданий:

24. Пример.

25. Логит подготовленности: • Вычисляются: • Начальные значения логита подготовленности; • Среднее значение для логита подготовленности, где n – количество тестируемых: • Вариация для логита подготовленности, где n – количество тестируемых:

26. Пример.

27. Выравнивание логитов: • Цель: Устранение зависимости логита трудности тестовых заданий и логита подготовленности тестируемого от выборки тестируемых и используемого теста.

28. Скорректированные значения логита

29. Однопараметрическая модель Первая модель появилась в 1958 году, когда у Г. Раша возникла идея выразить вероятность правильного ответа на задание j посредством функции вида θ - уровень подготовленности (знаний), латентная переменная; δ - уровень трудности конкретного, латентная переменная; e – константа, иррациональное число, равное округлённо 2,72.

30. Однопараметрическая модель педагогического измерения В начале 50-х годов прошлого столетия датский математик G.Rasch стал рассматривать матрицу тестовых данных как результат взаимодействия множества испытуемых с множеством заданий. При этом естественным образом принималась аксиома - чем труднее задание для данного испытуемого, тем ниже вероятность правильного ответа. Из этой аксиомы следует свойство функциональности модели: вероятность правильного ответа испытуемых на задание j есть функция от взаимодействия двух параметров – от уровня подготовленности испытуемых θ и от уровня трудности задания δ. Формально это условие можно записать P(θ) = f(θ - δ), что позволяет говорить, что эта функция от одной переменной величины, от разности значений θ-δ.

31. Графический образ функции

32. Двухпараметрическая модель Вероятность правильного ответа на задание j вычисляется посредством функции вида θ – уровень подготовленности (знаний), латентная переменная; δ – уровень трудности конкретного, латентная переменная; e – константа, иррациональное число, равное округлённо 2,72; aj –дифференцирующая способность задания j.

33. Трехпараметрическая модель Вероятность правильного ответа на задание j вычисляется посредством функции вида θ – уровень подготовленности (знаний), латентная переменная; δ – уровень трудности конкретного, латентная переменная; e – константа, иррациональное число, равное округлённо 2,72; aj –дифференцирующая способность задания j; cj –коэффициент угадывания.

34. Взаимное расположение заданий и уровней подготовленности на шкале логитов

35. Взаимное расположение заданий и уровней подготовленности на шкале логитов

36. План апробации тестовых заданий

37. Спасибо за внимание!