600 likes | 1.28k Views
Оценяване в образованието . Експертно и тестово оценяване на знания, умения и компетенции. Енчо Герганов. Три групи методи за оценяване. В зависимост от прякото участие на оценител формите и методите за оценяване на знания се групират в три големи класа:
E N D
Оценяване в образованието. Експертно и тестово оценяване назнания, умения и компетенции Енчо Герганов
Три групи методи за оценяване • В зависимост от прякото участие на оценител формите и методите за оценяване на знания се групират в три големи класа: • субективни методи – оценката се дава от проверител • обективнитестове – оценката се получава като брой на вярно решените задачи по ключа • обективна процедура за понятийно картографиране (conceptual mapping)
Оценяване от проверители Използват се следните методи: • Методът на равноизглеждащите интервали, т.н. Ликертови скали. Типичен пример – българската шестобална система. Тук попадат 10-балните, 20-балните, 100-балните и всякакви други N-бални скали. • Методът на ранжирането • Методът на сравняване по двойки
Предимства на оценяването от проверители Съдържателност • Учениците свободно изразяват знанията, уменията и компетенциите си в някаква писмена форма (есе, решаване на задачи и др.). Проверителят оценява обема и качеството им. Валидност • Проверителят оценява изпитните работи на учениците, като прилага критериите, за които е обучен в специален тренировъчен процес
Недостатъци на оценяването от проверители Ниска надеждност Голямо разсейване на оценките при множествено оценяване. Рядко се постига задоволителна корелация между оценките на двама проверители. Строгост Проверителите се характеризират с различна степен на строгост/снизходителност. Това изисква калибриране на оценките им, което трудно може да се приложи в практиката на националните изпити поради психологически причини.
МАТРИЦА НА АБСОЛЮТНИТЕ ЧЕСТОТИ F Честотно разпределение на оценките, които 75 учители по български език са поставили на 8 диктовки в условие на независимост
Пример за корелация между оценките на двама проверители Проверител 36 Проверител 1 R=0,967
Пример за липса на корелация между оценките на двама проверители Проверител 13 Проверител 9 R=0
Пример за калибриране на оценките на двама проверители Разлика1,75
Оценяване строгостта на учители по 6 предмета
Учители по бълг. език и литература
Оценяване съгласуваността на оценките между учители по 6 предмета
Учители по български език и литература
Оценяване чрез обективни тестове. 1. Структура на обективния тест • Обективните тестове се състоят от множество задачи със стандартен формат (задачи със структурирани отговори), към които се отнасят: • задачи с множествен избор • дихотомни задачи; • задачи за съпоставянеи др. • от всяка задача се получава 1 т. (когато се избере верният отговор) или 0 т. (когато се посочи грешен отговор)
Оценяване чрез обективни тестове. 2. Видове скали Използват се следните скали: • Суров бал – брой на правилните отговори по всички тестови задачи • Процентилна скала – постижението на студента се измерва с процента на тестираните, които имат по-нисък суров бал от неговия • Стандартни скали – суровият бал се трансформира в Z-единици • Скала на постиженията по теорията за отговор на тестов въпрос
Формати на тестови задачи Стандартен формат • Задачи с формат 1,0. Ако ученикът реши задачата, получава 1 точка. Ако не я реши, получава 0 точки. • Пример: Задача от тест по история 1. Каква е била главната функция на великия логотет, споменат в българските средновековни извори от ХІІІ-ХІV век? а) ревизор б) счетоводител в) пръв министър г) надзирател д) контрольор
Нестандартен формат. I Задача от тест по химия и опазване на околната среда: В два железни съда (1) и (2) са поставени разтвори съответно на CaCl2и CuCl2.В кой от тях ще протече химична реакция? (Отговор: Реакция ще протече във втория съд. 1,0 т.) Обяснете защо. (Отговор: Причината е, че медта е след желязото в РОА и следователно се редуцира от него, а калцият е преди желязото в РОА и следователно калциевите йони не могат да се редуцират от него. 1,0 т.)
Нестандартен формат. II Задача от тест по биология: Изброени са съединения. Някои от тях са свързани с нуклеиновите киселини. Изградете молекулите на ДНК и РНК, като поставите съответните цифри на обозначените с многоточие места: 1. дезоксирибоза; 6. фосф. киселина 11. глицин; 2. рибоза; 7. тимин; 12. цистеин 3. глюкоза; 8. аланин; 13. цитозин 4. холин; 9. урацил; 14. лизин; 5. аденин; 10. гуанин; 15. Хистидин ДНК.............................. РНК............................ Отговор: 1,5,6,7,10,13 (12х0,2=2,4 т.) 2,5,6,9,10,13
Психометричната теория на тестовете е построена върху основното допускане за стандартен формат на тестовата задача
Класическа теория на тестовете Тест – множество задачи със стандартен формат (1,0) Суров тестов бал – брой на вярно решените тестови задачи Честотно разпределение на суровия тестов бал: Нормално разпределение – тест с нормална трудност Асиметрично разпределение: скосеност отляво – труден тест Асиметрично разпределение: скосеност отдясно – лесен тест
Нормално разпределение: Симетричност СРЕДЕН БАЛ: 4,07 МЕДИАНА: 4,00
Асиметрично разпределение: Скосеност отляво – труден тест СРЕДЕН БАЛ: 2,97 МЕДИАНА: 3,00
Асиметрично разпределение - скосеност отдясно лесен тест СРЕДЕН БАЛ: 15,26 МЕДИАНА: 16,00
Класически анализ на тестовите задачи. Трудност и различителна силаТрудна задача с добра различителна сила 2. Кое от посочените държавнически действия не се свързва с управлението на хан Омуртаг? а) мащабно строителство..............0,08 0,15 0,02 б) сключване на мирен договор с Византия....................................0,05 0,08 0,02 в) преследване на християните в България......................................0,41 0,55 0,22 г) война със славянските племена по средното течение на река Дунав.................0,14 0,13 0,14 д) собствено монетосечене..........0,30 0,09 0,59* Трудност: 0,30; Различителна сила: 0,50
Класически анализ на тестовите задачи. Трудност и различителна силаЛесна задача с добра различителна сила 3. Кой български владетел допринася най-много за разцвета на литературата и културното въздигане на Българската държава през Средновековието? а) княз Борис І…..................0,14 0,22 0,04 -0,26 б) цар Симеон І………………..0,67 0,45 0,89 0,45* в) цар Иван Асен ІІ…………0,12 0,21 0,04 -0,26 г) цар Иван-Александър…….0,04 0,06 0,02 -0,09 д) цар Иван Шишман………..0,04 0,06 0,01 -0,10 Трудност: 0,67; Различителна сила: 0,44
Някои основни понятия от теорията на измерването в образованието • Смесен континуум на знанията, уменията и компетенциите • Задачите и учениците са представени като точки на този континуум. Задачите са наредени по степен на трудност, а учениците - по количеството знания и степента на уменията, които притежават. З1 У1 З2 З3 У4 З4 У5 З5 У6 У2 У3 X X X X X X
Скалограмен анализ Оперативна характеристика на тестов въпрос 1 Вероятност за положителен отговор 0
P(+) 1 A B C D E 00000 10000 11000 11100 11110 11111 0 Скалограмни образци
Айтеми A B C D E • 1 0 0 0 0 0 • 2 1 0 0 0 0 • 3 1 1 0 0 0 • 4 1 1 1 0 0 • 1 1 1 1 0 • 1 1 1 1 1 Образци на отговори Триъгълен модел на безпогрешна скалограма
Триъгълен анализ. Аналитична процедура Г А Ж Д Б В Е З 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 0 0 1 0 1 1 1 0 0 1 1 0 1 1 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 48265731 А 0 1 1 1 1 1 1 1 1 8 В 0 0 1 1 1 1 1 1 1 7 Д 0 0 0 1 1 1 1 1 1 6 Б 0 0 0 0 1 1 1 1 1 5 Г 0 0 0 0 0 1 1 1 1 4 Е 0 0 0 0 0 0 1 1 1 3 Ж 0 0 0 0 0 0 0 1 1 2 З 0 0 0 0 0 0 0 0 1 1
Теория за скритите черти Вероятностна оперативна характеристика на дихотомен айтем 1 Вероятност на положителен отговор 0
Теория за отговор на тестов въпрос. Вероятностни оперативни характеристики на 5 айтема P(+) 1 A B C 0,5 D E 0
Вероятностни оперативни характеристики на 10-те тестови задачи по история
Трудност и различителна сила на 10-те тестови задачи по история според вероятностния модел
Адаптивно тестиране Трудност на задачата _ 5 4 _ 3 _ + 2 + + + + 1 + 0 -1 -2 1 2 3 4 5 6 7 8 9
Когнитивни атрибути, чрез които може да се обясни трудността на 9 айтемa в тест по математика Колкото по-голяма е алгебричната стойност на основния параметър за трудността на даден когнитивен атрибут, толкова по-голям е приносът му за трудността на тестовите задачи. Dimiter M. Dimitrov (George Mason University, USA, Encho Gerganov, Maurice Greenberg and Dimitar Atanasov (New Bulgarian University) (2008). Analysis of Cognitive Attributes for Mathematical Items in the Framework of Rasch Measurement. Paper Presented at the Annual Meeting of the American Educational Research Association (AERA), March 23-28, New York, NY
Вероятностни криви за четири когнитивни атрибута: А1=основни знания по алгебра; А2=основни алгебрични операции; А3=основни знания по геометрия и А4= умения за решаване на задачи
Разкриване на понятийни структури в семантичната памет на обучаваните. Понятийно картографиране. Един пример Стимулен материал – 8 понятия от когнитивната психология Памет Активно възпроизвеждане Забравяне Възприятие Усещане Мислене Вземане на решение Решаване на задачи
Инструкция Оценете степента на близост между всеки две понятия, които ще ви подавам, като използвате оценките от следната седембална скала. По смисъл двете понятия са: Много близки – 7 Близки – 6 По-скоро близки, отколкото далечни – 5 Колкото близки, толкова далечни – 4 По-скоро далечни, отколкото близки– 3 Далечни – 2 Много далечни – 1
Разкриване на понятийни структури за същите осем понятия в учебник по когнитивна психология чрез процедурите на латентносемантичния анализ (LSA)
Анализ на емпиричните данни • Две стъпки при изпълнение на анализа: • получаване на таблици с числа за степените на близост между стимулните понятия въз основа • на студентските оценки за близост и • оценките за близост в учебника, получени чрез латентносемантичния анализ • клъстърен анализ на получените матрици на близости
Резултати Понятийни структури в: учебника по когнитивна психология семантичната памет на студентите