ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ СТУДЕНТОВ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

1. ТЕСТИРОВАНИЕ КАК ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ СТУДЕНТОВ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

2. Цель- обобщение опыта применения системы компьютерного тестирования знаний студентов по различным дисциплинам в ХНУРЭ. Рассматриваемые вопросы 1. Тестирование как способ контроля знаний. 2. Тестовые задания. 3. Контроль знаний, умений, навыков . 4. Технология проведения тестирований. 5. Оценивание знаний. 6. Статистические результаты тестирований. 7. Тестовый центр ХНУРЭ. Цели и задачи

3. Тестирование - это способ (технология) определения уровня знаний и умений студентов с помощью специальных тестовых заданий. Формы тестовых заданий : вопросы (однозначные ответы); контрольные задачи (контроль процесса решения). Характеристики процесса тестирования : дидактические (составление тестов); технологические (организация тестирования); технические (инструментальные средства). 1.1 Тестирование как форма контроля знаний

4. Бланковое достоинства : простота, надежность, мобильность ; недостатки : дороговизна подготовки, сложность перестройки, необходимость спец.персонала. Аппаратное Необходимость разработки специального оборудования . Компьютерное тестирование (обработка) на стороне клиента ; тестирование (обработка) на стороне сервера (клиент-серверные системы тестирования). 1.2 Организационные формы тестирования

5. Преимущества массовое применение ; минимальный технический персонал; автоматизация получения результата; конфиденциальность результатов. Компьютерная система тестирования OpenTEST Бесплатные программные инструментальные средства : СУБД MySQL ; Язык серверных сценариев PHP ; Язык текстовой разметки HTML ; Язык клиентских сценариев JavaScript . Мультиязычнй интерфейс (русский, украинский, английский). 1.3 Компьютерные (клиент-серверные) системы тестирования

6. Вопросы закрытого типа выбор одного из нескольких ; выбор нескольких из нескольких установка соответствия. Вопросы открытого типа свободноконструируемый ответ (ввод в поле ответа) ; расставить, переместить и т.д. 2.1 Тестовые задания вопросного типа. Типы вопросов

7. Описание ситуации. В этой части вопроса могут присутствовать текст, рисунки, графики, анимации и т.д. Эта часть вопроса не является обязательной, но все же рекомендуется ее применять, так как одна и та же ситуация может быть основой для множества однотипных вопросов. Текст вопроса. Он должен быть сформулирован четко, и не содержать двузначных формулировок. Текст вопроса достаточно часто может быть совмещен с описанием ситуации. Варианты ответов. В Web-интерфейсе выборочные варианты ответов на вопросы реализуются через radio-button ("выбор одного из нескольких") или check-box ("выбор нескольких из нескольких"). Визуально они различимы, поэтому обучаемый всегда может определить, какой тип вопроса ему предложен. Порядок следования вариантов ответов в исходном задании теста абсолютно несущественен (при выдаче тестов происходит случайное перемешивание порядка следования вариантов ответов). 2.2 Структура выборочного вопроса

8. Внешний вид вопроса типа «один из нескольких» в Web-интерфейсе системы OpenTEST. Внешний вид вопроса типа «один из нескольких» в Web-интерфейсе системы OpenTEST. 2.3 Типы выборочных вопросов в системе OpenTEST

9. Модель предметной области : «Тема» - «Подтема» - «Вопросы темы» Представление тестовой информации : XML-формат; doc-формат. Способы ввода тестовой информации : через Web-интерфейс непосредственно в БД; через имитатор Web-интерфейса с конвертированием его в XML-формат; из doc-файла с конвертированием его в XML-формат; из XML-файла (импортирование теста);. 2.4 Формы представления тестовой информации

10. Представление вопросов в doc-файле в форме таблицы Тема : Алгебраические уравнения Подтема : Уровень 1 Вопрос : Решить уравнение -1; 0; 11; 16; -11. 2.5 Формат представления тестового doc-файла

11. 2.6 Внешний вид теста в базе данных

12. 2.7 Нормирование длины тестов в системе OpenTEST • Под тематической единицей принято понимать совокупность всех видов учебной нагрузки (лекции, практические занятия, лабораторные работы, самостоятельная работа), необходимые для изучения определенной темы. Рекомендуемая минимальная длина тематической единицы – 7 часов.

13. 3.1 Уровень сложности вопросов • В теории приобретения знаний выделяют три уровня усвоения знаний : • узнавание (запоминание); • заучивание (понимание, применение); • актуализация (синтез новых понятий, комплексное применение умений и навыков). • Разные уровни (сложности) вопросов проверяют разные аспекты познавательной деятельности обучаемых. • Для точного оценивания уровня знаний, умений и навыков авторам теста было бы целесообразно разделять тесты по целевым установкам, например, "Физика_механика (знания)","Матанализ_пределы (умения)" .

14. 3.2 Пример вопросов на узнавание (запоминание) • Данный уровень сложности вопросов позволяет определить на сколько тестируемый знаком с материалом определенной предметной области. Такие вопросы проверяют исключительно уровень знаний тестируемого. • На какой свет светофора следует переходить улицу : • Красный ; • Желтый; • Зеленый. • Какова область значений функции Y = x2: • Y – больше / равно нуля (Y >= 0); • Y – меньше нуля (Y < 0); • Y – все действительные числа. • В каком году был основан город Харьков : • 1554; • 1645; • 1654.

15. 3.3 Пример вопросов на применение (понимание) • При использовании вопросов данного уровня сложности более глубоко проверяются знания и простейшие умения. Главное в ответе на такой вопрос - это умение правильно применять определенную формулу (закон, нормативный акт, пункта правил и т.д.) к описанной ситуации. • Сколько электроэнергии потребит элетролампа мощностью 100 ватт :за 30 минут : • 3 Квт-ч ; • 0.3 Квт-ч ; • 0.03 Квт-ч ; • 0.05 Квт-ч ; • Сколько существует булевых функций от трех переменных: • 8 ; • 16; • 256; • бесконечное множество ;

16. 3.4 Примеры вопросов на синтез новых понятий (умения и навыки) • При использовании вопросов данного уровня сложности более глубоко проверяются умения и навыки в решении типовых практических задач в данной предметной области. Обычно для ответа на такой вопрос необходимо применить несколько формул в определенной последовательности или выбрать правильные начальные условия для применения некоторых формул (законов), знать и уметь использовать основные физические и математические константы. • Как соотносятся между собой величины чисел eπ и πe : • eπ > πe ; • eπ < πe ; • eπ = πe.

17. 3.4 Примеры вопросов на синтез новых понятий (продолжение) • Дан фрагмент программного кода на языке С • #include <iostream> • void main() { • struct S{char c; S * next;} A = {'a', 0}, B={'b', &A}, C={'c', &B} D={'d', &C}, *p = &D; • for (int i=0; i<2 && p; i++) p=p->next; • std::cout << p->c;} • Какая буква будет выведена на консоль. • 'a'; • 'b'; • 'c'; • 'd'.

18. 3.5 Математические вопросы. Умения и навыки • Решить уравнение • 2 ; • 6 ; • 16, • 8 ; • 12 . • Применение свободноконструируемх ответов в математических задачах ограничено ! • Решить уравнение Cos 2x + Sin 2x = Cos x + Sin x • ответ { π/6 + 2/3 πn; 2πk } имеет достаточно много форм представления, в частности " π " может быть заменено на "180", или на запись "180 градусов". Периодичность ответов для тригонометрических уравнений также может быть представлена многими способами. • Математические символы типа “  ”, “”, “  ”,“ ”с клавиатуры в Web-интерфейсе не вводятся.

19. 3.5 Математические вопросы с задержкой появления ответов • Появление текста вопроса; • Нажатие кнопки «Ответ готов»; • Выбор ответа за 10 – 15 секунд (настраивается).

20. 4.1 Технология процесса тестирования • Составитель (автор) тестов • Выполняет тематическую разбивку предметной области, выбирает типы применяемых вопросов, группирует вопросы по уровням сложностии предлагает варианты шкалы оценивания. • Оператор ввода тестов • Является специалистом в области XML-формата и модуля “Студия тестов” OpenTEST.Оператор должен уметь вводить тест во всех режимах. • Организатор тестирования • Определяет цели и задачи тестирования, устанавливает параметры сеанса тестирования и способ оценивания. • Оператор проведения тестирования • Проводит тестирование непосредственно в машинном зале . • Инженер по знаниям • Анализирует статистические результаты тестирований по заказам преподавателей. • Администратор системы • Выполняет инсталяцию и системы OpenTEST и устанавливает права доступа разным категориям пользователей.

21. 4.2 Общая структура системы OpenTEST. Web-интерфейс

22. 5.1 Оценивание в системе OpenTEST. Границы диапазонов шкалы оценивания Bi–фактически набранный балл за ответ { 0 –1} Bimax – максимально возможный балл за ответ { 1 } N – число вопросов в сеансе B – оценка за сеанс в процентах (диапазон 0 -100%) • Ck – верхние границы k-го интервала • k – номер интервала 1<k<D • D – диапазон (балльность) шкалы оценивания • А – частота «угадывания» в выборочном вопросе • m – общее число вариантов ответов («выбор») • p – число правильных вариантов («несколько») B=

23. Пусть D=5, N=20, m=4 для всех вопросов. При этом С1=25%, С2=44%, С3=63%, С4=82%, С5=100% 25 44 63 82 100% B<C1 - неоцениваемый диапазон, соответствующий зоне «угадывания»B=75%, оценка «хорошо» 5.2 Пример шкалы оценивания с вопросами равной альтернативности *

24. 5.3 Установка авторской шкалы оценивания

25. 6.1 Форма выдачи результатов тестирования

26. Распределение количества тестируемых по шкале оценивания соответствует нормальному (Пуассоновскому) закону распределения с заметно выраженным максимумом в середине шкалы оценивания. Пример распределения оценок группы тестируемых по пятибалльной шкале оценивания. Максимальное значение количества оценок называется «норма шкалы оценивания» и характеризует сложность теста относительно группы тестируемых. 6.2 Норма шкалы оценивания

27. 6.3 Результаты тестирования по дисциплине «Дискретная математика» Группа СКС-03-1

28. 7.1 Тестовий центр ХНУРЕ • Метою діяльності тестового центру є використання та розвиток технологій комп’ютерного тестування знань в навчальному процесі ХНУРЕ. • Основними функціями ТЦ відповідно до головної мети є: • організація та координація робіт у галузі створення та впровадження єдиної системи комп’ютерного тестування знань в Університеті; • розробка та затвердження нормативної бази з питань комп’ютерного тестування; • підтримка працездатності єдиного університетського серверу комп’ютерного тестування; • проведення консультацій та навчання з викладачами та співробітниками Університету; • проведення експертизи тестових завдань.

29. 7.2 Нормативне забезпечення процесу тестування в ХНУРЭ • Положення про комп'ютерне тестування знань і вмінь в ХНУРЕ • Статус заходв тестування (поточне, підсумкове, контрольне); • Тестовий центр при Центрі технологій дистанційного навчання; • Технології та формати підготовки тестовмх завдань; • Процедури проведення експертизи тестових завдань; • Порядок підготовки та проведення тестувань; • Інтерпретація результатів тестувань. Позитивні результати підсумкового тестування є підставою для отримання студентом заліку або позитивної оцінки ("задовільно") при диференційованих формах підсумкового контролю (модульний іспит, письмовий іспит та інші).

30. 7.2 Технічне та організаційне забезпечення процесу тестування в ХНУРЕ • Тестовий сервер при Центрі технологій дистанційного навчання; • Комп’ютерна система тестування знань OpenTEST • (локальні інсталяції OpenTEST не підтримуються Тестовим центром); • Сайт opentest.com.ua ; • Технічна підтримка тестових заходів на рівні мережевої інфраструктури ХНУРЕ; • Відповідальні на кафедрах за проведення тестових заходів • (на першому етапі виступають в ролі організаторів тестувань). Офіцйними є результати тестувать, як отримані на тестовому сервері ЦТДН з використанням тестів, як пройшли експертизу у відповідності з процедурою, зазначеною в “Положенні . . . “.

31. Выводы • Компьютерная системе тестирования OpenTEST показала свою эффективность для контроля знаний умений и навыков студентов ХНУРЭ по различным дисциплинам. • Неоднократные попытки студентов «обойти» систему тестирования или «взломать» базу данных OpenTEST оказались безуспешными. • Базовая версия системы OpenTEST распространяется Центром технологий дистанционного обучения ХНУРЭ бесплатно. Вся информация имеется на сайте opentest.com.ua. Приглашаем все ВУЗы Украины к сотрудничеству !