Системы Интернет - тестирования в профессиональном образовании: ретроспектива и перспективы

1. Системы Интернет - тестирования в профессиональном образовании: ретроспектива и перспективы Наводнов Владимир Григорьевич доктор технических наук, профессор Москва, март 2010

2. Содержание • Потребность в проекте ФЭПО • Основная идея технологии Интернет - экзамена • Двенадцать основных принципов ФЭПО • Что такое АПИМ? • Насколько широки возможности компьютерного тестирования? • Немного статистики • Тестирование во время государственной аккредитации вуза • Риски • Next Steps: • Интернет-тренажеры (самоконтроль, обучение, текущий контроль) • Навстречу ФГОС-III • Международные открытые студенческиеИнтернет-олимпиады • ПИМы для поступления в магистратуру и аспирантуру

3. Потребность в проекте ФЭПО: Помощь вузам в проведении самообследования – тестирование по циклам дисциплин: ЕН ГСЭ ОПД Создание вузами элементов системы обеспечения качества (в части внешней независимой оценки результатов обученности студентов) Реальная помощь вузам по предотвращению стрессовых ситуаций при внеочередных проверках Если вуз регулярно участвует в ФЭПО (и результаты не вызывают сомнений), то экспертиза ООП (и даже вуза в целом) может проходить без проведения аккредитационного тестирования или проходить в минимальном объеме

4. Европейские стандарты и руководящие принципы Болонского процесса Поставщики высшего образования несут основную ответственность за качество и его гарантию Должно поощряться развитие культуры качества в вузах Должны разрабатываться процессы, с помощью которых вузы смогли бы продемонстрировать свою отчетность, … Гарантия качества с целью отчетности полностью равна по значимости гарантии качества с целью совершенствования учебного процесса Учебные заведения должны демонстрировать качество своей деятельности как в стране, так и на международной арене (г. Берген, 19-20 мая 2005 г.)

5. Окно программного модуляТест-Экзаменатор

6. Динамика участияобразовательных учреждений в Интернет-экзамене

7. Образовательные учреждения – участники ФЭПО-10

8. Динамика участия студентоввИнтернет-экзамене более 1 миллиона

9. Динамика доли студентов, освоивших все дидактические единицы дисциплины, по этапам Интернет-экзамена

10. Доли студентов, освоившихвсе дидактические единицы дисциплины, по категориям образовательных учреждений (ФЭПО-10)

11. Доли студентов, освоивших все дидактические единицы дисциплины, по циклам дисциплин (ФЭПО-10)

12. Доли студентов, освоивших все дидактические единицы по отдельным дисциплинам (ФЭПО-10)

13. Доли студентов, освоивших все дидактические единицы по отдельным дисциплинам (ФЭПО-10)

14. Дисциплины цикла ОПД

15. Дисциплины цикла ОПД

16. Дисциплины цикла ОПД

17. Двенадцать основных принципов ФЭПО Добровольность участия вузов (ссузов) Полное доверие в организации проведения тестирования Конфиденциальность получаемой информации Компьютерная проверка заданий (и, как следствие, относительно невысокая стоимость) Использование Интернет-технологий в процедуре тестирования Режим самофинансирования Единое время проведения Единые измерители для каждой ООП Использование критериально-ориентированных тестов (АПИМ) Общественный контроль за качеством тестовых материалов Оценивание и анализ, но не инспектирование Единые методики обработки и представления информации (педагогический анализ)

18. Основные принципы проведения Интернет-экзамена 1. Добровольность участия

19. 2. Полное доверие в организации проведения тестирования За организацию и проведение тестирования ответственность несут самиобразовательные учреждения

20. 3. Конфиденциальность получаемой информации 7. ДОПОЛНИТЕЛЬНЫЕ УСЛОВИЯ 7.1. Персональная информация о результатах педагогических измерений, полученная в рамках настоящего Договора, не может быть передана Исполнителем третьей стороне без согласия Заказчика.

21. 4. Компьютерная проверка заданий Типы заданий и их оценивание

22. 5. Использование Интернет-технологий в процедуре тестирования

23. 6. Режим самофинансирования Для образовательного учреждения, участвующего в ФЭПО, стоимость услуги не зависит от выбранного перечня дисциплин, количества программ и контингента студентов.

24. 7. Единое время проведения Интернет-экзамен проводится дважды в год: в период летней экзаменационной сессии -апрель-июнь в период зимней экзаменационной сессии - декабрь-январь

25. 8. Единые измерители для каждой ООП

26. 9. Использование критериально-ориентированных тестов (АПИМ) Нормативно-ориентированное тестирование Критериально-ориентированное тестирование

27. Возможные уровни: «Школа» (базовый уровень, основы ГОСа, азы, минимум миниморум) «Произвольная программа» Компетентностный подход (в рамках ФГОС-3) Приглашение профессиональных организаций: УМО, центров общественно-профессиональной аккредитации - для проведения второго тура на повышенном уровне «Олимпиадный уровень» (выявление и поддержка талантливой студенческой молодежи)

28. 10. Общественный контроль за качеством тестовых материалов (АПИМ)

29. Описатель заданий 1. Предмет: Математика 2. Объем часов: 600 3. Раздел ГОС: Анализ 4. Дидактическая единица ГОС: Математический анализ 5. Тема задания: Геометр. прилож. опред. интеграла 6. Уровень сложности (по Беспалько) – α =2 (знать и уметь) 7. Уровень абстракции (по Беспалько) – β = 2 8. Номинация в таксономии Блума – 1 (знание методов и средств обработки конкретных сведений) 9. Экспертное время выполнения – 2 минуты 10. Среднестатистическое время выполнения (медиана) – 1мин. 17 сек. 11. Коэффициент решаемости – 0,41 12. Дифференцирующая способность задания – 0,67 13. Перечень контролируемых учебных элементов Студент должен знать: формулу для вычисления площади кривол. фигуры уметь: записать формулу для вычисл. площади с помощью опред. интеграла 14. Ошибки, заложенные в дистракторах: False 2 – ошибка при записи подынтегральной функции False 3 – ошибка при расстановке пределов интегрир. в опред. интеграле False 4 –незнание формулы площади фигуры, записанной с помощью опред. интегр. 15. Дата создания – октябрь 2005 г. 16. Количество заданий в данном файле – 30 41% 11% 11% 37%

30. Обсуждение с общественностью Уточненная информация на сайтах www.i-exam.ru, www.ukc-nica.ru

31. Появляется возможность использования вузами качественных тестовых заданий, прошедших экспертизу независимых профессионалов и большую апробацию (сотни и даже тысячи испытаний каждого задания!) В рамках одного вуза создание базы данных заданий такого качества чрезвычайно дорого и просто не рентабельно. Лишь массовое производство и массовая апробация позволяют их сделать эффективными в соотношении цена/качество.

32. Мировой экономический форум в Давосе признал, что Финляндия имеет самую конкурентоспособную экономику в мире. Почему? Маленькая страна сделала ставку на образование – и победила … 11. Оценивание и анализ, но не инспектирование

33. Замена государственной инспекции институтом эвалюации – один из основных факторов успешности финской системы образования (введена в начале 90-х) Эвалюация – систематическое исследование процессов и результатов с целью их улучшения (на уровне школы, округа, на региональном уровне)

34. Отличие эвалюации от государственной инспекции

35. 12. Единые методики обработки и представления информации (услуга НИИ мониторинга качества образования) Позволяют руководителям и педагогам с единых позиций проводить анализ результатов тестирования студентов

36. Две моделиоценки

37. ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ ВЫПИСКА ИЗ П Р О Т О К О Л А ЗАСЕДАНИЯ АККРЕДИТАЦИОННОЙ КОЛЛЕГИИ 07.02.2008 № 1-2008/АК  1. СЛУШАЛИ: … О возможности признания при экспертизе соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного образовательного стандарта результатов усвоения студентами программного материала, полученных учреждениями высшего и среднего профессионального образования при проведении Интернет-экзамена в сфере профессионального образования (ФЭПО). РЕШИЛИ: Рекомендовать учреждениям высшего и среднего профессионального образования при проведении самообследования и оценки качества образования по дисциплинам циклов ГСЭ, ЕН и ОПД использовать технологию Интернет-экзамена, разработанную Росаккредагентством. Установить, что результаты Интернет-экзамена могут быть признаны в качестве оценки усвоения студентами программного материала при экспертизе соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного образовательного стандарта при выполнении учреждениями образования следующих условий: - регулярное участие в Интернет-экзамене (не менее чем три раза в два года перед проведением государственной аккредитации); - размещение на сайте образовательного учреждения результатов Интернет-экзамена с целью ознакомления общественности; соблюдение объективности процедуры проведения Интернет-экзамена, подтвержденное заявлением ректора (директора) образовательного учреждения. Поручить Росаккредагентству (В.Г.Наводнову) при подготовке информационно-аналитических материалов образовательных учреждений на Аккредитационную коллегию по новым образовательным программам указывать в них сведения о результатах Интернет-экзамена по данным программам.

38. Приказ о зачете ФЭПО(приказ Росаккредагентства от 27 октября 2009 г. N 84/ОД) В соответствии с решением Аккредитационной коллегии АК 2008/1 от 07.02.2008 года и в соответствии с приказом Рособрнадзора от 23.09.2009 № 2040 ПРИКАЗЫВАЮ: Признавать при государственной аккредитации образовательных учреждений в качестве оценки соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного образовательного стандарта результаты Федерального Интернет-экзамена в сфере профессионального образования, проводимого Росаккредагентством (далее – Интернет-экзамена), при выполнении следующих условий: • участие образовательного учреждения в Интернет-экзамене не менее трех раз за два года перед государственной аккредитацией; • размещение результатов Интернет-экзамена на сайте образовательного учреждения; • заявление руководителя образовательного учреждения о признании результатов Интернет-экзамена при государственной аккредитации с подтверждением объективности процедуры проведения Интернет–экзамена.

39. www.fepo.ru www.i-exam.ru www.att.nica.ru • Добровольность • Полное доверие вузам в организации тестирования • Конфиденциальность информации • Тренинг (самоконтроль, обучение) • Текущий контроль • Педагогический анализи мониторинг • Присутствие «наблюдателей» • Использование выборочных методов (в т.ч. ПолиАПИМов)

40. Компьютерное тестирование только в режиме on-line Согласно распоряжению Росаккредагентства от 10.11.2009 N 07/Р компьютерное тестирование в рамках процедуры государственной аккредитации с 11 ноября 2009 года проводится только в режиме on-line. Тестирование в режиме off-line используется в качестве резервного или по обращениям образовательных учреждений с обоснованием невозможности проведения тестирования в режиме on-line.

41. Отзывы:С.Тарануха, Н.Пижурина (Санкт-Петербургский университет водных коммуникаций)Инструменты повышения качества образования в вузе. Высшее образование в России, №11, 2009 • Ученым Советом в сентябре 2007 г. принято решение о регулярном участии в Интернет-экзамене • Упрощает процедуру проведения экспертизы • Позволяет провести объективную проверку уровня освоения дисциплин студентами • Дает возможность сравнения с другими вузами • Позволяет проанализировать результаты усвоения дисциплин на уровне дидактических единиц • Приводит к минимизации трудозатрат и средств для получения и обработки статистических данных

44. Риски ФЭПО • Низкое качество тестовых материалов • Невозможность проверки знаний тестовыми методами (задания с выбором ответа) • Возможность нарушения технологии • со стороны вуза • со стороны органа управления • Обучение может сводиться к натаскиванию • «Знаниевая» модель оценивания (через проверку освоения ДЕ)

45. Тренды Постепенный переход на режим on-line Расширение спектра экзаменов для различных направлений подготовки (специальностей). Широкое привлечение вузов (ссузов) к разработке заданий Создание мобильного сервиса для преподавателей и студентов (сайт www.i-exam.ru): Интернет – тренажеры для (само)подготовки студентов к ФЭПО, аккредитационному тестированию, различным контрольным мероприятиям Возможность для преподавателей самостоятельно готовить АПИМы из Централизованного банка заданий для текущей деятельности (зачеты, коллоквиумы, контрольные работы, экзамены, …) возможность для вузов создавать собственные банки заданий

46. Увеличение сервиса для студентов(персональные странички с анализом результатов, методические пособия, …) Увеличение сервиса для преподавателей(подробный педагогический анализ результатов, методические пособия, …) Развитие Всероссийской открытой студенческой Интернет-Олимпиады (сайт www.i-olymp.ru)как системы: привлечения внимания к талантливой молодежи отбора студентов для научной деятельности, распределения грантов, магистратуры и аспирантуры внедрения компетентностно - ориентированных АПИМ внедрения полидисциплинарных и междисциплинарных АПИМ разработки методологии тестирования для ФГОС-III

47. Интернет – тренажеры(обучение, самоконтроль, текущий контроль)www.i–exam.ru

48. Международные открытые студенческие Интернет-Олимпиады www.i-olymp.ru,

49. Творчество Нетиповые ситуации (компетентность) Типовые ситуации (воспроизведение) Узнавание

50. Проба пера • В 2008 году состоялись открытые предметные Интернет-олимпиады по пяти учебным дисциплинам: математике, физике, химии, теоретической механике и сопротивлению материалов. • В них приняли участие более 400 студентов из 6 вузов России. • Олимпиада по математике вошла в перечень Всероссийских олимпиад, проводимых Рособразованием. • Поставлена задача широкой апробации в 2009 г.