С.М.Авдеева

1. Характеристика инструментария: объекты измерения, рамка и спецификация теста, метод наблюдаемых доказательств, примеры тестовых заданийТестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

2. Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИК-компетентности

3. ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Метод разработки теста: в центре – доказательства компетентности(evidence centered design –Mislevy, Levy, 2006) ИК-компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей

4. ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Концептуальные подходы к разработке инструмента оценки ИК-компетентности • Что мы измеряем? • Уровень ИК- компетентности (7 составляющих ИК- компетенции) • Как мы можем оценить уровень ИК-компетентности? Как мы можем обнаружить/судить об… • Через систему измеряемых доказательств • Как мы измеряем уровень ИК-компетентности? • Через систему тестовых заданий

5. Процедуры разработки теста в двух разных подходах Классическая разработка теста Тест, построенный на системе свидетельств Спецификация содержания Модель компетенций Рамка теста Модель сбора свидетельств Создание опросов/задач Модель задания Анализ данных «Проходной балл» Задание

6. ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Тест, построенный на системе доказательств– это набор взаимосвязанных процедур, призванных прояснить два вопроса: • Какие доказательства ИК-компетентности учащегося мы можем непосредственно наблюдать? 2. Как структурировать ситуацию, чтобы увидеть эти доказательства?

7. Пример разработки тестового задания: «Работа с почтовым ящиком/электронной почтой» • Предмет оценки: • компетенция: Управление (определение: применение существующей организационной или классификационной схемы) • операционализация: предпринять элементарную организацию имеющейся информации для дальнейшего использования • Общие параметры/общая рамка тестового задания: • Продолжительность выполнения: 4 минуты • Содержание: Практические дела • Контекст: Личный • Основные инструменты: Электронная почта 7

8. Тестовое задание «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования • Измеряемая составляющая ИК-компетентности: УПРАВЛЕНИЕ • Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): • Точность в управлении информацией • Сохранение информации для того, чтобы ее не потерять • Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. • Как измерить 1-й наблюдаемый признак/ переменную №1: • Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; • Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. • Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ».

10. Some interface elements are not translated YET. We are here for that.

14. Наблюдаемые признаки/Измеряемые переменные

15. Метод разработки теста: в центре – свидетельства компетентности(evidence centered design –Mislevy, Levy, 2006) 1. Определениякомпетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия составляющих ИК-компетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какой-либо задачи.

16. ПримерМодель компетенций: что измеряем и зачем? ИК-компетентность Доступ Интеграция Передача Определение Управление Создание Оценка Модель сбора свидетельств: что мы можем узнать о компетенции управления, наблюдая за деятельностью учащегося?

17. Пример Весь спам помечен как «Спам» Ситуация, в которой нужно сохранить скачанный файл Ситуация, в которой файл нужно сохранить в определенную папку Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности?

18. Пример Тестовое задание Весь спам помечен как «Спам» +контекст +контент Ситуация, в которой нужно сохранить скачанный файл Ситуация, в которой файл нужно сохранить в определенную папку Модель тестового задания: как мы можем структурировать ситуацию, чтобы увидеть свидетельства компетентности?

19. Одно из важнейших преимуществ теста, построенного на системе свидетельств –конструктнаявалидность теста. Пример: в ситуации необходимости сортировки спама, в которой учащийся может проявить свою компетентность таким образом, чтобы мы ее смогли зафиксировать, учащийся отсортировал спам, что является одним из свидетельств его компетентности в части управления информацией, и, следовательно, одним из проявлений общей ИК-компетенции.

20. Разработка тестового задания: основные этапы Этап 1 • выбор одной или нескольких компетенций • операционализация определения данной компетенции/данных компетенций Этап 2 В соответствии со спецификацией теста выбираем: • продолжительность выполнения тестового задания • содержание • контекст • основные инструменты. Этап 3. Выделение измеряемых переменных Этап 4. Написание сценария тестового задания 20

21. Данное задание измеряет/определяет уровень владения четырьмя компетенциями: «Доступ к информации», «Оценка информации», «Создание информации», «Коммуникация» с помощью следующей ситуации: поиск данных для создания графика и ответа на поставленной учительницей вопрос исследования Пример т Пример тестового задания:«ЯзыкПример тестового задания «ЯЗЫКИ МИРА»мира» естового задания:«Языки мира»

22. Пример разработки тестового задания: «Языки мира» • Предмет оценки: • компетенция: Доступ (определение: способность искать и находить информацию из различных источников в разных средах) • компетенция: Оценка (определение: способность составить мнение о качестве, авторитетности, релевантности, полезности или эффективности информации и ее источников) • компетенция: Создание (определение: способность создавать или адаптировать информацию с учетом конкретной задачи, выражать главную мысль и приводить аргументы и свидетельства) • компетенция: Коммуникация (определение: способность адаптировать информацию к конкретной аудитории) Операционализация: • найти необходимую информацию и ответить на поставленный вопрос на базе полученной информации, подкрепив ответ аргументами • Общие параметры/общая рамка тестового задания: • Продолжительность выполнения: 30 минут • Содержание: Общественные науки • Контекст: Учебный Основные инструменты: База данных, Электронная почта, Конструктор схем, Презентация 22

23. Пример разработки тестового задания: «Языки мира» • Выделение измеряемых переменных: • Качество выбора источников • Качество создания поискового запроса • Соответствии информации в выбранном ресурсе указанным требованиям • Качество построенного графика (с какой попытки был построен правильный график) • Соответствие отправленного графика указанным требованиям • Точность информации, представленной на слайде презентации • Степень полноты информации в отправляемом сообщении • Насколько подходящим по содержанию является отправляемое сообщение? • Соблюдение правил цитирования информации • Качество организации информации на отправляемом слайде • Покрытие коммуникационных задач • Написание сценария задания: • описание ситуации: вам нужно ответить на вопрос в рамках исследования, основываясь на полученной в процессе поиска информации и проиллюстрировав свой ответ построенным графиком. • постановка задачи: найдите бесплатную базу данную, постройте график на основе полученных данных, создайте слайд, включив в него график и ответ на поставленный вопрос, отправьте слайд по электронной почте учительнице. 23

24. Тестовое задание «Языки мира»: автоматическая обработка результатов тестирования • Измеряемые компетенции: ДОСТУП, ОЦЕНКА, СОЗДАНИЕ, КОММУНИКАЦИЯ • Доказательства, по которым можно судить о наличии данных компетенций (Observables): • Качество выбора источников • Качество создания поискового запроса • Соответствии информации в выбранном ресурсе указанным требованиям • Качество построенного графика (с какой попытки был построен правильный график) • Соответствие отправленного графика указанным требованиям • Точность информации, представленной на слайде презентации • Степень полноты информации в отправляемом сообщении • Насколько подходящим по содержанию является отправляемое сообщение? • Соблюдение правил цитирования информации • Качество организации информации на отправляемом слайде • Покрытие коммуникационных задач • Как измерить 1-й наблюдаемый признак/ переменную №1: • Если участник выбирает в качестве типа базы данных Статистика и/или Графики, то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; • Если помимо Статистика и/или График выбрано Картинки или Тексты, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. • Если Статистика и/или Графики не выбрано, то уровень «НИЗКИЙ».

25. Система измеряемых доказательств Поведение и поступки, которые отличают людей с разным уровнем ИКТ - компетентности Пример: компетенция – Коммуникация, т.е. способность адаптировать информацию к конкретной аудитории

26. Экран с заданием

27. Инструкция и интерфейс

33. Отправка информации корреспонденту

34. Что думают школьники о тестировании ИК- компетентности

35. Спасибо за внимание!