1 / 62

1. Формирование профессионального сообщества на федеральном и региональном уровнях:

Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образования Г.С.Ковалева, ИСМО РАО. 1. Формирование профессионального сообщества на федеральном и региональном уровнях:

tuyet
Download Presentation

1. Формирование профессионального сообщества на федеральном и региональном уровнях:

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Международный мониторинг качества образования. Участие России в международных сравнительных исследованиях качества образованияГ.С.Ковалева, ИСМО РАО

  2. 1. Формирование профессионального сообщества на федеральном и региональном уровнях: федеральный уровень, например, ЕГЭ (разработчики КИМ и тестологи /математика, русский язык, обществознание, физика, химия, биология, география/; региональный уровень – организаторы ЕГЭ, специалисты аттестационных служб и др. Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

  3. 2. Разработка КИМ - создание заданий нового типа, технология разработки, статистические анализ заданий и КИМ, обеспечение качества КИМ. 3. Использование подходов и программного обеспечения для шкалирования и обработки данных Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

  4. 4. Проведение вторичного анализа данных исследований TIMSS-2003 PISA-2003 (например, выявление факторов, связанных с эффективностью образования) 5. Установление профессиональных контактов со специалистами стран, участвующих в международных исследованиях (например, Финляндия, Норвегия, Германия, Япония, Тайвань, страны СНГ и Балтии и др.) Исследование PISA(с 2000 по 2003 годы): Математика – нет изменений Чтение – статистически значимое снижение результатов Естествознание – статистически значимое улучшение результатов Опыт участия в международных исследованиях и создание общероссийской системы оценки качества образования

  5. Исследование TIMSS (более 65 стран) Оценить качество математического и естественнонаучного образования в начальной, основной и средней школе Выявить динамику в результатах (1995, 1999, 2003, 2007, 2008) Выявить факторы, позволяющие объяснить различия в результатах Исследование PISA (57 стран) Оценить обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни Выявить динамику в результатах (2000, 2003, 2006) Выявить факторы, позволяющие объяснить различия в результатах Информация об исследованиях: цели и задачи

  6. Исследование PIRLS (40 стран) Оценить качество чтения и понимания текстов в начальной школе Выявить динамику в результатах (1991, 2001, 2006) Выявить факторы, позволяющие объяснить различия в результатах Исследование ICES (?) Оценить качество граждановедческого образования в средней школе Выявить динамику в результатах (1999, 2000, 2008) Выявить факторы, позволяющие объяснить различия в результатах Информация об исследованиях: цели и задачи

  7. Исследование TEDS (более 20 стран) Оценить качество педагогического образования в области математики (программы обучения, учебный процесс, подготовка будущих учителей) Выявить факторы, позволяющие объяснить различия в результатах Исследование SITES (более 20 стран) Изучить опыт использования информационных технологий в образовании Выявить факторы, связанные с эффективным использованием ИКТ в обучении Информация об исследованиях: цели и задачи

  8. Исследования TIMSS,PIRLS, ICES, TEDS Международная Ассоциация по оценке образовательных достижений - IEA Более 65стран Исследование PISA Организация экономического сотрудничества и развития - OECD Около 60 стран Организаторы и участники

  9. управление PISA Секретариат OECD Группы международных экспертов по отдельным предметно-содержательным областям: по математической грамотности; грамотности чтения; Естественнонаучной грамотности Группа международных экспертов по вопросам формирования выборки, конструирования инструментария, обработки данных, статистического анализа результатов Консорциум PISA Управление национальными проектами Организация исследования PISA

  10. Исследования: PIRLS (основное исследование- 46 регионов, 232 школы, 4955 учащихся 3-4 классов) TIMSS (апробационное исследование - 3 региона, около 3000 учащихся 4 и 8 классов, разработка инструментария для исследования TIMSS-2008, углубленное изучение математики и физики) Исследование PISA (основное исследование – 46 регионов, 210 образовательных учреждений, 6154 учащихся 15-летнего возраста) Международные исследования в в России в 2006 году

  11. Ступени образова-ния Аттестация Федеральный мониторинг качества образования Международ-ные мониторинго-вые исследования TIMSS Выборка, (углубленные курсы математики и физики, 1 раз в 10 лет СТАРШАЯШКОЛА Профильный (ЕГЭ) и базовый экзамены Все выпускники Анализ результатов ЕГЭ Выборка ежегодно 11 класс Мониторинго-вые исследования по отдельным предметам, 1 раз в 4-5 лет 10 класс Стартовая диагностика PISA Выборка, 1 раз в 3 года Организационная схема мониторинга образовательных достижений(общее образование)

  12. ОСНОВНАЯ ШКОЛА Итоговая аттестация Все выпускники Анализ результатов Выборка 9 класс Мониторинговые исследования по отдельным предметам, проводимые совместно с международными исследованиями PISA Выборка, 1 раз в 3 года 8 класс TIMSS Выборка 1 раз в 4 года 7 класс 6 класс 5 класс Стартовая диагностика Организационная схема мониторинга образовательных достижений(общее образование)

  13. Начальная школа 4 класс Итоговая аттестация Все выпускники Анализ результатов Выборка TIMSS, PIRLS Выборка 1 раз в 4-5 лет 3 класс 2 класс 1 класс Стартовая диагностика Готовность к обучению в школе Все выпускники Анализ результатов Выборка Организационная схема мониторинга образовательных достижений(общее образование)

  14. Особенности разработки инструментария мониторинговых исследований качества образования (на примере международных сравнительных исследований PISA, PIRLS и TIMSS)

  15. Общие требования к разработке инструментария • Требования в соответствии с целевыми установками исследования: • Разработанный инструментарий должен соответствовать выбранной модели образовательной системы и позволять: • Оценить образовательные достижения в соответствии с принятыми стандартами, таксономией и т.д. • Получить информацию о факторах, влияющих на образовательные результаты; • Установить динамику в изменении образовательных достижений и образовательного контекста; • Получить данные для управления качеством образования; • Получить данные, необходимые для совершенствования системы образования

  16. Характеристика системы Институционные структуры Планируемый уровень образования Система Характеристика школьного окружения, школы, учителя Учебный процесс и условия обучения в школе и классе Реализуемый уровень образования Школа или класс Характеристика ученика Деятельность ученика Достигнутый уровень образования Учащийся Модель системы образования

  17. Показатели, характеризующие систему образования и страну в целом Показатели, характеризующие школу и ее окружение, учебный процесс Показатели, характеризующие ученика Анкета для экспертов в области образования Анкета для администрации школы Анкета учащихся Планируемый уровень образования Реализуемый уровень образования Достигнутый уровень образования 1. Анализ программы и учебников. 2. Анкета для экспертов по математическому и естественнонаучному образованию. 3. Анализ международного банка заданий. Анкета для учителя Инструментарий для оценки учебных достижений Система инструментария исследования TIMSS

  18. Общие требования к разработке инструментария • Требования теории педагогических измерений: • Соответствие выбранной модели измерения • Валидность по отношению к проверяемому содержанию образования • Надежность оценки • Наличие качественных статистических характеристик, позволяющих выстраивать измерительные шкалы (тесты и анкеты)

  19. Общие требования к разработке инструментария • Учет особенностей проведения: • Соответствие возрастным особенностям учащихся • Обеспечение стандартизации процедуры проведения тестирования • Качество инструкций • Качество полиграфии

  20. Общие требования к разработке инструментария • Ориентация на форму представления результатов (средние значения, результаты по уровням, по отдельным содержательным областям и уровням учебно-познавательной дея.) • Учет финансовых и организационных возможностей.

  21. Пример инновационных подходовРазработка заданий нового типа

  22. Формирование представительной выборки учащихся в международных исследованиях PIRLS и PISA

  23. Зачем необходима выборка? • Невозможно провести тестирование всех учащихся по всему изученному материалу • Более 2 млн. учащихся • Более 200 требований стандарта по предмету (более 1000 заданий) • Значительные финансовые и материальные затраты • Нет необходимости проводить тестирование всех учащихся по всему изученному материалу • Теория формирования выборки • Современная теория тестов (IRT) • Последствия: • При анализе результатов необходимо учитывать характеристики, связанные с выборкой (вес, ошибка выборки и др.)

  24. Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 1: Выборка, ориентированная на год обучения (класс) Исследование PIRLS: • Все учащиеся страны четвертого года обучения в школе(ISCED Level 1) • Средний возраст учащихся 9,5 лет В России: выпускники начальной школы 4-го класса (по программе 1-4) и 3-го класса (по программе 1-3), средний возраст - 10,3 лет (2001 г.), - 10,6 лет (2003 г.) В большинстве стран: учащиеся 4 класса, средний возраст 10,3 лет (2001, 2003 г.)

  25. Определение целевой совокупности (генеральной совокупности). 2 подхода Подход 2: Выборка, ориентированная на возраст Исследование PISA: • Все обучающиеся страны 15-летнего возраста (1990 г. рождения)(ISCED Levels2-3) В России: учащиеся 7-11 классов средней школы, студенты ОУ НПО и СПО

  26. Совокупности и исключения Исключения на национальном уровне Международная планируемая совокупность Национальная планируемая совокупность Исключения на уровне школ Национальная исследуемая совокупность Исключения внутри школы Реальная совокупность

  27. Стандарты формирования выборки: 1 • Исследование PIRLS и PISA • Выборка считается представительной, если исключения разного уровня не превышают 5%. • Исключения на национальном уровне: • географически удаленные школы (PISA – менее 0,5%), • очень малые школы (только PIRLS) • Исключения на уровне школ (учащиеся с недостатками умственного и физического развития, с неродным русским языком (обучение на русском языке менее 1 года) не должны превышать 2,5% • Общее исключение в исследовании PIRLS – 4,9% • Общее исключение в исследовании PISA - 2,96% (0,96% - специальные и коррекционные школы, до 2% исключения на уровне ОУ)

  28. Стандарты формирования выборки: 2 • Исследование PISA • Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ и не менее 80% от всех отобранных учащихся • Исследование PIRLS • Выборка считается представительной, если коэффициент участия ОУ не менее 85% от отобранных ОУ, не менее 95% от отобранных классов и не менее 85% от всех отобранных учащихся

  29. Эффективный размер выборкиЧисло школ и учащихся • Определяется структурой собираемых данных • Зависит также от требуемой точности измерений, коэффициента внутриклассной корреляции, средней наполняемости класса и надежности теста. • Эффективный размер случайной выборки учащихся – 400 • При доверительном интервале 95% • Средние значения с точностью +/- 0,1 станд. отк. • Проценты +/- 5 • Корреляции +/- 0,1 • Эффективный размер случайной стратифицированной выборки (собираются данные не только об учащихся, но и школах и классах) – 150 школ и 4500 учащихся

  30. Минимум 150 школ Максимум 35 учащихся в образовательном учреждении Размер выборки – минимум 5250 учащихся 210 образовательных учреждений Участвуют 35 учащихся 7-11 классов или 1-2 курсов ОУ НПО и СПО Размер выборки – 6154 учащихся Размер выборки (PISA-2006) Требования Россия

  31. Размер выборки (PIRLS-2006) Россия Требования • 232 школы • 1 класс в каждой выбранной школе • Участвуют все учащиеся выбранного класса • Размер выборки – 4955 учащихся • Минимум 150 школ • Минимум 1 класс в школе • 2 класса выбирается в целях сравнения результатов внутри школы • или • для достижения необходи-мого размера выборки • Участвуют все учащиеся выбранного класса • Размер выборки – минимум 4 000 учащихся

  32. Состав выборки ИсследованиеPISA Исследование PIRLS • Из 232 школ: • Средние общеобразовательные школы – 182 • Основные школы – 12 • Начальные школы – 5 • Гимназии и лицеи - 33 • Из 210 образовательных учреждений: • Средние общеобразовательные школы - 141 • Гимназии – 9 • Лицеи - 2 • Основные школы - 14 • Вечерние школы – 12 • Школа–интернат – 1 • ОУ НПО – 13 • ОУ СПО - 18

  33. Этапы формирования выборки • Работа с базами ОУ регионов - «чистка» базы • Формирование выборки ОУ - формирование выборок исследований PIRLS и PISA - утверждение выборок в Международных координационных центрах PIRLS и PISA • Связь с образовательными учреждениями - PIRLS: получение списков классов и учащихся - PISA: получение списков обучающихся 1990 г.р. • Выбор участников исследований - PIRLS: классов(учащихся) - PISA: обучающихся 1990 г.р. • Ввод информации об участниках исследований • Подготовка документации для проведения тестирования в отобранных ОУ

  34. Стратификация • Группировка ОУ согласно некоторым признакам. Используется, чтобы: • улучшить дизайн выборки (сделать оценки выборки более надежными); • привести в соответствие пропорциональную представительность разных групп в генеральной совокупности.

  35. Стратификация Переменные стратификации: • Регионы, районы; • Тип урбанизации (город-село) • Социо-экономический статус ОУ • Тип ОУ • Ступень обучения и др.

  36. Стратификация Внешняя Внутренняя PIRLS, PISA:регион (45 регионов – 45 страт) Для каждого региона строится отдельный список ОУ Выборка ОУ проводится внутри каждого региона PIRLS: Тип населенного пункта (9 уровней) PISA: Тип (4 уровня) и вид (16 уровней) образовательного учреждения; тип населенного пункта (9 уровней)

  37. Технические стандарты международных исследований Обеспечение качества исследования

  38. Как это проверить? Все, кто использует данные, полученные в исследовании, должны быть уверены, что данные отражают реальную ситуацию в системе образования. Процедура обеспечения качества реализует данное требование. PolicyMaker Как они были получены? PolicyMaker Как это делается? Очень интересно! PolicyMaker Обеспечение качества Процедуры сбора данных Полученные в исследовании данные

  39. Что включает система обеспечения качества исследования? • План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS, и др. • Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. • Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования • Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

  40. Система обеспечения качества основана на соответствии стандартам качества • Консорциум контролирует качество проведения исследования в соответствии с разработанными стандартами качества • Формирование выборки • Язык, на котором проводится тестирование • Участие в проведении апробационного исследования • Адаптация инструментария и руководств • Перевод инструментария и руководств • Проведение тестирования • Реализация национальной части исследования • Мониторинг качества • Тиражирование материалов • Проверка заданий с открытыми ответами • Анализ полученных данных

  41. Источники данных об обеспечении качества проведения исследований • Выборка • Перевод и верификация • Проведение тестирования (MAS) • Мониторинг качества • Мониторинг работы национального центра • Проверка работ (Перепроверка работ, Международная проверка), • Отправленные данные, • Адаптация (QAS, TAS) • Анализ проведения исследования (подготовка отчета)

  42. Данные Подтверждение соответствия стандартам Стандарты качества В большинстве случаев данные должны соответствовать стандартам.

  43. Что происходит при несоответствии стандартам качества? • Решение зависит от : • Степени несоответствия стандартам • Наличия возможности исправления • Чистка данных • Проверка данных на соответствии качеству • Анализ данных при невозможности их исправить • Анализ изменений, внесенных консорциумом • Рекомендации по включению в международный отчет • Полная публикация • Публикация данных только частичная (в некоторых таблицах) • Публикация в Приложениях к отчету и др.

  44. Пример вторичного анализа данныхЭффективность ситемы образования

  45. Актуальная ситуация: • Запрос рынка труда на качественно новый результат школьного образования • Проблемы и противоречия в системе образования Несоответствие системы образования новым социально-экономическим задачам

  46. Школы пытаются преодолеть этот разрыв с помощью: • авторских программ; • уровневого содержания образования; • новых педагогических технологий; • новых форм организации процесса обучения; • и др. (кто как может). Возросло число специфических внутренних задач, которые может ставить и решать каждая конкретная школа

  47. Преодоление разрыва

  48. 1. Исследование общих закономерностей Без знаний и информации Вы – просто некто со своим мнением … Знание успешности обучения – важнейший аспект … Только этого мало! Необходима информация о других параметрах образовательной среды.

  49. Образовательная среда Обычно оценивается в терминах "эффективности школы" как социальной системы - эмоционального климата, личностного благополучия, особенностей микрокультуры, качества воспитательно-образовательного процесса и др. Важным фактором школьной эффективности выступает организационный (обеспечивающий солидарность представлений учителей о своем профессиональном долге, их умение увязать личные педагогические философии как друг с другом, так и с учащимися, поддержку автономной инициативы учителей администрацией школы и др.). Параметров так много, что в них легко потеряться!

  50. Чем же так хороши (помимо четкой постановки целей и задач, отработанных процедур проведения и обработки результатов) международные исследования оценки качества образования?

More Related