Высшая школа экономики, Москва, 2013 hse.ru

1. Результаты и перспективы реализации проекта "Оценка результатов обучения в высшем образовании" (Assessment of Higher Education Learning Outcomes, AHELO) в России Национальный аккредитационный совет,30 сентября2013 г. Высшая школа экономики, Москва, 2013 www.hse.ru

2. Цель и целевая аудитория проекта Конечная цель - разработка комплексного, объективного и научно обоснованного подхода к оценке результатов обучения в ВО (альтернатива международным рейтингам вузов); получение международно сопоставимой информации о результатах обучения в ВО на уровне вузов, факультетов, образовательных программ Цель feasibility study (2008-2012) - оценка принципиальной возможности международного измерения уровня знаний и практических навыков студентов вузов, обучающихся в различных языковых, культурных и институциональных контекстах; разработка соответствующих инструментов измерения для оценки общих знаний и компетенций и специальных знаний и компетенций для двух пилотных дисциплин – Экономика и Инженерные науки Основная целевая аудитория – выпускники бакалавриата (Россия – 4-й курс бакалавриата и/или специалитета), выборка – до 200 человек от вуза Фокус AHELOна оценку не теоретических знаний, а навыков и умений их применения в контекстах, максимально приближенных к будущей профессиональной практике (“above content” knowledge and skills) фото фото Высшая школа экономики, Москва, 2013

3. Направления проекта фото фото фоо Высшая школа экономики, Москва, 2013

4. 17 стран-участниц В общей сложности в проекте AHELO приняли участие 248 вузов и около 23 000 студентов из стран-участниц Страны-участницы фото фото Высшая школа экономики, Москва, 2012

5. Российские вузы – участники проекта 26 вузов-участников, включая: 3 университета – Экономика+Инженерные науки 7 университетов– только Инженерные науки (всего 10) 16 университетов – только Экономика (всего 19, 2 – только этап 1) фото фото Высшая школа экономики, Москва, 2013

6. Выборка и участие в России фото В общей сложности в проекте AHELO приняли участие 3581 студент и 520 преподавателей фото Высшая школа экономики, Москва, 2013

7. Инструментарий AHELO • Оценка результатов обучения студентов • Онлайнтестирование продолжительностью 90 мин., состоящее из 2 типов заданий – задания с конструируемыми ответами (CRTs) и тестовые задания (MCQs) • Оценка контекста результатов обучения • Заполнение онлайнвопросников (10 мин.): для студентов, для преподавателей, для институциональных координаторов и/или администрации вузов • Заполнение дополнительно разработанных национальных вопросников для студентов и преподавателей фото фото Высшая школа экономики, Москва, 2013

8. Результаты обучения как предмет анализа Признание возможности выработки университетами согласованных контрольных параметров (в терминах результатов обучения и компетенций ) по предметным областям, необходимых для обеспечения сопоставимости, совместимости и прозрачности программ и оценки качества образования (Tuning Educational Structures in Europe). LO в Экономике: знание и понимание предмета, а также умение их практического использования применительно к реальным ситуациям; способность эффективно оперировать необходимыми данными и использовать количественные методы оценки; способность устанавливать связь как со специалистами в данной предметной области, так и со специалистами в других областях; способность приобретать дополнительные образовательные навыки. LO в Инженерных науках: способность решать поставленные задачи, применяя базовые инженерные и научные принципы, инженерные подходы и общие навыки. в том числе, готовность подходить к решению таких задач с учетом возможностей улучшения качества жизни, ответа на социальные потребности, повышения конкурентоспособности и благосостояния общества фото фото Высшая школа экономики, Москва, 2013

9. Основные достижения и проблемы AHELO • Основные достижения: • Интерес и высокая мотивация вузов к участию в таких исследованиях • Достижение определенного консенсуса между специалистами в области образования; слабая включенность в проект профессионального сообщества - работодателей • Основные проблемы: • Иннновационная методология vsтрадиционный и слабый оценочный инструментарий: преобладание стандартных теоретических задач; слабая связь с профессиональным контекстом; ограниченность банка заданий… • Большая разница программ обучения между вузами: проблемы международной репрезентативной выборки; трудности сопоставления и оценки качества Образование (разные страны) Работодатели (разные страны) LO фото Общество (разные страны) фото Высшая школа экономики, Москва, 2013

10. Перспективы развития AHELO работодатели образование фото LO общество фото • Основные вопросы: • Возможности привлечения и достижения консенсуса между различными национальными и международными профессиональными организациями и сетями • Реальные возможности обеспечения связи образования и рынка труда (от ОПА до ОП процесса обеспечения качества) • Возможности учета меняющихся общественных интересов и потребностей Высшая школа экономики, Москва, 2013

11. Что проект дал России • Результаты оценки результатов обучения – важный источник информации для дальнейшей самооценки вузов, для корректировки стратегии развития, для бенчмаркинга (не для межвузовских сопоставлений!), альтернатива политике «5-100-2020» • Результаты анализа контекста результатов обучения – оценка студентами характера и сложности оценочных заданий и успешность выполнения студентами заданий различного типа; оценка студентами учебного процесса (чего пока не хватает) • Формирование консорциума заинтересованных вузов и межвузовских экспертных сетей по формированию и оценке результатов обучения по данным дисциплинарным направлениям • Хорошее позиционирование российских вузов в международном образовательном пространстве; • Возможности участия в разработке комплексной международной системы оценки качества подготовки в вузах и учета особенностей, интересов и потребностей отечественного образования в этом международном процессе фото фото Высшая школа экономики, Москва, 2013

12. Что пока не хватает? (оценка студентов) • Инновационного оценочного инструментария, позволяющего студентам применять свои знания и навыки в профессиональных контекстах (преобладание типовых задач, обычных для учебного процесса; незначительное соответствие заданий будущей профессиональной деятельности) • Умения решать такие инновационные задачи, навыков самостоятельного, авторского, творческого решения поставленной проблемы, умения синтезировать имеющиеся знания, навыков проектирования и создания нового знания на основе имеющегося (CRTs оказались трудновыполнимыми и одновременно более интересными для студентов) • Практики в ходе учебного процесса, практических занятий или на занятий по отработке навыков - лабораторных работ, эксперимент, полевые работ, а также групповой работы и дискуссионных форм обучения (лекционная форма остается преобладающей, учащийся остается преимущественно пассивным слушателем) • Реальной профессиональной практики (практика продолжительностью от 1 до 10 недель – более 50% студентов) • Оценка профессиональных (above-content ) умений и навыков при сохраняющейся традиционной организации учебного процесса с позиций методологии AHELO представляется преждевременной фотъо фото Высшая школа экономики, Москва, 2013

13. Перспективы проекта в России • Необходимо продолжение национальных исследований с учетом методологии и опыта AHELO, что позволит: • Сохранить и расширить межвузовские экспертные сети; поддержать интерес и доверие российских вузов к такого рода исследованиям качества; • - Усовершенствовать оценочный инструментарий с учетом выявленных слабых сторон использованного международного инструментария, прежде всего за счет активного взаимодействия с профессиональным сообществом и потенциальными работодателями; • Провести мониторинговое исследование в тех же вузах, что участвовали в исследовании 2012 года и получить более обоснованную и точную картину подготовки студентов по выбранным направлениям; • - Использовать международную методологию проекта AHELO для совершенствования инструментария и процедур начатого в 2012 году апробационного цикла модели федерального экзамена бакалавров (ФЭБ) фото фото Высшая школа экономики, Москва, 2013

14. Опыт ФЭБ • Цель: новый способ оценки образовательных результатов. • Формирование консорциума вузов (10 вузов), • Создание и апробация инструментария (три блока: открытые, с множественным выбором), • Формирование выборки, • Сбор данных: студенты, члены ГАК, внешние эксперты, руководство вузов, представители органов исполнительной власти, организаторы тестирования, • Сбор информации о результатах экзаменов, поступлении в магистратуру, дополнительных испытаниях в вузах • Выводы: • Наполненность курсов разная независимо от ГОС, • Задания с вычислениями и открытыми ответами являются сложными для студентов, • Создана база ВКР, вопросов к ГАЭ, • В некоторых вузах реализуются дополнительные квалификационные испытания, • Многие эксперты согласны с необходимостью дополнительного профессионального испытания. фото фото Высшая школа экономики, Москва, 2013

15. Методология проекта (2) Подробнее о методологии: OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering”,OECD Education Working Papers, No. 60, OECD Publishing. doi: 10.1787/5kghtchn8mbn-en OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in Economics”, OECD Education Working Papers, No. 59, OECD Publishing.doi: 10.1787/5kghtchwb3nn-en OECD (2012) AHELO Feasibility Study Report. Volume 1. Design and Implementation (http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf) OECD (2013) AHELO Feasibility Study Report. Volume 2. Data analysis and national experience (http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf) фото фото Высшая школа экономики, Москва, 2012

16. Методология проекта (3) Целевая аудитория: основная - выпускники бакалавриата (4-й курс) и/или 4-й курс специалитета дополнительная целевая аудитория – преподаватели по профильным предметам Создание консорциумавузов-участников (примерно 10 вузов в каждой стране-участнице), желательно разных по типу, территориальному размещению, контингенту учащихся и т.д. Основные требования к разработке выборки: Случайная стратифицированная выборка (одноступенчатая или многоступенчатая) Доля участия – 75 % от включенных в выборку Ожидаемый размер выборки для студентов – 200 человек от вуза (150 человек – реальное участие с учетом 25% не участвующих) Если менее 200 или чуть более 200 – включаются все Ожидаемый размер выборки для преподавателей – 40 человек от вуза (30 человек – реальное участие с учетом 25% не участвующих) Если менее 40 или чуть более 40 – включаются все Не допускается замена не участвующих студентов и преподавателей (‘volunteer sampling’) фото фото Высшая школа экономики, Москва, 2012

17. Инструментарий AHELO (1) Инструментарий AHELOдля оценки результатов обучения студентов Онлайнтестирование продолжительностью 90 мин., состоящее из 2 типов заданий – задания с конструируемыми ответами и тестовые задания Экономика: • 2 варианта открытых заданий, в каждом варианте 6-7 вопросов (студент решает один случайно выбранный вариант) • 50 тестовых заданий (студент решает 25 случайно выбранных) Инженерные науки: - 3 варианта открытых заданий, в каждом варианте 5-6 вопросов) (студент решает один случайно выбранный вариант) - 30 тестовых заданий (студент решает 10 случайно выбранных) фото фото Высшая школа экономики, Москва, 2012

18. Инструментарий AHELO (2) Инструментарий AHELOдля оценки контекста результатов обучения Заполнение онлайн вопросников (10 мин.) Для студентов Для преподавателей Для институциональных координаторов и администрации вузов фото фото Высшая школа экономики, Москва, 2012

19. Примеры заданий - Экономика (1) Вопрос по мировой торговле с развернутым ответом Ниже приведена цитата из статьи 2010 г. чилийского экономиста Алехандро Фоксли Со времен 1960-х годов, когда страны со средним доходом начали использовать региональные торговые соглашения, значимость этих связей возрастает, поскольку глобальный экономический кризис сокращает спрос со стороны Соединенных Штатов и других ключевых рынков. В связи с тем, что раунд переговоров по многосторонним торговым соглашениям в Дохе зашел в тупик, региональные торговые соглашения представляют собой альтернативный подход к росту торговли, стимулируют более значительный экономический рост и снижают уровень безработицы в странах-участницах. А. Объясните, что Фоксли имел в виду в своем утверждении. Б. Опишите состояние мировой экономики в 2008-2009 гг. В. Как данные экономические условия могли привести Фоксли к своим выводам в 2010 г.? Г. Приведите два преимущества регионального торгового соглашения, на которое мог бы сослаться специалист в области экономики, и объясните почему. Д. Приведите два недостатка регионального торгового соглашения, на которое сослался бы экономист, и объясните почему. фото фото Высшая школа экономики, Москва, 2012

20. Примеры заданий - Экономика (2) Тестовые задания: 1. Светлана является единственным производителем устройства промышленной упаковки. Ее постоянные издержки составляют 125 000 российских рублей в год и переменные издержки для каждого производимого устройства равны 200 рублям. Светлана максимизирует прибыль, и спрос на ее продукцию имеет вид X = 2400 - 2P, где X = количество единиц продукции, и P = цена. Чему равна максимальная годовая прибыль? (A) 500 000 рублей (Б) 400 000 рублей (В) 375 000 рублей (Г) 330 000 рублей 2. Город пытается решить, какой из двух видов электрических лампочек закупить на двухлетний период. Новая 60-ватная лампочка длительного пользования служит в среднем два года и стоит 0,39 российских рублей. Обычная 60-ватная лампочка служит в среднем один год и стоит 0,21 рублей. Обе потребляют одинаковое количество электроэнергии. Пусть ставка процента равна 5 процентам, темп инфляции составляет 0 процентов и цены лампочек остаются неизменными. Какова будет чистая приведенная стоимость (дисконтированная величина) сэкономленных городом средств в случае, если сегодня будет приобретено 100 000 лампочек длительного пользования? (A) 3000,00 рублей (Б) 2200,00 рублей (В) 2000,00 рублей (Г) 1800,00 рублей фото фото Высшая школа экономики, Москва, 2012

21. Инструментарий AHELO+ Дополнительный инcтрументарий для оценки контекста результатов обучения (AHELO+) Заполнение онлайн вопросников (15 мин.) Экономика -для студентов www.hse.ru/ahelo/q • Для преподавателей www.hse.ru/ahelo/f Инженернеы науки • Для студентов www.hse.ru/ahelo/ce • Для преподавателей www.hse.ru/ahelo/cef фото фото Высшая школа экономики, Москва, 2012

22. Инструментарий AHELO+ (2) Тематические блоки студенческой анкеты: • Характеристика программы обучения • Обучение в школе и поступление в вуз • Досуг • Процесс обучения на факультете • Планы по продолжению обучения и рабочие планы • Субъективная оценка навыков и способностей Тематические блоки преподавательской анкеты: • Общие сведения о работе и стаже • Научно-исследовательская работа • Преподавательская деятельность (стили и методики преподавания) • Оценка навыков и способностей студентов фото фото Высшая школа экономики, Москва, 2012

23. III. Предварительные результаты реализации проекта в России и перспективы дальнейшей работы по проекту

24. Генеральная совокупность и выборка фото фото Высшая школа экономики, Москва, 2012

25. Работы 2012 (1) 1. Проведено обучение ИК, администраторов тестирования и общественных наблюдателей методологии подготовки и проведения основного этапа исследования (в формате вебинаров); 2. Подготовлена репрезентативная стратифицированная выборка студентов и преподавателей на основе списков, предоставленных участвующими вузами; 3. Доработан международный инструментарий проекта AHELO; 4. Разработан дополнительный инструментарий для углубленного анализа национального контекста компетенций студентов (дополнительные анкеты для студентов и преподавателей); 5. Проведена апробация онлайн платформы для проведения тестирования и опроса студентов, опроса преподавателей и координаторов 6. Проведено основное полевое исследование на апробированной онлайн платформе в соответствии с методологией проекта AHELO… фото фото Высшая школа экономики, Москва, 2012

26. Работы 2012 (2) 8. Сформирована команда специалистов для оценки открытых оценочных заданий (скореров) и проведение их обучение методологии скоринга по проекту AHELO (в формате тренинга-семинара); 9. Проведен скоринг и результаты представлены в ACER; 10. Проведен анализ дополнительного анкетирования студентов и преподавателей, организованного НИУ ВШЭ параллельно с основным исследованием AHELO; 11. Начат анализ данных основного исследования AHELO, предоставленных ОЭСР и ACER в распоряжение национальных исследователей в конце декабря 2012 года; 12. Подготовлены национальные материалы по для публикации в международных отчетах по проекту. Результаты и опыт реализации основного и дополнительного исследования представлены на международных и национальных конференциях и семинарах; 13. Разработаны предварительные рекомендации по возможностям использования методологии и инструментария проекта AHELO в ходе разработки независимой комплексной системы оценки качества высшего образования в контексте внедрения новых стандартов высшего профессионального образования и распространения компетентностного подхода в образовании в России. фото фото Высшая школа экономики, Москва, 2012

27. Основные результаты и эффекты проекта (1) • Устойчивый интерес и поддержка со стороны российских вузов. Высокая мотивация и интерес со стороны студентов, преподавателей, руководителей вузов • Реализация проекта AHELO в России как крупного межвузовского горизонтального проекта, направленного на формирование системы независимой оценки качества высшего образования • Начало формирования экспертной сети в области новых подходов к формированию и оценке компетенций (в терминах результатов обучения) студентов вузов • Использование экспертной сети и наработок AHELO при апробации Федерального экзамена для бакалавров (ФЭБ) по направлению Экономика в 2012 фото фото Высшая школа экономики, Москва, 2012

28. Подробнее о проекте AHELO О методологии: OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering”,OECD Education Working Papers, No. 60, OECD Publishing. doi: 10.1787/5kghtchn8mbn-en OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in Economics”, OECD Education Working Papers, No. 59, OECD Publishing.doi: 10.1787/5kghtchwb3nn-en О результатах: OECD (2012) AHELO Feasibility Study Report. Volume 1. Design and Implementation (http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf) OECD (2013) AHELO Feasibility Study Report. Volume 2. Data analysis and national experience (http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf) О национальных результатах : Результаты и перспективы международной оценки российского высшего образования (по итогам реализации проекта AHELO в России) (готовится к публикации в Вопросах образования) фото Высшая школа экономики, Москва, 2012

29. Для получения дополнительной информации Мешкова Татьяна Анатольевна – tmeshkova@hse.ru www.hse.ru/ahelo/ www.oecd.org/edu/ahelo 101000, Россия, Москва, Мясницкая ул., д. 20 Тел.: (495) 621-7983, факс: (495) 628-7931 www.hse.ru