Высшая школа экономики, Москва, 2012 hse.ru

Семинар-тренинг по подготовке к проведению основного исследования в рамках проекта AHELO по направлению «Экономика» в российских вузах в 2012 году27, 30 января 2012 Высшая школа экономики, Москва, 2012 www.hse.ru

График реализации проекта в 2012 (1) фото фото Высшая школа экономики, Москва, 2012

График реализации проекта в 2012 (2) фото фото Высшая школа экономики, Москва, 2012

Оценочный инструментарий (1) фото фото Высшая школа экономики, Москва, 2012

Оценочный инструментарий (2) фото Все вопросники (3-AHELO, 1 – AHELO+) будут представлены ИК заранее, после получения от МК (в настоящее время доступны только в защищенной онлайн системе) фото Высшая школа экономики, Москва, 2012

Апробация онлайн системы тестирования Апробация оболочки и интерфейса (до конца января) • Проводится для проверки технической платформы, правильности отображения русскоязычного текста (кодировки) и т.д. • Не содержит конфиденциальной информации (оценочных заданий) • Не требует участия студентов • Может быть проведена не во всех вузах (по желанию) • Проводится на основании выдаваемого вузу пароля и логина Апробация полностью готовой системы тестирования (до конца февраля) фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (1) План/порядок подготовки выборки фото фото Высшая школа экономики, Москва, 2012

Основные требования к разработке выборки Случайная стратифицированная выборка (одноступенчатая или многоступенчатая) Доля участия – 75 % от включенных в выборку Ожидаемый размер выборки для студентов – 200 человек от вуза (150 человек – реальное участие с учетом 25% не участвующих) Если менее 200 или чуть более 200 – включаются все Ожидаемый размер выборки для преподавателей – 40 человек от вуза (30 человек – реальное участие с учетом 25% не участвующих) Если менее 40 или чуть более 40 – включаются все Не допускается замена не участвующих студентов и преподавателей (‘volunteer sampling’) Разработка выборки (2) фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (3) Определение целевой группы студентов В целевую группу студентов входят: • 4-й курс бакалавритата или специалитета по направлению подготовки «Экономика» (профили подготовки – для обсуждения) • Студент должен быть официально зачислен, регулярно посещать занятия, не относиться к категории студентов, готовящихся к отчислению В целевую группу не входят и должны быть исключены при выборке: • Студенты на стажировке в период исследования • Студенты на производственной практике в период исследования • Студенты, обучающие дистанционно или заочно (в случае нехватки выборки из студентов-очников в выборку можно включать студентов, обучающихся по очно-заочной/вечерней форме) В целевую группу входят, но должны быть изъяты из выборки в случае попадания в выборку • Студенты с ограниченными возможностями NB! В общий список вуза включаются все студенты (в том числе подлежащие исключению или изъятию из выборки). Студенты, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (4) Определение целевой группы преподавателей В целевую группу входят: • все преподаватели, относимые к категории ППС, в чьи трудовые обязанности входит в том числе подготовка студентов-бакалавров (или специалистов) по направлению подготовки Экономика по профильным для студентов-экономистов дисциплинам в течение текущего учебного года, включая период проведения исследования В целевую группу не входят (должны быть исключены при выборке): • Преподаватели, обучающие не по профильным предметам (напр., преподаватели истории, преподающие историю экономики для экономистов) • Преподаватели, обучающие экономическим предметам студентов-не экономистов • Преподаватели, в том числе совместители, исследовали, АУП, не имеющие текущих преподавательских обязанностей В целевую группу входят, но могут бытьизъяты из выборки в случае попадания в • Преподаватели, преподающие профильные дисциплины для студентов-экономистов, но имеющие большую доп. административную нагрузку NB! В общий список вуза включаются все преподаватели (в том числе подлежащие исключению или изъятию из выборки). Преподаватели, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (5) Подготовка списка студентов, которые попадают в целевую группу Шаг 1: Подготовка полного списка студентов, на основании рамки (таблицы), подготовленной НЦ и включающей: • Пол студента • Уровень успеваемости (по используемой в вузе 5 или 10-балльной шкале) • Широкое направление подготовки (в соответствии с МСКО) • Узкое направление подготовки (в соответствии с МСКО) • ФИО студента • Дата рождения студента • E-mail студента • Номер студенческого (ID) студента • Тел. студента • Статус студент- включен/изъят/исключен из выборки • Доп. основание для стратификации – обучение на бюджетной или платной основе • Другие основания для стратификации? (для обсуждения) Шаг 2 (в соответствии с Sampling Manual) - подготовку облегченного анонимного списка студентов можно не делать (задача НЦ) Шаг 3: отправка полного списка студентов в НЦ Шаг 4: автоматизированная случайная выборка – задача НЦ фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (6) Подготовка списка преподавателей, которые попадают в целевую группу Шаг 1: Подготовка полного списка преподавателей на основании рамки (таблицы), подготовленной НЦ Необходимые данные о преподавателях для включения в полный список и последующей выборки – для обсуждения с МК Шаг 2: отправка полного списка преподавателей в НЦ Шаг 3: автоматизированная случайная выборка – задача НЦ фото фото Высшая школа экономики, Москва, 2012

Разработка выборки (7) Вопросы для обсуждения: • Включаем все или некоторые (общие для всех вузов) профили подготовки студентов по направлению Экономика? Какие профили подготовки рекомендуется включить? (Проблема сопоставимости результатов между вузами) 2. Общее количество студентов студентов 4-го курса бакалавриата и/или специалитета и их количество по каждому профилю подготовки? (Проблема достаточности респондентов для выборки) 3. Возможно ли подготовить единый список всех студентов 4-го курса бакалавриата и/или специалитета, обучающихся по направлению Экономика по всем факультетам в вашем вузе? (Проблема оптимизации трудозатрат) 3.1. Если да, то в каком формате может быть предоставлен такой список и какая информация по студентам туда будет включена? Может ли туда быть включена такаяперсональная информация как: телефон, эл. адрес, дата рождения, успеваемость, форма обучения (плат./ бюджет) студента 3.2. Если нет, то каким образом может быть получена такая информация (через учебные части факультетов, через запрос дополнительной информации у студентов и т.д.)? фото фото фоо Высшая школа экономики, Москва, 2012

Подготовка к организации исследования в вузе (1) Задачи институционального координатора • Участие в национальных тренингах (следующий тренинг -ориентировочно 20-21 марта) • Апробация системы онлайн тестирования (до 31 января) • Помощь в получении официальных писем о дальнейшем участии вуза в проекте (до 15 февраля), включая: • Уточнение полномочий ИК или назначение нового ИК в случае изменений • Согласование дат проведения исследования в вузе (в период с 20 марта до 20 мая) с учетом учебного процесса, орг. и тех. возможностей 4. Участие в выборке и проведение рекрутинга студентов и преподавателей 5. Определение администраторов тестирования (методистов) в вузе и проведение их тренинга (до 29 февраля) 6. Согласование орг. и тех. возможностей проведения исследования в вузе (до 29 февраля) фото фото Высшая школа экономики, Москва, 2012

Подготовка к организации исследования в вузе (2) Обязанности институционального координатора • Ознакомление со всеми рабочими документами, необходимыми для исследования, рассылаемыми НЦ • Получение, проверка и обеспечение строгой конфиденциальности всех тестовых материалов и инструментария, получаемых до проведения исследования • Подготовка необходимых документов для проведения исследования • Своевременное определение и резервирование аудиторий (компьютерных классов) для проведения исследования • Обеспечение безопасности и конфиденциальности всех тестовых материалов на протяжении всего периода подготовки и проведения исследования • Определение и подготовка администраторов тестирования, взаимодействие с ними и с внешними наблюдателями в ходе проведения исследования • Проверка всех материалов, которые должны быть возвращены и переданы в НЦ фото фото Высшая школа экономики, Москва, 2012

Проведение рекрутинга студентов и преподавателей Мотивирование студентов (рекомендации МК): • Дополнительные баллы (кредиты) • Подарочные сертификаты • Денежное вознаграждение (нежелательно) • Кредит-сертификат в университетский книжный магазин • Небольшие подарки и презенты (USB, сувениры с университетской символикой • Включение участия в AHELO в студенческие портфолио, приложения к дипломам и т.д. • Подготовка официальных пригласительных писем для студентов и преподавателей за подписью руководства (проекты писем могут быть предоставлены НЦ) • Анонсирование и PR проекта и важности участия в исследовании на университетских сайтах, газетах и т.д….. NB! При возможности – организация питания студентов после прохождения тестирования (во время нельзя) Мотивирование преподавателей – для обсуждения фото фото Высшая школа экономики, Москва, 2012

Назначение и подготовка администраторов тестирования в вузах (1) Задачи АТ • Помощь ИК в тех. и орг. подготовке тестирования • Получение, проверка, установка и обеспечение конфиденциальности установленной версии всех тестовых материалов • Проверка готовности помещений и рабочих мест (не позднее чем за 30 мин. до начала тестирования) • Совместно с ИК - встреча студентов, проверка и отметка прибывших и отсутствующих студентов по списочным листам (будут подготовлены НЦ в формате Excel после процедур выборки) • Сопровождение студентов до рабочих мест, выдача им индивидуальных логинов и паролей • Предварительное объяснение правил тестирования и установочные рекомендации • Мониторинг во время тестирования (обход, отслеживание процесса выполнения студентами заданий на компьютере) и напоминание о времени тестирования • Сопровождение студентов при необходимости выхода из аудитории • Ведение отчета о прохождении тестирования • Завершение тестирования • Сбор всех вспомогательных материалов и черновиков после тестирования фото фото Высшая школа экономики, Москва, 2012

Назначение и подготовка администраторов тестирования в вузах (2) Требования к АТ • Наличие опыта проведения или мониторинга тестирования и оценивания студентов (экзаменов, зачетов и т.д.) • Должны иметь опыт использования компьютерных и онлайн систем оценивания (быть способны загрузить и запустить онлайн систему, решить возможные технические проблемы студентови т.д.) • Желательно не иметь прямых профессиональных контактов со студентами, которые участвуют в тестировании Численность АТ • От вуза – один АТ на одну аудиторию, если аудитория большая – 1 АТ на 40 студентов • От НЦ – один или несколько независимых наблюдателей NB! Желательно присутствие непосредственно на тестировании (или в пределах досягаемости) ИТ-сотрудника фото фото Высшая школа экономики, Москва, 2012

Организационные требования и возможности (1) Время тестирования • Время на тех. и орг. подготовку (загрузка заданий, проверка компьютеров, рабочих мест и т.д.) – не менее 30 мин. • Встреча студентов, проверка участников по спискам, сопровождение до рабочих мест, выдача инд. паролей и логинов – не менее 30 мин. • Объяснение правил участия, установочные рекомендации (напр., стараться писать тезисно и лаконично CRQ) – 10 мин. • Тестирование – 90 мин. (студент сам распределяет время между двумя модулями заданий) • Заполнение вопросника (AHELO) – 10 мин. • Заполнение вопросника (AHELO+) – 10 мин. • Завершение работ, благодарности – 10 мин. Итого время для резервирования аудиторий – не менее 3 часов (лучше с запасом – 3,5 - 4 часа) При отсутствии возможностей для проведения одновременного тестирования можно проводить последовательно либо в течение нескольких дней (желательно – в один день) Преподаватели и ИК заполняют вопросники онлайн в свободное время фото фото Высшая школа экономики, Москва, 2012

Организационные требования и возможности (2) Требования к аудиториям для тестирования • Адекватная температура в помещении • Освещение, вентиляция, отсутствие лишнего шума, наличие в доступности туалетных комнат с указателями • Наличие одного стационарного работающего компьютера (с клавиатурой, монитором, мышью и интернет-соединением) на каждого студента • Наличие места для проходя АТ между рабочими местами (опт. Не менее 60 см.) • Наличие микрофонов и громкой связи – при необходимости • Наличие одного компьютера на каждого АТ • Наличие как минимум двух дополнительных свободных компьютера для ИК и АТ, а также на случай поломки других компьютеров фото фото Высшая школа экономики, Москва, 2012

Организационные требования и возможности (3) Наличие необходимых расходных и вспомогательных материалов • ручки, карандаши и ластики, чистые листы бумаги (желательно цветные) • Калькуляторы не требуются и не разрешены На рабочем месте студента не должно быть: • Верхних вещей и сумок • Никаких электронных дивайсов (мобильных телефонов, коммуникаторов, планшетников, электронных книг и т.д.) • Никаких расходных и вспомогательных материалов кроме ручки, карандаша, ластика и бумаги) • Книг и бумаг • Напитков и еды, кроме воды в пластиковых бутылках фото фото Высшая школа экономики, Москва, 2012

Технические требования и возможности Минимальные системные требования к компьютерам • Интернет-браузер: Internet Explorer 6+, Firefox 3.6+, Safari 3.0+, Opera 10.5+, Chrome 6+ • Разрешение экрана монитора: 1024 х 768 или выше • Действующее интернет-соединение Не допускается использование собственных ноутбуков студентов Необходимо поставить дополнительную защиту на компьютеры для предотвращения: • возможности доступа в источникам информации в интернетеили каким-либо другим источникам информации • изменения установок онлайн системы тестирования фото фото Высшая школа экономики, Москва, 2012

Дальнейшая коммуникация Следующие семинары-тренинги • Семинар-тренинг для АТ – до конца февраля • Семинар-тренинг для ИК и АТ (проверка полной тех. и орг. готовности к началу тестирования) – конец марта По всем вопросам подготовки и реализации исследования можно и нужно обращаться в Национальный центр проекта AHELO в РоссииМешкова Татьяна Анатольевнаtmeshkova@hse.ru+7(495)531-00-02, +7(985)960-41-54Сабельникова Елена Владимировнаesabelnikova@hse.ru+7(495)772-95-90, доб. 1671 Обратная связь на сайте проекта - http://www.hse.ru/ahelo/ Доп. информация: ahelo@oecd.orgwww.oecd.org/edu/ahelo фото фото Высшая школа экономики, Москва, 2012

Высшая школа экономики, Москва, 2012 hse.ru