Ларионова Марина Владимировна (НФПК) Перфильева Ольга Владимировна (НФПК)

1. Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования»: результаты 2011 года и следующие шаги Ларионова Марина Владимировна (НФПК) Перфильева Ольга Владимировна (НФПК) Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» 2011-2013 гг.

2. I. О проекте Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» (2011-2013) реализуется НФПК по заказу Министерства образования и науки РФ в рамках подмероприятия 10.1 «Разработка и апробация модели общественно- профессиональной аккредитации программ профобразования», мероприятия 10 «Создание условий для развития государственной и общественной оценки деятельности образовательных учреждений, общественно-профессиональной аккредитации образовательных программ» задачи 3 «Развитие системы оценки качества образования и востребованности образовательных услуг» Федеральной целевой программы развития образования на 2011-2015 годы

3. Цель проекта Разработать и апробировать модельную методологию рейтингования образовательных учреждений профессионального образования в России на основе: • методологии сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений • экспертных оценок и обсуждений, широких общественных дискуссий • апробации и оценки полученных результатов • консультаций с Международной группой экспертов по определению рейтингов университетов IREG

4. Задачи проекта Анализ российских подходов (методологий и индикаторов) к оценке работы высших учебных заведений. Проведение сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений, их систематизация и выявление общих, неизменяемых параметров оценки деятельности вузов, а также переменных параметров, их сильных и слабых сторон. Сравнительный анализ методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике. Разработка методологии рейтингования образовательных учреждений профессионального образования. Апробация методологии рейтингования образовательных учреждений профессионального образования. Общественное обсуждение методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции, а также организация консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов. Доработка методологии рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения. Разработка рекомендаций по применению методологии рейтингования образовательных учреждений профессионального образования. Подготовка и проведение международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования и представления результатов проекта. 2011 2012 2013

5. Ключевые результаты проекта по годам Результаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике. Результаты сравнительного анализа методологий и параметров рейтингования, принятых в российской практике. Результаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике. Проект модельной методологии рейтингования образовательных учреждений профессионального образования. Результаты апробации методологии рейтингования образовательных учреждений профессионального образования. Результаты общественных обсуждений методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции. Результаты консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов. Доработанная методология рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения. Разработанная методология рейтингования образовательных учреждений профессионального образования в России Разработанные рекомендации по применению методологии рейтингования образовательных учреждений профессионального образования Результаты международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования. 2011 2012 2013

6. II. Общие подходы к методологии построения модельной методологии рейтингования высших учебных заведений Основные принципы методологии: • Методология должна служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов • инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ • вносить вклад в повышение качества деятельности и конкурентоспособности вузов • являться источником надежных данных для глобальных и региональных рейтингов

7. Основные принципы методологии (продолжение) При формировании подходов к построению методологии рейтингования следует учитывать: • имеющийся опыт и достижения российских вузов в этом направлении, поскольку многие ведущие университеты успешно используют методологию некоторых рейтингов; • задачи повышения конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; • ожидаемое расширение числа российских вузов, участвующих в глобальных рейтингах; • необходимость прагматичного подхода к выработке методологии рейтингования российских вузов, при которой данные по параметрам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий рейтингование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; • возможность создания национальной методологии рейтингования, которая будет являться источником надежных данных для глобальных и региональных рейтингов; • преимущества использования количественных индикаторов • сильные стороны построения существующих рейтингов.

8. Методология сопоставительного анализа 3 уровня анализа • 1 уровень: Сопоставление методологий рейтингования по общим параметрам, выделенным для анализа • 2 уровень: Сопоставление методологий рейтингования с Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (приняты в мае 2011 международной экспертной группой по определению рейтингов университетов IREG совместно с ЮНЕСКО, ОЭСР и ВБ) • 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ

9. 1 уровень: оценка относительно общих параметров Принципы включения методологий рейтингования в анализ: • рейтинги, в которых принимают или планируют принимать участие российские университеты; • наиболее популярные международные рейтинги, участие в которых является «сигналом» конкурентоспособности университетов в международном образовательном пространстве; • международные и зарубежные рейтинги, методология которых доступна в открытом доступе, что должно обеспечить понимание прозрачности системы, релевантности индикаторов, и надежности полученных результатов.

10. Принципы включения методологий рейтингования в анализ (продолжение) • возможность сопоставления с Берлинским принципам ранжирования высших учебных заведений, принятыми наконференции IREG-2 в Берлине в 2006 году; • возможность сопоставления с Критериями оценки методологий рейтингования «Правил аудита рейтингов» (IREG Ranking Audit Rules) • возможность учета опыта разных стран; • возможность включения в анализ различных по методологии подходов; • возможность применения рейтинга для развития национальной системы высшего образования

11. Места российских вузов в глобальных рейтингах

12. Типы анализируемых методологий (19)

13. Понятия и термины • Одномерное ранжирование— отражает вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг. • Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду. • Многомерное ранжирование не стремиться соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей. • Классификация – система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a new transparency tool for higher education and research // Higher Education Management and Policy. 2010. Vol. 22/3.

14. Параметры анализа и оценки основных рейтингов 1. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или ориентирован на оценку отдельных характеристик). 2. Целевые группы 3. Предметные области рейтинга ( как структурируются предметные области). 4. Регионы охвата и/или распространения (в зависимости от типа рейтинга). 5. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и аспирантура). 6. Методология построения рейтинга: - ключевые принципы, лежащие в основе рейтингования; - система индикаторов, веса; - инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью); - обработка полученных данных; - трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения). 7. Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры университетов, ранжированный список университетов). 8. Ключевые проблемы, связанные с использованием индикаторов (критика, дискуссионность). 9. Репутация рейтинга (степень доверия к рейтингу).

15. Глобальные одномерные ранжирования: несбалансированность показателей Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка научно-исследовательской деятельности – 18% Доход от исследований (взвешенный) – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно-исследовательской деятельности, в совокупности с индикатором цитирования:60% Репутационная оценка преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Доход на одного ППС – 2,25% Соотношение присужденных докторских степеней к бакалаврам – 2,25%

16. Глобальные одномерные ранжирования:несбалансированность показателей Смешение в сторону оценки академической репутациии качества преподавания: в совокупности 60%

17. Национальные одномерные ранжирования:несбалансированность показателей? Смешение в сторону оценки качества преподавания и обучения

18. Национальные одномерные ранжирования: несбалансированность показателей? Национальный рейтинг Times Смешение в сторону оценки качества преподавания и обучения

19. Национальные одномерные ранжирования:несбалансированность показателей? Среди лидеров рейтингов оказываются одни и те же университеты

20. Основные проблемы одномерных ранжирований • Проблема надежности: Опора на репутационные оценки определяет недоверие к процедурам проведения глобальных, международных или общенациональных опросов, построения выборочной совокупности, к получаемым результатам • Проблема релевантности: Чаще используются индикаторы ресурсов, но не результатов деятельности вузов. Некоторые показатели вызывают сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) • Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации необоснованно занижены, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня». Процедура присвоения весов индикаторам часто критикуется экспертами за недостаточную научную обоснованность • Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющим высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге • Проблема информативности: одномерные ранжирования не оценивают всего многообразия вузов; из всех функций вузов чаще всего оцениваются только функции обучения/преподавания и научно-исследовательской деятельности. В результате потребитель получает ограниченную информацию о деятельности вузов

21. Отражать институциональное многообразие Эгалитаризм массификация Обеспечение качества Ориентироваться на потребителей услуг Подотчетность Гибридные формы Элитизм Высокое качество Рейтингование Отражать региональное разнообразие Отражать разнообразие предметных областей Два подхода Современные системы Направления будущего развития Развитие систем ранжирования университетов Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, 2011. P.14.

22. Региональные/ национальные многомерные ранжирования: The СНЕ Rankings • CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года • CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей • CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям • CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) • CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

23. Ранжирование Университетов Ранжирование исследовательских программ Ранжирование программ длямагистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патенты 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико-ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Региональные/ национальные многомерные ранжирования: The СНЕ Rankings

24. The СНЕ University Ranking • The CHE UniversityRanking впервые опубликован в 1998 году • Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованияхи репутации вуза • Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) • Целевые группы: • Абитуриенты, родители и студенты • ВУЗы • Рейтинг составляется по 37 предметным областям, что соответствует ¾ всех направлений • Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно • Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT http://ranking.zeit.de/che2011/en/

25. The СНЕ University Ranking: Методология • Рейтинг не представляется в едином агрегированном виде, а имеет модули, которые могут настраиваться по запросампользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) • Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) • Сбор данных осуществляется посредством: • анкетирования административного персонала университетов, преподавательского состава и студентов • Библиометрических данных с использованием базы данных Science Citation Index • Включает оценку условий обучения 250 000 студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза • Для определения группы учитываются особенности разброса оценок

26. The СНЕ University Ranking: Источник: CHE University Ranking 2011/12. URL: http://ranking.zeit.de/che2011/en/

27. Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристики качества • Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов • Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования • Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных • Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

28. 2й уровень:Критерии IREG и веса основных и стандартных критериев

29. Критерии IREG и веса основных и стандартных критериев

30. Критерии IREG и веса основных и стандартных критериев

31. Оценка методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

33. Оценка методологий относительно критериев IREG Изменение положения методологий с учетом скорректированного среднего

34. Глобальные рейтинги Надежность способа сбора данных Shanghai THE 3 US News Leiden 2 QS 1 Надежность и релевантность показателей Транспарентность рейтинга 3 2 1 1 2 3 1 2 3 Интерактивность Степень соответствия методологий критериям IREG с учетом скорректированного среднего

35. Национальные рейтинги Надежность способа сбора данных Times Guardian 3 Guardian Sp Forbes 2 1 Надежность и релевантность показателей Транспарентность рейтинга 3 2 1 1 2 3 1 2 3 Интерактивность Степень соответствия методологий критериям IREG с учетом скорректированного среднего

36. Многомерные ранжирования CHE University Надежность способа сбора данных U-Multirank 3 2 1 Транспарентность рейтинга Надежность и релевантность показателей 3 2 1 1 2 3 1 2 3 Интерактивность Степень соответствия методологий критериям IREG с учетом скорректированного среднего

37. Классификации Надежность способа сбора данных Carnegie U-Map 3 2 1 Надежность и релевантность показателей 3 2 1 1 2 3 Транспарентность рейтинга 1 2 3 Интерактивность Степень соответствия методологий критериям IREG с учетом скорректированного среднего

38. Специализированные рейтинги Business week Надежность способа сбора данных Economist Financial Times 3 2 1 Надежность и релевантность показателей Транспарентность рейтинга 3 2 1 1 2 3 1 2 3 Интерактивность Степень соответствия методологий критериям IREG с учетом скорректированного среднего

39. Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University) • Ресурсоемкость • Недостаточность сопоставимых данных по деятельности различных университетов • Сложность применяемых индикаторов и процедур их сбора • Сложность обеспечения объективной оценки при использовании данных опросов • Сложности обработки больших объемов данных • Сложность соблюдения надежности и качества процедур сбора данных при больших объемах • Проблема охвата всех предметных областей

40. 3 уровень: Оценка относительно задач развития национальной системы высшего образования Анализ наиболее часто используемых количественных индикаторов для модельной методологии ранжирования • Выявление схожих/повторяющихся/наиболее часто используемых и значимых индикаторов; • Оценка на основе международного опыта использования индикаторов; • Распределение количественных индикаторов по направлениям; • Анализ доступности и возможности сбора данных; • Критическая оценка по критериям: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

41. Логическая рамка для оценки применимости выделенных индикаторов для российской методологии ранжирования вузов

42. Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки: Научная деятельность: • Количество цитирований на одного ППС • Количество цитирований на одну статью • Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области • Количество часто цитируемых публикаций • Общее количество публикаций • Количество публикаций в Nature and Science • Количество публикаций в SSCI • Количество публикаций на одного ППС • Количество публикаций в 40 обозначенных специализированных журналах • Количество профессиональных публикаций • MNCS1 = S (СPP/FCSm) – показатель цитирования, нормализованный относительно средней • Доля дохода вуза от исследований • Процент доходов от научных исследований, полученных на конкурсной основе • Соотношение числа защитившихся исследователей и профессоров к количеству завершенных докторских диссертаций • Количество международных наград и призов • Количество выпускников с докторской степенью за последние 3 года • Количество научных продуктов, отличных от публикаций, рецензируемых коллегами

43. Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки(продолжение): Обучение/преподавание: • Количество выпускников – нобелевских лауреатов и лауреатов премии Филдса • ППС университета, которым были присуждены Нобелевская премия и премия Филдса • Количество присуждаемых степеней PhD в расчете на одного ППС • Соотношение присужденных докторских степеней к количеству присужденных степеней бакалавра • Доход на одного ППС • Процент студентов, закончивших университет с дипломом первого или второго класса (диплом с отличием) • Процент студентов, завершивших обучение • Доля студентов, закончивших четырехлетний курс обучения • Доля студентов, перешедших на второй курс • Количество студентов получивших национальные премии • Упоминание выпускников в Who is Who • Количество выпускников директоров компаний по спискам Forbes (200 мировых компаний лидеров) • Относительная доля нетрудоустроенных выпускников • Процент выпуска в рамках сроков обучения, стандартных для программы обучения

44. Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки(продолжение): Международная деятельность: • Доля публикаций ППС в научных периодических изданиях, подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год • Количество совместных международных исследовательских публикаций • Доля иностранных выпускников-докторантов • Количество полученных международных исследовательских грантов • Доход из иностранных источников финансирования (преподавание, научная деятельность, контракты с зарубежными предприятиями) Трансфер знаний: • Доход вуза от взаимодействия с бизнесом и промышленностью • Доход от деятельности по обмену знаниями • Количество зарегистрированных патентов • Количество совместных публикаций вузов и предприятий • Количество предлагаемых курсов повышения квалификации в расчете на одного ППС • Количество малых инновационных предприятий на одного ППС • Количество совместных с предприятиями патентов • Количество культурных мероприятий (выставок, конференций, концертов), организованных университетом

45. Список индикаторов результатов деятельности вузов (output indicators), предложенных для экспертной оценки(продолжение): Взаимодействие с регионом: • Доля доходов из местных/региональных источников • Процент выпускников, работающих в регионе • Количество контрактов на исследования, заключенные с региональными партнерами. • Количество совместных с регионом исследовательских публикаций • Процент студентов, участвующих в стажировках в региональных организациях • Количество дипломных работ, разработанных совместно с регионом Трудоустройство: • Процент трудоустроившихся студентов, в течение 6 месяцев после окончания университета • Процент выпускников, нашедших работу через центры трудоустройства выпускников • Зарплата выпускников на момент окончания университета • Рост заработной платы выпускников до и после окончания программы обучения

46. Процедура экспертной оценки индикаторов результатов деятельности вузов Цель: • Оценить выявленные количественные индикаторы для модельной методологии ранжирования • Определить ключевые количественные индикаторы для апробации модельной методологии ранжирования Процедура: • Оценка относительно пяти критериев: значимости с точки зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG • 17 экспертов - представителей российских вузов, СМИ, кадровых агентств • 3 раунда количественной и качественной оценки Результат: • Перечень количественных индикаторов для модельной методологии • Рекомендации по включению количественных индикаторов в модельную методологию ранжирования

47. 4 группы индикаторов сформированы на основании экспертных оценок Группа ‘A’ «Ядро» Индикаторы удовлетворяют критериям: • значимости для развития системы высшего образования, • релевантности для модельной методологии ранжирования • надежности, доступности, релевантности Некоторые индикаторы были включены в Группу ‘A’ на основании рекомендаций экспертов, несмотря на неполное соответствие всем обозначенным выше критериям Группа ‘B’ Индикаторы удовлетворяют критериям: • значимости для развития системы высшего образования • релевантности для модельной методологии ранжирования Но не соответствуют критериям: • надежности, доступности, релевантности Группа ‘C’ Индикаторы не удовлетворяют критериям: • значимости для развития системы высшего образования, • релевантности для модельной методологии ранжирования • надежности, доступности, релевантности Группа ‘D’ Индикаторы, дополнительно предложены экспертами для включения в методологию ранжирования

48. Результаты экспертной оценкиИндикаторы группы “A” Научно-исследовательская деятельность

49. Результаты экспертной оценкиИндикаторы группы “A” Научно-исследовательская деятельность

50. Результаты экспертной оценкиИндикаторы группы “В” Научно-исследовательская деятельность