Пилотный проект по оценке российских научных журналов

1. Пилотный проект по оценке российских научных журналов cоциология, история, экономика предварительные результаты Иван Стерлигов, НИУ ВШЭ 20 мая 2014 года

2. Цель проекта: Разработка и апробация методики, позволяющей на основе опросов экспертов разбить российские научные журналы на группы сообразно их научному уровню и репутации Ранжированные списки журналов планируется использовать прежде всего внутри ВШЭ для управления наукой и реализации кадровой политики

3. Методика \ эксперты • Не менее 40 экспертов по каждому из трех пилотных направлений. Имена экспертов мы не раскрываем • Всех экспертов номинировали эксперты верхнего уровня (не менее 7 по каждому направлению), которых выбрали эксперты ВШЭ. Каждый из экспертов верхнего уровня представил нам список не менее 25 конечных экспертов • Эксперты верхнего уровня могли также выступать конечными экспертами, некоторые воспользовались этой возможностью • Работа экспертов верхнего уровня и конечных экспертов оплачивалась

4. Методика \ журналы • Только журналы, не сборники и ежегодники • Только журналы, издающиеся в России • Любой язык статей (на практике русский и английский) • Стартовые списки: ~50 журналовпо каждому направлению, на основе данных РИНЦ (топ-50 по пятилетнему ИФ-2012 без самоцитирования в соответствующих тематических группах) • Эксперты могли добавить в список любой журнал. Если он удовлетворял нашим критериям и соответствовал тематике, мы включали его в список для всех последующих респондентов

5. Методика \ процедура опроса Анкетирование проводилось в онлайн-системе Управления академической экспертизы ВШЭ (УАЭ) Три шага: • Эксперт заполняет стандартную анкету эксперта УАЭ ВШЭ • Эксперт просматривает и при желании дополняет стартовый список журналов, а затем отмечает в нем удовлетворяющие двум условиям: журнал должен быть а) знакомым эксперту б) научным • Для каждого отмеченного экспертом журнала им заполняется анкета

6. Методика \ анкета

7. Методика \ анкета (продолжение)

8. Методика \ ранжирование Разбиение на три группы: • A – высокий уровень, широкий профиль • B – высокий уровень, «узкий профиль» • С – средний уровень Все остальные – недостаточный уровень либо не хватает информации Применили «мягкую» фильтрацию аффилиации: не учитывались анкеты сотрудников журнала и членов редколлегии, но учитывались анкеты любых прочих сотрудников организации, издающей журнал

9. Методика \ ранжирование \ A • Отметили как известный им научный журнал не менее 80% респондентов • Не менее 80% из них читали статьи из этого журнала за последние 3 года • Не менее 50% отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую • Не менее 70% отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий • Не менее 70% отметивших журнал респондентов считают журнал лидирующим в России или лидирующим в мире и в России

10. Методика \ ранжирование \ B • Журнал не попадает в A • Журнал отметили не менее 5 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года • Из них не менее 70% респондентов оценивают актуальность прочитанных статей как высокую • Не менее 70% отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий • Не менее 70% отметивших журнал респондентов считают журнал лидирующим в России или лидирующим в мире и в России в своей области

11. Методика \ ранжирование \ С – вариант 1 • Журнал не попадает в A и B • Журнал отметили не менее 3 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года • Из них не менее 70% респондентов оценивают актуальность прочитанных статей как высокуюили среднюю • Не менее 70% отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий или средний

12. Методика \ ранжирование \ С – вариант 2 • Журнал не попадает в A или B • Журнал отметили не менее 20% респондентов • Не менее 50% из них читали статьи из этого журнала за последние 3 года • Не менее 50% из отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую или среднюю • Не менее 50% респондентов оценивают научный уровень прочитанных статей как высокий или средний

13. Результаты \ история \ эксперты • При подборе экспертов верхнего уровня использовался модифицированный классификатор РГНФ, старались охватить все крупные разделы истории, включая археологию и этнографию • 11 экспертов верхнего уровня номинировали 284 конечных эксперта, 56 человекприняли участие в анкетировании • Все эксперты верхнего уровня и подавляющее число конечных экспертов не являются сотрудниками ВШЭ

14. Результаты \ история \ журналы • Получены анкеты по 66 журналам, из них 18 журналов добавлены экспертами • Всего 937 анкет, в среднем каждый респондент заполнил анкеты по 16-17 журналам • По 10 журналам заполнено более 30 анкет • После мягкой фильтрации аффилированных экспертов (минус редакция и редколлегия) осталось 887 анкет (95%)

15. Результаты \ история \ самые известные Указано число не аффилированных с журналом респондентов

16. Результаты \ история \ где публиковались? Указано число не аффилированных с журналом респондентов

17. Результаты \ история \ что читают? Указано число не аффилированных с журналом респондентов, просматривающих каждый новый выпуск журнала или прочитавших более 3 статей в нем за последние три года

18. Результаты \ история \ популярность VS лидерство

19. Результаты \ история \ научный уровень

20. Результаты \ история Журналов категории А нет (даже при снижении всех порогов на 10 процентных пунктов) Журналы категории B (в алфавитном порядке): AbImperio Археология, этнография и антропология Евразии Вестник древней истории Восток Древняя Русь: Вопросы медиевистики Отечественные архивы Российская археология Российская история Средние века Этнографическое обозрение

21. Результаты \ история \ С – вариант 1 Stratumplus: Археология и Культурная Антропология Антропологический форум Вестник археологии, антропологии и этнографии Вестник архивиста Вестник Московского университета. Серия 13: Востоковедение Вестник Московского университета. Серия 8: История Вестник Новосибирского университета. Серия: История, филология Вестник Пермского университета. серия "История" Вестник Санкт-Петербургского университета. Серия 2: История Военно-исторический журнал Вопросы истории Вопросы истории естествознания и техники Диалог со временем Исторический архив История. Электронный научно-образовательный журнал Клио Новая и новейшая история Родина Уральский исторический вестник (в алфавитном порядке)

22. Результаты \ история \ С – вариант 2 Stratumplus: Археология и Культурная Антропология Вестник археологии, антропологии и этнографии Вестник архивиста Вестник Московского университета. Серия 8: История Вопросы истории Вопросы истории естествознания и техники Диалог со временем Исторический архив История. Электронный научно-образовательный журнал Клио Новая и новейшая история Родина Уральский исторический вестник (в алфавитном порядке)

23. Результаты \ история \ сопоставление с РИНЦ

24. Результаты \ экономика \ эксперты • По мнению экспертов ВШЭ, многие разделы экономики из-за неоднозначной ситуации с развитием этой области знаний в России не представлены. Наши эксперты верхнего уровня не охватывают все предметное поле экономики • 9 экспертов верхнего уровня номинировали 149 конечных экспертов, 45 человекприняли участие в анкетировании • 4 из 9 экспертов верхнего уровня и 28 из 45 конечных экспертов являются сотрудниками ВШЭ • Узкий круг: эксперты верхнего уровня зачастую номинировали друг друга, многие конечные эксперты получили по 5-6 рекомендаций от экспертов верхнего уровня • Многие эксперты отказались участвовать в анкетировании, так как не читают российские журналы

25. Результаты \ экономика \ журналы • Получены анкеты по 52 журналам, из них 4 добавлены экспертами • Всего 535 анкет, в среднем каждый респондент заполнил анкеты по 11-12 журналам • По 4 журналам заполнено более 30 анкет • После мягкой фильтрации аффилированных экспертов (минус редакция и редколлегия) осталось490анкет (91,5%)

26. Результаты \ экономика \ самые известные Указано число не аффилированных с журналом респондентов

27. Результаты \ экономика \ где публиковались? Указано число не аффилированных с журналом респондентов

28. Результаты \ экономика \ что читают? Указано число не аффилированных с журналом респондентов, просматривающих каждый новый выпуск журнала или прочитавших более 3 статей в нем за последние три года

29. Результаты \ экономика \ популярность VS лидерство

30. Результаты \ экономика \ научный уровень

31. Результаты \ экономика • Журналов категории А нет, даже если снизить все пороги на 10 п.п. (если не исключать аффилированность, проходит ЭЖ ВШЭ). ВЭ и ЖНЭА не преодолели пороговых значений по по критерию «научный уровень» • Журналы категории B:«Экономический журнал Высшей школы экономики» и «Форсайт» (оба издаются НИУ ВШЭ) • Если использовать «жесткую» фильтрацию аффилиации, то журнал категории B только один – ЖНЭА

32. Результаты \ Экономика \ С – вариант 1 Вестник Московского университета. Серия 6: Экономика Вопросы экономики Журнал новой экономической ассоциации Инновации Прикладная эконометрика Проблемы прогнозирования Пространственная экономика Регион: Экономика и Социология Российский экономический журнал Уровень жизни населения регионов России ЭКО Экономика и математические методы Экономист Экономическая наука современной России Экономическая политика (в алфавитном порядке)

33. Результаты \ экономика \ С – вариант 2 (в алфавитном порядке)

34. Результаты \ экономика \ сопоставление с РИНЦ и результатами А.А. Муравьева* * Муравьев А.А. К вопросу о классификации российских журналов по экономике и смежным дисциплинам. Препринт ВШМ СПбГУ №14(R)-2012

35. Результаты \ социология \ эксперты • Промежуточная ситуация: пробовали охватить основные разделы предметного поля социологии + демография • 8 экспертов верхнего уровня номинировали 159конечных экспертов, 47 человек приняли участие в анкетировании • Из 8 экспертов верхнего уровня 5 работают в ВШЭ, из 47 конечных экспертов 23 работают в ВШЭ • Узкий круг

36. Результаты \ социология \ журналы • Получены анкеты по 55 журналам • 47 экспертов заполнили 689 анкет, в среднем по 14-15 анкет • После исключения аффилированности осталось 650 анкет (94,3%)

37. Результаты \ социология \ самые известные Указано число не аффилированных с журналом респондентов

38. Результаты \ социология \ где публиковались? Указано число не аффилированных с журналом респондентов

39. Результаты \ социология \ что читают? Указано число не аффилированных с журналом респондентов, просматривающих каждый новый выпуск журнала или прочитавших более 3 статей в нем за последние три года

40. Результаты \ социология \ популярность VS лидерство

41. Результаты \ социология \ научный уровень

42. Результаты \ социология • Журналов категории А нет, наиболее близко подошли к порогу «Социологический журнал» и ЖССА • Журналы категории B: ЖCCА, «Социологический журнал», Социология: 4М, «Экономическая социология»

43. Результаты \ социология \ С – вариант 1 (в алфавитном порядке)

44. Результаты \ социология \ С – вариант 2 Laboratorium. Журнал социальных исследований Вестник Института социологии Вестник общественного мнения. Данные. Анализ. Дискуссии Вестник Российского университета дружбы народов. Серия: Социология Вестник Томского государственного университета. Философия. Социология. Политология Вопросы образования Журнал исследований социальной политики Мир России: Социология, этнология Мониторинг общественного мнения: экономические и социальные перемены Общественные науки и современность Свободная мысль Социологические исследования Социологическое обозрение Телескоп: журнал социологических и маркетинговых исследований Человек (в алфавитном порядке)

45. Результаты \ социология \ сопоставление с РИНЦ

46. Спасибо за внимание! Над проектом работали: Александр Костинский, Иван Стерлигов, Светлана Петрикова, Сергей Соколов, Евгения Филимонова, Валерия Кудашова, Арсений Петров isterligov@hse.ru