д.э.н. , PhD Антон Олейник (ЦЭМИ РАН) д.с.н. Светлана Кирдина (ИЭ РАН)

1. Качественные и количественные стратегии контент-анализа в социальных исследованиях: анализ случаев д.э.н., PhD Антон Олейник (ЦЭМИ РАН) д.с.н. Светлана Кирдина (ИЭ РАН) к.с.н. Ирина Попова (ИС РАН) Междисциплинарный методологический семинар ИС РАН

2. Основные положения доклада • Контент-анализ как методология исследования • Случай 1: исследование российской властвующей элиты • Случай 2: подготовка обзора литературы по возрастающей отдаче в экономике • Случай 3: анализ интервью ученых • Случай 4: пилотный проект по исследованию академического чтения • Основные выводы Междисциплинарный методологический семинар ИС РАН

3. Контент-анализ • Cлово, текст, а не цифра является основным источником информации в социальных и гуманитарных науках [Библер, 1991: 72; Lotman, 1990: 2]. Но, в отличие от цифры, слово труднее поддается агрегированию («сжатию») и манипулированию ввиду своей более контекстуальной и многозначной природы • Контент-анализ как «исследовательская техника, позволяющая делать надежные и достоверные выводы из текстов (или других наделенных смыслов явлений) в зависимости от конкретного контекста их прочтения» [Krippendorff, 2004: 18] Междисциплинарный методологический семинар ИС РАН

4. Контент-анализ Качественный Количественный Использование словаря, основанного на замещении Корреляционный подход Разновидности контент-анализа Междисциплинарный методологический семинар ИС РАН

5. Разновидности контент-анализа • Качественный контент-анализ (кодирование вручную) предназначен для определения фрагментов текста, которые соответствуют идеям автора и читателя и отражают ключевые понятия через качественные коды. • Количественный контент-анализ (совместная встречаемость слов) значительно облегчает семантический анализ предложений. • Словарь, основанный на замещении - гибридная форма качественного и количественного контент-анализа. После разработки словаря (списка слов и словосочетаний, которые относятся к каждому из качественных кодов) участие человека уже не требуется. Междисциплинарный методологический семинар ИС РАН

6. Сравнительные характеристики качественного и количественного контент-анализа Междисциплинарный методологический семинар ИС РАН

7. Компьютерные программы для контент-анализа • QSR International, Australiahttp://www.qsrinternational.com/:NVivo, N6 (NUD*IST), XSight • Provalis Research, Canada (Montreal) http://www.provalisresearch.com/: QDA Miner (module for qualitative content analysis) and WordStat (module for the analysis of co-occurrences and the use of dictionaries based on substitution) Междисциплинарный методологический семинар ИС РАН

10. Примеры некоторых операций • Поиск информации по ключевым словам, в т.ч. KWIC: Key Word In Context • Индексирование: Качественное кодирование представляет собой частный случай индексирования: после прочтения текста кодировщик присваивает особые маркеры, соответствующие конкретным кодам, его фрагментам. В результате индексирования текст превращается в вектор кодов • Лексический анализ совместно встречающихся слов и их кластеров и так далее Междисциплинарный методологический семинар ИС РАН

12. Междисциплинарный методологический семинар ИС РАН

13. Междисциплинарный методологический семинар ИС РАН

14. Междисциплинарный методологический семинар ИС РАН

15. Примеры некоторых операций • Анализ сходства текстов по критерию совместной встречаемости категорий и кодов • Анализ сходства кодов в зависимости от того, как часто они встречаются в одном и том же тексте Междисциплинарный методологический семинар ИС РАН

16. Карта сходства текстов президентских посланий по критерию совместной встречаемости категорий и кодов (на русском и английском языках) Легенда: Stress=0.321031, R?=0.6507 Междисциплинарный методологический семинар ИС РАН

17. Надежность и достоверность • Аспекты надежности: надежность как стабильность (многократное использование схемы кодирования текста одним и тем же исследователем дает одинаковый результат), надежность как возможность воспроизвести полученный результат двумя и более исследователями (коэффициент согласия между кодировщиками, inter-coder agreement) и надежность как точность (соответствие итогов кодирования некоему заданному стандарту) • Достоверность – это особое качество исследования, которое позволяет говорить об его истинности [Krippendorff, 2004: 313], вне зависимости от того что под ней подразумевается в конкретном случае – соответствие авторскому замыслу или исследовательским задачам вторичного интерпретатора Междисциплинарный методологический семинар ИС РАН

18. Ненадежный и недостоверный результат Надежный, но недостоверный результат Надежный и достоверный результат Соотношение надежности и достоверности Междисциплинарный методологический семинар ИС РАН

19. Измерение надежности и достоверности • Коэффициенты согласия между кодировщиками: π Скотта, κ Коэна, S Бенетта, α Криппендорфа и др. • Если в качестве точки отсчета принять авторский замысел, то для оценки достоверности конкретной интерпретации (кодирования) требуется расчет коэффициента корреляции между сочетаниями качественных кодов и совместной встречаемостью слов в текстах [Олейник 2009] • Если же в качестве точки отсчета принимать интенции вторичного интерпретатора, то требуется расчет корреляции между векторами качественного кодирования и результатами количественного контент-анализа с использованием основанного на замещении словаря Междисциплинарный методологический семинар ИС РАН

20. Случай 1: исследование российской властвующей элиты Объект Предмет Предметом исследования служат различные характеристики власти, в том числе техники навязывания воли, - как они отражены в проанализированных с помощью компьютерных программ для контент-анализа QDA Miner и WordStat транскриптах 116 интервью Объектом исследования были властные отношения в России на макро-уровне (государство и его представители) Междисциплинарный методологический семинар ИС РАН

21. Вопрос исследования • Насколько превалирующие в России на макро-уровне властные отношения близки к власти в ее чистом виде? • Идеальный тип власти в ее чистом виде характеризуется: • Самодостаточностью (она находит обоснование в себе самой) • Самоценностью (она является самой целью, а не средством для достижения других целей) • Преобладанием насильственных техник навязывания воли (силы, угроз, манипулирования и так далее) • Крайней асимметричностью в распределении прав и обязанностей • Отсутствием обратных связей Междисциплинарный методологический семинар ИС РАН

22. Измерение надежности: Триангуляция результатов трех разновидностей контент-анализа Междисциплинарный методологический семинар ИС РАН

23. Случай 2: Контент-анализ в подготовке обзора литературы Для изучения возрастающей отдачи в экономической литературе была создана база данных англо- и русскоязычных источников, пригодная для обработки текстов с помощью автоматизированных и программных процедур качественного и количественного контент-анализа Междисциплинарный методологический семинар ИС РАН

24. Источники формирования базы данных по ключевым терминам • Google и Яндекс • База данных ресурса ideas.repec.org. Библиотека RePEc (Исследовательские работы по экономике) • Сформированная в ходе проекта База Данных по Возрастающей Отдаче (БД ВО) включала в себя на конец 2011 г. 203 источника, из них 156 – на английском языке и 47 – на русском языке. Междисциплинарный методологический семинар ИС РАН

25. Атрибуты документов • Автор и название • Год опубликования • Страна опубликования • Язык публикации • Экономическая школа • Уровень анализа • Метод исследования • Тип математической модели • Тип текста Междисциплинарный методологический семинар ИС РАН

26. Распределение источников по году опубликования Междисциплинарный методологический семинар ИС РАН

27. Междисциплинарный методологический семинар ИС РАН

28. Междисциплинарный методологический семинар ИС РАН

29. Категории анализа • Сферы возрастающей отдачи: инфраструктура, сфера услуг, внешняя торговля, отрасли высоких технологий, информационная сфера •  Факторы возрастающей отдачи: экономия от масштаба, образование и человеческий капитал, инновации, институты и менеджмент, сетевые эффекты и инфрамаржинальная экономика, path dependence Междисциплинарный методологический семинар ИС РАН

30. Случай 2: основные выводы • Качественный анализ англо- и русскоязычных текстов показал связи между факторами возрастающей отдачи, но не выявил значимых связей между факторами и сферами возрастающей отдачи. • Количественный анализ был проведенраздельно для русскоязычной и англоязычной литературы: выявлена ключевая роль фактора экономии от масштаба. • Для русскоязычной литературы была выявлена связь между сферой высоких технологий и внедрением инноваций + ростом образования и качества человеческого капитала. • В англоязычной литературе выявлена аналогичная связь. Кроме того, выделен кластер факторов возрастающей отдачи (кроме эффекта от масштаба): внедрение инноваций, сетевые эффекты и создания поддерживающих институтов с развитием менеджмента. Междисциплинарный методологический семинар ИС РАН

31. Случай 3: Изменения в статусе российских ученых в 2000-е годы • Лонгитюдное исследование, два этапа, 5 волн опросов • 1999-2001 (1-4 волны), грант INTAS-97: 20 280, INTAS-97: 20 280, • 2010 (5 волна), грант RCSF, LSE, (рук. С. Ашвин). • Общая выборка 1999 – 250 респондентов, объединенных в 4 группы, основанные на специфичных стратегиях на рынке труда в 4 российских городах • Подвыборка – ученые института РАН естественно-научного профиля – 23 респондента в 1999, 18 респондентов в 2010. • Метод опроса – полуструктурированные интервью (трудовые биографии) Междисциплинарный методологический семинар ИС РАН

32. Качественный анализ в программе контент-анализа QDA Miner • Основная исследовательская задача – характеристики изменений в социально-профессиональном статусе ученых • Изменения в статусе: Статус 6 человек повысился (защита диссертации, продвижение, получение больших грантов, премий, квартир для молодых ученых через программу РАН) • Статус 5 человек практически не изменился (изменился незначительно) • Статус 7 человек изменился (ушли в коммерческие фирмы, другие сферы деятельности). • Из 7 молодыхученыхдо 35 летв 1999 г. Только 4 осталисьработатьвинституте. • Задача – выявить основные проблемы (ограничения) в профессиональном развитии (оценке своего положения). Междисциплинарный методологический семинар ИС РАН

33. Количественное распределение кодов во всех интервью Междисциплинарный методологический семинар ИС РАН

34. Оценки состояния науки в интервью

35. Случай 3: основные выводы • Один из выводов исследования: • Важный аспект изменения и перспектив статуса профессиональной группы ученых зависит от их собственной оценки перспектив науки в обществе, объединения внешних и внутренних условий для развития российской науки. • Качественный анализ позволил выделить структуру факторов, определяющих положение ученых. • Количественный анализ позволил определить, какие из них особенно важны для респондентов.. Междисциплинарный методологический семинар ИС РАН

36. Случай 3: основные выводы • Один из выводов исследования: • Важный аспект изменения и перспектив статуса профессиональной группы ученых зависит от их собственной оценки перспектив науки в обществе, объединения внешних и внутренних условий для развития российской науки. • Качественный анализ позволил выделить структуру факторов, определяющих положение ученых. • Количественный анализ позволил определить, какие из них особенно важны для респондентов.. Междисциплинарный методологический семинар ИС РАН

37. Случай 4: исследование академического чтения Объект Предмет Предметом исследования служат различия в восприятии 57 текстов автором и читателями-коллегами, изученные с помощью компьютерных программ для контент-анализа QDA Miner и WordStat Объектом исследования послужило чтение научных текстов (статей, эссе, глав в коллективных монографиях и рецензий на книги), написанных тремя учеными-обществоведами Междисциплинарный методологический семинар ИС РАН

38. Этапы контент-анализа

39. Основные вопросы пилотного исследования-1 • Если представленные в тексте авторские идеи хорошо известны читателю, кто различает их лучше – автор текста или читатель? • Кто точнее интерпретирует текст автора- он сам или читатели? • Кто способен увидеть больше смыслов в тексте - его автор или читатели? • Является ли бесконечным число интерпретаций авторского текста читателями и насколько они искажают авторский замысел? Междисциплинарный методологический семинар ИС РАН

40. Основные вопросы пилотного исследования -2 • В каком случае замысел автора более понятен читателям – при написании им статьи стандартного формата или в более свободном тексте? • Есть ли разница результатов поверхностного и глубокого чтения и в чем она выражается? Междисциплинарный методологический семинар ИС РАН

41. Глубина чтения Количество кодов автора и читателя в их отдельных книгах кодов, а также количество фрагментов, закодированных на 1-м этапе (использование индивидуальных книг кодов), систематически превышали соответствующие показатели на 2-м этапе (общая книга кодов). Судя по количеству содержательных ссылок на работы авторов А, B и C, цитирующие их российские читатели интерпретировали эти тексты еще более узко Междисциплинарный методологический семинар ИС РАН

42. Двухмерный график совместной встречаемости кодов, тексты С.Г. Кирдиной Легенда: Stress=0.16656, R?=0.8913 Междисциплинарный методологический семинар ИС РАН

43. Два подхода к измерению надежности

44. Дополнительные источники Олейник А.Н.«Триангуляция в контент-анализе: пример углубленных интервью с представителями российской элиты», Вестник общественного мнения: данные, анализ, дискуссии, №3 (95), 2008, с. 62-75 Олейник А.Н. «Триангуляция в контент анализе: вопросы методологии и эмпирийная проверка», СОЦИС– Социологические Исследования, 2, 2009, c. 65-79 Олейник А.Н., Кирдина С.Г., Попова И.П., Шаталова Т.В. «Как ученые читают друг друга: основы теории академического чтения и ее эмпирическая проверка», СОЦИС, 8, 2013 Междисциплинарный методологический семинар ИС РАН