Профессор Донна Мертенс Университет Голоде Алматы , Казахстан Июль 2011

1. UNWOMEN/IPENТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ:День 3 Сочетание качественных и количественных методов Профессор Донна Мертенс Университет Голоде Алматы, Казахстан Июль 2011

2. План на три дня День 1: Какую роль играет специалист по оценке? Основные аспекты оценки (Техзадание) Трансформационная парадигма Многообразие и социальная справедливость; привилегии Культурная компетентность День 2: Качественные и количественные подходы День 3: Подход, предполагающий сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

3. «Меню» методов • Количественные: экспериментальные, квази-экспериментальные, опросы, сравнительные исследования. • Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия • Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию • Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы(Mertens, 2009, TRE, p. 165). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

4. Как сочетать методы • Совместимость: Совмещайте цель, фокус, вопросы и дизайн. • Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов. • Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования. • Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

5. Количественные Качественные Качественные Количественные Одновременное использование Качественные и количественные методы используются более-менее одновременно Последовательное использование: Сначала количественные, потом качественные ИЛИ Последовательное использование: Сначала качественные, потом количественные IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Mertens, 2009, TRE, p. 167

6. Трансформационная методология Участие сообществ Виды исследований Описательные – С вмешательством Модель исследования Цикличное Краткосрочное Дизайн и методы Комплекс методов Один метод Одновременно Последовательно Сочетание качественных и количественных методов Количественные Качественные Community Participation Участие сообществ 6 IPEN Almaty Kazakhstan July 2011 Mertens

7. Пример: делаем явным 7 Молодежь Ботстваны: Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД IPEN Almaty Kazakhstan July 2011 Mertens

8. Дизайн трансформационной оценки с использованием качественных и количественных методов Этап 3 Последо-вательно Этап 2 Одновре-менно Этап 4 Одновре-менно Этап 1 Качествен-ные методы Post tests: Quant Qual; Behavior & Policy Change; Transfer To other contexts Пост-тест: качест-венные, количест-венные, изменения в поведении и политике; перенос в другие условия Предвари-тельное исследования: молодежь, пожилые Пилот программы: наблюдение; интервью, опросы Соберите команду, изучите документы, начните диалог Оценка процесса Пре-тест: знания, отношение, поведение Демографи-ческая информация; опросы; статистика IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

9. Компоненты трансформационного дизайна:Пост-колониальная критическая этнография • Описание задачи или вопросов оценки (фокус). • Описание методов сбора данных: интервью, дневниковых записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя. • Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный. • Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации. • График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление. • Использование критической теории при планировании и проведении и распространении его результатов. Madison (2005) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

10. Исследование действием и трансформационный дизайн 1. Группа определяет цель и вопросы оценки. 2. Специалисты по оценке и участники наблюдают, участвуют в действиях, наблюдают и записывают. 3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание. 4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки. 5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации. (Heron & Reason, 2006). IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

11. Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий «Можно использовать опросы, статистический анализ, интервью, фокус-группы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников» Greenwood and Levine (2007) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

12. Вопросы для размышления: Дизайн • Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет? • При каких условиях вы сочтете такой дизайн этически приемлемым? • Каковы возможные альтернативы? (Mertens, 2009, TRE, p. 197) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

13. Гендерный анализ и сочетание качественных и количественных методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

14. Непосредственные и опосредованные результаты и влияние Ресурсы—>Действия—>Непосредственные результаты—>Опосредованные результаты—>Влияние • Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий. • Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров. • Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров. Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека?

15. Индикаторы 15 С помощью индикаторов мы измеряем, достигли ли мы своих целей и насколько мы к ним приблизились. Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния). Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата. Source: UNIFEM RBM training IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods Module 2-1

16. Индикаторы Module 2-1 16 Количественные: цифровые показатели(процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу) Качественные: отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности) IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

17. Примеры Источник: UNIFEM RBM Training. Module 2-1 17 Количественные – Можно подсчитать и выразить в числовой форме • % … число … частота … доля … количество … • время… Качественные – измеряют восприятие (могут быть выражены в числовой форме или в виде текста) • Уровень удовлетворенности … Знания о … • Способность … Приемлемость... Важность … • Польза от … IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

18. Гендерные индикаторы Source: A. Moser. 2007 Gender and Indicators Module 2-1 18 • Измеряют гендерные изменения • Включают • индикаторы, дезагрегированные по полу • индикаторы, измеряющие характеристик, специфичные для женщин или мужчин IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

19. Индикаторы для прав человека Module 2-1 19 Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение Индикаторы для прав человека должны измерять: • Изменение способности правообладателей и тех, кто облечен ответственностью, обеспечить реализацию прав человека • Изменение уровня пользования правами IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

20. Оценка, основанная на ценностях гендерного равенства и прав человека Реализация рекомендаций и использование результатов оценки: • Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью • Предоставьте информацию женским организациям и сетям, а также сетям специалистов • Используйте понятный язык • Проводите семинары для женщин и других групп, являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью) • Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

21. Примеры индикаторов Индикатор для опосредованного результата: Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов. Индикатор для непосредственного результата: Изменения знаний, навыков и отношения сотрудников министерств ХХХ IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

22. Примеры генденых индикаторов и индикаторов прав человека • Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении, • Доля занятых – с дезагрегацией по возрасту и полу, • Доля мальчиков и девочек, получивших начальное образование, • Доля женщин в парламенте.

23. “Проверка на соответствие реальности” • Затраты и использование имеющихся данных; не слишком ли много индикаторов? • Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией. • Прокси-индикаторы, когда измерение проводится косвенно. • По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку. • Индикаторы находятся не в вакууме, они должны быть привязаны к результату. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

24. Упражнение: разработка индикаторов Разработайтедваиндикатора(одинкачественныйиодинколичественный) для программы, которую мы рассматриваем в качестве примера на этом семинаре. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

25. Пример вопросов для оценки релевантности (соответствия) • Насколько хорошо цели программы соответствуют выявленным правам и потребностям женщин и мужчин-благополучателей? • Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа?

26. Пример вопросов для оценки результативности • Насколько были достигнуты цели программы, отвечают ли ожидаемые и побочные результаты потребностям наименее привилегированных женщин? • В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью?

27. Примеры вопросов для оценки эффективности • Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества? • Программа использовала преимущества партнерских отношений максимально возможно? • Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы?

28. Примеры вопросов для оценки влияния • В какой степени удалось остановить практики, дискриминирующие женщин? • Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, - более эффективно выполнять свои обязанности?

29. Примеры вопросов для оценки устойчивости • Поддерживают ли программу национальные и локальные женские организации? • Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения?

30. Дополнительные вопросы, касающиеся гендерного равенства и прав человека • Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин? • Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп? • Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные? • Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека? • Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011

31. Методы оценки, основанной на ценностях гендерного равенства и прав человека • Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки • Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество) • Планы по вовлечению в оценку представителей маргинализированных групп • Сочетание качественных и количественных методов

32. Строгость при выборе методов IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

33. Внутрення и внешняя валидность (достоверность) 33 В позитивистской традиции используются два важных теста: 1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность) 2. Является ли данное утверждение истинным в других ситуациях?Можно ли сделать обобщение? (Внешняя валидность) IPEN Almaty Kazakhstan July 2011 Mertens 7/5/2011

34. Сравнительные исследования: строгость • Есть ли причинно-следственная связь? Есть ли другие объяснения? • Сравнительные группы при изучение причинности в рамках сравнительного исследования? • Третья переменная является причиной переменной-предиктора и критериальной переменной? • Анализ подгрупп? • Корреляция: сортировка переменных? • Прогнозные исследования: Другие фильтры для переменных? Уровень 0.8 или выше? • Надежность и диапазон переменных IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

35. Критерии, которые обеспечивают научную строгость при использовании качественных методов Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

36. Критерии строгости при использовании качественных методов (a) Постоянство наблюдений (b) Обсуждение с коллегами (c) Прогрессивная субъективность (d) Проверка членами группы (e) триангуляция (f) Возможность переноса (g) Зависимость (h) Подтверждаемость (i) Аутентичность и честность IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

37. Трансформационная оценка: строгость • Ориентирована на права человека и социальную справедливость • Анализирует асимметричность структуры власти • Выступает за культурную компетентность в отношениях между специалистом по оценке и членами сообщества • Использует качественные и количественные методы, соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения • Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения Mertens (2009) Transformative Research and Evaluation. The Guilford Press. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

38. Аутентичность (Трансормационные критерии) • Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты. • Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными. • Каталитическая аутентичность: Исследование стало стимулом для действий. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

39. Власть и привилегии 39 IPEN Almaty Kazakhstan July 2011 Mertens Как мы можем понять динамику власти, когда методы с участием используют власть имущие? Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85) Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества? Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press) 7/5/2011

40. Критерии строгости: использование • Распространение • Использование • Принятие управленческих решений • Участие заинтересованных сторон IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

41. Цели распространения результатов оценки • Прозрачность и ответственность • Повышение осознанности работы организации и ее улучшение • Распространение успешного опыта работы и ноу-хау, чтобы способствовать более широкому соблюдению прав женщин • Передача опыта партнерам на местах и повышение их потенциала • Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека

42. Распространение • Язык и оформление отчета:Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности. • Перевод:Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства. • Открытая публикация отчета: В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики). • Ориентация на целевую аудиторию:Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям.

43. Стратегии распространения Брошюры с основными выводами и рекомендациями Годовые отчеты Статьи в специализированных и корпоративных бюллетенях Новостные релизы Пресс-конференции Выступления в СМИ Общественные слушания и встречи Семинары и неформальные групповые обсуждения Электронные медиа (электронная почта, сайты, блоги и т.п.) Личные встречи с лидерами сообщества.

44. Возможные трудности • Отсутствие консенсуса относительно рекомендаций и необходимых действий • Нападки тех, кому не нравятся результаты • Недостаток средств, желания или времени на распространение • По результатам оценки ничего не делается

45. Управленческие решения • Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений. • Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций. • Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки.

46. План действий • Как то, что вы узнали на семинаре, можно будет применить в вашей работе? IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

47. Литература • Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford. • Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage. • Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford • Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage. IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

48. Контактная информация • Donna M. Mertens, Gallaudet University • Donna.Mertens@Gallaudet.edu IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods