Zastosowanie metody Mystery Shopper w ewaluacji organizacji publicznych i pozarządowych

1. VI KONFERENCJA EWALUACYJNA WARSZAWA, 13-14.12.2010 dr inż. DARIUSZNIEĆ CENTRUM PROJEKTÓW EUROPEJSKICH Zastosowanie metody MysteryShopperw ewaluacji organizacji publicznych i pozarządowych Badanie Regionalnych Ośrodków EFS metodą MysteryCallingi Mystery Shopping

2. - Postawa badania- Założenia i cele badania- Porównanie wyników wybranych Ośrodków z badań Mystery Shopping i Callingoraz CATI- Wartość dodana badania Plan wystąpienia

3. Podstawą realizacji badania są: • Standardy działania sieci Regionalnych Ośrodków • - w szczególności: • zał. nr 19 do Standardów: Zasady prowadzenia weryfikacji Regionalnego Ośrodka EFS • i personelu kluczowego Podstawa badania Badanie typu Mystery Shopping i MysteryCallingstałym elementem procesu weryfikacji jakości usług w Regionalnych Ośrodkach EFS

4. Założenia i cele badania (1) - Badanie składało się z dwóch oddzielnych badań: MysteryCalling (MC) i Mystery Shopping (MS). Przy MysteryCallingbadacze skontaktowali się z Ośrodkami drogą telefoniczną. Przy Mystery Shopping badacze odbywali wizyty osobiście w Ośrodkach. - Badaniem objęto 50 Ośrodków. Każdy Regionalny Ośrodek EFS został oceniony na podstawie 4 konsultacji telefonicznych (MC) oraz 2 wizyt osobistych (MS).

5. Założenia i cele badania (2) Obszary badawcze: MysteryCalling: dostępność, bariera wejścia, komunikatywność, wiedza, użyteczność, gotowość, etyka. Mystery Shopping: dostępność, harmonogram, bariera wejścia, komunikatywność, wiedza, użyteczność, gotowość, etyka. Cele: MysteryCalling: sprawdzenie wiedzy oraz umiejętności interpersonalnych specjalistów ds. informacji i promocji w Regionalnych Ośrodkach EFS – ocena działania Punktu Informacyjnego. Mystery Shopping: sprawdzenie wiedzy oraz umiejętności interpersonalnych doradców kluczowych w Regionalnych Ośrodkach EFS – ocena usług doradczych.

6. Założenia i cele badania (3) W badaniu zostało wykorzystanych 5 profili klientów: Organizacja pozarządowa, 2. Przedsiębiorca, 3. Szkoła (podstawowa, gimnazjalna, ponadgimnazjalna, placówka edukacyjna, w tym przedszkolna), 4. Jednostki samorządu terytorialnego, w tym jednostki im podległe (z wyłączeniem szkół), Osoba fizyczna zainteresowana szkoleniami dofinansowanymi Europejskiego ; profil był wykorzystany wyłącznie w badaniu MysteryCalling. W ramach każdego profilu stworzono 2 scenariusze dla obu typów badań – łącznie 18 scenariuszy: MC:10, MS:8.

7. 2,75 2,75 2,68 96,2 Elbląg 2,59 2,55 2,48 2,87 2,75 2,75 68,4 12 95,5 Indeksy powyżej średniej Bydgoszcz Ciechanów 12 Indeksy poniżej średniej 2,62 2,38 2,49 Indeks dla Polski 75,5 2,35 2,37 2,66 Łódź 87,2 Jelenia Góra 84,3 2,78 2,70 2,68 Przydatność usług ROEFS (średnio: 2,47) 93,6 Oświęcim Adekwatność informacji ROEFS (średnio: 2,58) Poziom pracowników ROEFS (średnio: 2,70) Porównanie wyników wybranych Ośrodków z badań Mystery Shopping i Calling oraz CATI Indeks całkowity ocenia w jakim stopniu dany ROEFS umożliwia zdobycie potrzebnych informacji oraz jakość tych informacji. Na indeks ten składa się indeks umiejętności pozamerytorycznych oraz odsetek wyczerpujących odpowiedzi na zadane pytania. Ten indeks również przyjmuje wartości od 0 do 100 punktów.

8. Wartość dodana badania Możliwość zweryfikowania wiedzy oraz umiejętności interpersonalnych Regionalnych Ośrodków EFS przy pracy z klientami oraz wydania rekomendacji w tych zakresach. Możliwość adaptacji oferty szkoleniowej Krajowego Ośrodka EFS na podstawie wyników badania. Wyniki mają wpływ na ogólną ocenę działalności Ośrodków. Wyniki badania podstawą do weryfikacji i aktualizacji standardów działania sieci.

9. Więcej o badaniu Seminarium PARP i PTE Metoda MS w badaniach ewaluacyjnych 27 stycznia 2011 r. http://www.parp.gov.pl/index/index/1574

10. Dziękuję za uwagę Centrum Projektów Europejskich Krajowy Ośrodek EFS Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego