Definicja

1. Ewaluacja Justyna RatajczakSzkolenie dla Podkomitetu Monitorującego PO KL Województwa Warmińsko-Mazurskiego5 listopada 2008 r.

2. Definicja • osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. • Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

3. Podstawy prawne ewaluacji w okresie programowania 2007-2013 • Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności • + ustawa o zasadach prowadzenia polityki rozwoju (artykuł 17) • = Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata 2007-2013 (MRR) • oraz Plan oceny Programu Operacyjnego Kapitał Ludzki 2007 – 2013 (MRR)

4. Cel ewaluacji (art. 47 rozporządzenia ogólnego 1083/2006) • „poprawa jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”

5. Rodzaje ewaluacji w okresie programowania 2007 - 2013 • ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych, • ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych.

6. Rodzaje ewaluacji ze względu na czas ich przeprowadzania • Początkowa/szacunkowa/ex ante- przed realizacją interwencji • Bieżąca/okresowa/on-going -podczas realizacji interwencji • Końcowa/podsumowująca/ex-post - po zakończeniu realizacji interwencji

7. Ewaluatorzy • Ocenę przeprowadzają eksperci lub podmioty, wewnętrzne lub zewnętrzne w stosunku do struktur Komisji i państw członkowskich, którzy są funkcjonalnie niezależni od instytucji certyfikującej i instytucji audytowej

8. Finansowanie • Działania związane z przeprowadzaniem oceny finansowane są ze środków przeznaczonych na pomoc techniczną.

9. Zastosowania ewaluacji (1) • Wymóg formalny • Usprawnienie przepływu informacji • Poprawa przejrzystości i kontrola działań władz publicznych • Określanie kierunków i celów działań publicznych • Poznawanie mechanizmów wdrażania programów i projektów • Zwiększanie skuteczności i efektywności programów/projektów • Wspomaganie procesu podejmowania decyzji

10. Zastosowania ewaluacji (2) • Identyfikacja słabych i mocnych stron interwencji • Sygnalizowanie pojawiających się problemów • Określanie stopnia zgodności z przyjętymi założeniami • Badanie potrzeb • Zwiększanie profesjonalizmu świadczonych usług • Pogłębienie odpowiedzialności za program • Demokratyzacja procesu zarządzania • Element uczenia się i samodoskonalenia • ...

11. Cel ewaluacji PO KL (wg Planu Oceny PO KL) Ewaluacja PO KL jest prowadzona aby: • określić efekty realizacji PO KL oraz wpływ PO KL na osiąganie celów społeczno-gospodarczych określonych w strategiach krajowych i unijnych, • poprawić jakość, skuteczność i efektywność PO KL oraz usprawnić sposób funkcjonowania instytucji uczestniczących w realizacji PO KL, • lepiej odpowiadać na potrzeby (zarówno aktualnych, jak i przyszłych) odbiorców programu, • dostarczyć pogłębione informacje dla zarządzających PO KL, społeczności oraz opinii publicznej.

12. System ewaluacji PO KL w Polsce Zaangażowane instytucje: • Krajowa Jednostka Oceny • Instytucja Zarządzająca PO KL • Instytucje Pośredniczące • Komitet Monitorujący • Podkomitety Monitorujące • Grupa Sterująca Ewaluacją PO KL (GSE) i jej Zespoły Zadaniowe ds. ewaluacji tematycznych • Regionalne Grupy Sterujące Ewaluacją (opcjonalnie)

14. Etapy procesu ewaluacji • Konceptualizacja ewaluacji (planowanie i projektowanie ewaluacji • Zbieranie i analiza danych • Raportowanie • Wykorzystanie wyników ewaluacji

15. Przykłady badań ewaluacyjnych 1.Badanie zdolności absorpcyjnych podmiotów realizujących projekty w ramach POKL w województwie warmińsko-mazurskim 2. Prognoza zmian na rynku pracy wynikających z realizacji programów finansowanych z Europejskiego Funduszu Rozwoju Regionalnego oraz Funduszu Spójności w kontekście planowania wdrażania PO KL w województwie warmińsko-mazurskim.

16. Badanie zdolności absorpcyjnych... - cele • Cel główny: określenie zdolności podmiotów mogących aplikować o dofinansowanie w ramach Priorytetu IX PO KL do absorpcji środków z EFS. • Cele szczegółowe: 1. Zdiagnozowanie sytuacji (gotowości, przygotowania) podmiotów mogących aplikować o dofinansowanie do przyjęcia środków EFS. 2. Określenie determinantów zdolności absorpcyjnej podmiotów mogących realizować projekty w ramach PO KL. 3. Wskazanie barier w absorpcji środków z PO KL. 4. Wskazanie skutecznych metod zwiększenia zdolności absorpcyjnej wśród podmiotów aplikujących o dofinansowanie z EFS.

17. Badanie zdolności absorpcyjnych... – kryteria i pytania kluczowe • Kryteria: trafność i skuteczność • Pytania badawcze: Co wpływa na zdolność absorpcyjną podmiotów? Jak wygląda zdolność absorpcyjna podmiotów realizujących projekty w ramach PO KL w województwie warmińsko–mazurskim? Jakie są bariery w pozyskiwaniu środków z PO KL? W jaki sposób można zwiększyć zdolności absorpcyjne podmiotu?

18. Badanie zdolności absorpcyjnych... – metodologia • Analiza dokumentów (dokumenty programowe, narodowe i regionalne strategie rozwoju); • Indywidualne wywiady pogłębione z dyrektorami instytucji systemu oświaty i szkolnictwa wyższego lub wyznaczonymi przez nich kompetentnymi pracownikami (15 osób); • Zogniskowane wywiady grupowe (przedstawiciele instytucji, które posiadają doświadczenie w pozyskiwaniu środków unijnych jak również z tymi, które dotychczas nie realizowały projektów finansowanych ze środków UE) – 31 osób; • Ankieta (wywiady telefoniczne wspomagane komputerowo) z dyrektorami instytucji systemu oświaty województwa warmińsko–mazurskiego, wyłonionymi w drodze losowania, oraz przedstawicielami wszystkich szkół wyższych w regionie – 542 wywiady.

19. Badanie zdolności absorpcyjnych... – struktura raportu • Streszczenie • Spis treści • Definicje i wykaz używanych skrótów • Wstęp • I. METODOLOGIA PRZEPROWADZENIA BADANIA • II. OPIS I ANALIZA WYNIKÓW EWALUACJI 1. Charakterystyka podmiotów systemu oświaty i szkolnictwa wyższego 2. Obszary wsparcia w Planie Działania Priorytetu IX PO KL 3. Prezentacja wyników oceny w oparciu o przyjęte kryteria ewaluacyjne 3.1 Analiza danych zastanych 3.2 Zdolności absorpcyjne podmiotów oświaty i szkolnictwa wyższego – analiza danych (Charakterystyka badanych jednostek, Doświadczenie projektowe jednostek, Deklarowane perspektywy, Uwarunkowania organizacyjne, Pozyskiwanie i realizacja projektów – motywacje i ograniczenia) • Podsumowanie • Rekomendacje • Załączniki

20. Badanie zdolności absorpcyjnych... – koszt i czas • Koszt – 47 580 zł • Czas – 6 tygodni

21. Prognoza zmian na rynku pracy... – cel i przedmiot badania • Cel: dokonanie prognozy zmian na rynku pracy w województwie warmińsko-mazurskim, wynikających z realizacji programów finansowanych z EFRR. • Przedmiot badania: - projekty indywidualne, wskazane do realizacji w Planie Inwestycyjnym RPO WiM na lata 2007-2013, a także znajdujące się na listach indykatywnych projektów planowanych do realizacji w ramach innych programów operacyjnych, - projekty konkursowe, planowane do realizacji przez jednostki samorządu terytorialnego (JST).

22. Prognoza zmian na rynku pracy... – pytania badawcze • Pytania badawcze: 1. Jak projekty współfinansowane przez EFRR w ramach RPO WiM na lata 2007-2013 wpływają na rynek pracy w województwie warmińsko-mazurskim? 2. Jakie typy projektów powinny być realizowane w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki (PO KL), aby została zapewniona komplementarność z projektami realizowanymi w ramach RPO WiM na lata 2007-2013? 3. Jakie należy podjąć działania, aby został osiągnięty efekt synergii pomiędzy wsparciem PO KL, a RPO WiM na lata 2007-2013?

23. Prognoza zmian na rynku pracy... - metodologia • badanie ankietowe projektodawców (JST i instytucji wskazanych w Planie Inwestycyjnym RPO WiM na lata 2007-2013 – 150 podmiotów), • analiza dokumentów (dokumenty programowe RPO WiM na lata 2007-2013 oraz PO KL, dane statystyczne dotyczące regionu oraz informacje o projektach indywidualnych), • wywiady indywidualne (projektodawcy projektów indywidualnych - 9 wywiadów), • modelowanie ekonometryczne.

24. Prognoza zmian na rynku pracy... – struktura raportu • Streszczenie • Wstęp 1. Cel i zakres badania 2. Metodologia badania oraz przebieg procesu badawczego 3. Wpływ RPO WiM na lata 2007-2013 na rynek pracy 3.1. Charakterystyka potencjalnych projektodawców w ramach RPO WiM na lata 2007-2013 3.2. Planowana liczba i struktura miejsc pracy, które powstaną w wyniku realizacji projektów w ramach RPO WM 3.3. Oszacowanie liczby miejsc pracy, które powstaną w efekcie bezpośrednim, na podstawie analizy wpływu projektówrealizowanych w ramach I i III Priorytetu ZPORR na tworzenie miejsc pracy 3.4. Wyniki analizy ekonometrycznej 4. Analiza komplementarności RPO WiM na lata 2007-2013 i PO KL 5. Wnioski i rekomendacje

25. Prognoza zmian na rynku pracy... – koszt i czas • Koszt – 53 680 zł • Czas – 10 tygodni

26. Metody badawcze • analiza dokumentów • obserwacja • wywiad (indywidualny i grupowy) • ankieta • studium przypadku • modelowanie makroekonomiczne • badanie efektu netto • benchmarking • inne metody z zakresu nauk społecznych, ekonomicznych i zarządzania

27. Zadania IP PO KL • odpowiada za ewaluację priorytetów w ramach komponentu regionalnego • opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IP • prowadzi ewaluacje priorytetów w ramach komponentu regionalnego, w tym ocenę projektów systemowych • przedstawia wyniki ewaluacji Podkomitetowi Monitorującemu oraz IZ • wdraża rekomendacje przyjęte przez Podkomitet Monitorujący • przekazuje informacje o zrealizowanych działaniach ewaluacyjnych do IZ

28. Zadania Podkomitetu Monitorującego PO KL • nadzór nad procesem ewaluacji priorytetów w ramach komponentu regionalnego • opiniuje okresowy Plan działań ewaluacyjnych IP • analizuje rezultaty realizacji priorytetów w ramach komponentu regionalnego oraz wskazuje obszary, które powinny zostać poddane ocenie • przyjmuje wyniki (wnioski i rekomendacje) ewaluacji • podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

29. Model zarządzania rekomendacjami

30. Wykorzystanie wyników – decyzje Podkomitetu Monitorującego Decyzje mogą dotyczyć: 1) zmodyfikowania lub uzupełnienia zaproponowanego w Karcie: - adresata rekomendacji, - sposobu wdrożenia, - terminu realizacji, 2) uwzględnienia dodatkowych rekomendacji, 3) zaproponowania sposobu upowszechnienia wyników badania, 4) podjęcia uchwały lub działań Komitetu (Podkomitetu) w sprawie wdrożenia rekomendacji wykraczających poza system instytucjonalny PO KL itp.

31. Karta monitorowania wdrażania rekomendacji • Lp • Wnioski/problem • Rekomendacja • Adresat rekomendacji • Sposób wdrożenia • Termin realizacji • (i) Weryfikacja

32. Karta monitorowania wdrażania rekomendacji - tabela

33. Co przyczynia się do lepszego wykorzystania wyników ewaluacji • Wiedza w zakresie ewaluacji • Wykorzystanie wyników/doświadczeń zrealizowanych badań • Aktywny udział wszystkich zaangażowanych stron • Usuwanie uprzedzeń i obaw • Wysoka jakość raportów • Monitorowanie realizacji rekomendacji • Włączenie ewaluacji w proces decyzyjny • Zaplanowanie wykorzystania wyników już na etapie planowania ewaluacji • Promowanie przykładów użyteczności rekomendacji

34. Dziękuję! justyna.ratajczak@pte.org.pl Tel. 608 08 98 38