Ewaluacja i monitoring, jako jeden z kluczowych elementów zarządzania strategicznego

1. Ewaluacja i monitoring, jako jeden z kluczowych elementów zarządzania strategicznego - instrumenty ewaluacji i monitoringu RSI Beata Ciężka Kaliszki26.03.2010

2. Ewaluacja - definicja • Badanie wartości lub cech konkretnego programu, działania bądź obiektu z punktu widzenia przyjętych kryteriów w celu ich usprawnienia, rozwoju lub lepszego rozumienia • Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności interwencji w kontekście założonych celów

3. Cele ewaluacji RSI OCENA SKUTKÓW REALIZOWANEJ STRATEGII Zagwarantowanie wysokiego poziomu odpowiedzialności władz i transparentności działań Zapewnienie partycypacji i współodpowiedzialności partnerów społecznych Wykorzystanie wyników ewaluacji w procesie decyzyjnym (aktualnie realizowanej strategii i przyszłych interwencji)

4. Ewaluacja – rodzaje • Początkowa/ex-ante- przed realizacją interwencji • Bieżąca/okresowa/mid-term/on-going - podczas realizacji interwencji • Końcowa/podsumowująca/ex-post - po zakończeniu realizacji interwencji

5. Monitoring - definicja Proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażanej interwencji w aspekcie finansowym i rzeczowym Cel: zapewnienie zgodności realizacji interwencji z przyjętymi założeniami i celami • Oparty jest na wskaźnikach • Wspomaga szybkie identyfikowanie wszelkich nieprawidłowości, a dzięki temu podejmowanie odpowiednich działań zaradczych

6. Cele monitoringu RSI POMIAR WYNIKÓW (W OBNIESIENIU DO ZAŁOŻONYCH WSKAŹNIKÓW) Integralna część „zarządzania przez wyniki” Funkcja kontrolna i rozliczeniowa Wybór kierunków udzielania wsparcia i realizacji strategii

7. Planowanie ewaluacji • Przystępując do przeprowadzania ewaluacji trzeba ją precyzyjnie zaplanować, by jak najskuteczniej wykorzystać czas i posiadane zasoby. • Im lepiej zaplanowana ewaluacja, tym większa szansa na przeprowadzenie jej w taki sposób, który dostarczy istotnych, wiarygodnych i rzetelnychinformacji, odpowiadających potrzebom i zainteresowaniom jej odbiorców i użytkowników. Przystępując do przeprowadzenia ewaluacji należy jasno sformułować jej cel, a więc odpowiedzieć na pytanie czemu służyć będą poczynione w jej wyniku ustalenia. Ewaluacja może być prowadzona w celu rozwiązania jakiegoś problemu – informacje pozyskane w wyniku ewaluacji mogą pomóc właściwie zdiagnozować problem i ułatwić podjęcie właściwej decyzji zmierzającej do rozwiązania tego problemu.

8. Potrzeby przeprowadzania badań ewaluacyjnych RSI • Wyjście poza zakres badania osiągania założonych wskaźników (poza zakres monitoringu) • Badanie eksploracyjne (pogłębiające) i eksplanacyjne (wyjaśniające) np. związki przyczynowo-skutkowe • Identyfikacja niezamierzonych efektów i procesów towarzyszących wdrażaniu RSI (mających wpływ na osiągane efekty) • Identyfikacja przyczyn niepowodzeń, ale i czynników wspomagających osiąganie celów RSI

9. Obszary ewaluacji RSI • Założenia RSI (w tym np. aktualność celów, identyfikacja zmieniających się potrzeb) • Wdrażanie RSI (w tym np. efektywność metodyki wdrażania, osiągnięte na danym etapie rezultaty, identyfikacja problemów związanych z wdrażaniem RSI) • Potencjał instytucji wdrążających RSI • Działania informacyjno-promocyjne dot. RSI oraz innowacyjności • Współpraca międzyinstytucjonalna na rzecz wdrażania RSI (w tym np. przepływ informacji, realizacja zasady partnerstwa) • Skuteczności i efektywność realizacji projektów dedykowanych wdrażaniu RSI

10. Obszary ewaluacji RSI Burza mózgów Jakie jeszcze obszary związane z RSI można poddać ewaluacji?

11. Metody i narzędzia badawcze stosowane w ewaluacji • Analiza dokumentów (jakich?) • Wywiady pogłębione (z kim?) • Ankietowanie (kogo?) • Obserwacje (czego?) • Studia przypadków (jakie?) • Ekspertyzy (jakie?)

12. Metody wykorzystania wyników badań ewaluacyjnych • Uwzględnienie potrzeb informacyjnych wszystkich interesariuszy RSI (konsultacje na etapie przygotowania i realizacji ewaluacji – wzmacniają użyteczność ewaluacji) • Jawność wyników i ich upublicznianie – transparentność • Praca nad rekomendacjami, monitorowanie wdrażania rekomendacji, ewaluacja efektów drożenia rekomendacji

13. Wykorzystanie wyników badań ewaluacyjnych – rekomendacje (1/2) Rekomendacje opracowane na podstawie wyników badań ewaluacyjnych powinny być możliwe do zaakceptowania: • warto opracować rekomendacje we współpracy z instytucjami/osobami, których one dotyczą • współpraca daje największe szanse na przyjęcie i wdrożenie rekomendacji • współpraca daje zainteresowanym możliwość sprzeciwu dla danej rekomendacji i opracowanie lepszego rozwiązania

14. Wykorzystanie wyników badań ewaluacyjnych – rekomendacje (2/2) Należy rozważyć czy rekomendacja powinna być sformułowana w sposób ogólny czy bardziej szczegółowy: • rekomendacje sformułowane ogólnie pozwalają zainteresowanym samodzielnie podjąć decyzję w jaki sposób należy naprawić sytuację • rekomendacja sformułowana szczegółowo pozwala określić co i jak należy robić oraz kto jest osobą odpowiedzialną Rekomendacje powinny być realistyczne – należy rozważyć konsekwencje proponowanych zmian: • jakie będą wydatki finansowe wynikające z proponowanej rekomendacji • jak wdrożenie proponowanej rekomendacji może wpłynąć na realizację RSI

15. Monitoring, jako integralna część procesu zarządzania i planowania strategicznego • Planowanie strategiczne zakłada precyzyjną identyfikacje celów, rezultatów, działań i nakładów na ich realizację • Każdy element planowania strategicznego powinien mieć precyzyjne zdefiniowane wskaźniki sukcesu • Osiąganie zaplanowanych wskaźników powinno być stale monitorowane (system monitoringu) • System monitoringu wspomaga szybkie identyfikowanie nieprawidłowości i podejmowanie odpowiednich działań zaradczych • Systematycznie prowadzony monitoring pozwala obserwować postępy we wdrażaniu RSI – jest to dobrym materiałem wyjściowym przy ewaluacjach bieżących i okresowych • Dane z systemu monitoringu powinny być wykorzystane przy ewaluacji skuteczności i efektywności wdrażania RSI

16. Dyskusja • Pytania… • Komentarze… • Refleksje…

17. Dziękuję za uwagę! Życzę owocnych monitoringów i ewaluacji! Beata Ciężka beata.ciezka@pte.org.pl 17