PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO VERTINIMAS

1. PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO VERTINIMAS Prof. dr. Vilma Žydžiūnaitė E-mail: vilma.vilma@ymail.com

2. VERTINIMAS

3. Vertinimo poreikis projekte

4. Vertinimai, vykdant projekto veiklas ir siekiant konkrečių rezultatų, turi būti vykdomi ne tik galutiniame projekto etape (galutinis ar apibendrinamasis vertinimas, vadinamas apibendrinamuoju vertinimu / įvertinimu), bet ir viso projekto eigoje (tarpiniai vertinimai).

5. Vertinimo termino vartojimas

6. Vertinimo ir įvertinimo sąvokos netapačios: vertinimui (-ams) atlikti būtinas duomenų rinkimas, analizė, interpretacija ir apibendrinimas, kas sudaro galimybes priimti sprendimus - įvertinimus. • Metodikoje koncentruojamasi tik į vertinimą (anglų k. – evaluation).

7. Skirtingose projektų rezultatų kategorijose vertinimas ir įvertinimas turi skirtingus objektus

8. Edukacinė kategorija • interakcinis/ sąveikos (mokymai, mokomieji vizitai), • medžiaginis [leidiniai (knygos, metodikos, programos), • informacinių technologijų (rekomendacijos elektronine forma, elektroninis informacinis biuletenis), • kognityvus (vertimas, leidinio parengimas), • audiovizualinis (vaizdo klipas, fotoalbumas), • leidybos (knygos leidyba), • švietimo (visuomenei skirtas renginys, vieši prisistatymai), • politikos (koncepcija, veiksmų planas), • administravimo (leidinių platinimas, tinklapio administravimas), • informavimo (informacijos skleidimas spaudoje)

9. Tyrimų / empirinėkategorija • interakcinis / sąveikos (tikslinės tyrimo dalyvių grupės atranka), • informacinių technologijų (duomenų parengimo analizei kodų matrica kompiuterinėje programoje), • medžiaginis(straipsnis, tyrimo ataskaita), • kognityvinis (suformuluotos išvados, suformuluotos rekomendacijos), • proceso (įvykdytas tyrimas (apklausa, interviu), atrinkta tyrimo medžiaga, pilotinis išbandymas (mokymo kurso), • edukacinis (testuotas modulis, adaptuotas modulis), • leidybos (galimybių studijos leidyba).

10. Rekreacijos kategorija • lavinimo (pažintinės išvykos (vizitai, ekskursijos), • papildomo ugdymo (vaikų užimtumo užsiėmimai, sporto užsiėmimai), • socializacijos (vasaros stovykla, koncertas).

11. Paramos kategorija • medžiaginis (įsigytas inventorius), • mokymo/si (nupirktos knygos), • savišvietos (sudarytos galimybės naudotis internetu užprenumeruoti leidiniai), • proceso (funkcionuojantis paramos centras), • paslaugos (medicinos paslaugos), • farmacinis (medikamentai).

12. Informacinių technologijų kategorija • kognityvinis (interneto puslapio / tinklalapio sukūrimas, elektroninės skilties parengimas, reklaminių skydelių sukūrimas, internetinių informacinių laidų ciklo sukūrimas), • proceso (interneto svetainės turinio administravimas, įregistruotas domenas, elektroninės skilties administravimas).

13. Vertinant rezultatus skirtingose kategorijose, jiems suteikiamos vertės, parodomas objektų vertingumas: jų požymiai, reikšmingumas įvairiuose lygmenyse (pvz., asmeniniame, bendruomenės, organizaciniame, visuomenės ar kt.), nes kiekvienu rezultatu siekiama patenkinti konkrečius poreikius (pvz., kultūrinius, politinius, socialinius, edukacinius ir kt.)

14. PROJEKTO REZULTATAS

15. Projekto rezultato (anglų k. – project outcome, deliverable, result) terminas vartojamas projektų vadyboje apibrėžti apčiuopiamą, juntamą, akivaizdų, materialų arba neapčiuopiamą, neapibrėžtą, nematerialų objektą (produktą), kuris skirtas konkrečiam vartotojui. • Projekto rezultatu gali būti ataskaita, dokumentas, serverio patobulinimas, leidybos procesas, parengta knyga ir kt.

16. Metodikoje vartojama tik projekto rezultato sąvoka (adekvati projekto produkto sąvokai), kuri suprantama holistiškai, t. y. ji savo turinyje gali apimti ir konkrečias gaires (traktuotinas konkrečiu rezultatu / produktu), ir gairių rengimą, jei bus poreikis vertinti proceso kokybę.

17. Projekto rezultatų kokybės prielaidos

18. projekto rezultatų turi siekti konkrečias kompetencijas turintys specialistai (praktikai) ir mokslininkai, tyrėjai; • projekto rezultatas traktuojamas kokybišku, jei jis atitinka numatytus kokybės rodiklius, o atitikimą jiems įrodo atlikto projekto rezultatų ir šių rezultatų poveikio efektyvumo vertinimas; • jei sukurti projekto rezultatai (produktai) reikalauja papildomų mokymų vartotojams, tuomet mokymams taip pat turi būti sukuriami mokymų kokybės vertinimo kriterijai ir rodikliai, kurie leistų įvertinti mokymų (kaip produkto) kokybę ir jų poveikio vartotojams efektyvumą.

19. Europos pabėgėlių fondo projektų rezultatų bendrieji bruožai

20. projekto rezultatai yra keturių kategorijų – edukacijos, tyrimų / empirinės, rekreacijos ir informacinių technologijų; • kiekviena rezultato kategorija apima tris charakteristikas – rezultato tipą, rezultato potipį ir rezultato pobūdį; • kiekvienoje kategorijoje ir konkrečiame tipe galimi kiekybiniai ir kokybiniai rezultatai; • kiekviename potipyje gali būti kelių pobūdžių rezultatai yra kiekybiniai ir kokybiniai.

21. Projekto tikslai Rezultato tipas X 1 Rezultato potipiai .... Rezultato kategorija X Projekto veiklos Rezultato tipas X 2 Rezultato potipiai .... Projekto rezultatai Rezultato kategorija Y Rezultato tipas Y 1 Rezultato potipiai .... Rezultato tipas Y 2 Rezultato potipiai .... Rezultato kategorija .... Rezultato tipas ... Rezultato potipiai .... Rezultato tipas ... Rezultato potipiai .... Rezultato pobūdis

22. Vertinant projekto rezultatus reikėtų atsiminti, jog tas pats rezultatas gali būti priskiriamas …

23. Edukacijos rezultatai Tyrimų / empiriniai rezultatai Projekto rezultatas X Rekreacijos rezultatai Paramos rezultatai IT rezultatai …kelioms kategorijoms

24. Tipas: Mokymas Tipas: Mokymasis Tipas: Lavinimas Edukacijos kategorijos projekto rezultatas X Tipas: Rekreacija Tipas: Tobulinimasis Tipas: Konsultavimas Tipas: Informavimas Tipas: Pagalba Tipas: Sklaida …keliems tos pačios kategorijos tipams

25. Tipas: Mokymas Potipis: interakcinis rezultatas Kategorija: Edukacija Tipas: Sklaida Potipis: kognityvinis rezultatas Projekto rezultatas X Potipis: lavinimo rezultatas Kategorija: Rekreacija Tipas: Edukacija Potipis: papildomo ugdymo rezultatas …keliems potipiams toje pačioje kategorijoje ir tame pačiame tipe

26. Potipis: Interakcinis rezultatas Edukacijos kategorijos projekto rezultatas X Tipas: Mokymas Potipis: Medžiaginis rezultatas …kelioms kategorijoms ir kiekvienoje iš jų skirtingiems tipams bei pastarųjų potipiams

27. Projekto rezultatų vertimo tipo ir metodo parinkimo logika pagal projekto rezultato priskyrimą kategorijai, tipui ir potipiui

28. Projekto rezultato KATEGORIJA Projekto rezultatas X Projekto rezultato TIPAS Projekto rezultato POTIPIS Projekto rezultato vertinimo KRITERIJAI Projekto rezultato vertinimo RODIKLIAI Projekto rezultato vertinimo TIPAS Projekto rezultato vertinimo METODAI Projekto rezultato vertinimo INSTRUMENTAI

29. PROJEKTO REZULTATO VERTINIMAS

30. Projekto rezultato kokybės kriterijų ir juos sudarančių rodiklių / indikatorių apibrėžimas

31. Kiekybinių verčių kokybės kriterijams ir juos sudarantiems rodikliams / indikatoriams numatymas

32. Projekto rezultato kokybės rodikliams / indikatoriams darančių faktorių apibrėžimas

33. Projekto rezultato vertinimo tipų ir metodų parinkimas

34. Projekto rezultatų vertinimo instrumentų sudarymas • Kiekybiniame vertinimo tipe – uždaro tipo skalių klausimynas, skalių vertinimo matrica, struktūruoto interviu klausimai, struktūruoto stebėjimo matrica. • Kokybiniame vertinimo tipe – atviro tipo klausimynas, pusiau struktūruoto ar nestruktūruoto interviu klausimai, nestruktūruoto ar pusiau struktūruoto stebėjimo matrica. • Mišriajame vertinimo tipe derinami kiekybinių ir kokybinių duomenų rinkimo metodai atskirose vertinimo stadijose

35. Projekto rezultatų vertinimo duomenų interpretavimas • Projekto rezultatų vertinimo išvadų formulavimas

36. Bendradarbiavimas su tyrėjais ir mokslininkais vertinant projekto rezultatus

37. Atlikdami projekto rezultatų vertinimą – nuo vertinimo tipo, metodų parinkimo, vertinimo instrumento sudarymo iki vertinimo duomenų rinkimo, analizės ir interpretacijos - projekto veiklų vykdytojai turi objektyviai įsivertinti savo turimą kompetenciją tyrimų metodologijoje, ypač – vertinimo srityje, ir jei ši kompetencija įsivertinama nepalankiai, konsultuotis su mokslininkais ir tyrėjais bei su jais bendradarbiauti.

38. PROJEKTO REZULTATO POVEIKIO EFEKTYVUMAS

39. Efektyvumo vertinimas turi kokybinę prigimtį ir orientaciją į ateitį, proceso eigą, o veiksmingumo matavimas remiasi kiekybine prigimtimi ir orientuojasi į esamą būklės vertinimą. • Todėl, vertinant projekto rezultatų poveikio efektyvumą, prasminga pirmenybę teikti vertinimams projekto eigoje (tarpiniam poveikio vertinimui) ir kokybinio vertinimo tipui.

40. Jei projekto komandai aktualus ir veiksmingumo vertinimas, tuomet esminis dėmesys turi būti skiriamas projekto rezultato vertinimui. • Pirmenybę teikiant kiekybiniam vertinimo tipui, o jei bus vertinamas projekto rezultatų poveikio veiksmingumas, tuomet prasminga orientuotis į trumpalaikio poveikio vertinimo strategiją.

41. Vertinimo strategija siejama su projekto rezultato poveikio tipu, o vertinimo tipas – su projekto rezultato poveikio potipiu.

42. Pasirenkant projekto rezultato poveikio vertinimo tipą ir strategiją svarbu atsižvelgti į projekto tikslinės grupės charakteristikas ir į projekto konkretaus rezultato pobūdį (savybes, charakteristikas). • Būtent tikslinės grupės yra konkrečių rezultatų vartotojos ir jų nuomonė, pasitenkinimas, lūkesčiai bei nuostatos apie konkretų rezultatą yra svarbūs rodikliai, vertinant projekto rezultato poveikį

43. Projekto rezultato kategorija Projekto rezultato tipas Projekto rezultato potipis Projekto rezultato poveikio tipas Projekto rezultato poveikio potipis Projekto tikslinė grupė Projekto rezultato pobūdis Projekto rezultato vertinimo strategija (ilgalaikis poveikis, trumpalaikis poveikis, tarpinis poveikis) Projekto rezultato vertinimo tipas (kiekybinis, kokybinis, mišrus)

44. Metodikoje projekto rezultato poveikio efektyvumu vadinamas konkretaus projekto rezultato poveikis tikslinei projekto grupei, projekto komandai ir / ar kitiems projekto rezultato vartotojams, kuris gali būti vertinamas, taikant kokybinį, kokybinį ar mišrų vertinimo tipą, besiremiantį kokybiniais ir kiekybiniais tyrimo metodais vertinimo informacijai rinkti ir analizuoti.

45. PROJEKTO REZULTATO POVEIKIO EFEKTYVUMO VERTINIMAS

46. Kai vertiname projekto rezultato poveikio efektyvumą, vertiname šio rezultato praktinį naudojimą, praktiškumą ir naudingumą konkrečiai tikslinei projekto grupei.

47. Praktiškas vartojimas reiškia, kad produkto kūrėjai siekia konkrečių tikslų, kurių realizavimą atspindi rezultato poveikio efektyvumas ir veiksmingumas, t. y. produkto vartotojų pasitenkinimas (Nielsen, 1993; ISO, 1994).

48. Vertinant projekto rezultatų poveikio efektyvumą, prasminga orientuotis į tokius kriterijus: • vartotojų veiksmingas ir efektyvus numatytų tikslų pasiekimas, praktiškai naudojant rezultatą / produktą; • nesudėtingas mokymasis, taikant / naudojant konkretų projekto rezultatą; • galimybės išvengti klaidų ir / ar jas ištaisyti, praktiškai naudojant rezultatą; • vartotojų pasitenkinimas, praktiškai naudojant konkretų projekto rezultatą, • konkretaus rezultato dermė su konkrečiu kontekstu, kuriame jis taikomas / naudojamas praktiškai.

49. Kuriant ir / ar vykdant projektą turi būti informacija apie…

50. …siekiamą projekto rezultatų poveikio efektyvumą