PLANIRANJE EVALUACIJE -VJEŽBA

1. PLANIRANJE EVALUACIJE -VJEŽBA Janusz Sieroslawski Institute of Psychiatry and Neurology

2. Uvod • Planiranje evaluacije je bitan dio vježbe • Razvijanje detaljnog plana prije započinjanja s evaluacijom • Što pažljivije planiranje tokom ove faze donosi više koristi od truda uloženog u evaluaciju

3. Koraci planiranja evaluacije • Donošenje odluke tko će biti uključen u evaluaciju • Ocjena evaluacijskih resursa • Opis programa za evaluaciju • Identifikacija i određivanje prioriteta evaluacijskih potreba • Određivanje evaluacijskih pitanja • Utvrđivanje mjera istraživanja • Pripremanje plana za prikupljanje podataka • Pripremanje analize podataka i plana izvještavanja

4. Donošenje odluke tko će biti uključen u evaluaciju • Osnivanje evaluacijskog tima • Proces planiranja evaluacije bi trebao uključivati pripadnike različitih grupa kako bi: • pridonijeli mnogobrojnim perspektivama planiranja • jačali odluku svih pripadnika da koriste svoje nalaze • dodao vjerodostojnosti procesa

5. Donošenje odluke tko će biti uključen u evaluaciju • Različite grupe uključene u program liječenja • pacijenti/klijenti • članovi obitelji • viši menadžeri • članovi Uprave • osoblje (terapeuti/liječnici) • volonteri • osnivači/sponzori • predstavnici ostalih programa ili servisnih usluga • ljudi iz zajednice

6. Ocjena evaluacijskih resursa • Vrste resursa • financijski/materijalni resursi • stručni resursi • resursi vremena • Resursi koji su već na raspolaganju i mogu se iskoristiti • Dizajniranje sheme evaluacije u skladu s resursima

7. Opis programa za evaluaciju • Razvoj logičkog modela programa • Struktura za opis programa • Resursi organizirani za opću uporabu • Planirane i poduzete aktivnosti • Ishodi koji se moraju postići bez odgode • Dugoročniji namjeravani ishodi • Ostale pozitivne/negativne posljedice ili popratne pojave

8. Logički model programa Glavne komponente Ciljevi provedbe Planirani kratkoročni ciljevi Planirani dugoročni ciljevi

9. Identifikacija i određivanje prioriteta evaluacijskih potreba • Što bismo željeli znati i zašto? • Potrebe evaluacije su formulirane u smislu otvorenih pitanja ili područja koja treba istražiti • Potrebe evaluacije iz perspektive različitih grupa uključenih u organizaciju liječenja • osoblje liječničke institucije • klijenti • osnivači • zajednica • Nužnost za diskusijom i međusobnim identificiranjem te postavljanje prioriteta evaluacijskih potreba

10. Određivanje evaluacijskih pitanja • Potrebe evaluacije treba suziti na točna evaluacijska pitanja • Evaluacijska pitanja treba generirati na temelju logičnog programa modela • Pitanja mogu biti usmjerena na bilo koji dio programske strukture, logike ili postupka

11. Primjeri evaluacijskih pitanja • Pitanja o zadovoljstvu klijenata • Je li vrsta sadržaja u programu bila od koristi za klijente? • Koliko su zadovoljni klijenti koji su sudjelovali u programu? • Pitanja o prenošenju programa • Koliko je savjetodavnih sati dobio svaki klijent individualno a koliko grupno? • Koji omjer sati je podrazumijevao direktan kontakt s klijentom u odnosu na kontakt s ostalima?

12. Utvrđivanje mjera istraživanja • Pokazatelji – mjere korištene za procesnu evaluaciju i evaluaciju ishoda • Pokazatelji ciljeva provedbe • Pokazatelji ciljeva ishoda • Pokazatelji moraju biti mjerljivi • Primjeri: • Provedba savjetovanja – broj sati, kvaliteta kontakta s klijentom, razina povjerenja • Promjena u opsegu konzumacije droge (ishod) – smanjenje broja dana korištenja droge, smanjenje proporcije korištenja pomoću injekcije

13. Kvantitativni i kvalitativni pokazatelji • Kvantitativni pokazatelji – mjerenje se provodi pomoću brojeva • konvencionalno zbrajanje velike količine podataka koji reflektiraju ključne ciljeve programa • Kvalitativni pokazatelji -mjerenje se provodi pomoću riječi • može očuvati jedinstveno stajalište ljudi koje se proučava • može pružiti dublji uvid u predmet istraživanja

14. Metode prikupljanja podataka • Analiza rutinski prikupljenih podataka – datoteke pacijenata, rutinske statistike • podaci iz liječničkih centara • podaci iz drugih institucija • Standardizirani upitnik ili test koji sami provodimo • Intervju za koji se koristi standardizirani upitnik ili test • Detaljan intervju • Fokusna grupa • Promatranje

15. Pripremanje plana za prikupljanje podataka • Pripremanje vremenskog okvira za prikupljanje podataka • Vremenski period proučavanja • Kontinuirano prikupljanje podataka • Ponovljena mjerenja (specifične točke u vremenu) • Određivanje uzorka • Sveukupno stanovništvo • Slučajni uzorak • Ostale vrste uzoraka • Pitanja veličine uzorka

16. Pripremanje analize podataka i plana izvještavanja • Plan analize podataka ovisi o prirodi evaluacijskih pitanja i vrsti pokazatelja • Kvantitativni pokazatelji • mogu se analizirati uporabom statističkih tehnika • mogu se jednostavno ‘prevesti’ u grafikone koji iskazuju rezultate evaluacije • Kvalitativni pokazatelji • interpretacija intervjua ili opisa • tipologizacija

17. Pitanja za diskusiju • Koliko je strukturirana Vaša liječnička djelatnost? • Jeste li razvili program liječenja? • Koja vrsta aktivnosti se poduzima? • Jeste li postavili kratkoročne ciljeve? • Koji su Vaši potencijalni izvori evaluacije? • Koje su Vaše potrebe kod evaluacije?