Evaluace programu

1. Evaluace programu Jan Činčera, 2010

2. Obsah • Úvodní pojmy, příklady, smysl evaluace… • Cyklus evaluace • Tipy

3. Příklad 1 Zelená škola • Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu. • V důsledku učitelé špatně pochopili smysl programu. • Těžiště aktivity se z dětí přesunulo na učitele. • Učitelé naplňovali program aktivitami podle svého uvážení. • Program neměl měřitelný vliv na žáky. • Realizátor přehodnotil systém bodování škol.

4. Příklad 2 GLOBE • Učitelé realizují pouze některé z doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity. • Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí. • Realizátor připravuje nové metodiky na zaškolení učitelů.

5. Příklad 3 Kurz pro koordinátory EV • Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika. • Menšina nespokojená – střety s vlastní představou o EV x organizátoři • Absolventi přesto nezvládají připravit program. • Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

6. Evaluace • = proces kritického prověřování programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

7. Proč evaluace? • Zkvalitnění programu • Úspory v organizaci • Prezentace • Komunikace se sponzory

8. Kdy má evaluace smysl Je reálná šance, že program funguje Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím programu, má o evaluaci zájem Programy, které neprošly sumativní evaluací, pravděpodobně nefungují podle očekávání realizátorů.

9. Obecné zásady • Neexistuje ideální evaluační design • Pragmatický přístup k evaluaci • Participace • evaluátor – středisko • empatická neutralita evaluátora • Opatrnost v interpretacích a doporučeních • Žádná evaluace neříká přesnou výpověď, pravděpodobnostní charakter

10. Evaluační roviny

11. Teorie programu Logický model programu Program = souhrn aktivit, které naplňují společné cíle.

12. Proakční přesvědčení Vyřešený místní problém Prezentace CS Akční znalosti Zaškolení týmu Spolupráce na řešení místního problému Kooperativní dovednosti Kooperativní aktivity Příprava manuálu Přesvědčení o zvládnutelnosti spolupráce Zajištění klientely Diskuse o místních problémech

13. Typy evaluace • Expertní hodnocení • Analýza potřeb • Analýza náklady - výstupy • Akční výzkum • Monitoring • Formativní evaluace • Sumativní evaluace

14. Evaluační proces

15. Informace o programu • Expertní hodnocení • Paradigma programu • Výstupově x procesně orientovaný • Metodická východiska… • Logický model programu • Tématický rámec programu • Organizační model (sekvence) programu • Předchozí evaluace a zkušenosti s programem

16. Evaluační otázky • Co chceme zjistit? • Jaké roviny logického modelu chceme zkoumat? • Jaké jsou základní indikátory pro evaluační otázky?

17. Příklady evaluačních otázek • Do jaké míry program rozvíjí znalosti dětí o globálních problémech? • Chovají se absolventi programu k životnímu prostředí jinak než děti, které ho neabsolvovaly? • Co si děti v průběhu programu uvědomily nového? • Měl program vliv na další život dětí? • Které konkrétní aktivity děti nejvíce ovlivnily?

18. Plán (design) evaluace • Kvantitativní • Do jaké míry bylo dosaženo očekávaných výstupů programu? • Čísla: četnosti, průměry, čísla, statistická významnost • Kvalitativní • Proč účastníci reagovali při programu tak, jak reagovali? • Jak účastníci interpretují to, co se dozvěděli? • Slova, obrazy, situace: textová analýza • Smíšený

19. Kvantitativní metodika • Předpoklady • Program lze objektivně měřit • Výstupy lze kvantifikovat • Plán evaluace • Monitoring výstupů • Experimenty a kvaziexperimenty • Korelační analýza

20. Kvantitativní metodika • Výběr vzorku • Plán sběru dat • Metody sběru dat • Analýza dat • Interpretace dat

21. Výběr vzorku • Census – všichni účastníci • Náhodný – randomizované experimenty • Jiný (dostupnost, samovýběr)- kvazi experimenty

22. Monitoring výstupů • Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. • CO? Jakmnoho – hladinaúspěšnosti? • Př.: 70% žáků na myšlenkové mapě uvede správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich. • Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů

23. Plán vyhodnocování indikátorů

24. Experimenty Experimentální skupina Kontrolní skupina

25. Korelační analýza • Vztah dvou či více proměnných • Pozitivní či negativní korelace • Důvody • Chybí kontrolní skupina • Méně fixní program ve více variantách • Sledujeme vliv jedné proměnné • Sledujeme vliv kombinace proměnných

26. Metody sběru dat • Ankety • Dotazníky • Testy • Pozorování (observační tabulka) • Validita • Reliabilita • Anonymita • Přesné a jednotné zadání

27. Analýza dat • Monitoring • Deskriptivní statistika – porovnání indikátory: data • Experimenty • Statistická významnost rozdílů mezi skupinami • Velikost účinku (size effect) • Korelační analýzy • Síla korelace

28. Kvalitativní metodika • Předpoklady • Program interpretuje každý jinak – neexistuje "objektivní" realita programu • Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost

29. Kvalitativní metodika • Výběr vzorku • Plán sběru dat • Metody sběru dat • Analýza dat • Interpretace dat

30. Výběr vzorku • NENÍ náhodný, ale záměrný • Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti...

31. Plán sběru dat • NENÍ lineární, ale cyklický • Není předem daný rozsah • Data se sbírají, dokud nejsou nasyceny sledované kategorie • Typy • Zakotvená teorie • Etnografický průzkum… • Smíšený plán QUAL+quan…

32. Metody sběru dat • Rozhovory • Ohniskové skupiny • Pozorování, nahrávky • Analýza textů, posterů, artefaktů, deníků, portfólií.. • Důvěryhodnost • Triangulace

33. Analýza dat • Kódování • Vytváření obecných kategorií a subkategorií (témat) • Analýza vztahů mezi kategoriemi, modely …Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...

34. Evaluační zpráva • Cíle evaluace • Popis programu • Evaluační otázky • Indikátory, design evaluace • Charakteristika vzorku • Metody sběru dat • Prezentace výsledků • Interpretace, diskuse • Doporučení • Závěry

35. Jak začít • Kritická analýza vlastního programu • Samostatně x externí evaluátor • Formativní evaluace, akční výzkum • Finanční zdroje • Čas • Odhodlání

36. Jak evaluovat různé výstupy

37. Jak evaluovat afektivní proměnné • Senzitivita • Ohnisko kontroly • Obecné • Specifické (sebehodnocení) • Obecné postoje • Specifické postoje • Hodnoty • Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému) • Standardizované nástroje • Kvalitativně

38. Dotazy… • Jan Činčera, jan.cincera@tul.cz