Møde med science-kommuner I Region Hovedstaden vedr. evaluering

1. Møde med science-kommuner I Region Hovedstaden vedr. evaluering Birkerød, den 13. januar 2011 Thomas Hem Pedersen (thp@eva.dk) og Rikke Sørup (rs@eva.dk) Danmarks Evalueringsinstitut (EVA)

2. Hvem er vi? Rikke Sørup • Baggrund som gymnasielærer og uddannelsesleder • Ansat på EVA siden 2001 (GUU) Thomas Hem Pedersen • Cand scient soc • Metodekonsulent på EVA siden 2007 Danmarks Evalueringsinstitut (EVA) • Uafhængigt statsligt evalueringsinsititut på uddannelsesområdet siden år 2000 • Gennemfører opgaver på eget initiativ og løser opgaver på konsulentbasis • Gennemfører evalueringer og opbygger evalueringskapacitet (nationalt videnscenter) • Rådgiver i evalueringssammenhænge

3. Slagplan • Oplæg om evaluering med indsatsteori som udgangspunkt • Fokus på mål • Fokus på indsatser, indikatorer og succeskriterier (tegn) med udgangspunkt i jeres forberedelse til mødet • Fokus på anvendelse af evalueringen (det fremadrettede aspekt) • Øvelse – rekonstruering af jeres indsatsteori (Hvad er det der skal evalueres?) • Oplæg omkring evaluering af indsatsteori og valg af metoder • Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved forskellige metoder • Særligt fokus på spørgeskemametode • Øvelse: gruppearbejde eller individuelt arbejde med evalueringsdesign (Hvordan evaluerer vi/Hvilke metoder passer til vores evalueringsspørgsmål • Individuel sparring i forhold til de enkelte evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling • Afslutning

4. Politikernes behov: Dokumentation ”Får vi valuta for pengene?” Skolernes behov: Udvikling ”Hvordan kan vi blive bedre?” Elevernes behov: Gennemsigtighed ”Hvad skal jeg vælge?” Hvorfor evaluerer I?

5. Hvad er evaluering? En kvalificeret vurdering af noget der er hændt, det vil sige: er ”kvalificeret” i betydningen baseret på dokumentation som er indsamlet og bearbejdet på en systematisk måde. Indeholder en vurdering (Det er det der adskiller evalueringer fra mange andre aktiviteter: forskning, meningsmålinger m.m.). Er bagudrettet, men med fremadrettet perspektiv. Der er en evalueringsgenstand.

6. Intuitiv og systematisk arbejdsmetode

7. Intuitiv og systematisk arbejdsmetode 80-90 % 10-20 % Kilde: Torben Spanget

8. Formativ, summativ eller en blanding • Når kokken smager på suppen er det _____________ evaluering (udvikling/læring) • Når gæsten smager på suppen er det _____________ evaluering (kontrol) • Men hvis mange gæster påpeger at maden er for krydret, så får det forhåbentlig kokken til at overveje hvorvidt der skal ændres noget

9. Hvordan arbejde med kvalitet? • 4) Vurdering af praksis og målene • Tage konsekvensen og • sætte nye mål? 1) Klare mål - Hvad er kvalitet? • 3) Evaluering • I hvilken grad opnås den • ønskede kvalitet? • 2) Tegn • Hvad er tegn på kvalitet • i den daglige praksis?

11. SMTTE Modellen

12. Hvad er en indsatsteori? • En måde at visualisere sammenhængen mellem aktiviteter, trin på vejen, resultater og virkninger på længere sigt. • Bag enhver indsats ligger nogle forestillinger om hvorfor vi tror en indsats virker og hvorfor den er velegnet til at nå bestemte mål • Indsatsteorien beskrives som et procesforløb. • Først sker der det ene, så sker der det andet, så sker der det tredje.

13. Indsatsteorien opstilles grafisk Kampagne for nikotinplaster Mindsket rygetrang Rygestop Længere liv Bedre sundhed

14. Indsatsteorien som udgangspunkt for en evaluering • Når indsatsteorien er opstillet skal evaluatoren til at fungere som detektiv. • Følger virkningskæden fra indsats til virkning. Undersøger hvert led i indsatsteorien. Ofte mange led. • Metoder: Observation, interview, spørgeskema, registerdata.

15. Tre hjælpere Indikator Dataindsamlings-metode Succeskriterium Forhold, omstændigheder, holdninger eller adfærd som kan iagttages Kvantitative eller kvalitative specificeringer af hvad I gerne vil opnå Metode til at opnå en bestemt viden

16. Længere liv – bedre sundhed Kampagne for nikotinplastre Rygerne køber nikotinplastre Nikotinplastre skaber mindre rygetrang Rygestop 20 % færre rygere efter 2 måneder Hvor mange har set reklamer? Vurdering af reklamerne? Salg af nikotinplastre Oplevet rygetrang Salg af cigaretter Antallet af rygere Optælling/ salgstal Spørgeskemaundersøgelse - omnibus Spørgeskema/interview Optælling/Spørgeskemaundersøgelse

17. Gruppearbejde • Hvad er formålet med vores evaluering? • Hvad evaluerer vi? Hvad er indsatsen? (prioriter evt.) • Hvad er målet? Hvad er resultaterne på kort sigt? • Rekonstruer trinnene på vejen? • Overvej tegn og evt. succeskriterier?

18. Program – del 2 • Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved forskellige metoder • Særligt fokus på spørgeskemametode • Gruppearbejde: Hvordan skal vi evaluere/Hvilke metoder passer til vores evalueringsspørgsmål • Individuel sparring i forhold til de enkelte evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling

19. Dataindsamlingsmetoder Kvantitative metoder • Optælling • Registeranalyser (data vi allerede har) • Spørgeskemaundersøgelser Kvalitative metoder • Interview • Iagttagelse/observation • Dokumentstudier

20. Kvantitative metoder Kvantitative metoder er generelt gode til at • give svar på spørgsmål hvortil der et kendt og begrænset antal svarmuligheder • finde ud af hvor mange % mener dit og dat • Udtale sig generelt om hvor udbredt fx en bestemt vurdering er • levere overbevisende dokumentation (ja måske) Kvantitative metoder er generelt dårlige til • Eksplorative formål: udforskning af ukendte områder, identifikation holdningsområder. Når viden og erfaring er begrænset • Eksplanative formål: forklaringer, uddybninger og identifikation af eksisterende holdninger • Lav-interesseområde (antallet af svar bliver lavt) • Give dybere forståelse af bestemte vurderinger, holdninger e.lign • Give detaljeret indblik i styrker og svagheder o.lign.

21. Kvalitative metoder er generelt gode til • Eksplorative formål: udforskning af ukendte områder, identifikation holdningsområder • Eksplanative formål: forklaringer, uddybninger og identifikation af eksisterende holdninger • Give dybere forståelse af bestemte vurderinger, holdninger e.lign • Give detaljeret indblik i styrker og svagheder o.lign. • Kvalitative metoder er generelt dårlige til • Udtale sig generelt om hvor udbredt fx en bestemt vurdering er • Spørgsmål der skal besvares har et kendt eller begrænset antal svarmuligheder

23. Metodekombination • Kvant – kval: • Kval - kvant:

24. Specifikt om spørgeskemametode • Udarbejdelse af spørgeskema • Sammenhæng mellem evalueringsspørgsmål og spørgeskema • Spørgsmålstyper • åbne og lukkede spørgsmål • Baggrundsspørgsmål

25. Grundlæggende tommelfingerregler • Fokuserede spørgsmål • Neutrale spørgsmål • Relevante spørgsmål • Genkaldelige spørgsmål • Begrænsning af ords betydningsvidde

26. Flere elever vælger en naturvidenskabelig retning i deres videre uddannelsesforløb Lærerne får viden om hvordan de kan gøre n/t-undervisningen mere motiverende Større begejstring for n/t blandt eleverne Kursus for natur/teknik lærere Lærerne bruger de nye metoder i n/t-undervisningen Elevernes begejstring for n/t Antal kursusdeltagere (gennemførelse) Brug af nye undervisningsmetoder kendskab til nye undervisningsmetoder Valg af videregående uddannelse 90 % gennemført. 80 % er overvejende tilfredse lærerne mere inspirerede 90 % kender minimum 3 nye metoder 90 % af eleverne er mere begejstrede for n/t 10 % flere vælger nat.vid.udd 90 % bruger ugentligt min 1 ny metode Optælling/spørgeskema Spørgeskema Spørgeskemaundersøgelse/interview Registerdata Interview/ Spørgeskema

27. Udvælg de vigtige led til evalueringen • Udvælg de dele der er mest afgørende for at indsatsen forløber som planlagt • Udvælg de dele hvor der er mest usikkerhed om indsatsteorien holder • Udvælg de dele hvor der nemmest kan skaffes data • Udvælg de dele hvor der bruges flest ressourcer

28. Gruppearbejde: Hvilke metoder passer bedst til jeres evalueringsspørgsmål Relevante spørgsmål: • Har vi behov for kvantitative data eller kvalitative data eller måske begge? • Hvad er der til rådighed af data allerede nu, og hvad skal der gøres en indsats for at indsamle? • Hvilke grupper af interessenter er det muligt at inddrage i evalueringen?