Innovativ evaluering i undervisning Augustseminar EPOS 16. august 2013

1. Innovativ evaluering i undervisningAugustseminar EPOS 16. august 2013

2. Malene Skov Dinesen • Indehaver af konsulentfirmaet Ineva • Gennemførsel af evalueringer primært i den offentlige sektor • Temadage/workshops • Forfatter på bøgerne Innovativ evaluering og Essensen af Innovativ evaluering sammen med Camilla Kølsen de Wit • Ekstern lektor på VIA University College i Århus • Jeg må meget gerne afbrydes!

3. Program for dagen

4. Drøft to og to • Hvad skal evaluering bidrage med, for at du synes det er meningsfuldt? • Hvilke gode og dårlige erfaringer har du med evaluering?

5. Hvad er evaluering? Pawson og Tilley: ”This sense of exponential growth and widening diversity is deepened if one examines changes in the academic literature on evaluation. Once upon a time, the evaluation researcher need only the ’Bible’ (’Old Testament’, Campbell and Stanley, 1963; ’New Testament’, Cook and Campbell, 1979) to look up an appropriate research design, and hey presto, be out into the field. Nowaday, tyro investigators have to burrow their way through ’Sage’ advice on ’summative evaluation’, ’formative evaluation’, ’cost-free evaluation’, ’goal-free evaluation’, ’functional evaluation’, ’tailored evaluation’, ’comprehensive evaluation’, ’theory-driven evaluation’, ’stakeholder-based evaluation’, ’naturalistic evaluation’, ’utilization-focused evaluation’, ’preordinary evaluation’, ’responsive evaluation’, and finally ’meta-evaluation’ before they even get their hands on a social program. Worse still, adopting one of these approaches often means taking sides in the ’paradigm wars’.” (Pawson and Tilley, 1997, s. 1-2).

6. Definitioner på evaluering - 1 Evert Vedung: Evaluation = df. Careful retrospective assessment of the merit, worth and value of administration, output, and outcome of government interventions, which is intended to play a role in future, practical action situations. (Vedung, 1997, s. 3) Oversat til dansk: ’en systematisk retrospektiv vurdering af gennemførsel, præstationer og udfald af offentlig politik, som tiltænkes at spille en rolle i praktiske handlings-situationer.’ (Dahler-Larsen, 1998)

7. Definitioner på evaluering 2 Mehlbye, Riepers og Togeby: ’Evaluering er en systematisk vidensindsamling om mere komplekse igangværende eller afsluttede indsatser, hvis målopfyldelse og kvalitet ikke umiddelbart kan vurderes, og hvor der er behov for dyberegående vurderinger af indsatsen ud fra bestemte standarder og kriterier, som kan være defineret ud fra indsatsens egne mål eller fra andres, fx brugernes mål. Arbejdet tilrettelægges med henblik på senere praktisk udnyttelse’ (Mehlbye, Rieper og Togeby, 1993, s. 11)

8. Definitioner på evaluering 3 Albæk: ’Evaluering er i al sin enkelthed, at standse op midt i eller efter et af sine gøremål og vurdere, om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser.’ (Albæk, 2003)

9. Typiske dilemmaer i evaluering • Kontrol vs. læring • Intern evaluering vs. ekstern evaluering • Intern commitment vs. ekstern commitment • Praktikere vs. myndighed • Mikro-fokus vs. makrofokus • Et forsøg på et svar i dag: • Innovativ evaluering • Praksisteori

10. Hvorfor Innovativ evaluering? • Innovativ evaluering er et forsøg på at give evaluering tilbage til praktikkerne • Modsvar på ’virker-det’ (positivistiske) evalueringer • Løsrevet fra den kontekst, der evalueres • Evalueringer der forsøger at forenkle og kun give ét svar • Evalueringer der udelukkende tilfredsstiller et ekstern krav om dokumentation og legitimering • Innovativ evaluering vil gerne både give svar og samtidig skabe udvikling af praksis

11. Mål for evalueringerne

12. Innovativ evaluering – en tilgang • Er en evalueringstænkning og –tilgang • Er ikke en evalueringsmetode med klart beskrevne steps • Har fokus på at gå fra evalueringsfærdigheder til evalueringskompetencer • Har som central pointe, at kvalificeret evaluering kræver refleksion over sin evalueringspraksis, hver gang der igangsættes en ny evaluering • Har inddragelse af praktikere og medtagelse af kontekst som centrale temaer • Er optaget af at få tingene til at virke (improve) og ikke bevise at de gør det (prove)

13. Traditionelle evalueringer Anvendelsesvanskeligheder Implemen-tering/indflydelse Evaluering

14. Anvendelse og indflydelse • I Innovativ evaluering er vi optaget af at drive innovation af praksis • Innovation = nyttiggørelse og anvendeliggørelse af ny viden, forskning mv. • Det er anvendelsen, der definerer Innovativ evaluering som Innovativ evaluering. • I en række andre definitioner (eks. Vedung) er det vurderingen, der definerer evalueringen

15. Anvendelse/indflydelse • Innovativ evaluering er optaget af at drive innovation af praksis • Evalueringens indflydelse sker undervejs i evalueringen og ikke som et ’halehæng’ Innovativ evaluering Indsats Implementering/indflydelse

16. Effekter skabes af mennesker • Effekter ikke skabes af strukturer (og metoder) i sig selv, men først og fremmest af de involverede mennesker (Pawson og Tilley) • Vi taler om generativ kausalitet (årsag-virkning i en særlig kontekst) frem for kausale effekter

17. Definition på Innovativ evaluering Innovativ evaluering er en refleksiv relationel proces, hvor kontekstbestemt viden om fortiden og nutiden anvendes til fremadrettede handlinger, der understøtter aktørerne i at skabe nye muligheder og forbedret praksis parallelt med, at eksterne krav om dokumentation opfyldes.

18. Innovativ evaluerings tre ’ben’

19. Yderligere teori • Yderligere praksis INNOVATIV EVALUERING

20. Teoretisk fundament • Systemisk teori og praksis: • Paradigme og epistemologisk ståsted • Bidrager med grundbegreber om menneskelig erkendelse, udvikling og interaktion • Realistisk evaluering: • Evalueringsmetodologi • Bidrager med forklaringer på hvad der er relevant og muligt at vurdere i en evaluering, herunder kontekstens betydning • Evalueringskapacitet: • Fundament for Innovativ evaluering • Bidrager med forståelse for, at uden en refleksiv og kompetent ramme for evalueringer, er der ikke mulighed for at drive innovation på baggrund af dem

21. Systemisk overblik – ultra kort • Systemisk teori og praksis bygger på socialkonstruktionisme og –konstruktivisme • Trækker på en lang række teoretikere • Udspringer af familieterapien og har siden udviklet sig at have en betydelig plads i organisationsteorien • Centrale begreber: • Refleksion • Kontekst • Mening • Multivers • Relationer • Positiv udvikling

22. Socialkonstruktionisme (Gergen) • Vi konstruerer vores virkelighed sammen. • Vi opretholder vores lokale sandheder igennem vores sprog. • Vores erkendelse opstår i relationerne – ikke i individet. ”Den grundliggende ide i social konstruktion virker ret enkelt, men den er også dyb. Alt, hvad vi regner for virkeligt, er socialt konstrueret. Eller sagt mere dramatisk, intet er virkeligt, før folk er enige om, at det er det.” (Gergen og Gergen, 2005 s. 9)

23. Forstyrrelser - Maturana • Der er tre forudsætninger for positiv udvikling: • Den tilpasse forstyrrelse • Anerkendelse (amor) • Tid • Innovativ evaluering handler om at forstyrre praksis, så den kan forandre sig indefra • Forandringen skal ’ramme’ praktikernes ønske om at udvikle praksis for at gøre en reel forskel • Konklusioner og anbefalinger i evalueringen skal hænge sammen med kontekst – ellers afkobler man sig

24. Evalueringskapacitet • At have evalueringskapacitet vil sige at: • Ledelse og medarbejdere arbejder refleksivt med deres egen evalueringspraksis • Dobbeltsyn • Refleksivitet i forhold til opfølgende handlinger • Arbejde på at blive bedre til at evaluere og til at bruge evalueringerne • Ofte evalueringssystem og forståelse for det • Det handler om at kunne bruge tidligere evalueringserfaringer til at udvikle den nuværende evalueringspraksis med • Tæt koblet med begrebet evalueringskultur, som er meget anvendt i skoleverdenen (jf. OECDs rapport fra 2003)

25. Evalueringskapacitet - arbejdsdefinition ”At udvikle evalueringskapacitet vil sige at arbejde målrettet og vedvarende med organisatoriske processer, hvis formål er at udvikle evalueringer af høj kvalitet og fokusere på brugen af evalueringerne.” Kilde: Compton m.fl. 2002

26. Realistisk evaluering • Er beskrevet af Pawson og Tilley • En teoribaseret evalueringstilgang • Blev til som et alternativ og en kritik af randomiserede forsøg og tænkning om kausale effekter • Eks. husspektakler i USA • Har konteksten og forståelse for aktørerne i evalueringensom centrale fokuspunkter i evalueringen: hvad virker for hvem under hvilke omstændigheder • Fra ’virker programmet’ til ’hvad er det ved programmet, der får det til at virke og for hvem?’

27. Når man skal designe en evaluering… • Hvad er det, vi gerne vil vide? (efterspørgsel) • Hvordan skal den viden anvendes? (reel efterspørgsel) • Hvordan skaffer vi den viden? (forsyning) • Hvordan sikrer man at evalueringen bliver brugt? (evalueringskapacitet) • Evalueringskulturen er båret af evalueringskapaciteten

28. Evalueringsdesign Efterspørgsel Indsatsens egenskaber Interessenter-nes prioritering Hvad vil vi vide? Evalueringsspørgsmål Hvad ved vi på forhånd om sagen? Forsyning Paradigme: Hvilke spørgsmål? (formål og tilgang) Hvor langt er vi kommet med indsatsen? Kan det lade sig gøre? Valg af metode Valg af teknik Kilde: Elliot Stern

29. Afgrænsning • En evaluering handler om at være tydelig på sin afgræsning for at kunne være skarp på sin efterspørgsel • Evalueringen kan ikke bidrage med viden om alt • Jo bredere spørgsmål jo mindre konkret svar (som oftest), eksempelvis • Hvordan går det med undervisningen? • Udvælg en del af praksis, som fokusområde i den enkelte evaluering

30. Forsyning • Kan det lade sig gøre? • Kursisternes formåen i forhold til skriftlighed og dansk • Hvor langt er vi kommet med indsatsen? • Igangsættelse af evaluering midtvejs i forløbet • Hvad ved vi i forvejen • Hvis vi har god viden om aspekter af undervisningen, vil det måske være mere interessant at evaluere noget andet • Praksisteori • Metode og tilgang • Vælg med afsæt i de tre koncepter

31. Praksisteori ’Praksisteori handler om, hvad praktikerne tror om deres egen praksis, og hvordan de kan bruge dette som afsæt for efterspørgslen i en evaluering.’ Malene Skov Dinesen

32. Praksisteori • Praksisteori er et udviklingsredskab, der gør det muligt at blive klogere på egen praksis som afsæt for at udvikle den • Praksisteori er den viden praktikerne efterspørger om deres praksis for at kunne udvikle den. Eksempel: ’Hvad vil jeg gerne vide om undervisning, for at blive en bedre underviser? Hvad gør jeg nu, og hvorfor tænker jeg, at det er en god praksis’ Malene Skov Dinesen

33. Hvad er praksis? • Praksis er de reelt forekommende, diffuse, usikre handlinger, der sker i en kontekst, inkl. fortolkninger og for-forståelse • ’Praksislogik er sjældent helt uforståelig, såvel som den heller ikke er helt forståelig’ (Bourdieu) • Udsagn, der konstant genopbygges og udfordres gennem refleksionen i praksis (Schön) • Begrebsafklarende for praksis Malene Skov Dinesen

34. Praksisteorier i EPOS • Praksisteorierne er afgørende for afsættet i evalueringen, fordi de giver viden om, hvad der er interessant at se på i evalueringen • Praksisteorierne giver internt commitment i forhold til evalueringerne • Praksisteorierne giver svar på, hvordan der kan arbejdes med evalueringer, der tager hensyn til de kontekster, der er tilstede (kursets længde, deltagerne kompetencer mv.) • Praksisteoriens antagelser bliver afprøvet i evalueringen

35. Logisk model Målgruppe og problemstilling Ressourcer og organisatoriske forudsætninger Aktiviteter Resultater Virkninger Antagelser om sammenhænge = praksisteori

36. Effekter • Valg af fokusområde handler om at stille et effektspørgsmål • Der er overordnet to typer af effektspørgsmål: • HAR indsats A givet resultat B? • HVORDAN har indsats A påvirket B? • Eksempler: • HAR brugen af Smart Board i undervisningen styrket kursisternes læring? • HVORDAN har Smart Board i undervisningen understøttet kursisternes læring?

37. Effekter

38. Workshop 1: Vælg fokusområde • Find sammen i grupperne • Udvælg et af tre områder, som I ønsker at arbejde med: • Handlekompetence hos kursisterne • Praksisnær læring • Forskellige forudsætninger hos deltagerne • Formuler sammen et effektsspørgsmål om temaet. Eksempelvis: • Hvordan understøtter x (en metode/underviserens ageren/et hjælpeværktøj/…) handlekompetencerne hos kursisterne?

39. Praksisteori = hypoteser om praksis • En praksisteori en beskrivelse af, hvad I tror I gør nu, og hvorfor I tror, at det skaber effekt.

40. Workshop 2: Lav praksisteori • Beskriv med afsæt i jeres fokusområde/effektspørgsmål en praksisteori • Praksisteorien skal være en beskrivelse af jeres antagelser om sammenhæng mellem aktiviteter og effekter

41. Evaluering med afsæt i praksisteori • Når praksisteorien er beskrevet, er næste step at vælge sin metode til evalueringen • Spørgeskemaundersøgelse • Interviews • Drøftelse på holdet • Skriftlige/mundtlige modeller (eksempelvis Delphi)

42. Workshop 3 • Drøft i gruppen hvilken metode, der ville være mest velegnet i jeres evaluering • Drøft følgende: • Hvad bidrager denne metode særligt? • Hvilke svar bliver mulige med brug af denne metode? • Hvilke svar bliver ikke mulige med brug af denne metode?

43. Opsamlende • Hvad har været den vigtigste pointe/erkendelse i dag? • Hvad har været mest frustrerende? • Hvad er der brug for nu?

44. Tak for i dag!