Evaluering af arbejdsmiljøindsatser – en teoretisk ramme

1. Evaluering af arbejdsmiljøindsatser – en teoretisk ramme SAM d. 16. april 2013 Peter Hasle Professor Aalborg Universitet København

2. Center for forskning i arbejdsmiljøindsatser og virkemidler (CAVI) Problemstilling • Hvilke sammenhænge er der mellem de samfunds-mæssige indsatser og arbejdsmiljøarbejdet i virksomhederne? • Samarbejde mellem AAU, DTU, RUC, Teamarbejdsliv og AU (DPU) • Konkrete projekter om AMO, certificering og små virksomheder • Tværgående teoriprojekt om virkemidler • Herunder arbejde for Arbejdsmiljørådet om evaluering af arbejdsmiljøindsatser

3. På vej ind i evalueringssamfundet • New public management: • Markedsgørelse samt kontrakt- og målstyring • Evaluerer om mål opfyldes • Evidens for om noget virker • Alle aktiviteter og tiltag skal gøres målbare • Fra politiske valg til teknokratiske valg

4. Hvad er evaluering Definition: • En systematisk bedømmelse af udfald, præstationer og organisering af samfundsmæssige aktiviteter rettet mod fremtidige handlingssituationer Implikationer: • Et anvendelsessigte • En opdragsgiver med et defineret formål • Konkret empirisk • Den korte bane

5. Evaluering og forskning Delvist sammenfald • Evaluering anvender forskningsbaserede metoder • Forskning rettes sig også mod programmer som evalueres • Evaluering i sig selv et forskningsobjekt Forskelle • Kort eller langt sigt • Beslutningsbehov eller erkendelsesinteresse • Teori eller empiri Peter Hasle

6. Evalueringsparadigmer • Klassisk effektevaluering • Responsiv evaluering • Monitorering og evaluering • Evidensbaseret evaluering • Effektevaluering • Realistisk evaluering • Pragmatisk evaluering Peter Hasle

7. Klassisk effektevaluering • Det historiske udgangspunkt • Troen på det moderne fremskridtssamfund • Positivismen som dominerende videnskabsteori • Sandhed afgøres gennem testning af målbare hypoteser • Samfundsmæssige problemer løses af store programmer som testes empirisk • Problem: Forudsætninger (kontekst, implementering og politisk fokus) ændrer sig, inden det kan afgøres om et program testes positivt eller negativt Peter Hasle

8. Responsiv evaluering(også proces og formativ evaluering) • Formål: at skabe mening for interessenter og øge deres udbytte af et program • Bygger på læringsteori og socialkonstruktivisme • Observation af processer dominerende metode • Kvalitativt men også kvantitativt • Varierende grad af evaluator involvering • Fra distanceret observatør over aktionsforskning til selvevaluering • Problem: muligt præg af tilfældighed og præferencer Peter Hasle

9. Monitorering og evaluering • New Public Management (NPM) lægger vægt på markedsgørelse og accountability • Monitorering er en løbende evaluering af om de forventede resultater nås • Billede af udviklingstendenser - modsat den almindelige evaluerings engangsbillede • Bygger typisk på key performance indicators (KPI) for proces- eller mellemvariable • Problem: svært at forklare udviklingen i KPIer Peter Hasle

10. Evidensbaseret evaluering • Med NPM nye krav om sikkerhed for at noget virker • Evidens er viden som kan sandsynliggøre om et udsagn er sandt eller falsk • Stor strid om hvordan sandhed skal forstås • Kontekstafhængighed eller -uafhængighed en væsentlig skillelinje • Fx afgørende for i hvilken udstrækning evidens kan og skal præge dag til dag-handlinger Peter Hasle

11. Effektevaluering(også summativ evaluering) • Bygger på ”randomizedcontroltrials” (RCT) som gylden standard • Inspireret af den biomedicinske forskning • Ideen er at kontekst kan neutraliseres gennem randomisering • Alternativt og med lavere kvalitet er kontrolgrupper og før- og eftermålinger • I princippet altid kvantitativt • Problem: bl.a. randomisering vanskelig og manglende overførbarhed til andre kontekster Peter Hasle

12. Realistisk evaluering(også virkningsevaluering) • Bygger videnskabsteoretisk på kritisk realisme: • Der findes en objektiv virkelighed, men den kan ikke direkte erkendes • Spørgsmålet flyttes • fra: om det virker • til: hvordan det virker • Fokus på kontekst og mekanismer • Problem: kan kontekst og mekanismer operationaliseres og generaliseres Peter Hasle

13. Pragmatisk evaluering • Vi vil gerne vide lidt om det hele: • Har det effekt? (effektevaluering) • Hvordan virker det? (realistisk) • Hvordan kan vi forbedre indsatsen? (responsiv) • Hvad kan vi få indenfor den fastlagte ramme? • Vi vil gerne have legitimeret vores aktiviteter (hvad vil vi helst ikke have at vide?) • Den mest almindelige evalueringsform • Problem: Tendens til overfladiske og uklare svar på de mange spørgsmål Peter Hasle

14. Realistisk evaluering Udgangspunkt: • Evaluering retter sig mod sociale aktiviteter/ programmer • Her findes ingen sikre kausale sammenhæng (naturlove) • Sammenhæng mellem indsats og effekt er altid afhængig af kontekst • Det interessante er at finde frem til ”halv-regulariteter” (som regel vil noget bestemt ske hvis der tages højde for kontekst) • Hvad virker for hvem under hvilke omstændigheder Peter Hasle

15. En model for realistisk evaluering Eksternt: Marked, stakeholders. Internt: Ledelse & organisation Antagelsen om hvordan indsatsen virker Kontekst Program- teori Resultat Ændringer i arbejdsmiljøet Mekanisme Årsagssammenhænge som fremkalder resultater Pawson, 1997 & 2006

16. Vigtige karakteristika ved virkemidler • Teoribaserede • Virkemidler omsættes aktivt af aktørerne • Lange årsagskæder hvor alle led har betydning for resultatet • Mekanismerne er ikke lineære og har mange feed back loops • Mekanismerne er forankret i flere delvist overlappende sociale systemer • Virkemidlerne er åbne systemer som selv forandrer de betingelser som de arbejder under Konklusion: • Virkemidler komplekse og effekter svære at forudsige Pawson, 2006 Peter Hasle

17. Kompeksiteten i virkemiddelmekanismer Pawson, 2006 Peter Hasle

18. Realistisk evalueringscyklus M: mekanisme K: kontekst R: resultat Hvad virker for hvem under hvilke omstændigheder Teori Empirisk analyse Hypotese Programteori: Hvad virker for hvem under hvilke omstændigheder Observation Flerstrenget data- indsamling om M, K og R Peter Hasle

19. Den grundlæggende forståelse af arbejdsmiljøindsatsers effekt Mekanismer Indsats Kontekst Resultat Teknisk mekanisme: • Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilations-systemet, hjælpemidlet til løft) Social mekanisme: • Det som får mennesker til at handle anderledes (investere i løsninger, anvende løsninger) Det psykosociale arbejdsmiljø: • Tekniske og sociale mekanismer falder typisk sammen Viden ændrer handlinger Uddannelse Afhænger af mulighed Resultat

20. Virkemidler- regulering, incitamenter og viden

21. En udfoldet model for sammenhængen mellem virkemidler på samfundsniveau og effekt Bygger på • Virkemidler (policy instruments) (Vedung 1998) • Realistisk evaluering (Pawson & Tilley, 1997) • Nyinstitutionel teori (DiMaggio & Powel, 1991) • Bygger på aktørers behov for at fremstå legitime overfor omgivelser • Virkemidler: • Regulering • Incitamenter • Viden • Indsats: • Kombination af virkemidler • Mekanismer: • Tvang • Normer • Imitation • Kontekst: • Intern • Ekstern • Effekt: • Ændringer i arbejdsmiljøet

22. En samlet virkemiddelmodel Afsendersiden Modtagersiden Programteori Kontekst Målgruppe Virkemiddel Effekt Politik Indsats Virkemiddel Mekanisme Virkemiddel

23. Forbedring af arbejdsmiljøet ved opmuring

24. Nedsættelse af belastninger ved opmuring Kombination af virkemidler Regulering: • Påbud fra AT om reduktion af belastninger • Påbudspause mens løsninger bliver udviklet • Påbud på grundlag af ny vejledning fra BAR Incitament: • Tilskud til udvikling og afprøvning af hjælpemidler Viden: • En vejledning med detaljeret beskrivelse af hjælpemiddel og arbejdsgange • Formidlet gennem flere kanaler af alle involverede parter Mekanismer Tvang: • Indledende påbud • Påbud efter løsning er udviklet. Normer: • Fælles budskab fra arbejdsgivere og fagforeninger signalerer at den ny metode er den etisk rigtige at anvende Imitation: • Arbejdsgivere og murere obser-verer flere og flere tilfælde hvor metoden anvendes i praksis og overbevises dermed om at det er sådan man gør i branchen

25. Evaluering af samfundsmæssige arbejdsmiljøindsatser Formål med evaluering • Læring, men også legitimering Før evaluering • Udvikling af programteori • Planlægning af evaluering Scenarier • Evaluering af den begrænsede indsats • selvevaluering • Evaluering af den omfattende indsats • Professionel og fokuseret evaluering • Tværgående evaluering • Professionel mere forskningspræget evaluering • Evaluering af et program • Monitorering, registrering af aktiviteter og analyse af enkelt-stående evalueringer

26. Evaluering af virksomhedens egne arbejdsmiljøindsatser • Realistisk evaluering også relevant i denne sammenhæng • Hvordan omsættes arbejdsmiljøpolitikker til konkrete ændringer som forbedrer arbejdsmiljøet? • Hvilke virkemidler har vi til fremkalde de ønskede handlinger? • Hvilke mekanismer får dem til at virke? • Hvordan spiller de sammen med virksomhedens kontekst? • Vi mangler et mere specifikt begrebsapparat for virkemidler og mekanismer

27. Tak for ordet • Læs mere om CAVIs forskning på: www.cavinet.dk • Deltag i diskussioner om virkemidler i CAVIs netværk: http://dea.nu/cavi • Peter Hasle: hasle@business.aau.dk