Uppföljning och/eller? utvärdering av samverkan

1. Uppföljning och/eller? utvärdering av samverkan Vad är det vi vet och inte vet om samverkan?

2. Först måste vi reda ut begreppen! OBS! Definitionerna är i högsta grad förenklade och det finns ingen skarp gräns begreppen emellan.

3. Fortfarande vet vi inte vilka effekterna är av samverkan Varför? • De utvärderingar som hittills gjorts av samverkan har inte varit designade så att det varit möjligt att dra slutsatser som effekter. Några tänkbara förklaringar • Bristande utvärderar- och beställarkompetens. • Otillräckliga data av tillräckligt hög kvalitet. • För dåliga på att motivera samtycke. • För många kockar? • Lagstiftningens utformning riskerar att skapa felaktiga drivkrafter.

4. Så vad vet vi då?

5. Kunskapssammanställning Framgångsfaktorer • Tydlig målgrupp • Relevanta aktörer involverade • Förankring • Incitament att samverka • Formaliserade kontakter • Gemensamt arbetssätt • Gemensamt synsätt • Gemensamma utbildningsinsatser • Ett ledarskap som inte bevakar revir

6. ISF:s sammanställning

7. Tvåpartssamverkan(2010 satsades 100 miljoner kronor) • 1 effektutvärdering av resursteam:negativa effekter för individen, nöjd personal. • 4 intervjustudier av personal och chefer i resursteam: nöjda med arbetsmetoden. Slutsatser • Endast resursteam har studerats. • Tydlig målsättning saknas. • Förankringen oklar. • Beslut om fortsatt satsning för föregås av fler krav på utformningen och utvärderingen.

8. Handlingsplanssamverkan(2010 satsades 460 miljoner kronor) • 1 akademisk avhandling ur handläggarperspektiv. • 3 uppföljningar, intervjuer med personal. Slutsatser • Anmärkningsvärt få utvärderingar då denna samverkansform funnits sedan 2002. • Goda förutsättningar att lyckas. • Saknar relevanta aktörer. • Målsättningen bör relateras till målgruppen. • Har bäst förutsättningar att utvärderas.

9. Fyrpartssamverkan(2010 satsades 250 miljoner kronor) • 20 samhällsekonomiska utvärderingar. • 74 uppföljningar (individ-, samverkans- och organisationsperspektiv). Slutsatser • Ingen effektutvärdering. • Bäst förutsättningar att lyckas. • Beställare och mottagare av utvärderingar saknas. • Krav på förbunden bör istället för att utvärdera sig själva vara att producera tillförlitlig och relevant statistik. • Ompröva finansieringen.

10. ISF:s övergripande slutsatser • Fler effektutvärderingar behövs. • Antalet uppföljningar och utvärderingar varierar mellan samverkansformer utan koppling till använda medel. • Effektiva beställare och mottagare av utvärderingsrapporter saknas. • Målen behöver preciseras och relateras till målgrupp.

11. ISF:s förslag • Initiera en effektutvärdering av den nationella handlingsplanssamverkan. • Ändra lagen så att krav på utvärdering inte ställs på samordningsförbunden. Kravet bör istället förtydligas på att producera relevant och tillförlitlig statistik. • Finansieringen av fyrpartssamverkan bör omprövas. • Inkludera de relevanta aktörer. • Beslut om fortsatt satsning bör föregås av fler krav på utformning och utvärdering.

12. Nästa regeringsuppdrag

13. Stöd för utvärdering av samordningsförbundens insatser Motiv • Det saknas systematiskt sammanställd kunskap om effekterna av rehabiliteringsinsatser • Det finns behov av att öka kunskapen om effektiva metoder i syfte att skapa generaliserbara slutsatser om effekter av samordnade rehabiliteringsinsatser.

14. Syfte • Föreslå hur ett samlat stöd för systematisk utvärdering av samordningsförbundens rehab.insatser kan utvecklas. • Definiera och beskriva olika relevanta effektmått samt • Lämna förslag på vilken instans som kan ges ett löpande ansvar för ett sådant samlat stöd

15. Svårigheter vid effektutvärdering av samverkan • Vad är det som studeras:samverkan, samarbete eller samordning?enskilda eller sammansatta åtgärder? • Förändringar över tid • Etiska problem • Selektionsproblem • Hawthorne-effekter • Val av resultatmått

16. Varför är utvärdering av samverkan svårt? Vertikal integration Horisontell integration Samordning Samverkan Samarbete (Modifierad från Axelsson & Axelsson, Red (2007). Folkhälsa i samverkan mellan professioner, organisationer och samhällssektorer . Lund: Studentlitteratur, s. 16.)

17. Olika typer av utvärdering • Före- och efterjämförelse • Måluppfyllelseanalys • Processutvärdering • Effektutvärdering (fokus för ISF:s regeringsuppdrag)

18. Slutsats • Utvärderingsinstans bör ha kompetens/erfarenhet. • Centralisera utvärderingsansvaret. • Uppföljning och utvärdering av god kvalitet fordrar ett komplett och enhetligt utformat register där deltagarna kan följas i olika insatser. • Kravet på samtycke för registrering av personuppgifter i ett sådant register bör tas bort. • Utfallsmått bör anpassas utifrån typ av insats och målgrupp.

19. Exempel på utfallsmått • Ökat arbetsutbud • Inskrivning vid AF • Påbörjade studier • Varaktighet som mottagare av ersättning från försörjningssystem • Självupplevd hälsa Fler tänkbara mått • Vårdkonsumtion • Läkemedelskonsumtion • Motivation • Orsak till ev. avbrott eller fullföljande

20. ISF:s argument för extern centraliserad utvärdering • Kompetens • Drivkrafter • Tillgång till data • Finansiering

21. Samordningsförbundens roll 7 § Lag (2003:1210) om finansiell samordning av rehabiliteringsinsatser Ett samordningsförbund har till uppgift att… … svara för uppföljning och utvärdering av rehabiliteringsinsatserna...

22. Slutord Det ena utesluter inte det andra! Hur kan externa och interna utvärderingsresurser komplettera varandra? Tänk efter före! Våga prioritera! Uppfinn inte hjulet på nytt, använd den kunskap som finns!