Förebyggande arbete – hur mäta med fokus på lokal nivå – erfarenheter, möjligheter

1. Förebyggande arbete – hur mäta med fokus på lokal nivå– erfarenheter, möjligheter Håkan Leifman Förebygg.nu, 16 nov. 2011

2. Presentationen: • mycket om statistik, mäta, indikatorer • Ej positivist, men tror att uppföljningar, mätningar ofta är positivt – men avgörande är design, datakvalitet • Design, mätproblem – ideal och verklighet • Datakvalitet i ljuset av … • …lokalt arbete – hur kan man göra • Indikatorer – kan detta vara till någon hjälp?

3. Allt kan missbrukas:Sovjettiden – grader av statistiksekretess (ex Estland)

4. HUR AVLÄSA EFFEKT? Hälsa Diff-2 ≈ Diff-1 = ingen effekt I n t e r v e n t i o n Diff-2 Diff-1

5. HUR AVLÄSA EFFEKT? Hälsa Diff-2 Diff-1 Diff-2 > Diff-1 = effekt

6. Två viktiga - avgörande – aspekter för att kunna avläsa öht. God design God datakvalitet i utfalls- och insatsmått

7. Designs: Scientific Methods Scale(Sherman m fl, 2002) (5) Randomisering mellan intervention och kontroll (4) Före – eftermätningar med kontrollgrupp och kontroll för andra förklaringar (3) Före – eftermätningar med kontrollgrupp (2) Före – eftermätningar utan kontrollgrupp (1) Sambandsstudie vid ett tillfälle Låg - - - - - - - - - Hög

8. FÖRDEL MED RANDOMISERAT EXPERIMENT Experimentet har (teoretiskt) högst intern validitet Experimentets fördel är att randomisering gör att fördelningen av förutsedda och oförutsedda selektionsfaktorer är ungefär lika i både experiment (behandlingsgrupp) och kontrollgrupp (jämförelsegrupp)

9. Kvasiexperimentell (icke-randomiserad) studiedesign Grp 1 Får ej program Ev. match Mätning 1 Mätning 2,3 osv Grp 2 Får program Mätning 1 Mätning 2,3 osv

10. Möjligt utfall

11. Experimentell (randomiserad) studiedesign Grp 1 Får program Mätning 2,3 etc R a n d. Grp 2 Får ej program Mätning 2,3 etc Mätning 1

12. Möjligt utfall

13. Effektstudie - randomiserad studie Experimentell, hypotestestande = möjliggör slutsatser om orsak och verkan/effekt Kräver mer planering Svårare rekrytera studiedeltagare Kräver mer resurser, men i gengäld mer ”pang för pengarna” i form av samhällsnytta Men oftast inte möjligt, andra designs med svagare intern validitet – kvasiexp. design av olika slag

14. Design – bättre med fler än färre observationer, ex längre tidsserier

15. Design – bättre med fler än färre observationer, ex längre tidsserier

16. Två mätpunkter: andel som prövat narkotika i olika delar av Europa samt i Sverige bland 15-16-åringar (årskurs 9)

17. Tre mätpunkter: andel som prövat narkotika i olika delar av Europa samt i Sverige bland 15-16-åringar (årskurs 9)

18. Design en sak – tillgång till data av god kvalitet en annan – Både utfall (för uppföljningar) och insats och utfall och dess koppling (för utvärderingar) Inte minst problematiskt i lokala uppf/utv. med brist på goda data.

19. Forskningsinsamlad data eller befintlig data • Utvärdering av behandlande insatser, riskgrupper, skolprogram – egna forskningsdata -- egna datainsamlingar ofta enkäter • Kommuner – ibland blandning av befintliga data kombinerat med forskningsdata • Ibland endast befintliga data (alltså data som samlas in ”i alla fall” av ngn/ngr)

20. Nyttja befintliga/existerade data – både för verksamhetsuppföljning och för forskning - en utopi?(Borde fungera bättre än det gör, borgar för långsiktighet) Forskning-praktik Forsknings- specifika data Befintliga/ existerande data Verksamhet Forskning, utvärdering

21. Tre exempel på lovande effektiva modeller på lokalt alkoholförebyggande som utvecklas i Sverige Kronobergsmetoden (har utvärderats av BRÅ) Ansvarsfull alkoholservering (STAD-metoden) (efficacy och effectiveness = två studier) Insatser för att begränsa våld och fylleri i samband med studentfester (utvärdering pågår) Mycket arbete med att få fram data över både utfall och insatser – tar mkt tid, måste anlita experter för analyser mm – men i alla fallen befintliga data har använts.

22. Studier – utvärderingar av lokalt förebyggande arbete under senare år: Sex försökskommuner Tre ggr tre Småkommuner LUMA I varierande grad bygger alla på goda befintliga – redan existerande – data som är jämförbar: liknande mått/frågor, liknande datainsamling, hanterat på ungefär samma sätt: är det så idag: Många gånger NEJ Om utfallsmått – problem, ännu större problem vad gäller insatser -- Kan och bör förbättras: indikatorer för att följa den nationella ANDT-strategin

23. Samspelet forskare (utv) och praktiker i lokala utvecklingsarbetet • Ha bra och tydlig kommunikation • Redogör tydligt för vad ni vill mäta, vilka indikatorer och mått, och på vilken nivå • Alltså relatera mätningarna till den nivå man arbetar på och till de områden man fokuserar på, även om man främst är intresserad av befolkningsnivån • Om dålig kommunikation: riskerna med långsiktiga bakslag är stor

24. Arbetsstrukturen – ht 2011 Projektgrupp – SKL, FHI, SoRAD , CAN, SoS, ordf. från Socialdepartementet. Inom PG – olika arbetsgrupper för olika områden – bjuder in aktörer, semiarier mm. PG ger förslag till departementet , frågan bereds vidare på dep. av bl.a. ordf. och regeringen fattar beslut. Referensgrupp med repr. från i stort sett alla ANDT-relaterade myndigheter – PG redovisar, ”bollar” förslag med referensgruppen.

25. Regeringen • Indikatorer • Uppföljning • - Koordinering, igångsättaochspridaindikatorer Departementet Referensgrupp Projekt-grupp Arbetsgrupp Arbetsgrupp Arbets grupp

26. ANDT-strategin 2011-2015 • Övergripande mål – Ett samhälle fritt från narkotika och dopning med minskade medicinska och sociala skadeverkningar av alkohol och med ett minskat tobaksbruk - Sju långsiktiga mål (LM) (1) lägre tillgång, (2) skydda barnet (inkl. ofödda barnet), (3) lägre nivåer bland barn (debut etc.) (4) minskning av riskkonsumtion, skadligt bruk, beroende, (5) ökad tillgänglighet till vård/stöd , (6) minskade skador (dödlighet, sjuklighet, våld, rattfylleri etc.), (7) Sverige verka för folkhälsobaserad och restriktiv ANDT-politik inom EU och internationellt - Inom varje LM, flera prioriterade mål (processer, insatser) (PM) – Om möjligt, utveckla mätbara indikatorer (svårt, t.ex. ‘mer effektiv brottsbekämpning gällande illegal alkohol, effektivare och mer samordnad tillsyn) För varje nivå och mål – indikatorer skall utvecklas och formerna för detta

27. Structure for the ANDT-strategy Övergripandemål LM 1 LM 2 LM 3 LM 4 LM 5 LM 6 LM 7 PM 1 PM 2 PM 3 PM 4 P M5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc PM 1 PM 2 PM 3 PM 4 PM 5 etc

28. Föreslå mätbara indikatorer – långsiktiga mål (utfall: beteende förändringar– bruk, risk kons., beroende, skador etc.) och prioriterade mål (process, aktiviteter, insatser) Inte bara ge definitioner – utan hela kedjan från definitioner till konkreta analyser: vilka data, vilken skala, hur analysera Föreslå hur detta skall samlas in - ett uppföljningssystem – vem och vad ska samlas in och hur ska dessa “riktlinjer” för indikatorer och monitorering spridas och implementeras utåt Uppdraget

29. Indikatorer – varför gör vi detta? • 1. Ökar möjligheten till att förstå/förklarar förändringar och • 2. En drivkraft i sig för mer systematiskt preventivt arbete • Eftersom den lokala nivån är viktig – • indikatorer på lokal nivå (regional nivå) bör utvecklas när så är möjligt Policy/insatser (nationell men ffa mäta på lokal/regional nivå) Konsumption/ Skador (nationell och när möjligt bryta ner regionalt/lokalt) Till detta kommer lokala/regionala ANDT-mätningar (ex skolundersökningar) som ej samlas in inom ramen för uppföljning av strategin, men mätningarna kan göras mer lika varandra

30. Kärnindikatorer: viktigast att följa – vissa kan pluggas in i lokala undersökningar – brygga mellan nationala och lokala undersökningar Krit.: viktiga för få god bild av utveckling/omfattning, viktiga bestämningsfaktorer för skador Utökade indikatorer – kompletterar kärnindikatorer – ger bredare mer detaljerad bild men inte lika avgörande som kärnindikatorer, svårare att plugga in lokalt, ibland kvarstår vissa arbete Utvecklingsindikatorer: öppnar upp nya områden, behöver mer utveckling och kan inte idag användas som indikatorer, men kanske i framtiden Föreslå ett uppföljningssystem – vem och vad ska samlas in och hur ska dessa “riktlinjer” för indikatorer och monitorering spridas och implementeras utåt (ex lokalt) Om olika typer av indikatorer

31. Vissa utgångspunkter • Systematisera, koordinera, lägg in i befintliga – utgå från vad som görs (ex länsrapporterna och ö.j) – begränsa antalet undersökningar - finns för många idag. Förbättra befintliga • Tänk långsiktigt – inte tillfällig ”projekt”, samtidigt kunna följa pågående strategi; måste fungera NU • Vi föreslår – vad, vilka, som bör ingå i uppföljning av strategin, andra behövs de – kanske för andra ändamål?

32. Färdiga förslag i början av året (LM, vissa PM) • Om arbetet – förutsättningar, hur vi vill gå vidare mm • Förslag på indikator för resp. mål –

33. Mycket arbete gjorts, pågår, kvarstår • Inom varje målområde görs omfattande arbete, ex. Översyn, kvalitetsgranskning av frågeundersökningar, inte minst hur mäta oregistrerad alkohol och tobak (också genom särskild pilot) Revidering av skolenkäter – CANs och andra lokala/regionala Möjligheter att använda öppenvårdsdata för ANT-sjukdomar och misshandel Utveckling av FHIs Länsrapport Men färdiga förslag i början av året vad gäller LM och vissa PM, där också ramarna för framtiden redovisas

34. Om arbetet framåt • Omfattande arbete – PG finnas under hela 2012 – färdigställa indikatorerna (första halvan), få systemet att fungera och genomföra första uppföljningen andra halvan. • Därefter flyttas över till aktör/myndighet som får uppdraget att följa upp hela strategin (och koordinera sprida, implementera indikatorerna/systemet utåt) • Viktig del blir en webbportal/webbsida där alla indikatorer skall finnas samlade (trender, förklaringar, riktlinjer hur mäta). Utvecklas nu genom PG, sedan till uppföljningsansvarig. • PG (och referensgruppen) bör i någon form finnas under hela strategiperioden

35. Om arbetet framåt • Implementeringsarbetet på resp. ansvarig aktör/myndighet – avgörande för hur väl vi kommer att lyckas: • Att man sätter igång med arbete relativt omgående (i dialog med PGs medlemmar) • Att man arbetar proaktivt, inte reaktivt • Att man har dessa resurser/möjligheter att kontinuerligt kvalitetssäkra och vidareutveckla • Att man alltså inte ser mekaniskt på arbetet med indikatorer, eftersom saker och ting ständigt förändras, även hur man mäter bäst

36. Om arbetet framåt • Indikatorerna – för att följa upp den nationella strategin därför: • Indikatorer som kan följa utvecklingen på nationell nivå • Vissa kan brytas ner regionalt och ibland lokalt • Prioriterade mål – insatser , metoder (processindikatorer) samlas många gånger in på lokal nivå i syfte att ge en samlad nationell bild • Därutöver görs många undersökningar på regional/lokal nivå: därför viktigt att sprida våra indikatorer (definitioner, tillvägagångssätt , val av frågor etc.) till regionala/lokala planet. • Detta är allra viktigast för kärnindikatorerna , inte minst de kärnindikatorer som föreslås att ”pluggas in” i regionala/lokala undersökningar

37. Ex. mål 1, tillgänglighet, mål 1 För varje, ex : • Indikator: antal försäljningsställen (K)- butiker/serveringsställen - Alkohol, tobak:Definition: Antal systembolagsbutiker, antal ombud, antal butiker som säljer folköl och som säljer cigaretter samt antal restauranger per år, allt uttryck i antal och i antal per 10 000 invånare 15 år och äldre.Ansvarig: FHI inom ramen för instruktionen för FHI § 2 och § 3 punkt 10.Genomförande: FHI skall minst en gång per år sammanställa antalet försäljningsställen per ovan nämnd kategori och ge sammantagen bild av utvecklingen.Grad av aggregerad nivå: nationell, regional och lokalKommentar: Antalet butiker som säljer folköl och cigaretter samlas in genom FHIs årliga s.k. Länsrapport. Särskilt utvecklingsarbete: Bortfallet av kommuner som svarat på frågan om antalet butiker som säljer folköl och cigaretter måste minska. Kostnad: Ingen extra kostnad jfr med idag.

38. Mål 1: Tillgången… (s. 11, s. 77) (EG3) Åldersgränser • Utvecklingsindikator - efterlevnad av åldersgränser Pris • Utvecklingsindikator – pris på illegal alkohol, införsel etc. Butikstäthet Öppettider Självuppskattad tillgänglighet i övrigt bland ungdomar Ansvarig – för många FHI, självskattad - CAN

39. Mål 2: Barn ska skyddas (s. 21, s. 79) (EG4) • Barn som växer upp i missbrukar (risk)miljöer • Rökning och riskbruk/missbruk hos blivande (mödrar) och nyblivna föräldrar • Utvecklingsindikatorer för långsiktigt mål 2 (gravida med riskbruk, missbruk av alkohol, nyfödda med alkohol- narkotikaskador) Brist på goda indikator Nyfödda: MFR – få registreringar av här relevanta diagnoser gällande nyfödda – oklart varför (underrapp. o/e få faktiska fall) – få bättre bild av genom utvecklingsarbete på SoS Barn/unga som föds i risk- missbr.miljöer: - MFR –rökning bland gravida kvinnor sedan 1982/83 (spec. vecka 32-33). – ändring i förordning. Ta i bruk ny blanketten med bl.a AUDIT Narkotikafrågor finns inte i MFR (eller MHV).

40. Om frågeundersökningar: • Många frågor att besvarar – riktlinjer – hur gör man en skolundersökning – från ax till limpa (när, hur, vem delar ut, samlar in, vilka frågor, hur stansa in/scanna, hur analysera, beräkna, indexera (syntax mm) och hur redovisa data. • Liknande för vuxna • Oreg. alkohol och tobak – hur göra framöver • Andra viktiga frågor för alla dessa: bortfallsproblematik, finns någon framtid, spelar bortfallet roll • Mallen/manual för andra lokalt/regionalt

41. Indikatorer – prioriterade mål En hel del arbete kvarstår • Policy/processer – mycket arbete görs lokalt/regionalt, alltså behövs data på lokal och regional nivå : viktiga medel för att mäta detta: Länsrapporternas tillsynsdel och förebyggande del (preventionsindex), en annan öppna jfr: Kanske kan de koordineras: Om basen för framtida monitorering måste utvecklas och omhändertas (återkoppling, kvalitetsförbättringar, validitetsaspekter etc.) • Glöm ej tobak och narkotika • Länssamordnarna – hjälpa till att sprida kunskapen om indikatorer • Måste ner med indikatorerna på rätt nivå – implementering, spridning av ”riktlinjer” • Inte bara kommuner med aktiviteter, utfall, även regioner – landsting, polisen, arbetslivet etc.

42. Indikatorer – prioriterade mål • Inte bara kommuner med aktiviteter, utfall, även regioner – landsting, polisen, arbetslivet etc. • FHI – nyckelroll • Mål 1 – barn och unga • Tillsyn (FHI, Ls) • Effektiv brottsbekämpning (Polisen) • Bekämpning av illegal försäljning (FHI , Polisen) • Mål 2 – barn och unga • kommunernas insatser för barn och ungdomar i risksituationer, inklusive indikatorer (FHI, SoS) • Öppna jfr (SoS) • Nytt uppdrag till SKL –Stöd till utveckling av ett förstärkt barn- och föräldraperspektiv i missbruks- och beroenvården • Marknadsföring (FHI , Polisen)

43. Vad kan indikatorerna bidra med • Forskningsstudier nödvändigt, många gånger med egna data • Kan genom indikatorsarbetet -- mer nyttja befintliga data av god kvalitet med ökad jfrbarhet – också i egna utv/uppf av lokala/regionala nivån. • Om goda data på insats och utfall: bättre möjligheter koppla ihop dem, bättre än idag • Men kausalitet och designfrågor löses inte med goda indikatorer i sig, men bra början

44. Indikatorer – prioriterade mål • Mål 3 – Barn och unga som börjar …minska • En del kan fångas in via Länsrapporten och/eller via andra uppgifter från FHI. t.ex. : ökat deltagande av föräldrar”, satsning på Krogar mot knark, metodutveckling - utsatta grupper, för att kunna följa utveckling och marknadsföring av nya droger, dopningsmissbruk, tobak (tidiga insatser, efterlevnad av regler om rökfria miljöer)…

45. Indikatorer – prioriterade mål • Mål 4 – Skadligt bruk m.m • En del kan fångas in via Länsrapporten och/eller via andra uppgifter från FHI (ex. stöd till studenthälsomottagningar, arbetsplatser?) • SoS riktlinjer för förebyggande arbete • Studenter-högskola inom ramen (spec. satsning, kanske särskild studie och/elelr befintlig data från studenthälsomott. • Arbetslivet (egen undersökning)

46. Indikatorer – prioriterade mål Mål 6 – Döda, skadade • Trafikområdet (Trafikverket): samverkan mellan myndigheter kommuner, beroendevård etc. (SMADIT), Alkolås, mer tillförlitlig statistik, ökad kunskap om rattfylleriets omfattning • Ökad kunskap om AND-våldet (BRÅ) • Ökad kunskap om orsaker till akuta dödsfall, • Rutiner för samverkan mellan akutvård och missbruks- och beroendevården förbättras (SoS, ö.j). • Ökad medvetenhet i hela befolkningen om ANDT-användningens effekter på hälsan