Att granska studier:

1. Att granska studier: Nils Johansson Version 100503

2. Att granska studier ”Vad gör jag med 100 artiklar??” FÖRST GROVSORTERING ÖVERBLICK SEDAN GRANSKA SYSTEMATISKA ÖVERSIKTER SIST GRANSKA PRIMÄRA STUDIER

3. Grovsortering: Minska textmängd Hur många studier har jag hittat? Hur många systematiska översikter? Räcker det att läsa systematiska översikter? Vilken design har studierna? Granska! Bedöm relevans med din PICO. Rensa bort irrelevanta studier! Tillräckligt nya och täcker området för din PICO? Inkluderar de andra studier jag hittat? Ordna studierna enligt designkvalitet. Sätt en lägsta ribba i designhierarkin Börja granska studierna med bäst design. Gå neråt i hierarkin endast när det behövs!

4. Grovsortering: PICO avgör snabbt relevans!

5. Hierarki utifrån intern validitet: Interventionsstudier Ungefärlig intern validitet Systematiska översikter Stora RCT studier Små RCT studier Kontrollerade, icke randomiserade, CCT Kohort-studier Fall-kontrollstudier Tvärsnittsstudier Fallstudier Fallbeskrivningar

6. GrovsorteringSkapa överblick över studierna CAT – ”Critically Appraised Topic”: enkelt sätt att få överblick över vilka studier man hittat och deras resultat - Det finns många mallar att välja mellan. Se på vårdverktyget.se • Är inte en kritisk granskning av studiernas kvalitet! • Ska gå fort: lägg inte mer än 5-10 min på vardera studie PROCEDUR: • Dra ut den viktigaste informationen ur studien • Sammanfatta gärna alla studier på en enda sida för överblick • Har jag fått svar på min PICO? • Granska en studies kvalitet endast om du behöver det Se exempel

7. Granska en systematisk översikt Olika utseende på en systematisk översikt 1) Resultatet kan presenteras som metaanalys i ett diagram; oftast en Forest Plot 2) Resultatet kan beskrivas i löpande text

8. Exempel på metaanalys: ”forest plot”

9. Bedömning av systematiska översikter • När gjordes sökningarna? • Har författarna hittat alla relevanta studier? c)Kommer alla studier från samma forskargrupp, läkemedelsbolag? c) Kan man jämföra studierna? d) Pekar resultaten i de primära studierna åt samma håll?

10. Granskningsmall för systematisk översikt

11. Jämförbara studier: en gradfråga Viktigt! De primära studierna bör likna varandra så mycket som möjligt. Titta efter detta: - jämförbara patienter - jämförbara interventioner - jämförbara effektmått ”Blanda inte äpplen och päron!”

12. Likartade resultat: en gradfråga Viktigt! Ju mindre resultaten i delstudierna liknar varandra, desto osäkrare blir slutsatsen i den systematiska översikten! Och vice versa! ”Resultaten bör dra åt samma håll!”

13. Gruppövning När har ni behov av att läsa / granska vetenskapliga studier? Har ni tillräckligt med tid att göra det? Vilka resurser finns för att göra det möjligt?

14. Randomiserad kontrollerad studie - RCT Intern validitet Hela populationen Stickprov Randomisering Stickprov Stickprov Intervention Kontroll Extern validitet ”generaliserbarhet” Resultat

15. Intern validitet:studiens tillförlitlighet / ”the result stands” ”Intern validitet” = det är rimligt att studiens resultat visar på verkliga förhållanden i den aktuella populationen När det gäller behandlingsstudier: 1)Behandling X orsakar behandlingseffekt Y eller 2) Behandling A medför större behandlingseffekt än behandling B osv…

16. Extern validitet: studiens generaliserbarhet ”Extern validitet” = det är rimligt att resultat går att generalisera till andra patientpopulationer än den aktuella När det gäller behandlingsstudier: Resultaten gäller även för min patient!

17. Tre olika skäl till att man kan se en behandlingseffekt i en studie • SANNINGEN: behandlingen är orsakar verkligen en behandlingseffekt • SLUMPEN: effekten råkade inträffa av någon anledning • FELKÄLLOR: systematiska fel som medför att resultatet blir osäkert

18. Felkälla pga bortfall Hela populationen Stickprov Felkälla i urvalet Felkälla i randomisering Stickprov Stickprov Intervention Kontroll Felkälla i mätning Resultat

19. Exempel på granskningsmall för behandlingsstudie

20. Felkällor i urval och bortfall Hela befolkningen med sjukdomen Befolkningsurval Uppfyller studiekriterier Accepterar deltagande Deltagare Slutför studien

21. Felkällor i urval och bortfall - Kontrollera att patientgrupperna är väl beskrivna: ålder, kön, socialekonomi, utbildningsnivå etc. • Kontrollera att bortfall förklaras • Kontrollera att bortfallet inte medför viktiga olikheter mellan grupperna

22. Consort statement Norm för behandlings-studier

23. Björknässtudien

24. Felkällor i randomisering • Kontrollera att grupperna är lika efter randomiseringen a) relevanta bakgrundsegenskaper; ålder, kön, socioekonomi osv b) patienternas hälsotillstånd • Kontrollera att randomiseringen är dold ”concealment”: forskare och patient ska inte kunna förutsäga i vilken grupp man hamnar

25. Blindning Ofta av naturliga skäl svårt i omvårdnad och rehabilitering Blindning x 3: - patient - behandlare - den som samlar in data Blindning x 2: - patient - behandlare Blindning x 1 - patient

26. Felkällor i mätningen • Kontrollera mätproceduren 1) Används samma instrument vid före/efter behandling? 2) Inverkar mätningarna på behandlingseffekten? • Kontrollera instrumenten Har instrumenten goda egenskaper? - mäter man det man vill mäta - reliabilitet - instrumentens egenskaper är utvärderade och det finns publicerade data om instrumentet

27. Bedöma intern validitet VIKTIGASTE PUNKTERNA - Resultaten drar åt samma håll: ”consistency” - Urval och bortfall - Randomisering och blindning - Behandlingsproceduren innebär inte risk för ”confounder effects”: något annat än behandlingen orsakar effekten - Instrumenten mäter rätt sak med tillräcklig precision

28. Bedöma extern validitet VILLKOR: studien har god intern validitet! VIKTIGASTE PUNKTERNA - Min typ av patient inkluderas i studien och är inte med i bortfallet: kom ihåg din PICO! - Urvalet av patienter är brett och omfattar flera miljöer • Resultaten drar åt samma håll: ”consistency”. Att överföra ett resultat till en annan population är aldrig fördelaktigt för entydigheten i resultaten

29. Kritisk granskning:två grundläggande utgångspunkter Studiernas vetenskapliga kvalitet ”ÄR STUDIEN BRA?” - kontrollera intern validitet Mitt kliniska beslutsunderlag ”ÄR STUDIEN ANVÄNDBAR FÖR MIG?” - kontrollera extern validitet - kontrollera patientrelevans hos effektmått - bra redskap: förväntad nytta/risk

30. EBV som beslutsunderlag - Statistiska begrepp är ofta svåra att tolka och överföra i det enskilda fallet och i den kliniska vardagen. - Nytto-/riskbegreppen ger ett praktiskt ett verktyg i klinisk vardag - Det finns flera mått för nytta/risk ”relativ risk”, ”absolut risk”, ”odds”, ”odds ratio”, ”numbers needed to treat”

31. Många statistiska resultat är svåra att tolka i min kliniska vardag Exempel: Oberoende t-test visar en behandlingseffekt med p < 0,01 där: a) Medelvärde för behandlingsgruppen är 68,4 b) Medelvärde för kontrollgruppen är 45,7 c) Skillnaden mellan grupperna är 1,12 standardavvikelser Problem: Vad säger jag till min patient?

32. Exempel: mått som är enklare att tolka NNT – Numbers Needed to Treat: ”Jag behöver behandla 3 patienter för att 1 patient ska få behandlingseffekt” eller NNH - Numbers Needed to Harm: ”Jag behöver behandla 112 patienter för att 1 patient ska få biverkan”

33. Nytta/risk Nytta = {effektens sannolikhet} x {effektens storlek} Risk = {skadans sannolikhet} x {skadans storlek}

34. Nytta/risk - sannolikhet Exempel: Behandling A: 7 av 10 patienter blir friska Behandling B: 4 av 10 patienter blir friska Alltså: rationellt att sätta in behandling A

35. Nytta/risk - effektstorlek Exempel: Behandling A: Patienterna som upplever behandlingseffekt lever 4 år längre. Behandling B: Patienterna som upplever behandlingseffekt lever 2 år längre. Alltså: rationellt att sätta in behandling A

36. RELEVANS PATIENTRELEVANTA EFFEKTMÅTT eller SURROGATMÅTT Spelar behandlingseffekten roll för patienten? Exempel: Längre förväntad livslängd. Mindre smärta. Kunna bo hemma. Kunna ha sociala kontakter, nyttja massmedia. Kunna arbeta.

37. RELEVANS ”Surrogatmått” Effektmått som spelar roll för forskaren eller vårdpersonalen, men inte för patienten

38. Vad betyder ”evidens” Missförstånd ligger nära till hands. Betrakta påståendet: För behandlingen X gäller: (a) Det är väl belagt att… (b) …sannolikheten är hög… (c) …för en stor relevant behandlingseffekt. Vad är ”evidens” i det påståendet? (a) Vad är ”patientnytta” i det påståendet? (a) + (b) + (c)