Artikkelin kriittinen arviointi

1. Artikkelin kriittinen arviointi Jouko Miettunen Psykiatrian klinikka Oulun Yliopisto 23.3.2011

2. Artikkelin arviointi • Onko tutkimuksen tulos uskottava? • Onko tutkimuksesta hyötyä • kliiniseen työhön?

3. EvidenceBasedMedicine • kliinikon on saatava tutkimustietoa nopeasti ja tiedon on oltava luotettavaa • kliinikon on osattava etsiä tietoa, seuloa tietoa ja arvioida tiedon oikeellisuutta • mahdollisesti harhaisia tiedonlähteitä • kollegat, ilmaiset lehdet, lääketehtaiden mainokset ja lääke-edustajat • kouluttautuminen • konferenssit, journalclubs • lukeminen: yleislehdet, huippulehdet • perustiedot: oppikirjat, katsaukset • mahdollisesti myös virheeellistä tietoa • auttaa potilastyössä • potilaatkin ovat etsineet tietoa Fletcher & Fletcher J Gen Intern Med 1997

5. PLOS Medicine 2005;2:e124

6. Tutkimusasetelmienhierarkiakausaliteetintutkimisessa Randomized Controlled Trial Stephenson & Babiker Sex Transm Dis 2000

7. HAVAINTOTUTKIMUKSET

8. Otsikko ja abstrakti Tutkimusasetelma hyvä ilmoittaa otsikossa tai abstraktissa. Abstraktin selkeys tärkeää: mitä tehtiin ja löydettiin? taustatiedot, tutkimuksen tavoitteet (hypoteesit?), metodit, päätulokset,johtopäätökset strukturoitu abstrakti parempi kuin ei-strukturoitu Vandenbroucke ym. Strengthening the reporting of observational studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35.

9. Johdanto Aiheen tieteellinen tausta täytyy esittää riittävissä määrin: olennaiset alkuperäistutkimukset tärkeät, viimeaikaisimmat katsaukset aiheesta mitä tiedetään aiheesta ja mitä puutteita tiedoissa/tutkimuksessa aiheeseen liittyen on? Tutkimuksen tavoitteet: sisältäen maininnan tutkimusaineistosta, altisteesta, vasteesta ja muista tärkeistä muuttujista (jos vain mahdollista) mahdolliset hypoteesit tai kysymykset joihin tutkimuksella halutaan vastata

10. Menetelmät Tutkimusasetelma Onko selitetty mahdollisimman tarkkaan? Usein tutkimuksessa voi olla piirteitä useista eri asetelmista. Onko kuvattu lähdeväestö, josta aineisto on kerätty? Tutkimuksen paikka ja aika (setting) tutkimuksen paikka mistä tutkittavat kerätty? sairaala, avohoito jne… mikä kaupunki, mikä maa? tutkimuksen aika: tutkittavien keruun ajankohta, seurannan pituus tutkittavat Mistä? Kriteerit? Kato?

11. Muuttujat Onko kaikki muuttujat selkeästi selostettu? altisteet (exposure) vastemuuttujat (outcome) sekoittavat tekijät (confounder) Onko diagnostiset kriteerit selitetty? Onko selitetty mistä lähteestä muuttujat saatu? Millä tavoin muuttujat kerätty/mitattu? Onko selitetty kuinka muuttujat luokiteltiin ja miksi? Onko eri muuttujaluokat kuvattu?

12. Tulokset Tuloksissa tulee kertoa mitä löydettiin alkaen aineiston kuvailusta. Päätulokset, avustavat analyysit Ei tulkintaa eikä kirjoittajien omia mielipiteitä

13. Kuvaileva data Tutkittavan joukon ominaisuudet (demografiset, kliiniset, sosiaaliset) tulee olla kuvailtu. Altisteet ja mahdolliset sekoittavat tekijät tulee olla kuvailtu Jokaisen muuttujan kohdalla tulee ilmoittaa tutkittavien määrä joilta tämä tieto puuttuu Kohortti tutkimuksessa tulee ilmoittaa seuranta-aika (keskiarvo, keskihajonta ja kokonaisaika) Päätetapahtumat: prosentteja, keskiarvoja tms. tunnuslukuja

14. Päätulokset Vakioimattomatjasekoittavillatekijöillävakioiduttulokset 95% luottamusväleineen Tulee olla selkeästiilmoitettumillätekijöillä on vakioitujamiksi ne on valittu Josjatkuviamuuttujia on luokitelturajattuleeesittää Suhteellisetriskit on hyväilmoittaaabsoluuttisinariskeinäsopivaaajanjaksoakohti Myösmuutanalyysit - esimalaryhmäanalyysit, interaktiotjasensitiivisyysanalyysit - tulee olla esitetty

15. Pohdinta Päätuloksetvedetäänyhteentutkimuksentarkoituksenvalossa Limitaatio-osassatulee olla otettuhuomioonmahdollisetharhat (bias), näidensyytjamahdollisetvaikutuksettuloksiin (suuntajavoimakkuus)

16. satunnainen virhe ja systemaattinen harha (random error / systematic bias) • Virhe (error): tiedon keräämisessä tapahtunut väärä mittaus • Harha (bias): tiedon keräämisessä esiintyvä ongelma kun tietoa kerätään valikoituneesti tai mittausmenetelmä tuottaa järjestelmällisesti virheellisen tuloksen • johtaa todellisen yhteyden heikkenemiseen • tuoda esille olemattoman yhteyden • vääristää olemassa olevaa yhteyttä

17. Systemaattinen harha tärkeä tietää ja tunnistaa tutkimuksessa! vaikuttaa tutkimuksen ja sen tulosten laatuun voi johtua virheistä tutkimuksen asetelmassa, aineiston keruussa, aineiston analysoinnissa tai tulosten tulkinnassa (eli missä vain vaiheessa tutkimusta) hyvin useita erilaisia muotoja, esim.: Informaatioharha (information bias) Mittausharha (measurement bias) Valintaharha (selection bias) Julkaisuharha (publication bias)

18. Berksonin harha • esimerkki valintaharhasta • sairaalapotilaat ovat vaikeammin sairaita kuin tavalliset potilaat ja sairaalapotilailla on enemmän muuta sairautta • suurten sairaaloiden potilaillaan tekemät tutkimukset eivät välttämättä ole sovellettavissa esim. terveyskeskuksen potilaisiin

20. Tulkinta Esitettynävarovainentulkintatuloksistaottaenhuomioontavoitteet, rajoitukset, analyysienmonimuotoisuus, samankaltaistenmuidentutkimustentuloksetjamuuasiaanliittyvätodistusaineisto Tilastollinenmerkitsevyyseisamakuinkliininenmerkitsevyys “absence of evidence is not evidence of absence” Yleistettävyys Arviosiitämitenhyvintutkimuksentuloksiavoiyleistää (external validity)

21. KAUSALITEETTI: SYY - SEURAUS Bradford Hillin - kriteerit • Yhteyden voimakkuus (strength) • riskitekijän ja sairauden välillä pitää olla selvä ja voimakas assosiaatio • Ajallisuus (temporality) • riskitekijän esiintymisen täytyy edeltää sairautta • Biologinen mielekkyys (biological plausibility) • Syy-seurausuhteelle pitää olla uskottava biologinen selitys • Yhtäpitävyys (consistency) • yhteyden tueksi pitää olla löydöksiä eri tutkimuksista, joissa on käytetty erilaisia tutkimusasetelmia ja aineistoja

22. Bradford Hillin - kriteerit • Annos-vaste -suhde (dose-response, biological gradient) - mitä enemmän riskitekijää, sitä suurempi todennäköisyys sairastua • Riskitekijän spesifisyys (specificity) - tutkittava riskitekijä yksin aiheuttaa sairauden • Sairaus voidaan ehkäistä tai lievittää poistamalla riskitekijä tai riskitekijää lisäämällä voidaan lisätä sairastapausten määrää (experiment) • Kuinka hyvin mahdollinen kausaalisuus sopii nykyisiin teorioihin ja tietoon (coherence) • Ei löydetä muita vakuuttavia selityksiä

23. Havaintotutkimukset - kirjallisuutta Fleming JA & Hsieh C-C. Introduction to epidemiological research methods. Kirjassa: Textbook in psychiatric epidemiology. Toim. Tsuang MT, Tohen M. John Wiley & Sons, Inc., 2002. Fletcher RH & Fletcher SW. Evidence-based approach to the medical literature. J Gen Intern Med 1997;12:S5-S12. Ioannidis JPA. Why most published research findings are false. PLoS Med 2005;2:e124. Rennie D, Bero LA. Throw it away, Sam: The controlled circulation journals. Am J Roentgenology 1990;155:889-92. Sutton-Tyrrell K. Assessing bias in case-control studies. Proper selection of cases and controls. Stroke 1991; 22: 938-42. Vandenbroucke ym. Strengthening the reporting of Observational Studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35.

24. KLIINISET KOKEET

25. Tutkimusetiikka Eettinen lupa tutkimukselle Kliinisen kokeiden rekisteröinti Lupa tutkittavilta “Informed consent” Riittävän iso otoskoko (tilastollinen voima, power)

26. Altman ym. The revised CONSORT statement for reporting randomized trials Otsikko ja abstrakti Oliko kyseessä satunnaistettu koe (esim. “random allocation,” “randomized,” tai “randomly assigned”)? • Johdanto - Introduction • Katsaus aiempiin tutkimuksiin ja peruste (tarve) nykyiselle tutkimukselle

27. Altman ym. The revised CONSORT statement for reporting randomized trials Menetelmät - Methods Kriteerit osallistujille, mistä aineisto kerätty ja tutkimusympäristö (setting) diagnoosimenetelmä hyväksyttävä Interventio - tarkasti interventio (lääke+annos, hoito, tms.) mikä kullekin ryhmälle tehtiin, miten ja milloin? Tavoitteet ja hypoteesit Sokkoutus

28. Altman ym. The revised CONSORT statement for reporting randomized trials Vaste (outcome) – Määriteltävä tärkeimmät ja toissijaiset vasteet, vasteiden mittaamisen laatu tutkittavien koulutus luotettavuuden arviointi Otoskoko – Miten määriteltiin, tehtiinkö “interitem” analyyseja? Oltava riittävän iso, eettiset ja tieteelliset syyt Voimalaskelmat (power analysis)

29. “Intention to treat” Hoidon aikomukseen perustuva analyysi Kaikki satunnaistetut potilaat otetaan mukaan analyyseihin riippumatta siitä ovatko keskeyttäneet tai edes aloittaneet koetta tai säilyneet ko. lääkkeellä Säilytetään satunnaistamisella saatu tasapaino liittyen ennustetekijöihin Kaikista potilaista on kuitenkin saatava tieto lopputulosmuuttujista

30. Altman ym. The revised CONSORT statement for reporting randomized trials Pohdinta - Discussion Tulosten tulkinta Onko hypoteesit otettu huomioon? Mahdolliset tutkimusharhat ja epätarkkuudet? Miten tulkittu tulokset jos useita analyyseja (useita vastemuuttujia) jotka antaa ristiriitaisia tuloksia? Onko tulokset yleistettävissä? Onko tulokset tulkittu suhteessä nykyiseen tutkimusnäyttöön?

31. Rahoitus Tutkimuksen rahoittajat ja näiden tahojen rooli tutkimuksessa tulee olla esitettynä Jos artikkeli perustuu johonkin muuhun alkuperäistyöhön myös sen rahoittajat tulee olla ilmoitettuna

32. Kliiniset kokeet - kirjallisuutta Altman ym. The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med 2001, 134, 663-94. Piaggio ym. Reporting of Noninferiority and Equivalence Randomized Trials. An Extension of the CONSORT Statement. JAMA 2006, 295, 1152-60. Campbell ym. CONSORT statement: extension to cluster randomised trials. BMJ 2004, 328(7441), 702-8. Leucht ym. Second-generation antipsychotics for schizophrenia: can we resolve the conflict? Psychol Med 2009, 39, 1591-1602. McAlister ym. Analysis and Reporting of Factorial Trials. A Systematic Review. JAMA. 2003;289:2545-2553. Collins ym. Methodological standards in schizophrenia research: a critical survey of clinical trials. Intern J Meth Psychiatr Res 1992, 2, 111-6. WHO. Guidelines for good clinical practice (GCP) for trials on pharmaceutical products, 1995: http://www.vghtpe.gov.tw/~mre/goodexp/Fercap-Survey/WHO-GCP-1995.pdf

33. Meta-analyysien ongelmia • Alkuperäisettutkimukseteroavathuomattavastitoisistaan, jotenyhdistäminenongelmallista • Tutkimukseteivätilmoitakaikkiatietojamitähaluttaisiinkäyttää • Inkluusiokriteeritvaikuttavattuloksiin • Julkaisuharha (publication bias, file-drawer problem) • Jostutkimuksentulokseteivät ole halutunmukaisia (esim. tilastollisestimerkitseviä), tuloksetjätetäänraportoimatta • Osaratkaisu: kliinistenkokeidenrekisterit • Cochrane Database for Systematic Reviewskeräätietyinlaatukriteereintehdyt meta-analyysit

34. Meta-analyysit kirjallisuutta Cook ym. Methodological guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 1995, 48, 167-71. Stroup ym. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA 2000, 283, 2008-12. Blettner M, ym. Traditional reviews, meta-analyses, and pooled analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9. Egger M, Smith GD, Altman DG. Systematic reviews in health care. 2. painos. Lontoo: BMJ Publishing Group, 2001. Sauerland S & Seiler CM. Role of systematic reviews and meta-analysis in evidence-based medicine. W J Surgery 2005;29:582-7. jouko.miettunen@oulu.fi - www.joukomiettunen.net/presentations