Small study effects und reporting bias
This presentation is the property of its rightful owner.
Sponsored Links
1 / 30

Small-study effects und Reporting-Bias PowerPoint PPT Presentation


  • 55 Views
  • Uploaded on
  • Presentation posted in: General

Small-study effects und Reporting-Bias. Schritte eines systematischen Cochrane Reviews. Fragestellung festlegen Auswahlkriterien definieren Methoden definieren Studien suchen Auswahlkriterien anwenden Daten extrahieren Bias- Risikos der Studien bewerten

Download Presentation

Small-study effects und Reporting-Bias

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Small study effects und reporting bias

Small-study effects und Reporting-Bias


Schritte eines systematischen cochrane reviews

Schritte eines systematischen Cochrane Reviews

  • Fragestellungfestlegen

  • Auswahlkriteriendefinieren

  • Methodendefinieren

  • Studiensuchen

  • Auswahlkriterienanwenden

  • Datenextrahieren

  • Bias-Risikos der Studienbewerten

  • Ergebnisseanalysieren und darstellen

  • Ergebnisseinterpretieren und Schlussfolgerungenziehen

  • Review optimieren und aktualisieren


Bersicht

Übersicht

  • ‘Small-study effects’ erkennen

  • Reporting-Bias verstehen

Siehe im Handbuch Kapitel 10


Zur erinnerung zufallsfehler

Zur Erinnerung: Zufallsfehler

  • Wenn mehrere Studien einen Effekt schätzen, ist jede Studie vom Zufallsfehler betroffen

  • Die Schätzer liegen verteilt um den wahren Effekt – einige niedriger, einige höher

Zufalls-

fehler

Effekt-

schätzer

WahrerEffekt

Quelle: Julian Higgins


Zufallsfehler und kleine studien

Zufallsfehler und kleine Studien

  • Beim Zufallsfehler wird angenommen, dass…

    • kleine Studien weniger genau sind wie große Studien

    • die Schätzer weiter um den Mittelwert streuen

  • Small-study effects

    • wenn kleine Studien konsistent positive oder negative Ergebnisse haben als große Studien

    • eine mögliche Ursache für Heterogenität

    • verschiedene Erklärungen möglich


Small study effects erkennen

Small-study effectserkennen

  • Muss für jeden Endpunkt einzeln bewertet werden

  • Verfügbare Methoden:

    • Funnel Plots

    • Statistische Tests

    • Sensitivitätsanalysen

  • Ggf. StatistikerIn um Rat fragen


Funnel plots

Funnel Plots

  • Tragen Effektgröße gegen Studiengröße auf

    • Studiengröße wird meist durch ein Maß wie Standardfehler angegeben

  • Studien streuen um den kombinierten Effektschätzer

    • Größere Studien am oberen Ende, kleinere Studien weiter unten

    • Man erwartet, dass kleine Studien breiter streuen

  • Ein symmetrischer Graph sieht wie ein umgekehrter Trichter (‘funnel’) aus

  • In RevMan können Funnel Plots erstellt werden

  • Ist in der Regel sinnvoll interpretierbar ≥ 10 Studien mit verschiedener Größe vorhanden sind


Symmetrischer funnel plot

Symmetrischer Funnel Plot

0

1

Standardfehler

2

3

0.1

0.33

0.6

1

3

10

Effekt

Quelle: Matthias Egger & Jonathan Sterne


Asymmetrischer funnel plot

Asymmetrischer Funnel Plot

0

1

Standardfehler

Unpublizierte Studien

2

3

0.1

0.33

0.6

1

3

10

Effekt

Quelle: Matthias Egger & Jonathan Sterne


Asymmetrischer funnel plot1

Asymmetrischer Funnel Plot

0

1

KleineStudienhabenalle positive Effektschätzer

Standardfehler

2

3

0.1

0.33

0.6

1

3

10

RR

Effekt

Quelle: Matthias Egger & Jonathan Sterne


Kolloide vs kristalloide f r volumenersatztherapie

Kolloide vs. Kristalloide für Volumenersatztherapie

Tod

Adaptiert von: Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in critically ill patients. Cochrane Database of Systematic Reviews 2011, Issue 3.


Magnesium bei herzinfarkt

Magnesium bei Herzinfarkt

Adaptiert von: Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.


Gr nde f r asymmetrie im funnel plot

Gründe für Asymmetrie im Funnel Plot

  • Zufall

  • Artefakte

    • Einige statistische Größen sind mit dem Standardfehler korreliert, z.B. OR

  • Klinische Unterschiede

    • Unterschiedliche Studienpopulation in kleinen Studien

    • Implementierung ist anders in kleinen Studien

  • Methodische Unterschiede

    • Größeres Bias-Risiko in kleinen Studien

  • Reporting-Bias

Quelle: Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629


Verbesserte funnel plots mit konturen

“verbesserte” Funnel Plots mit Konturen

Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002


Asymmetrie durch heterogenit t

Asymmetrie durch Heterogenität

Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002


Tests f r funnel plot asymmetrie

Tests für Funnel-Plot-Asymmetrie

  • Ist die Assoziation zwischen Studien- und Effektgröße größer als zufällig zu erwarten wäre?

  • Drei Tests werden empfohlen

    • Sie haben generell eine geringe stat. Power, um Reporting-Bias auszuschließen

  • Zusätzlich sollte Form des Funnel Plot betrachtet werden

    • In der Regel nur sinnvoll interpretierbar ≥ 10 Studien versch. Größe vorhanden sind

Siehe im Handbuch Kapitel 10.4.3


Sensitivit tsanalyse

Sensitivitätsanalyse

  • Wie stark wirkt sich ein Effekt durch kleine Studien auf die Ergebnisse aus?

  • Bei Bedarf StatistikerIn fragen bevor Sie fortfahren

    • Falls Heterogenität (I2 > 0), die Schätzer aus dem Fixed-effect und dem Random-effects Modell vergleichen

      • Gibt es einen Unterschied?

      • Wenn ja, gibt es einen Grund, warum die Intervention in kleineren Studien wirksamer bzw. weniger wirksam sein könnte?

    • Selektionsmodelle (z.B. ‘trim & fill’) und andere Methoden


Sensitivit tsanalyse1

Sensitivitätsanalyse

Adaptiert von Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.


Bersicht1

Übersicht

  • Small-study effects erkennen

  • Reporting-Biasverstehen


Verbreitung von evidenz

Verbreitung von Evidenz

Quelle: Matthias Egger


Reporting bias

Reporting-Bias

  • Verbreitung von Forschungsergebnissen wird von Art und Richtung der Ergebnisse beeinflusst

  • Statistisch signifikante (‘positive’) Ergebnisse werden eher publiziert…

  • …und werden daher mit höherer Wahrscheinlichkeit in einem Review berücksichtigt

    • Dies führt zur Überschätzen von Effekten

    • Da große Studien sehr wahrscheinlich publiziert werden, sind v.a. kleine Studien betroffen

  • Für Ihren Review sind die nicht-signifikanten Ergebnisse genauso wichtig wie die signifikanten


Evidenz f r reporting bias

Evidenz für Reporting-Bias

Anteil nicht publizierter Studien

Signifikant

Nicht-signifikanter Trend

Null

Jahre seit Durchführung

Quelle: Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projectsBMJ 1997;315:640-645.


Positive studien werden

‘Positive’ Studien werden …

Geplant

  • eher zur Publikation eingereicht und akzeptiert(Publikationsbias)

  • schnellerpubliziert (Time-Lag Bias)

  • in mehreren Artikeln publiziert(Multiple publication bias)

  • auf Englisch publiziert(Sprach-Bias)

  • in indexierten ‘high-impact’ Journalen publiziert(Location-Bias)

  • von anderen zitiert(Zitationsbias)

Durchgeführt

Eingereicht

Publiziert

Zitiert

Auch ‘positiv’ Endpunkte werden bevorzugt berichtet (Outcome Reporting Bias)

Quelle: Julian Higgins


Beispiel alpha blocker bei bluthochdruck

Beispiel: Alpha-Blocker bei Bluthochdruck

  • Nur 10 Studien gefunden, die jedoch verschiedene Dosierungen verwendet haben

  • Medikamente wurden von Behörden zugelassen. Daher mussten auch Studien durchgeführt und Ergebnisse eingereicht worden sein

    • Aber nur wenige Studien wurden gefunden

    • Für viele Dosierungen, die von Behörden akzeptiert wurden, gab es keine publizierte Evidenz

    • Für einige Dosierungen gab es überhaupt keine publizierten Daten

Quelle: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4


Beispiel antidepressiva

Beispiel: Antidepressiva

Quelle: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of antidepressant trials in the FDA trial registry database and related journal publications. BMJ2009, 339.


Folgen des publikationsbias

Folgen des Publikationsbias

Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized trials of health care interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.


Was bedeutet das f r meinen review

Was bedeutet das für meinen Review?

  • Vorbeugen

    • Eine umfangreiche Suche in mehreren Quellen

    • Suche von ‘grey literature’, nicht-englischsprachiger Literatur; Handsuche

    • Studienregister

  • Erkennen

    • ‘ Small-study effects ’ sollten gesucht werden

    • Sensitivitätsanalyse, um ihre möglichen Auswirkungen zu untersuchen

    • Publikationsbias ist nicht die einzige Erklärung

  • Es gibt kein Allheilmittel

    • Gefundene ‘Small-study effects’ sollten weiter untersucht werden

    • Im Review sollte zur Wahrscheinlichkeit von Reporting-Bias Stellung genommen werden


Was sollte im protokoll geschrieben werden

Was sollte im Protokoll geschrieben werden

  • Wie Reporting-Bias bewertet wird (‘Assessment of reporting biases’)

  • Optionale Verwendung von Funnel plots oder statistischer Asymmetrie-Tests


Fazit

Fazit

  • In Ihrem Review sollten Sie nach sog. ‘Small-study effects’ suchen

  • Zahlreiche mögliche Ursachen in Betracht ziehen

  • Mögliche Auswirkungen von Reporting-Bias beachten

  • Wenn unsicher, Rat von StatistikerIn einholen


Quellen

Quellen

  • Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

  • Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629

  • Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: 10.1136/bmj.d4002

Danksagung

  • Zusammengestellt von Miranda Cumpston

  • Basierend auf Unterlagen von Jonathan Sterne, Matthias Egger, Julian Higgins, David Moher, Nancy Santesso, Holger Schünemann,Cochrane Bias Methods Group, des Australasian Cochrane Zentrums und Cochrane Applicability and Recommendations Methods Group

  • Englische Version freigegeben vom Cochrane Methods Board

  • Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (JörgMeerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough)


  • Login