einf hrung in die metaanalyse l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Einführung in die Metaanalyse PowerPoint Presentation
Download Presentation
Einführung in die Metaanalyse

Loading in 2 Seconds...

play fullscreen
1 / 19

Einführung in die Metaanalyse - PowerPoint PPT Presentation


  • 247 Views
  • Uploaded on

Einführung in die Metaanalyse. Review vs. Metaanalyse. Mängel von Reviews: Reviewer verwenden alte Reviews, ohne sie zu prüfen Reviewer diskutieren nur eine Teilmenge der Befunde Ergebnisse werden nur grob klassifiziert („signifikant“)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Einführung in die Metaanalyse' - malcolm


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
review vs metaanalyse
Review vs. Metaanalyse
  • Mängel von Reviews:
    • Reviewer verwenden alte Reviews, ohne sie zu prüfen
    • Reviewer diskutieren nur eine Teilmenge der Befunde
    • Ergebnisse werden nur grob klassifiziert („signifikant“)
    • Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler)
    • Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert
    • Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren)

Metaanalyse

definition metaanalyse
Definition Metaanalyse
  • Glass (1976):
    • „Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.“ (S. 3)

Metaanalyse

arten der metaanalyse
Arten der Metaanalyse
  • Inferenzstatistische Verfahren:
    • Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant
    • Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte
  • Deskriptive Verfahren:
    • Beschreibung der „wahren“ Effektgröße

Metaanalyse

probleme der metaanalyse
Probleme der Metaanalyse
  • Uniformitätsproblem:
    • Äpfel- und Birnen-Problem
  • Auswahl der Primärstudien:
    • Vollständig, Einzelfallstudien
  • Dokumentation der Primärstudien:
    • p-Werte, Effektschätzungen, Studienmerkmale
  • Methodische Qualität der Primärstudien

Metaanalyse

beispiel
Beispiel
  • Ergebnis einer Zusammenstellung von Studien:
    • 4 von 12 Studien zeigen einen signifikanten Effekt.
  • Problem:
    • Was bedeutet das für den „wahren“ Effekt?
    • Gibt es ihn und wie groß ist er?

Metaanalyse

bewertung des ergebnisses
Bewertung des Ergebnisses
  • Vorüberlegung: Welche Extremfälle gibt es?
    • Keine (0 von 12) Studien zeigt einen Effekt:
      • Es liegt ziemlich sicher kein „wahrer“ Effekt vor
    • Alle (12 von 12) Studien zeigen einen Effekt:
      • Es liegt ziemlich sicher ein „wahrer“ Effekt vor
  • Statistische Überlegung:
    • Wenn es „in Wahrheit“ keinen Effekt gäbe,
    • und man würde 12 Studien durchführen,
    • wie viele signifikante Studien würde man erwarten?

Metaanalyse

pr fung
Prüfung
  • Modell (Nullverteilung):
    • Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird?
      • Alpha = 5%
    • n = 12 Studien
    • Binomialverteilung mit p = 0.05 und n = 12
  • Ergebnis:
    • Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden
    • Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt
    • Wie groß ist der Effekt?

Metaanalyse

liegt ein effekt vor
Liegt ein Effekt vor?
  • Diese Frage wird nach der ganz normalen Testlogik beantwortet:
    • „Versuchspersonen“ sind hier die Studien.
    • Nullhypothese: Es liegt kein „wahrer“ Effekt vor (nur Zufall wirkt)
    • Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05
    • Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien
    • Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen
    • Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor

Metaanalyse

wie gro ist der effekt
Wie groß ist der Effekt?
  • Um diese Frage zu beantworten, wird die normale Testlogik umgedreht:
    • Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt
    • Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20
    • Modell: Binomialverteilung mit p und n = Anzahl der Studien
    • Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten
    • Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße

Metaanalyse

festlegung von effektgr en
Festlegung von Effektgrößen
  • Angabe der Effektgröße als Differenz zweier z-Werte
  • Konvention:
    • d = 0.2: kleiner Effekt
    • d = 0.5: mittlerer Effekt
    • d = 0.8: großer Effekt

Metaanalyse

effektgr e und pr fverteilung
Effektgröße und Prüfverteilung
  • Problem:
    • Wie komme ich von der Effektgröße zur Prüfverteilung?
  • Was ist eine Prüfverteilung?
    • Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt
  • Annahmen für Prüfverteilung bei d = 0.8:
    • Zwei Gruppen mit normalverteilten Werten (z-Werte)
    • Mittelwert Gruppe 1: 0
    • Mittelwert Gruppe 2: 0.8
    • SD in beiden Gruppen: 1
    • N Studien untersucht

Metaanalyse

erstellen der pr fverteilung
Erstellen der Prüfverteilung
  • Beispiel:
    • N = 3 Studien
    • Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe
  • Prinzip:
    • Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast
  • Vorgehen:
    • Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit)
    • Ziehe per Zufall 5 Zahlen aus Normalverteilung 2
    • Führe einen t-Test durch: Signifikant oder nicht?
    • Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt)
    • Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3)

Metaanalyse

vorgehen grafisch
Vorgehen grafisch

t-Test: n.s.

t-Test: *

t-Test: n.s.

Metaanalyse

ergebnis am beispiel
Ergebnis am Beispiel
  • Eingangsbeispiel:
    • N = 12 Studien
    • Je n = 10 Vpn in Kontroll- und Behandlungsgruppe
    • d = 0.8
  • Asymptotische Annäherung:
    • N = 12 Studien, n = 20 Vpn, d = 0.8
    • Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert)

Metaanalyse

bewertung
Bewertung
  • Annahme Stichprobengröße:
    • Mittelwert in den Studien: n = 18
    • Konservativ: n = 20
  • Annahme Studienanzahl:
    • N = 12
  • Annahme Effektgrößen:
    • d = 0.2 entspricht p = 0.112
    • d = 0.5 entspricht p = 0.285
    • d = 0.8 entspricht p = 0.530
  • Ergebnis:
    • p (Ergebnis / d = 0.2): 0.992
    • p (Ergebnis / d = 0.5): 0.762
    • p (Ergebnis / d = 0.8): 0.142
  • Kleiner Effekt!

Metaanalyse

bersicht pr fmethoden
Übersicht Prüfmethoden
  • Vote-Counting, wenn nur Information „signifikant / nicht signifikant“ vorliegt.
  • Bei Vorliegen von Teststatistiken (t-, F-, p-Werte):
    • Adding of Logs (Fisher-Methode)
      • Addieren von transformierten p-Werten
    • Addieren von t-Werten
    • Addieren von z-Werten (Stouffer-Methode)
  • Nachteil:
    • Prüft nur, ob Effekt vorhanden ist

Metaanalyse

sch tzung effektst rke
Schätzung Effektstärke
  • 1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert.
  • 2. Bekannt sein müssen:
    • Mittelwerte der EG und KG
    • Stichprobengröße in EG und KG
    • Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen)
  • 3. Effektstärke pro Experiment wird geschätzt
  • 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten)
  • 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben)

Metaanalyse