Help statistiek
Download
1 / 29

Help! Statistiek! - PowerPoint PPT Presentation


  • 101 Views
  • Uploaded on

Help! Statistiek!. Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 21 mei multiple testing 18 juni statistische aspecten van de probiotica studie 17 sept …

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Help! Statistiek!' - zazu


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Help statistiek

Help! Statistiek!

Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk.

Doel: Informeren over statistiek in klinisch onderzoek.

Tijd: Derde woensdag in de maand, 12-13 uur

21 mei multiple testing

18 juni statistische aspecten van de probiotica studie

17 sept …

Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post

DG Epidemiologie

www.EpidemiologyGroningen.nl


Multiple testing
Multiple testing

  • Wat is het (klassieke) probleem?

  • “klassieke” oplossingen

  • Recenter probleem

  • Nieuwe oplossingen


Fouten van eerste en tweede soort bij het uitvoeren van een statistische toets
Fouten van eerste en tweede soortbij het uitvoeren van een statistische toets

Hebben mannen en vrouwen gemiddeld dezelfde bloeddruk (BD)?

H0: gemiddelde BD mannen = gemiddelde BD vrouwen


Het klassieke probleem van de multiple testing
Het klassieke probleem van de multiple testing

  • Bij een statistische toets hanteren we significantieniveau α (in de regel 0,05). Dat wil zeggen dat we een kans ter grootte van α accepteren om ten onrechte de nulhypothese te verwerpen

  • Dit wordt ook wel de Comparison-wise error rate (CWER) genoemd

  • Wat betekent het uitvoeren van meerdere onafhankelijke toetsen voor de totale kans om minstens één nulhypothese ten onrechte te verwerpen (als alle nulhypothesen waar zijn)?

“Overall alpha”

Family-wise error rate (FWER)

Kanskapitalisatie!


Fwer en cwer
FWER en CWER

Als we n onafhankelijke toetsen uitvoeren, elk met een CWER = 0,05, geldt

Aantal toetsen overall alpha

n FWER

3 0,143

10 0,401

100 0,994


Klassieke oplossingen
Klassieke oplossingen

In een ANOVA worden k groepen met elkaar vergeleken met betrekking tot een normaal verdeelde responsievariabele Y.

Als de ANOVA significant is, willen we weten welke groepen

verschillen. Als we alle paarsgewijze vergelijkingen willen

doen, moeten we toetsen uitvoeren.

Bijvoorbeeld: 4 groepen 4*3/2 = 6 toetsen


Post hoc toetsen
Post-hoc toetsen

  • Zorg dat je de FWER (overall-alpha) beheerst na een ANOVA

  • Er zijn vele Post-hoc toetsen, optimaal onder verschillende omstandigheden, o.a.

    - LSD: paarsgewijze t-toetsen met SD op basis van alle groepen

    - Bonferroni: als LSD met aangepaste α per toets

    CWER = α / (aantal uitgevoerde

    toetsen) (in SPSS aangepaste P-waarde)

    - Bonferroni-Holm: step-down procedure op geordende P-waarden (verschillende α per toets)

    - Tukey: gebaseerd op kritieke waarden uit de “studentized range statistic”

    - Scheffé: voor lineaire combinaties van gemiddelden



Multiple testing is niet alleen een anova probleem
Multiple testing is niet alleen een ANOVA probleem

  • Bij meervoudige lineaire regressie speelt eveneens het probleem van kanskapitalisatie

  • Vergelijk ANOVA met lineaire regressie met een nominale verklarende variabele

  • Toetsen van diverse lineaire modellen geeft ook kanskapitalisatie


Parametervrije toetsen
Parametervrije toetsen

  • Wat te doen na een significante Kruskal-Wallis?

    • Paarsgewijze Mann-Whitney toetsen met Bonferroni gecorrigeerde P-waarden?

    • Conover (Practical nonparametric statistics, 1999):


Recenter probleem micro array analyse
Recenter probleem:Micro-array analyse

  • Bij toetsen op duizenden genen is de klassieke manier (beheersen van FWER) te conservatief

  • Voorselectie van interessante genen: een vals positief resultaat is niet zo’n ramp terwijl een vals negatief resultaat als meer vervelend wordt ervaren

    • Hedenfalk e.a. (2001); 3226 genen bij vrouwen met borstkanker (BRCA1-gen versus BRCA2-gen)

  • We zoeken een ander criterium: de FDR (false discovery rate)


Sequenti le fdr benjamini en hochberg 1995
Sequentiële FDR(Benjamini en Hochberg, 1995)

  • FDR = de verwachte proportie van de verworpen nulhypotheses die ten onrechte verworpen is

niet significant totaal

significant

Ware nulhypothesen U V m0

Niet ware nulhypothesen T S m1

m – R R m

Alleen m

bekend

Alleen R

wordt waargenomen!

FDR = E(V/R)


De fdr
De FDR

niet significant totaal

significant

Ware nulhypothesen U V m0

Niet ware nulhypothesen T S m1

m – R R m

Benjamini en Hochberg (1995):

als alle nulhypothesen waar zijn, dus T = S = m1 = 0, heeft het

controleren van de FDR tot gevolg dat de FWER gecontroleerd wordt

(dus de overall-alpha blijft binnen de gedefinieerde grens)


Over de fdr
Over de FDR

  • Als er in werkelijkheid wel nulhypothesen onwaar zijn, is FDR kleiner of gelijk aan FWER. Controle van FDR betekent niet langer controle van FWER, maar geeft meer power.

  • Hoe meer nulhypotheses onwaar zijn, hoe groter de winst in power


Multiple testing volgens benjamini en hochberg sequenti le fdr procedure
Multiple testing volgens Benjamini en Hochberg: Sequentiële FDR procedure

  • m nulhypothesen: H1, H2, … , Hm

  • m P-waarden: P1, P2, … , Pm

  • Geordend: P(1)≤ P(2)≤ … ≤ P(m)

  • Zoek de grootste i waarvoor geldt

    q = gekozen niveau van controle (bv 0,05)

  • En verwerp alle H(i)i = 1, 2, … , k

Vergelijk

Bonferroni (Holm)


Voorbeeld benjamini en hochberg
Voorbeeld (Benjamini en Hochberg)

Bonferroni:

α = 0,05/15 = 0,0033

  • 15 toetsen

  • Geordende P-waarden:

    P(1) P(2) P(3) P(4) P(5) P(6) P(14) P(15)

    0,0001 0,0004 0,0019 0,0095 0,0201 0,0278 … 0,7590 1,00

  • Vergelijk iedere P(i) met (i/15)*0,05, te beginnen met P(15) (stepup)

  • 1 > (15/15)*0,05

  • 0,7590 > (14/15)*0,05 = 0,047

  • 0,0201 > (5/15)*0,05 = 0,017

  • 0,0095 < (4/15)*0,05 = 0,013

Verwerp H(1) t/m H(4)


Fdr nader bekeken
FDR nader bekeken

  • Sequentiële FDR conservatief, met name als het aantal onware nulhypothesen relatief groot is

  • Benjamini e.a. (2001): tweestapsprocedure waarbij na de eerste stap de proportie ware nulhypothesen (π0) wordt geschat en in de tweede wordt gebruikt om de grens q aan te passen

  • Storey (2002): directe wijze om π0 te schatten


Het schatten van 0
Het schatten van π0

  • We willen π0 = m0/m schatten

niet significant totaal

significant

Ware nulhypothesen U V m0

Niet ware nulhypothesen T S m1

m – R R m


H 0 100
H0: µ = 100

steekproef

Wat verwacht je

van de P-waarde?

Als H0 waar is


H 0 1001
H0: µ = 100

Gebieden met

gelijke oppervlaktes

Als H0 waar is …

is de P-waarde uniform verdeeld op [0,1]


Als de nulhypothese niet waar is
Als de nulhypothese niet waar is

  • Is de P-waarde niet uniform verdeeld op het interval [0 ; 1], maar zul je relatief vaker een kleine P-waarde vinden

Aantal

P-waarden

P-waarden

uit m1

P-waarden

uit m0

1


3226 genen brca data
3226 genen (BRCA data)

Verwacht aantal P-waarden > 

is (1 - )*m0 + klein deel m1, dus

m0≈ #{P>} / (1-)


0 als functie van
π0 als functie van


Concreet voorbeeld hedenfalk
Concreet voorbeeld (Hedenfalk)

  • 3226 toetsen

  • P < 0,001: 51 significant

  • P < 0,0001: 10 significant

  • Bonferroni: α = 0,05/3226 = 0,000015

  • FDR (Storey): q = 0,05 geeft 160 significante genen (waarvan er vermoedelijk 8 ten onrechte)


Gebruik fdr
Gebruik FDR

  • FDR wordt gebruikt voor

    • Correctie multiple testing (sequentiële FDR, Benjamini en Hochberg)

    • Variabele selectie (Ghosh)

    • Vergelijken van (nieuwe) statistische methoden. Bij gelijk aantal verworpen nulhypothesen is de methode met de kleinste FDR de beste methode


Literatuur
literatuur

  • Conover, Practical nonparametric statistics (Wiley 1999)

  • Benjamini en Hochberg, Controlling the False Discovery Rate: a practical and powerful approach to multiple testing (Journal Royal Stat. Soc. B, 1995)

  • Benjamini, Krieger, Yekutieli: Two staged linear step up FDR controlling procedure (Technical report 2001)

  • Nguyen, On estimating the proportion of true null hypotheses for false discovery rate controlling procedures in exploratory DNA microarray studies (Computational statistics and data analysis, 2004)

  • Storey, A direct approach to false discovery rates (Journal Royal Stat. Soc. B, 2002)

  • Ghosh e.a., the false discovery rate: a variable selection perspective (J. Stat. Plan. Infer., 2004)


Volgende lezing
Volgende lezing

18 juni

statistische aspecten van de probiotica studie