Help statistiek
Download
1 / 41

Help Statistiek - PowerPoint PPT Presentation


  • 248 Views
  • Uploaded on

Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Help! Statistiek!. Doel: Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 20 mei : Statistiek en Ethiek 17 juni : Groeicurven 16 september :

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Help Statistiek' - lok


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Help statistiek

Doorlopende serie laagdrempelige lezingen,

voor iedereen vrij toegankelijk.

Help! Statistiek!

Doel: Informeren over statistiek in klinisch onderzoek.

Tijd: Derde woensdag in de maand, 12-13 uur

20 mei : Statistiek en Ethiek

17 juni : Groeicurven

16 september :

Sprekers: Vaclav Fidler, Hans Burgerhof,

Wendy Post, Sacha la Bastide

www.EpidemiologieGroningen.nl


Overzicht
Overzicht

  • WMO

  • Criteria toetsing

  • Onderzoeksprotocol

  • Onderzoeksvraag

    • en onderzoekspopulatie

    • en onderzoeksopzet

    • en powerberekening

    • en statistische analyses

  • eenzijdige toetsing versus tweezijdige toetsing

  • informed consent: methodologische problemen


WMO

de Wet

Medisch wetenschappelijk Onderzoek

met mensen

Heeft betrekking op al het wetenschappelijk onderzoek waarbij proefpersonen aan handelingen worden onderworpen of hen gedragsregels worden opgelegd


WMO

de Wet

Medisch wetenschappelijk Onderzoek

met mensen

Regelt de toetsing van onderzoek in de zin van de WMO

Onderzoek in de zin van de WMO mag alleen worden uitgevoerd als een erkende toetsingscommissie een positief WMO-oordeel heeft afgegeven voor een onderzoekprotocol

erkende toetsingscommissie: Medisch Ethisch Toetsingscommissie: METc


Criteria toetsing
Criteria toetsing

Op basis van Artikel 3 (eerste 4 punten van de 8)

het wetenschappelijk onderzoek leidt tot nieuwe inzichten op het gebied van de geneeskunde

Het is niet mogelijk om op een andere, minder ingrijpende manier tot dergelijk inzicht te komen

Het belang van het onderzoek staat in redelijke verhouding tot de belasting (bezwaren en risico’s) van de proefpersoon

Het onderzoek voldoet aan de eisen van eenjuiste methodologie


Criteria toetsing1
Criteria toetsing

Stelling

Een slechtopgezet en uitgevoerd onderzoek is niet ethisch.

m.b.t. opzet

Citaat May W.W., 1975: The composition and function of

ethical committees. J. Medical Ethics

“one of the most serious ethical problems in clinical

research is that placing subjects at risk and injury,

discomfort, or inconvenience in experiments where there

are too few subjects for valid results, too many subjects for

the point to be established, or an improperly designed

random or double blind procedure”


Criteria toetsing2
Criteria toetsing

Niet alleen opzet is belangrijk:

Onderzoeksstadia:

Planning

Design

Dataverzameling en invoer/beheer

Analyse

Interpretaties/conclusies

publicatie

Methodologie en statistiek spelen een essentiële rol in de

wetenschappelijke kwaliteit van onderzoek.


Onderzoeksprotocol
Onderzoeksprotocol

Bestaat uit verplichte delen, waaronder:

Onderzoeksdoel/onderzoeksvragen

Onderzoeksdesign

Uitkomstmaten

Onderzoeksgroep/powerberekening

Statistische analyses

WMO-vormvereisten

Onderzoeksprotocol:

Een contract van de onderzoeker met de groep proefpersonen

Template is te downloaden op www.ccmo.nl


Onderzoeksvraag
Onderzoeksvraag

Doelstellingen van het onderzoek

Vertaald naar onderzoeksvragen

Relatie met statistisch toetsingsprobleem:

Formuleren van H0

Formuleren van H1

Uitspraken als “Verwerp H0 ten gunste van H1” of

“Verwerp H0 niet”

Dit betekent: H1 weerspiegelt de onderzoeksvraag

Denk aan falsificatie principe van Popper

wetenschappelijke opbrengst / belang


Onderzoeksvraag1
Onderzoeksvraag

Doelstellingen van het onderzoek

Vertaald naar onderzoeksvragen

Relatie met statistisch schattingsprobleem

Schatting van effect grootte is doel:

Betrouwbaarheidsinterval BI:

Welke waarden passen bij (zijn verenigbaar met) de data

95% BI: geschatte effect grootte  2*SE

wetenschappelijke opbrengst / belang


Doel en onderzoekspopulatie
Doel en onderzoekspopulatie

Definitie van onderzoekspopulatie noodzakelijk

Inclusie criteria

Exclusie criteria

Essentieel om later te generaliseren! Implicaties voor het

trekken van conclusies

Hoe homogener de onderzoekspopulatie, hoe minder mogelijkheden om te generaliseren

Hoe heterogener de onderzoekspopulatie, hoe beter men kan generaliseren

Nadeel van heterogene populatie?


Doel en design
Doel en design

Doelstellingen van het onderzoek bepaalt het design.

Verschillende opsplitsingen in onderzoek mogelijk:

Observationeel/interventie studie (karakter)

Prospectief/retrospectief (dataverzameling)

Pilot studie / bevestigende studie

Bij geneesmiddelenstudie fase1 t/m fase 4 studie

3 en 4 : onderscheid naar bewijskracht :

wat wil men met het onderzoek bereiken?

Relatie met belang van het onderzoek


Doel en design1
Doel en design

Pilot onderzoek

Haalbaarheid (feasibility)

Eerste effect schattingen

Kenmerken:

1. Nieuwe interventie of diagnostiek met onbekende effecten

2. Kleine aantallen proefpersonen

3. Uitkomstmaten moeten gericht zijn op

haalbaarheidsindicatoren en effect maten

Powerberekening en hypothese toetsen omtrent effect sizes:

niet nodig.

Berekening van aantal proefpersonen alleen op basis van

betrouwbaarheids-intervallen (precisie van de schattingen)


Doel en design2
Doel en design

Bevestigende studie

Men wil bepalen welke interventie/diagnostisch tool het beste is.

Toetsen van een hypothese en op basis daarvan beslissing nemen t.a.v. nieuwe tool

Kenmerken:

1. Effect sizes zijn al in een eerdere studie geschat

2. Uitkomstmaten moeten gericht zijn op het meten van effect

- primaire uitkomstmaat kiezen

3. Aantal proefpersonen moet via een powerberekening op

de primaire effectmaat worden verantwoord

Zowel statistische toetsing als betrouwbaarheidsintervallen zijn

van belang: klinische en statistische significantie!


Power berekeningen
Power berekeningen

Nodig voor balans tussen klinische relevantie and statistische significantie

Essentiele stap bij studie design: Wat zijn relevante verschillen die men wil aantonen?

Let op : dit hangt samen met de onderzoeksvraag!!!

En dus ook met belang van het onderzoek

15


Voorbeeld klinische en statistische significantie
Voorbeeld klinische en statistische significantie

Voorbeeld 1:

Vergelijking van 2 behandelingen A en B m.b.t.

bloeddrukverlaging na 1 maand

RCT: 20 proefpersonen (A:10 ; B:10)

Resultaten:

Steekproefgemiddelde verlaging voor A :22

Steekproefgemiddelde verlaging voor B : 17

Verschil 5; Standard error : 4

95% Betrouwbaarheidsinterval:

5  2*4 : (-3 ; 13)

16


Voorbeeld klinische en statistische significantie1
Voorbeeld klinische en statistische significantie

95% betrouwbaarheidsinterval:

5  2*4 : (-3 ; 13)

Verzameling van niet verworpen nulhypotheses

Verzameling van effect groottes die verenigbaar

zijn met de data

Conclusie???

17


Voorbeeld klinische en statistische significantie2
Voorbeeld klinische en statistische significantie

Voorbeeld 2:

Vergelijking van 2 behandelingen A en B m.b.t.

wachttijden palliatieve behandeling voor botmetastasen

RCT: 1000 respondents: (A: 500; B: 500)

Resultaten

Steekproefgemiddelde voor A: 8 dagen

Steekproefgemiddelde voor B: 5 dagen

Verschil: 3 dagen; Standard error: 0.2

95% betrouwbaarheidsinterval:

3  2*0.2 : (2.6; 3.4)

18


Voorbeeld klinische en statistische significantie3
Voorbeeld klinische en statistische significantie

95% betrouwbaarheidsinterval:

3  2*0.2 : (2.6; 3.4)

Verzameling van niet verworpen nulhypotheses

Verzameling van effect groottes die verenigbaar

Zijn met de data

Conclusie???

19


Power klinische relevantie en statistische significantie
Power:klinische relevantie en statistische significantie

Geen significante verschillen, maar wel klinisch relevante verschillen in het betrouwbaarheidsinterval: meer informatie is nodig om conclusies te trekken (voorbeeld 1) Underpowered study

Significante verschillen, maar geen klinisch relevante verschillen in het betrouwbaarheidsinterval: de bevindingen hebben geen klinische implicaties; er is teveel informatie (voorbeeld 2). Overpowered study

20


Power berekeningen1
Power berekeningen

Nodig voor balans tussen klinische relevantie and statistische significantie

Essentiele stap bij studie design: Wat zijn relevante verschillen die men wil aantonen?

Na keuze toets, geef input:

Significantie niveau α

Gestandaardiseerde

effect grootte (A- B)/

Steekproefgrootte

 Power (1-β)

21


Power
Power

 stijgt 

power stijgt

22


Power1
Power

effect size stijgt 

power stijgt

23


Power2
Power

n stijgt 

power stijgt

24


Statistische analyse
Statistische analyse

Statistische modellering geeft

Schatting van effect sizes

Toetsen van hypotheses

In onderzoeksprotocol dient een analyseplan te worden

opgenomen.

Waarom? ?

  • Analyseplan is check op juiste methodologie

  • Dwingt onderzoeker om expliciet na te denken

  • over design, uitkomstmaten en analyse


Eenzijdig en tweezijdig toetsen
Eenzijdig en tweezijdigtoetsen

Gebruikelijk: tweezijdige toetsing

Waarom?

Als we al zeker zijn van de superioriteit van nieuw experiment, waarom dan experimenteren

Objectiviteit : correctie van vooringenomenheid


Eenzijdig en tweezijdig toetsen1
Eenzijdig en tweezijdigtoetsen

Wat zijn de argumenten voor eenzijdige toetsing?

Minder mensen nodig: dus minder mensen worden belast

Minder mensen krijgen de slechtere behandeling

Veel onderzoeksvragen zijn eenzijdig, dus waarom tweezijdig toetsen?


Eenzijdig en tweezijdig toetsen2
Eenzijdig en tweezijdigtoetsen

Tabel : aantallen per groep; α = 5%; 1- = 80%; t-test


Eenzijdig en tweezijdig toetsen3
Eenzijdig en tweezijdigtoetsen

Minder mensen?

Een eenzijdige toets heeft ±0.80 keer zoveel mensen nodig als

een tweezijdige toets, met α = 5% (power 80% of 90%).

Dus winst is geen factor 2!


Eenzijdig en tweezijdig toetsen4
Eenzijdig en tweezijdigtoetsen

Minder mensen krijgen de slechtere (aanname) behandeling

Oplossingen:

interim analyses

2: 1 randomisatie

2:1 alleen als je voldoende tijd hebt.


Eenzijdig en tweezijdig toetsen5
Eenzijdig en tweezijdigtoetsen

Veel onderzoeksvragen zijn eenzijdig

Voorbeelden:

1. Bij non-inferiority studies of equivalentie studies:

De nieuwe behandeling mag niet slechter zijn

De beide behandelingen moeten gelijkwaardig zijn.

Marges van gelijkwaardigheid of inferiority worden gegeven.

2. Per definitie additief: voorbeeld uitbreiding diagnostiek

3. Knottnerus & Bouter (2001) Journal of Epidemiology

Als de standaard zorg alleen maar aangepast wordt bij het

vinden van superioriteit ?????


Eenzijdig en tweezijdig toetsen6
Eenzijdig en tweezijdigtoetsen

Voorbeeld

Vergelijking van 2 behandelingen A en B m.b.t.

bloeddrukverlaging na 1 maand

RCT: 40 proefpersonen (A:20 ; B:20)

Resultaten:

Steekproefgemiddelde verlaging voor A : 22

Steekproefgemiddelde verlaging voor B : 17

Verschil 5; Standard error : 3

Test statistic t = 5/3 = 1.7


Bijbehorende eenzijdige

P-waarde = 5%

1.645



Eenzijdig en tweezijdig toetsen7
Eenzijdig en tweezijdigtoetsen

Voorbeeld: A is nieuw middel:

Vergelijking van 2 behandelingen A en B m.b.t.

bloeddrukverlaging na 1 maand

Verlaging A :22; Verlaging B: 17; Verschil 5; se: 3

Tweezijdig Eenzijdig

H0: µA - µB = 0 H0: µA - µB ≤ 0

H1: µA - µB ≠ 0 H1: µA - µB ≥ 0

Verwerp H0 als t >1.95 Verwerp H0 als t>1.645

of als t <-1.96

Test statistic t = 5/3 = 1.7 Conclusie?


Eenzijdig en tweezijdig toetsen8
Eenzijdig en tweezijdigtoetsen

Voorbeeld: B is nieuw middel:

Vergelijking van 2 behandelingen A en B m.b.t.

bloeddrukverlaging na 1 maand

Verlaging A :22; Verlaging B: 17; Verschil -5; se: 3

Tweezijdig Eenzijdig

H0: µB - µA = 0 H0: µB - µA ≤ 0

H1: µB - µA ≠ 0 H1: µB - µA ≥ 0

Verwerp H0 als t>1.95 Verwerp H0 als t>1.645

of als t<-1.96

Test statistic t = -5/3 = -1.7 Conclusie?


Eenzijdig en tweezijdig toetsen9
Eenzijdig en tweezijdigtoetsen

Wat betekent H0 niet verwerpen?

Is H0 dan waar?

Een niet significant resultaat betekent niet: bewijs voor de H0!

Het betekent : nog niet voldoende informatie! Check zijn er

interessante verschillen in het BI?

Eenzijdige toetsing:

heeft meer power, omdat je minder bewijskracht hoeft te

leveren! :

tweezijdige toetsing met α = 5% is gelijkwaardig met

eenzijdige toetsing met α = 2.5% qua bewijskracht

Tweezijdige toetsing: geeft meer informatie in geval van

negatieve resultaten.


Eenzijdig en tweezijdig toetsen10
Eenzijdig en tweezijdigtoetsen

Gebruikelijk: tweezijdige toetsing

Waarom?

Als we al zeker zijn van de superioriteit van nieuw experiment, waarom dan experimenteren

Objectiviteit : correctie van vooringenomenheid

Bewijskracht minstens zo groot als bij eenzijdige toetsing

Bij negatieve uitkomst van trial: geen problemen; vandaar kosten effectief

Referentie:

Moyé & Tita (2002) in circulation : defending rationale for the

two tailed Test in Clinical research


Informed consent
Informed consent

informed consent is verplicht : niet alleen bij WMO, maar ook

bij WGBO.

(Wet op de Geneeskundige Behandelingsovereenkomst;

Betreft onderzoek met gegevens van patiënten verzameld in

kader van klinisch onderzoek)

Schriftelijke informatie zodat een goede afweging gemaakt kan worden door de individuele proefpersoon.

Schriftelijke toestemming van deelname

Proefpersonen onderwerpen zich willens en wetens aan

medisch wetenschappelijk onderzoek: persoonlijke integriteit.


Informed consent1
Informed consent

Methodologische problemen

Veel administratieve rompslomp : genereert fouten

Kosten en tijd : onderzoek wordt onmogelijk gemaakt

Bias als gevolg van selectie van proefpersonen

Na informed consent is de behandeling veranderd, en worden de verkeerde onderzoeksarmen vergeleken

Oplossingen:

uitdaging voor de onderzoekers en methodologen/statistici


Volgende keer
Volgende keer

17 juni : Groeicurven

Zaal 16


ad