Dagens program

1. Dagens program Information Hvordan går det med projekt 3 Evaluering Opsamling Hvad er forudsætningerne for kausalitet? Om eksperimenter Variansanalyse, (one-way) ANOVA Videre med projekt 3

2. Observationsstudie Enheders (units) værdier på responsvariablen og forklar-ende variable observeres, uden at udsætte enhederne for påvirkninger (treatments) Eksempel En brugerundersøgelse, hvor et spørgeskema popper op på en hjemmeside. Eksperiment Enhederne (subjects) udsættes for påvirkninger (i forsøg) og man observerer effekten på responsvariablen (dens værdi). Påvirkningerne (treatments) udgør de forklarende variable. Eksempler: Undersøgelse af ny medicin. Gr. A får kalktabletter, Gr. B får den nye medicin. Population Sample Observationsstudier vs. eksperimenter

3. Om eksperimenter Eksperimentet • I eksperimentet udsætter man med fuldt overlæg forsøgsenheder for en påvirkning og holder øje med effekten (responsvariablen). • Formålet med et eksperiment er at bestemme effekten af påvirkningen. Begreber • Enheder/elementer (units / subjects) i et eksperiment – de “ting” man udsætter for et forsøg. Eksempel: Rotter • Påvirkning (treatment): Den (be)handling eller de betingelser, som enhederne udsættes for. Eksempel: Bannerreklamer, stråler fra mobiltelefoner etc. • Forklarende variable: Inddeler / definer de grupper som sammenlignes. Eksempel: Køn, rygere/ikke-rygere • Responsvariablen: Det man måler enhederne på for at vurdere effekten af påvirkningen. Eksempel: Sygdomme, salg

4. Eksempel: Completely randomized experiment • Der er udviklet en pille, Kind At Last, KAL til onde mennesker, som skal tages 2 gange dagligt • 520 mean people (300 males and 220 females) are willing to participate in a study. • Hvad er a) Subjects, b) Explanatory og c) Response Variable?

5. Opgave i eksperiment • Et studiegruppe vil finde ud af om en menu i toppen eller i venstre kolonne giver den mest brugervenlige hjemmeside. • Besøgende på en hjemmeside bliver skiftevis præsenteret for en top- hhv. en venstrekolonne menu samt et pop-up spørgeskema. • De bliver bl.a. spurgt, hvor tilfredse de alt-i-alt er hjemmesiden. • Hvad er forsøgsenhederne? • Hvad består påvirkningen (treatment) i? • Hvad er responsvariablen hhv. den forklarende variabel? • Hvad er stikprøvemetoden?

6. Tre principper for et godt eksperiment • Kontrolgruppe: Giver mulighed for at sammenligne effekten af påvirkningen. • Randomisering: Balancerer forsøgs- og kontrolgruppe og udelukker ”lurking variables” (støjfaktorer / den tredje forklaring). • Gentagelse (replication): Giver sikkerhed for at effekter kan tilskrives påvirkningen.

7. Eksempel: Randomiseret Blok Design, RDB • Man formoder nu, at køn har betydning for effekten af KAL • Så i stedet for et fuldstændig radomiseret eksperiment, gennemfører vi eksperimentet med et Randomiseret Blok Design • Blok-variablen ”Køn” bruges til at dele forsøgspersonerne i 2 blokke (grupper). Derved kan effekten af køn på KAL bestemmes. Projekt 3

8. Randomiseret Blok Design • En blok er en gruppe af forsøgsenheder, der er ens på en eller flere karakteristika, f.eks. køn (og familietype). • Et Randomiset Blok Design, RBD, består i dele forsøgsenhederne op i blokke og dernæst allokere enhederne til påvirkningerne. • RBD giver bedre mulighed for at vurdere effekten af den påvirkning eksperimentet skal belyse. • RBD eliminerer den variation i responsvariablen, som skyldes blok variablen.

9. Observationsstudier vs. eksperimenter • Eksperimenter giver “forskeren” mere kontrol over støj-faktorer. • Eksperimentet reducerer risikoen for at støjfaktorer (lurking variables aka. confounding variables) påvirker resultatet. • Eksperimenter giver mulighed for at udelukke visse forklarende variable (=visse forklaringer). • Eksperimenter kan styrke formodningen om kausalitet (årsag-virkning). Det kan observationsstudier ikke. • Eksperimenter kan være uladesiggørlige af etiske og praktiske, ressourcemæssige årsager (tid og penge).

10. Variansanalyse • I variansanalysen sammenligner vi gennemsnit fra flere grupper. • g bruges som betegnelse for antallet af grupper. • Hver gruppe repræsenterer en population. • Responsvariablens g gns. repræsenterer de g middel-værdier i populationerne, som skrives µ1, µ2, … µg • Eksempler: • Er brugertilfredsheden på de tre højest placerede hjemmesider i Bedst på Net forskellige? • Er biografforbruget før, under og efter medlemsskab af Biografklub Danmark forskelligt?

11. Variansanalysens hypoteser • Nul-hypotesen er, at populationernes middelværdier er ens: • H0: µ1 = µ2 = …= µg • Alternativhypotesen er: • Ha: Mindst to af populationernes middel-værdier er forskellige.

12. Variansanalysens forudsætninger • Populationsfordelingerne af de g responsvariable • er normalfordelte og • har samme standardafvigelse. • Randomisering • I stikprøvebaserede undersøgelser (surveys) stammer data fra g uafhængige stikprøver (fra de g populationer). • I et eksperiment er forsøgsenhederne allokeret tilfældigt (randomly) på de g grupper.

13. Eksempel på en problemstiling • En virksomhed er klar til at lancere en ny hjemmeside og vil samtidig igangsætte AdWords for at øge trafikken. • Marketingafdelingen har testet tre typer af annoncer i løbet af 4 uger: • A: Samme type som konkurrenterne • B: Teknisk orienterede annoncer • C: ”Fjollede” annoncer (med rim) • Antallet af klik pr. annoncetype er registereret. • Hvad er responsvariablen og hvad den forklarende variabel? • Hvordan skal undersøgelsen tilrettelægges?

14. Eksemplets datagrundlag • Gns. fra de 3 stik-prøver repræsenterer gns. fra de tre popu-lationer: • µ1 = gns. for ad A • µ2 = gns. for ad B • µ3 = gns. for ad C • Hvad er nul- og alternativhypotesen?

15. Har populationerne samme μ? • Herunder ses det forrige datasæt (nederst) og et nyt datasæt. • Hvad er forskellen på de to datasæt? • Hvad formoder vi om udfaldet af H0: μ1 = μ2 = μ3 i de to datasæt? • Hvor er beviserne mod H0 stærkest? Gns. = 100 i begge sæt.

16. ANOVAs teststørrelse F • ANOVAs teststørrelse: • Jo større variationen er mellem grupper (between groups) i fht. variationen indenfor grupper (within groups), des større bliver teststørrelsen. • Teststørrelsen følger en F-fordeling • Jo større F er, des stærkere er beviserne mod H0

17. ANOVA er en signifikanstest Fremgangsmåde – de fem trin Forudsætninger Normalfordelte populationer med ens standardafvigelser Hypoteseformulering H0: µ1 = µ2 = …= µg Ha: min. to af middelværdierne er forskellige Beregning af teststørrelsen, F Omregning af teststørrelsen til en P-værdi Konklusion

18. Data og ANOVA i Excel • I Excel vælges Data Analyse (efter installation af Analysis ToolPak) og derefter ANOVA (single factor). • Dataområdet udpeges og der klikkes OK

19. ANOVA output fra Excel

20. F-fordelingen

21. ANOVA er en signifikanstest Trin 4 og 5 Omregning af Ftil en P-værdi Konklusion. H0 afvises da P < 5 %.Middelværdierne måformodes at være forskellige, dvs. at detre annoncetyper giverforskelligt antal klik pr.uge.

22. Beregning af BETWEEN SS Estimatet på BETWEEN SS beregnes som gruppegns. afvigelser fra det samlede gns. Det samlede gns. er 100

23. Beregning af WITHIN SS Estimatet på WITHIN SS beregnes som den vægtede sum af gruppernes varianser.

24. Den samlede variation, SS Gns. af alle obs. er 100

25. ANOVA på de reviderede data (øverste punkter i figuren herunder)

26. Om ANOVA • OK med mindre afvigelser på den første af testens forudsætninger (normalfordelte responsvariable med samme standardafvigelse) • Testen går galt, hvis • stikprøvefordelingerne er meget skæve og stikprøverne er små. Tjek om der er outliers (begynd med boxplot). • der er store forskelle på standardafvigelserne (er tilfældet hvis den største std.afv. er dobbelt så stor som den mindste). • Når der mange grupper, giver F-testen bedre kontrol over type 1 fejlen end et stort antal parvise t-test. • F-testen fortæller ikke, hvilke grupper der er forskellige

27. Om ANOVA • One-way ANOVA har: • En kvantitativ responsvariabel • En kategoriseret forklarende variabel • Two-way ANOVA har: • En kvantitativ responsvariabel • To kategoriserede forklarende variable