Eksperimental Design and Analysis

1. Eksperimental Design and Analysis Dagens program • Informationer • Mini undersøgelse • Opsamling fra sidst • Stikprøveudvælgelse (sampling) • Spørgeskemadesign • I gang med projekt 1 (dagens øvelse)

2. Opsamling Forklar og giv eksempler • Population, units, sample, census • Hvorfor tager man en stikprøve i stedet for at spørge alle? • Variable, kvantitative, kvalitative, kategoriserede, diskrete, kontinuerte. • To design: Observationsstudie, eksperiment • Afhængig hhv. uafhængig variable, responsvariabel, forklarende variabel • Parameter, statistic • Sampling, sampling error, representative

3. Population og stikprøve Stikprøveenhed (subject / unit)

4. Parameter og Statistik • Parameter • En parameter er en numerisk opsummering af en population, fx. andelen, der holder med FCK • Statistik • En statistik er en numerisk opsummering af en stikprøve. • Fx andelen af folk, der angiver at de vil stemme på retsforbundet i forbindelse med en rundringning. • Central problemstilling: • VI vil gerne kende en parameter, men har kun en statistik. • Hvor sikkert (pålideligt) kan vi udtale os om parameteren på baggrund af statikken? • Krav til en stikprøve: Udvælgelsesmetoden, dens størrelse og repræsentativitet.

5. Udvælgelsesmetoder • Simpel tilfældig udvælgelse (simple random sampling} • Simpel lodtrækning, hvor alle individer har lige stor sandsynlighed for at blive udvalgt. • Systematisk udvælgelse • Hvert n’te individ (fx hvert 3.} udtages systematisk. • Stratificeret udvælgelse • Populationen Inddeles i delpopulationer (strata}, og der udtages (lige store) stikprøver fra hvert stratum. Fx. inddeling af befolkningen efter køn og alder i 10 strata. • Klyngeudvælgelse • Der udvælges et antal klynger, fx. skoleklasser til PISA test, fremfor individer.

6. Stikprøvestørrelse * Estimation af en forventet andel på 50 %, fejlmargin 5 %, sikkerhed 95 %.

7. Bias (støj) Bogen opdeler bias i to typer • Sampling bias • Incorrect sampling frame • Convenience sampling (man spørger sine venner via FB) • Judgment sampling (en person med indsigt sammensætter stikprøven) • Size bias • Response bias • Voluntary response bias (popup på hjemmesider) • Non response bias • Questionnaire bias • Incorrect response bias (f.eks. pga. ikke-anonymitet)

8. Spørgeskemadesign – problemstilling og begreber Local Government Data Unit ~ Wales Typer af spørgsmål 1: • Åbne spørgsmål • Lukkede spørgsmål • Dikotome spørgsmål • Flervalgs spørgsmål(gensidigt udelukkende) Typer af spørgsmål 2: • Faktuelle spørgsmål • Ikke-faktuelle spørgsmål Makkerøvelse: Hvad synes I om LGDU ~ Wales opdeling?

9. Google Docs > Create > Form Makkerøvelse: Sammenlign med Wales opdeling

10. Hvad er et spørgeskema? Et spørgeskema er en samling af spørgsmål og svaralternativer De lukkede svaralter-nativer har et antal svarmuligheder, f.eks. 1. Dit køna) Mandb) Kvinde 2. Din tilfredshed …a) Meget tilfredsb) Tilfredsc) Utilfredsd) Meget utilfreds

11. Spørgsmål og svaralternativer Der findes fire typer af svaralternativer: Radioknapper (evt. som dropdown) Checkboxe (evt. som dropdown) Inputfelter til tal, datoer og lign. Tekstfelter Hvilke af disse er åbne hhv. lukkede? De fleste spørgeskemaer består af: Baggrundsspørgsmål (dels om hvem respondenten er, f.eks. køn, alder, og dels andre faktuelle spørgsmål) Specifikke undersøgelsesspørgsmål Overordnede ”alt-i-alt” spørgsmålSe eksempel fra ombudsmanden

12. Undgå brug af fagtermer. Undgå tvetydige formuleringer. Undgå dobbelt negationer. Undgå ledende spørgsmål. Undgå krav om beregninger. Stil ét spørgsmål ad gangen. Gør det klart, hvem (du / dem), der refereres til i spørgsmålet Undgå lange og komplekse spørgsmålsformuleringer. Giv udtømmende, men begrænsede svarmuligheder. Sundhedsstyrelsen anbefaler at mænd højest drikker 14 genstande om ugen. Hvor mange genstande har du i gns. drukket det seneste kvartal? Har du en smartphone? På en 5 pkt. enighedsskala: Teksterne på hjemmesiden er ikke uklare. Der er mulighed for at give både positiv og negativ feedback Normalt finder man det, man søger på www.itu.dk Har du downloadet en app for nylig? Retningslinjer for spørgsmålsformuleringer (i fg. ”Wales”)

13. Eksempler på skalaer

14. Udformning af skalaer (til ikke-faktuelle spørgsmål) Valg ved udformning af skalaer skal der vælges … Antal svarkategorier (2, 3, 4, 5, 6, 7, ...) Lige eller ulige antal svarkategorier Navne / symboler på svarkategorier Rækkefølge (fx. tilfreds eller utilfreds først) Scoring af svarkategorier, f.eks. 5 = meget tilfreds og 1 = meget utilfreds

15. Har www.bedstpaanettet.dk et godt skema?

16. Validitet • Validitet • Validitet, (af lat. validitas 'styrke'), gyldighed, korrekthed, sandhed. Inden for de empiriske videnskaber stilles krav om en målings validitet, dvs. at der måles det, man har til hensigt at måle. Kilde: Den Store Danske Encyklopædi. Det vi har til hensigt at måle Det vi faktisk måler

17. Stress Angst Bekymring Kompetencekrav Kontrol Flow zone Afslapning Kedsomhed Kompetencer Operationalisering Def.: Flow er en tilstand, hvor man udnytter sine evner fuldt ud og er så opslugt af sine opgaver, at man glemmer tid og sted. Tilstanden bevirker stærke positive følelser, hvilket er kroppens belønning for, at man udnytter sine evner fuldt ud. (Professor Mihaly Csikszentmihalyi). I flow tilstanden er man maksimalt engageret og man udnytter sine kompetencer maksimalt. 1.1 Jeg ved hvad der forventes af mig på kurset. 1.2 Jeg føler mig fagligt "klædt på" til at løse opgaverne. 1.3 Jeg har tilstrækkeligt med faglige udfordringer. 1.4 Jeg har mulighed for at lære nyt. 1.5 Jeg har indflydelse på tilrette-læggelsen af mine opgaver. 1.6 Jeg har gode fysiske rammer for at løse mine opgaver (plads, lokaler, redskaber osv).

18. Retningslinjer for ikke-faktuelle spørgsmål (i følge ”Wales”) Ved enig-/uenighedsskalaen Brug stærke udsagn Brug både positive og negative udsagn Reducer kravet til omtanke ved ranking spørgsmål Tilfredshedsspørgsmål giver ofte en høj andel af tilfredse Undgå at stille hypotetiske spørgsmål Overvej grundigt om der er behov for en midterkategori Anvend en balanceret skala (se næste side)

19. Hvordan kan denne skala forbedres?

20. Scoring af svarkategorier Uendelig tilfreds / enig Uendeligutilfreds / uenig X Spørgsmål … Tildeling af (tal)værdier til ”det der måles”

21. Opsamling Kvaliteten af en stikprøver afhænger: Fravær af bias, udvælgelsesmetode, størrelse og repræsentativitet. Spørgsmål Åbne vs. lukkede spørgsmål Faktuelle vs. Ikke-faktuelle (vurderings-/holdningsspørgsmål) Svaralternativer Gensidigt udelukkende (radio buttons) Fler-svar spørgsmål (checkboxes) Skalaer Jo flere svarkategorier på en skala, des ”finere” måling laves ”Både/og” fremfor ”hverken/eller” som evt. midterkategori, hvis der beregnes gns. (og det gør der ofte) Vælg skala efter om det er holdninger eller vurderinger, der måles. Enighedsskalaen er bl.a. egnet til holdninger. Husk ”ved ikke”-kategorien