Kvalitetsmålinger ved hjelp av paradata

1. Kvalitetsmålinger ved hjelp av paradata Øyvin Kleven og Gustav Haraldsen Seksjon for planlegging og brukertesting Avdeling for datafangst Statistisk sentralbyrå, Norge Nordisk Statistikermøde - København. Danmark 11-14 August 2010

2. ”Nye datamuligheder” i kvalitetsarbeidet Nordisk Statistikermøde - København. Danmark 11-14 August 2010

3. Datainnsamlingsprosessen • Foregår ”utenfor institusjonen” • Vanskeligere å måle enn en del andre ”interne prosesser” • Men er svært avgjørende for kvaliteten i statistikken • I metodelitteraturen ofte pekt at det er svært begrenset hva vi vet om hva som foregår ”ute hos respondenten” Nordisk Statistikermøde - København. Danmark 11-14 August 2010

4. Datainnsamlingsprosessen • Vi forsøker gjerne å lage gode innsamlingsprosesser ved testing i forkant • Siden 1980 tallet vanlig å benytte kognitive intervjuer for å få innblikk i svarprosessen • Behov for å utvikle metoder som kan gi oss informasjon om svarprosessen direkte • Paradata kan brukes til dette Nordisk Statistikermøde - København. Danmark 11-14 August 2010

5. Pradata hva er det? • Paradata kan defineres som data som beskriver hvordan respondenten fylte ut et spørreskjema i motsetttning til hva de fylte in • Server Side Paradata (SSP) er informasjon som genereres i serveren og dreier seg om hvilke websider brukeren klikker seg inn på. • Client Side Paradata (CSP) er informasjon om hva som foregår innenfor en webside. Nordisk Statistikermøde - København. Danmark 11-14 August 2010

6. Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen • I SSB har vi benyttet paradata som et supplement til tradisjonelle kvalitative tester av skjema, der hvor vi identifiserer problemer i skjemaet i små strategiske tester kan vi etterprøve det ved paradata. • Paradata kan benyttes til å kvantifisere kognitive problemer eller for å identifisere spørsmål som bør testes kvalitativt. • Paradata kan dermed sies å ”avsløre” dårlige spørsmål og byrdefulle prosesser som ellers er gjemt inne i elektroniske skjemaer. Nordisk Statistikermøde - København. Danmark 11-14 August 2010

7. Bindeledd mellom kvalitative tester og kvalitetsindikatorer for svarprosessen Survey QDET Client side Para data Cognitive process In depth interview Test observations Quality indicators Nordisk Statistikermøde - København. Danmark 11-14 August 2010

8. Paradata kan si noe om hvor enkelt respondentene synes det er å svare på et spørsmål Thinking about last time you bought something from Statistics Norway, were you satisfied or dissatisfied with the following? Give one answer on each line. Nordisk Statistikermøde - København. Danmark 11-14 August 2010

9. Eytracker lar oss komme enda lenger inn i hodene på respondentene ved bruk av paradata Nordisk Statistikermøde - København. Danmark 11-14 August 2010

10. Fokusområder Nordisk Statistikermøde - København. Danmark 11-14 August 2010

11. Adferdsregistrering og client side paradata ved Eyetracker Nordisk Statistikermøde - København. Danmark 11-14 August 2010

12. Oppsummering • Innenfor kvalitetsarbeidet i statistikkbyråene er det viktig å forsøke å måle kvaliteten i de ulike produksjonsprosessene. • Den ”eksterne” prosessen å samle inn data er spesielt viktig å måle siden den er helt avgjørende også for kvaliteten på sluttproduktet. • Etter elektronifiseringen av datafangsten de siste 10 – 15 år har vi fått nye datakilder som kan hjelpe oss til å måle denne prosessen. • Paradata kan sammen med teori og kvalitative metoder bidra til å kaste lys over spørsmål og svar prosessen i datafangst • Eytracker teknologi utnytter både tradisjonell kognitiv testing og paradata, sammen gir dette et sterkt måleinstrument for å avdekke målefeil og forbedre våre skjemaer i planleggingsprosessen. Nordisk Statistikermøde - København. Danmark 11-14 August 2010

13. Takk for oppmerksomheten! Nordisk Statistikermøde - København. Danmark 11-14 August 2010