Advertisement
/ 26 []

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie - Deirdre Gi...


VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009. Inhoud presentatie. Impressie van CBS vragenlijstenOrganisatie vragenlijst ontwikkelingOntwikkelproces vragenlijsten Voorbeeld: PS vragenlijst Voorbeeld: IIT vragenlijstVragen en discussie. VVS-dag Ontwikkeling van meetinstru

Download Presentation

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use only and may not be sold or licensed nor shared on other sites. SlideServe reserves the right to change this policy at anytime.While downloading, If for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.











- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -




Presentation Transcript


Vragenlijstontwikkeling op het cbs van pre test tot evaluatie

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

Deirdre Giesen

Centraal Bureau voor de Statistiek

Divisie Methodologie en Kwaliteit

d.giesen@cbs.nl

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Inhoud presentatie

Inhoud presentatie

  • Impressie van CBS vragenlijsten

  • Organisatie vragenlijst ontwikkeling

  • Ontwikkelproces vragenlijsten

  • Voorbeeld: PS vragenlijst

  • Voorbeeld: IIT vragenlijst

  • Vragen en discussie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Soorten vragenlijsten

Soorten vragenlijsten

  • Zeer diverse onderwerpen en groepen respondenten

  • Huishoudens, personen, instellingen, bedrijven.

  • CAWI, CATI, CAPI, e-mail, papier.

  • Vooral feitelijke vragen: bijv. omzet, vierkante meters winkeloppervlak, doktersbezoek, werkzame status et cetera.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Top 10 statistieken met enqu tering naar steekproefomvang per jaar panelonderzoek

Top 10 statistieken met enquêtering (naar steekproefomvang per jaar, * = panelonderzoek)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Organisatie waarneming cbs

Organisatie waarneming CBS

  • Centralisering van alle waarneming

    • Vragenlijsten in alle modes

    • Upload bestanden

    • XBRL

    • Registers

  • Generieke processen en systemen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste doelen bij vragenlijstontwikkeling

Belangrijkste doelen bij vragenlijstontwikkeling

  • Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig).

  • Met zo min mogelijk belasting van respondenten.

  • Tegen zo laag mogelijke kosten.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkelproces vragenlijst

Ontwikkelproces vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Soorten tests evaluaties

Soorten tests / evaluaties

  • informele tests

  • expert raadpleging

  • kleinschalige, kwalitatieve test

  • functioneel en technisch testen

  • kleinschalige, operationele test (pilot)

  • grootschalige tests: experimenten, pilots

  • analyse van procesdata

  • analyse van surveydata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Voorbeeld 1 herontwerp vragenlijst productiestatistieken

Voorbeeld 1: Herontwerp vragenlijst productiestatistieken

  • PS-vragenlijst:

  • Gedetailleerde uitvraag van kosten en opbrengsten bedrijven

  • Papier

  • Circa 75.000 bedrijven in steekproef

  • Praktisch alle branches en grootteklassen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Aanpak herontwerp vragenlijst productiestatistieken 2003 2006

Aanpak herontwerp vragenlijst productiestatistieken (2003-2006)

  • Twee sporen beleid:

  • Reduceren uitvraag

    Inventarisatie output

    Gebruik secundaire bronnen

  • Verbeteren uitvraag

    Evaluatie oude vragenlijst

    Herontwerp + test

    Pilot (2006)

    Implementatie (2007)

    Evaluatie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie oude vragenlijst stap 1

Evaluatie oude vragenlijst stap 1:

  • Analyse van beschikbare informatie:

  • Reeds bestaande nota’s over de PS

  • Ingevulde formulieren

  • Focusgroepen met mensen van helpdesk,buitendienst, gaafmaken en analyse

  • Coderen van ruim 2000 inhoudelijke opmerkingen van respondenten

  • Hoogte en snelheid respons

  • Kwaliteit verzamelde data: item non respons en plausibiliteit

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie oude vragenlijst stap 2 kwalitatief onderzoek responsproces

Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek responsproces

  • Telefoongesprekken non-respondenten (14)

  • Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Vernieuwde huisstijl 2 onderzoek naar de ps

<<

Vernieuwde huisstijl:2. Onderzoek naar de PS

  • Q oud

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste conclusies

Belangrijkste conclusies

  • Responslast is hoog en motivatie laag

  • Correcties kosten veel tijd

  • Layout formulier veroorzaakt fouten

  • Structuur formulier onhandig

  • Toelichtingen worden niet gelezen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Wijzigingen

Wijzigingen

  • Reductie aantal items (van gemiddeld 119 naar 92)

  • Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar)

  • Andere redactie toelichtingen (korter)

  • Herziene layout papieren vragenlijst

  • Ontwikkeling elektronische vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkeling nieuwe vragenlijst

Ontwikkeling nieuwe vragenlijst

  • Papieren vragenlijst (verschillende varianten):

  • Test met CBS medewerkers

  • Test met bedrijven (n=26)

  • Elektronische vragenlijst (verschillende prototypes, test + pilot)

  • Online ‘tabblad’ variant test met CBS medewerkers

  • Offline – CD ‘tabblad’ variant getest bij 37 bedrijven

  • Offline- downloadable ‘herontwerp’ variant getest bij 6 bedrijven

  • Pilot 7800 bedrijven (5 waarneemdomeinen)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Eerste prototype e vragenlijst

Eerste prototype e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Pilot versie e vragenlijst

Pilot versie e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie nieuwe ps

Evaluatie nieuwe PS

  • Bedrijfsbezoeken (N=20)

  • Telefonische enquête respondenten (N=2210 oude design en N=2499 nieuwe design)

  • Analyse responsedata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste uitkomsten

Belangrijkste uitkomsten

  • Overall respons blijft gelijk (80%)

  • E-respons hoog (80%)

  • Responstijd daalt (135  105 dagen)

  • Invultijd daalt (4 3 uur)

  • % dat invullen moeilijk vindt daalt (6857)

  • Waardering voor CBS blijft gelijk (6,5)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Voorbeeld 2 pilot iit

Voorbeeld 2: Pilot IIT

  • IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen

  • Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder

  • bewoners van verzorgingshuizen en verpleeghuizen.

  • Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkelproces

Ontwikkelproces

  • Literatuuronderzoek + expertraadpleging

  • Ontwikkeling concept vragenlijst en benadermethode

  • Interviews met contactpersonen tehuizen en cliëntenraden (N=6)

  • Herziening methode

  • Kwalitatieve testinterviews bewoners (N=6)

  • Herziening methode en vragenlijst

  • Pilot met 3 interviewers, 6 tehuizen, 9 bewoners.

  • Herziening methode en vragenlijst

  • Pilot met 537 bewoners

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Overall conclusies pilot iit feskens 2009

Overall conclusies Pilot IIT (Feskens, 2009)

  • 1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen:

    • Vraagstellingen eenvoudiger

    • Steekproeftrekking door interviewer bij verpleeghuizen

    • Screening om enquêteerbaarheid te bepalen

    • Familieenquête voor niet- enquêteerbare personen

  • 2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Meer informatie

Meer informatie

  • Informatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek: www.cbs.nl/nl-NL/menu/methoden/default.htm

  • Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht

  • Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia

  • Giesen, D. (2007b). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18- 21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA.

  • Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University.

  • Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009