Advertisement
1 / 26

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie


  • 53 Views
  • Uploaded On 22-11-2012

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie. Deirdre Giesen Centraal Bureau voor de Statistiek Divisie Methodologie en Kwaliteit d.giesen@cbs.nl . Inhoud presentatie. Impressie van CBS vragenlijsten Organisatie vragenlijst ontwikkeling Ontwikkelproces vragenlijsten

Presentation posted in : General

Download Presentation

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.












- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -




Presentation Transcript


Vragenlijstontwikkeling op het cbs van pre test tot evaluatie

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

Deirdre Giesen

Centraal Bureau voor de Statistiek

Divisie Methodologie en Kwaliteit

d.giesen@cbs.nl

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Inhoud presentatie

Inhoud presentatie

  • Impressie van CBS vragenlijsten

  • Organisatie vragenlijst ontwikkeling

  • Ontwikkelproces vragenlijsten

  • Voorbeeld: PS vragenlijst

  • Voorbeeld: IIT vragenlijst

  • Vragen en discussie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Soorten vragenlijsten

Soorten vragenlijsten

  • Zeer diverse onderwerpen en groepen respondenten

  • Huishoudens, personen, instellingen, bedrijven.

  • CAWI, CATI, CAPI, e-mail, papier.

  • Vooral feitelijke vragen: bijv. omzet, vierkante meters winkeloppervlak, doktersbezoek, werkzame status et cetera.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Top 10 statistieken met enqu tering naar steekproefomvang per jaar panelonderzoek

Top 10 statistieken met enquêtering (naar steekproefomvang per jaar, * = panelonderzoek)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Organisatie waarneming cbs

Organisatie waarneming CBS

  • Centralisering van alle waarneming

    • Vragenlijsten in alle modes

    • Upload bestanden

    • XBRL

    • Registers

  • Generieke processen en systemen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste doelen bij vragenlijstontwikkeling

Belangrijkste doelen bij vragenlijstontwikkeling

  • Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig).

  • Met zo min mogelijk belasting van respondenten.

  • Tegen zo laag mogelijke kosten.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkelproces vragenlijst

Ontwikkelproces vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Soorten tests evaluaties

Soorten tests / evaluaties

  • informele tests

  • expert raadpleging

  • kleinschalige, kwalitatieve test

  • functioneel en technisch testen

  • kleinschalige, operationele test (pilot)

  • grootschalige tests: experimenten, pilots

  • analyse van procesdata

  • analyse van surveydata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Voorbeeld 1 herontwerp vragenlijst productiestatistieken

Voorbeeld 1: Herontwerp vragenlijst productiestatistieken

  • PS-vragenlijst:

  • Gedetailleerde uitvraag van kosten en opbrengsten bedrijven

  • Papier

  • Circa 75.000 bedrijven in steekproef

  • Praktisch alle branches en grootteklassen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Vragenlijstontwikkeling op het cbs van pre test tot evaluatie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Aanpak herontwerp vragenlijst productiestatistieken 2003 2006

Aanpak herontwerp vragenlijst productiestatistieken (2003-2006)

  • Twee sporen beleid:

  • Reduceren uitvraag

    Inventarisatie output

    Gebruik secundaire bronnen

  • Verbeteren uitvraag

    Evaluatie oude vragenlijst

    Herontwerp + test

    Pilot (2006)

    Implementatie (2007)

    Evaluatie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie oude vragenlijst stap 1

Evaluatie oude vragenlijst stap 1:

  • Analyse van beschikbare informatie:

  • Reeds bestaande nota’s over de PS

  • Ingevulde formulieren

  • Focusgroepen met mensen van helpdesk,buitendienst, gaafmaken en analyse

  • Coderen van ruim 2000 inhoudelijke opmerkingen van respondenten

  • Hoogte en snelheid respons

  • Kwaliteit verzamelde data: item non respons en plausibiliteit

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie oude vragenlijst stap 2 kwalitatief onderzoek responsproces

Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek responsproces

  • Telefoongesprekken non-respondenten (14)

  • Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Vernieuwde huisstijl 2 onderzoek naar de ps

<<

Vernieuwde huisstijl:2.Onderzoek naar de PS

  • Q oud

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste conclusies

Belangrijkste conclusies

  • Responslast is hoog en motivatie laag

  • Correcties kosten veel tijd

  • Layout formulier veroorzaakt fouten

  • Structuur formulier onhandig

  • Toelichtingen worden niet gelezen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Wijzigingen

Wijzigingen

  • Reductie aantal items (van gemiddeld 119 naar 92)

  • Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar)

  • Andere redactie toelichtingen (korter)

  • Herziene layout papieren vragenlijst

  • Ontwikkeling elektronische vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkeling nieuwe vragenlijst

Ontwikkeling nieuwe vragenlijst

  • Papieren vragenlijst (verschillende varianten):

  • Test met CBS medewerkers

  • Test met bedrijven (n=26)

  • Elektronische vragenlijst (verschillende prototypes, test + pilot)

  • Online ‘tabblad’ variant test met CBS medewerkers

  • Offline – CD ‘tabblad’ variant getest bij 37 bedrijven

  • Offline- downloadable ‘herontwerp’ variant getest bij 6 bedrijven

  • Pilot 7800 bedrijven (5 waarneemdomeinen)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Vragenlijstontwikkeling op het cbs van pre test tot evaluatie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Eerste prototype e vragenlijst

Eerste prototype e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Pilot versie e vragenlijst

Pilot versie e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Evaluatie nieuwe ps

Evaluatie nieuwe PS

  • Bedrijfsbezoeken (N=20)

  • Telefonische enquête respondenten (N=2210 oude design en N=2499 nieuwe design)

  • Analyse responsedata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Belangrijkste uitkomsten

Belangrijkste uitkomsten

  • Overall respons blijft gelijk (80%)

  • E-respons hoog (80%)

  • Responstijd daalt (135  105 dagen)

  • Invultijd daalt (4 3 uur)

  • % dat invullen moeilijk vindt daalt (6857)

  • Waardering voor CBS blijft gelijk (6,5)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Voorbeeld 2 pilot iit

Voorbeeld 2: Pilot IIT

  • IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen

  • Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder

  • bewoners van verzorgingshuizen en verpleeghuizen.

  • Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Ontwikkelproces

Ontwikkelproces

  • Literatuuronderzoek + expertraadpleging

  • Ontwikkeling concept vragenlijst en benadermethode

  • Interviews met contactpersonen tehuizen en cliëntenraden (N=6)

  • Herziening methode

  • Kwalitatieve testinterviews bewoners (N=6)

  • Herziening methode en vragenlijst

  • Pilot met 3 interviewers, 6 tehuizen, 9 bewoners.

  • Herziening methode en vragenlijst

  • Pilot met 537 bewoners

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Overall conclusies pilot iit feskens 2009

Overall conclusiesPilot IIT (Feskens, 2009)

  • 1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen:

    • Vraagstellingen eenvoudiger

    • Steekproeftrekking door interviewer bij verpleeghuizen

    • Screening om enquêteerbaarheid te bepalen

    • Familieenquête voor niet- enquêteerbare personen

  • 2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009


Meer informatie

Meer informatie

  • Informatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek: www.cbs.nl/nl-NL/menu/methoden/default.htm

  • Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht

  • Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia

  • Giesen, D. (2007b). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA.

  • Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University.

  • Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009