vragenlijstontwikkeling op het cbs van pre test tot evaluatie
Download
Skip this Video
Download Presentation
Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

Loading in 2 Seconds...

play fullscreen
1 / 26

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie - PowerPoint PPT Presentation


  • 242 Views
  • Uploaded on

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie . Deirdre Giesen Centraal Bureau voor de Statistiek Divisie Methodologie en Kwaliteit [email protected] . Inhoud presentatie . Impressie van CBS vragenlijsten Organisatie vragenlijst ontwikkeling Ontwikkelproces vragenlijsten

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie' - bian


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
vragenlijstontwikkeling op het cbs van pre test tot evaluatie

Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie

Deirdre Giesen

Centraal Bureau voor de Statistiek

Divisie Methodologie en Kwaliteit

[email protected]

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

inhoud presentatie
Inhoud presentatie
  • Impressie van CBS vragenlijsten
  • Organisatie vragenlijst ontwikkeling
  • Ontwikkelproces vragenlijsten
  • Voorbeeld: PS vragenlijst
  • Voorbeeld: IIT vragenlijst
  • Vragen en discussie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

soorten vragenlijsten
Soorten vragenlijsten
  • Zeer diverse onderwerpen en groepen respondenten
  • Huishoudens, personen, instellingen, bedrijven.
  • CAWI, CATI, CAPI, e-mail, papier.
  • Vooral feitelijke vragen: bijv. omzet, vierkante meters winkeloppervlak, doktersbezoek, werkzame status et cetera.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

top 10 statistieken met enqu tering naar steekproefomvang per jaar panelonderzoek
Top 10 statistieken met enquêtering (naar steekproefomvang per jaar, * = panelonderzoek)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

organisatie waarneming cbs
Organisatie waarneming CBS
  • Centralisering van alle waarneming
    • Vragenlijsten in alle modes
    • Upload bestanden
    • XBRL
    • Registers
  • Generieke processen en systemen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

belangrijkste doelen bij vragenlijstontwikkeling
Belangrijkste doelen bij vragenlijstontwikkeling
  • Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig).
  • Met zo min mogelijk belasting van respondenten.
  • Tegen zo laag mogelijke kosten.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

ontwikkelproces vragenlijst
Ontwikkelproces vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

soorten tests evaluaties
Soorten tests / evaluaties
  • informele tests
  • expert raadpleging
  • kleinschalige, kwalitatieve test
  • functioneel en technisch testen
  • kleinschalige, operationele test (pilot)
  • grootschalige tests: experimenten, pilots
  • analyse van procesdata
  • analyse van surveydata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

voorbeeld 1 herontwerp vragenlijst productiestatistieken
Voorbeeld 1: Herontwerp vragenlijst productiestatistieken
  • PS-vragenlijst:
  • Gedetailleerde uitvraag van kosten en opbrengsten bedrijven
  • Papier
  • Circa 75.000 bedrijven in steekproef
  • Praktisch alle branches en grootteklassen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

aanpak herontwerp vragenlijst productiestatistieken 2003 2006
Aanpak herontwerp vragenlijst productiestatistieken (2003-2006)
  • Twee sporen beleid:
  • Reduceren uitvraag

Inventarisatie output

Gebruik secundaire bronnen

  • Verbeteren uitvraag

Evaluatie oude vragenlijst

Herontwerp + test

Pilot (2006)

Implementatie (2007)

Evaluatie

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

evaluatie oude vragenlijst stap 1
Evaluatie oude vragenlijst stap 1:
  • Analyse van beschikbare informatie:
  • Reeds bestaande nota’s over de PS
  • Ingevulde formulieren
  • Focusgroepen met mensen van helpdesk,buitendienst, gaafmaken en analyse
  • Coderen van ruim 2000 inhoudelijke opmerkingen van respondenten
  • Hoogte en snelheid respons
  • Kwaliteit verzamelde data: item non respons en plausibiliteit

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

evaluatie oude vragenlijst stap 2 kwalitatief onderzoek responsproces
Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek responsproces
  • Telefoongesprekken non-respondenten (14)
  • Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

vernieuwde huisstijl 2 onderzoek naar de ps

<<

Vernieuwde huisstijl:2. Onderzoek naar de PS
  • Q oud

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

belangrijkste conclusies
Belangrijkste conclusies
  • Responslast is hoog en motivatie laag
  • Correcties kosten veel tijd
  • Layout formulier veroorzaakt fouten
  • Structuur formulier onhandig
  • Toelichtingen worden niet gelezen

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

wijzigingen
Wijzigingen
  • Reductie aantal items (van gemiddeld 119 naar 92)
  • Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar)
  • Andere redactie toelichtingen (korter)
  • Herziene layout papieren vragenlijst
  • Ontwikkeling elektronische vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

ontwikkeling nieuwe vragenlijst
Ontwikkeling nieuwe vragenlijst
  • Papieren vragenlijst (verschillende varianten):
  • Test met CBS medewerkers
  • Test met bedrijven (n=26)
  • Elektronische vragenlijst (verschillende prototypes, test + pilot)
  • Online ‘tabblad’ variant test met CBS medewerkers
  • Offline – CD ‘tabblad’ variant getest bij 37 bedrijven
  • Offline- downloadable ‘herontwerp’ variant getest bij 6 bedrijven
  • Pilot 7800 bedrijven (5 waarneemdomeinen)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

eerste prototype e vragenlijst
Eerste prototype e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

pilot versie e vragenlijst
Pilot versie e-vragenlijst

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

evaluatie nieuwe ps
Evaluatie nieuwe PS
  • Bedrijfsbezoeken (N=20)
  • Telefonische enquête respondenten (N=2210 oude design en N=2499 nieuwe design)
  • Analyse responsedata

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

belangrijkste uitkomsten
Belangrijkste uitkomsten
  • Overall respons blijft gelijk (80%)
  • E-respons hoog (80%)
  • Responstijd daalt (135  105 dagen)
  • Invultijd daalt (4 3 uur)
  • % dat invullen moeilijk vindt daalt (6857)
  • Waardering voor CBS blijft gelijk (6,5)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

voorbeeld 2 pilot iit
Voorbeeld 2: Pilot IIT
  • IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen
  • Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder
  • bewoners van verzorgingshuizen en verpleeghuizen.
  • Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht)

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

ontwikkelproces
Ontwikkelproces
  • Literatuuronderzoek + expertraadpleging
  • Ontwikkeling concept vragenlijst en benadermethode
  • Interviews met contactpersonen tehuizen en cliëntenraden (N=6)
  • Herziening methode
  • Kwalitatieve testinterviews bewoners (N=6)
  • Herziening methode en vragenlijst
  • Pilot met 3 interviewers, 6 tehuizen, 9 bewoners.
  • Herziening methode en vragenlijst
  • Pilot met 537 bewoners

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

overall conclusies pilot iit feskens 2009
Overall conclusies Pilot IIT (Feskens, 2009)
  • 1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen:
    • Vraagstellingen eenvoudiger
    • Steekproeftrekking door interviewer bij verpleeghuizen
    • Screening om enquêteerbaarheid te bepalen
    • Familieenquête voor niet- enquêteerbare personen
  • 2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

meer informatie
Meer informatie
  • Informatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek: www.cbs.nl/nl-NL/menu/methoden/default.htm
  • Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht
  • Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia
  • Giesen, D. (2007b). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18- 21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA.
  • Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University.
  • Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA.

VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009

ad