Alles wat je al wilde weten over wetenschappelijk onderzoek ... (maar nog niet durfde vragen)

1. Alles wat je al wilde weten over wetenschappelijk onderzoek ... (maar nog niet durfde vragen) John Lievens Henk Roose www.re-creatiefvlaanderen.be

2. Opzet sessie • interactieve sessie voor gevorderden over (kwantitatief) onderzoek in de cultuursector • deel 1: • een paar onderzoeksbasics • bevolkingsonderzoek vs. publieksonderzoek: • methoden • een selectie van (nieuwe) bevindingen • deel 2: vragen, overleg, discussie, ...

3. Kwantitatief vs. kwalitatief • kwantitatief (survey, enquête) • gestructureerd/gestandaardiseerd • veralgemeenbaarheid • kwalitatief (diepte-interview, focus-groups) • betekenisgeving, diepere gronden • interpretatief: rol interviewer • niet veralgemeenbaar • onderzoeksvragen  onderzoeksdesign

4. Onderzoek: “ ‘t is niet moeilijk” of “het hoeft niet wetenschappelijk te zijn” • Rapportering over peilingen in de media is méér dan verzesvoudigd: van 227 per jaar in 2000 naar 1.473 in 2006 (rapport N. Sonck van CeSO) • maar: wat met de kwaliteit ? Zijn de bevindingen betrouwbaar ? zwaar problematisch  zetten gebruiker op verkeerde been  foutieve (beleids)conclusies • Harde cijfers en gegoochel met termen als ‘representatief’ verdoezelen de bedrieglijke aard van slecht onderzoek.

5. Kwaliteitscriteria onderzoek(< Jaak Billiet, 1993: Francqui VUB) • Transparantie • Kwaliteit toevalsteekproef • Inzicht in non-response en bias • Voorbereiding (interviewers) + supervisie • Zorg voor vraagverwording (theoretisch gefundeerd en valide) • Inzicht in meetfouten • Interpretatie a.d.h.v. context van de vragen

6. Meten van attitude sterkte • Uitsluiten van schijnbaarheid (multivariate modellen) • Werken met statistische modellen want: steekproefdata • Latente variabelen gebruiken • Vergelijkbaarheid concepten

7. (non)respons • unit-nonrespons: verondersteld ad random

8. (non)respons • unit-nonrespons: verondersteld ad random • is dit wel zo? • ~ opleiding • ~ interesse in thema survey • geeft aanleiding tot vertekening

9. inschatten dekkingsfout survey cultuurparticipatie

10. item-nonrespons (vb. VRT-peiling 21/05/07) gerapporteerd: waargenomen:

11. Toevalssteekproeven • Belang van toevalssteekproeven: • optimaliseren representativiteit, ook naar kenmerken waarvoor geen externe valideringscriteria bestaan • conclusies kunnen trekken over volledige populatie waaruit de steekproef getrokken werd • grootte steekproef is vanaf redelijk niveau irrelevant, wel dat eenheden willekeurig geselecteerd zijn !!! • Door toeval bij de selectie van eenheden kunnen cijfers variëren van steekproef tot steekproef • Statistische theorie  beschrijven regelmaat/systematische van toeval  steekproevenverdeling

12. Illustratie: stel dat 1000 steekproeven en p in de populatie = 0,60 • n=100 • n=1700

13. toevalsteekproeven laten toe om met hoge mate van betrouwbaarheid uitspraken te doen over de volledige populatie op basis van 1 steekproef • betrouwbaarheidsinterval: foutenmarge door het werken met een toevalssteekproef incalculerenbvb. Op basis van de cultuurparticipatiesurvey kunnen we met een hoge mate van betrouwbaarheid stellen dat tussen 22% en 26% van de Vlamingen een concert of festival bijwoont (i.p.v. exact 24%)

14. bvb. peiling kiesintenties:(als we er al zouden kunnen vanuit gaan dat dit degelijk onderzoek zou zijn (o.a. toevalssteekproef))

15. significantietoets: verwachtingen testenbvb. Op basis van de cultuurparticipatiesurvey kunnen we met een hoge mate van betrouwbaarheid stellen dat het verschil tussen mannen en vrouwen in het percentage dat een theatervoorstelling bijwoont statistisch significant is= het verschil tussen mannen en vrouwen dat we in de steekproef zien, wijst met hoge mate van betrouwbaarheid op een verschil tussen mannen en vrouwen in de volledige populatie

16. Toevalssteekproef: praktisch • bevolkingsonderzoek: bevolkingsregister als steekproefkader • publieksonderzoek: geen steekproefkader • toevallige selectie voorstellingen • toevallige selectie bezoekers/bezoeken • toeval maximaal laten spelen!

17. Multivariate analyse • Beschrijvende cijfers zoals algemene percentages of percentages opgesplitst naar geslacht, leeftijd, ... zijn nuttig om algemene tendensen en profielen te schetsen, niet om te begrijpen waarom er ev. verschillen zijn • bvb. verschillen in participatiecijfers tussen leeftijds- en opleidingsgroepen zijn twee zijden van deels hetzelfde verhaal • Multivariate analyse  netto (uitgezuiverde) verschillen

18. vb. bijwonen van niet-klassieke concerten/festivals (voorbije 6 maand), naar al dan niet hebben van kinderen: • Wie samenwoont met partner en kinderen vertoont een tweemaal lagere odds om frequent een niet-klassiek concert/festival bijgewoond te hebben dan wie enkel met de partner woont • Dit bleek niet uit de vergelijking van percentages (integendeel) o.a. samenhang ts. hebben van (thuiswonende) kinderen - leeftijd

19. maar zelfs met correcte toepassing MVA-technieken, blijft: • cross-sectionele vs. longitudinale data • enkel controle voor beschouwde andere kenmerken • vaststellen effectrelatie  causale relatie • + specifiek voor leeftijd: cohorte vs. leeftijdseffect • ev. wel sterke indicatie voor causale relatie, indien: • sterke samenhang • statistische controle voor diverse andere kenmerken (MVA) • samenhang wordt consistent gevonden in vele onderzoeken • vermeende oorzaak gaat vooraf aan het effect

20. Vraagformulering • Specifieke vraagformulering in gestandaardiseerde vragenlijst kan gegenereerde antwoorden beïnvloeden belang van valide en betrouwbare (+ geteste) meetinstrumenten te gebruiken • Illustratie: participatiecijfers in jaarlijkse survey naar Sociaal-Culturele Verschuivingen (Studiedienst Vlaamse Regering) en cultuurparticipatiesurvey (Re-Creatief Vlaanderen)(beide zeer kwaliteitsvolle dataverzamelingen)

21. meetinstrument SCV: “Ik zal nog enkele activiteiten voorlezen. Kunt u me zeggen hoe dikwijls u deze activiteiten het voorbije jaar heeft gedaan ?” - “naar een klassiek concert/festival gaan” - “naar een opera gaan” - “naar een rock- of popconcert/festival gaan” - “naar een jazz- of bluesconcert gaan” - “naar een folkloristisch of traditioneel concert/festival gaan” ... (totaal 18 activiteiten; waarvan hier 13 gebruikt) antwoordmogelijkheden: “nooit”, “één keer per jaar”, “meerdere keren per jaar”, “één keer per maand”, en “meerdere keren per maand”

22. meetinstrument CPS:

24. Voor alle sectoren veel hogere participatiecijfers in SCV dan in CPS • Verschillen niet volledig verklaarbaar door verschil in referentieperiode (1 j. vs. 6 m.) • Grootste verschillen in die sectoren met de laagste participatiecijfers • Vermoeden van overrapportering met meetinstrumenten in SCV

25. Verwachting van het aantal Vlamingen die naar de opera gaan : • % in survey * populatie waaruit steekproef getrokken (4.493.080 personen) • SCV: 336.981 operagangerswaarvan 89.862 regelmatig • CPS: 89.862 operagangerswaarvan 49.424 regelmatig • Bevestiging van vermoeden van overrapportering in SCV • + ook bevestiging hogere constructgeldigheid meetinstrument CPS (hier niet getoond)

28. Nog een reden… publieksonderzoek • “7,6 % van de museumbezoekers in Gent is tussen 65 en 79 jaar.” (Roose & Waege, 2001)

29. Vraagverwoording • zorgen voor vergelijking met bevolking • contextualiseren cijfermateriaal • binnensluipen niet-participanten (Roose & Waege, 2001)

30. Bevolkingsonderzoek naar cultuurparticipatie in brede zin • representatieve toevalssteekproef uit de populatie • zowel participanten als niet-participanten • inzicht in: • Hoe staat het met de participatie ?participatiecijfers in gedetailleerde aanbodcategorieën voor de diverse (deel)domeinen, met aandacht voor (waar relevant) publieke vs. private participatie, real-life vs. virtuele participatie, receptieve vs. actieve participatie, participatie aan het gesubsidieerde vs. private aanbod, frequentie van participatie, gebruik van lokale voorzieningen, deelnemen vs. deelhebben • Wie participeert en wie niet ? Waarom participeren bepaalde groepen meer of minder dan andere ?samenhang tussen participatiegedrag en socio-demografische kenmerken, kenmerken van het sociale netwerk, gezinscontext, en andere correlaten van participatiegedrag

31. Welke participatiepatronen bestaan er en hoe sporen die met leefstijlen ?samenhang tussen participatiegedrag aan verschillende (deel)domeinen • Wat zijn de belangrijkste drempels voor verhoogde participatie ?onderscheid naar o.a. sociale, culturele, financiële en praktische drempels en informatiedrempels • Met welke verwachtingen en motieven wordt geparticipeerd ?onderscheid naar o.a. sociale, ontspannings- en domeinspecifieke motieven • Hoe hangt participatie samen met maatschappelijke oriëntatie ?samenhang tussen participatie met indicatoren van maatschappelijke oriëntatie • Hoe staan Vlamingen tegenover het beleid in de betreffende sectoren ?ontwikkeling van een specifiek meetinstrument om de houding te meten t.a.v. het algemene beleid in de diverse domeinen en een geselecteerd aantal specifieke initiatieven • In welke sociale context wordt geparticipeerd ?onderscheid tussen participatie alleen of met anderen (+ wie)

32. In welke recreatieve context wordt geparticipeerd ?samenhang met recreatieve en toeristische activiteiten • Hoe staat het met de participatie aan lokale voorzieningen ?ontwikkeling van een specifiek meetinstrument om de participatie in de eigen gemeente te bevragen en uittekenen van de geografische spreiding van de participatie in de verschillende (deel)sectoren • Hoe verhoudt de participatie in Vlaanderen zich ten opzichte van Europa ?opname in de vragenlijst van internationaal gebruikte meetinstrumenten voor internationale vergelijking • Hoe evolueert de participatie ? • + bruikbaarheid in het licht van benchmarking: hoe verhoudt een sector/cultuurhuis/regio... zich t.o.v. het Vlaamse ‘gemiddelde’ (zowel algemeen als verder opgesplitst naar kenmerken)

33. Belangrijkste beperkingen: • representatief op Vlaams niveau, niet op fijnere niveau’s; zowel regionaal als naar (deel)sectoren • geen fijnmazige blik mogelijk op deelgroepen (o.a. groepen participanten)

34. Publieksonderzoek • representatieve toevalssteekproef uit publiek • wel fijnmazige blik, enkel participanten • inzicht in: • samenstelling publiek

35. Publieksonderzoek • geografische herkomst publiek

36. Publieksonderzoek • Bezoekmotieven Omwille van welke redenen gaan mensen naar een voorstelling/concert? Intrinsieke/extrinsieke redenen? • Beoordeling aanbod/dienstverlening Wat vinden bezoekers van de programmatie en accommodatie? Wijze waarop en de kanalen waarlangs ze geïnformeerd worden? • Informatiekanalen Hoe informeert het publiek zich? Welke kanalen? Media? • Samenstelling bezoekgezelschap Sociale context van participeren • Publieksverloop Welke voorstellingen/instellingen worden gecombineerd? Verkennen opties samenwerkingsverbanden tussen instellingen

39. Publieksonderzoek • Troeven: • mogelijkheid fijnmazige analyse, segmenteren • instellingsspecifieke informatie • Belangrijkste beperking: • niet-participanten (publiekspotentieel) buiten beeld

40. Publiekssegmenten (cf. Laermans) 1) kernpubliek • professioneel betrokken • interesse in muziek en uitvoerders • voorkeur experiment, minder escapisme 2) belangstellende participanten • ook intrinsieke belangstelling • minder uitgesproken 3) passanten • intrinsieke motieven minder belangrijk • extrinsieke, sociale motieven • herkenbaarheid centraal

42. Publieksonderzoek • Meer weten?  Handboek publieksonderzoek • met standaardvragen!

43. Survey naar Cultuurparticipatie in Vlaanderen 2003-2004 • Algemeen • specifieke survey naar cultureel gedrag en attitudes • n=2.849; 14-85 jaar; Belgen in Vlaanderen en Brussel • respons: 61% ; 17/10/03 - 15/10/04 • Een paar (gekende) highlights: • primordiaal belang van socialisatie (school + ouders) • link cultuurparticipatie en algemeen maatschappelijke participatie: onderscheid elitair/populair op de helling ? • sociale dimensie van participatie • dé cultuurparticipant bestaat niet • belangrijkste drempel: desinteresse

44. Vlaanderen scoort goed in vergelijking met Europa, maar niet even sterk voor alle sectoren • genrevoorkeuren: de ‘klassiekers’ scoren best • interesse in kunsten is groot • overheidssteun voor cultuur heeft groot draagvlak • kerncijfers ...

45. Een aantal recente resultaten • uitbreiden verklaringsmodel op diverse (sub)sectoren (hier: selectie)