Gebruik van buurtgegevens in evaluatieonderzoek

1. Gebruik van buurtgegevens in evaluatieonderzoek Propensity score matching en buurtinterventies Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

2. Inhoud • Monitoring van stadswijken • Effecten van interventies op stadswijken? • Quasi-experimenteel evaluatieonderzoek: propensity score matching • Illustratie: Effect van herstructurering op leefbaarheid en veiligheid in stadswijken Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

3. Monitoring (1) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken 2006-2010 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

4. Monitoring (2) Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken en het stedelijk gemiddelde 2006-2010 Bron: CBS Outcomemonitor Wijkenaanpak 2012 Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013

5. Essentie Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Buurtgegevens lenen zich voor monitoring. Buurtgegevens kunnen ook gebruikt worden om uitspraken over de effectiviteit van interventies te doen. Daarvoor is het monitoren van een trend in de groep wijken met een interventie niet voldoende. Ook het monitoren van een trend in de interventiegroep t.o.v. het stedelijk gemiddelde is niet voldoende. Om iets over het effect van de interventie te kunnen zeggen is het nuttig om de buurten met een interventie te koppelen aan vergelijkbare buurten zonder interventie.

6. Effectstudies (1) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Effectstudies proberen causale relatie tussen interventie en uitkomstmaat vast te stellen: Heeft invoering van een bepaalde interventie geleid tot effecten? Kwaliteit van effectstudies is onder meer afhankelijk van: -- Interne validiteit -- Externe validiteit

7. Effectstudies (2) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Verschillende designs beschikbaar om te proberen uitspraken te doen over effectiviteit van interventies. Belangrijk verschil tussen experimenteel design en quasi-experimenteel design is dat bij de laatste geen random toewijzing heeft plaatsgevonden van de interventie.

8. Quasi-experimenteel onderzoek Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Verschillende soorten designs beschikbaar. Maar welk design het meest bruikbaar is hangt onder meer af van de wijze waarop de interventie is opgelegd en je data. Betekent soms veel werk en kan het resultaat zijn dat het gekozen design zich toch niet leent voor jouw data.

9. Propensity Score Matching (1) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Propensity Score Matching is een voorbeeld van quasi-experimenteel design. Tracht de experimentele groep te koppelen aan een zo goed mogelijk gelijkende controlegroep.

10. Propensity Score Matching (2) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Stappen: Vaststellen van interventie (bijv. herstructurering, aanleg speelvoorzieningen, verkoop sociale huurwoningen, krachtwijkenbeleid), en begin en eind interventie. Vaststellen van uitkomstmaten (waar is beleid op gericht geweest?) Vaststellen van controlegroep Kwaliteit matching

11. Propensity Score Matching (3) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 • Vaststellen van controlegroep • Voor elke experimentele wijk vergelijkbare wijk zonder interventie vinden op basis van afzonderlijke buurt kenmerken. Buurt met hoog % huur aan andere buurt met hoog % huur. • Probleem • a) hoe meer kenmerken gebruikt worden, hoe kleiner kans op match. b) veel interventies ingezet op buurten met stapeling van specifieke kenmerken. •  Dat experimentele groep verschilt van controlegroep is niet uniek. Begin jaren ‘80 Propensity Score Matching ontwikkeld (Rosenbaum en Rubin).

12. Propensity Score Matching (4) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Alle kenmerken waarop gematcht wordt, worden samengevoegd in 1 score: propensity score. De combinatie van kenmerken in experimentele groep wordt ook waargenomen in controlegroep. 3a) Bereken propensity score (logistisch model) Afhankelijke variabele: kans op interventie (0=geen ingreep; 1=ingreep). Onafhankelijke variabelen: buurtkenmerken die (mogelijk) invloed hebben op de kans op ingreep en op de uitkomstmaat (gemeten na de interventie). 3b) Koppel experimentele buurten aan controlebuurten op grond van propensity score (verschillende matchingsalgoritmes).

13. Propensity Score Matching (5) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Kwaliteit matching Het is van groot belang dat de buurtkenmerken tussen de experimentele groep en controlegroep overeenkomen. Als de kenmerken van de groepen veel verschillen, moet het model herzien worden (toevoegen hogere functies, interacties, andere variabelen). 2) Zijn er veel experimentele buurten die niet gekoppeld kunnen worden? (o.m. overlap; common support) Wat voor buurten zijn dit? SOMS PAST PSM GEWOON NIET BIJ JE DATA….helaas…. op naar een ander design (regressie-discontinuïteit?)

14. Effecten? Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 Nameting verminderen met voormeting voor de experimentele groep en controlegroep. Hoe verhoudt de ontwikkeling tussen deze twee groepen? Difference in difference. Testen op significantie. Volgens PSM zou je mogen concluderen dat er een effect van de interventie is als de ontwikkeling (bijv. leefbaarheid) in de experimentele groep groter is dan in de controlegroep.

15. Illustratie: Herstructurering woningvoorraad (1) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 • In hoeverre is herstructurering effectief geweest bij het verbeteren van van leefbaarheid en veiligheid in stadswijken? • Vaststellen herstructureringsinterventie in 4ppc-gebieden en interventieperiode

16. Illustratie: Herstructurering woningvoorraad (2) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 • 2) Vaststellen uitkomstmaten: wat zijn de doelen van het beleid geweest? • -- Leefbaarheid verbeteren (tevredenheid met woonomgeving). • -- Veiligheid verbeteren (perceptie op voorkomen van criminaliteit en overlast; onveiligheidsgevoelens). • -- Sociale cohesie vergroten.

17. Illustratie: Herstructurering woningvoorraad (2) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 3) Vaststellen controlegroep schat propensity scores (logistische regressie).  Kan in SPSS, maar STATA biedt veel meer opties (m.n. bij de matching hierna!).

18. Illustratie: Herstructurering woningvoorraad (3) Experimentele buurt die je kunt koppelen aan een buurt zonder interventie. Controlebuurt die gekoppeld wordt aan experimentele buurt. Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 4)  Koppel de experimentele wijken aan wijken met een vergelijkbare propensity score, die echter niet de interventie opgelegd hebben gekregen (keuze uit verschillende matchingsstrategieën) .

19. Illustratie: Herstructurering woningvoorraad (4) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013  Uiteindelijk 70 herstructureringsbuurten kunnen koppelen aan vergelijkbare buurten zonder interventie. Voormeting komt overeen, maar nog niet perfect.  Ontwikkeling in experimentele buurten gunstiger geweest.

20. Problemen bij dit voorbeeld (/PSM algemeen) Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 • Conceptueel • Inzicht in omvang effecten, maar niet de achterliggende mechanismen. Welke mechanismen zitten achter de effectiviteit van herstructurering?  verplaatsing van mensen? • Geen duidelijk begin/eind van interventies. • Rol van andere interventies? •  Wat zijn de kosten en de baten van interventies? • Modeltechnisch • Niet-opgenomen variabelen die kans op interventie beïnvloeden • (modelselectie is zeer belangrijk). • Groepen komen soms onvoldoende met elkaar overeen na matching

21. Literatuur Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013 • Propensity scores for the estimation of average treatment effects in observational studies (L. Grilli & C. Rampichini) • Some practical guidancefor the implementation of propensity score matching (M. Caliendo & S. Kopeinig) • Propensity Score Matching forsocialepidemiology (M. Oakes & P.J. Johonson) • Matching and Propensity Scores (M. Oakes, in P.M. Steiner)