1 / 42

Wanneer is onderzoek goed: de kwaliteitscriteria

Wanneer is onderzoek goed: de kwaliteitscriteria . De verwarring voorbij. Naar hernieuwd zelfvertrouwen. Congres ‘Praktijkgericht onderzoek in het HBO’ Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland. Het Nederlandse accreditatiestelsel. Standaard 1:

Download Presentation

Wanneer is onderzoek goed: de kwaliteitscriteria

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Wanneer is onderzoek goed: de kwaliteitscriteria De verwarring voorbij Naar hernieuwd zelfvertrouwen • Congres ‘Praktijkgericht onderzoek in het HBO’ • Amersfoort, 11 december 2012 • Daan AndriessenHogeschool Inholland

  2. Het Nederlandse accreditatiestelsel • Standaard 1: • De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. • Standaard 16: • De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

  3. Wat is een adequaat systeem van toetsing voor scripties?

  4. De verwarring is compleet

  5. Mijn probleemstelling en deelvragen • Wat is een adequaat systeem van toetsing voor scripties? • Wanneer zijn kwaliteitscriteria goed? • Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit? • Hoe kan je als opleiding komen tot goede kwaliteitscriteria? • Wat is daarvan een goed voorbeeld?

  6. 1. Wanneer zijn kwaliteitscriteria goed?

  7. Wat is de belangrijkste functie van kwaliteitscriteria voor scripties? Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep Zodat de student kan bepalen wat hij moet doen om dit niveau te halen Waardoor de docent dit leerproces goed kan begeleiden En de scriptie kan worden beoordeeld

  8. Kwaliteitscriteria voor kwaliteitscriteria • Afgeleid uit de (internationale) competentie-eisen, het beroeps-profiel en visie op onderzoek daarin • Richtinggevend bij het maken van keuzes tijdens het onderzoek • Didactisch functioneel • Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

  9. Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk • Hiertoe moeten ze worden geoperationaliseerd. Ze hebben: • Een object in de scriptie (wat moet kwaliteit hebben? Bv. probleemstelling of literatuurstudie) • Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel) • Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)

  10. 2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?

  11. Officiële kaders • Algemene internationale en landelijke kaders: • Dublin descriptoren (DD) • HBO kenmerken Commissie Fransen (CF) • “Kwaliteit als opdracht” (HBO-raad) • Commissie Dunnewijk-Budé / “Vreemde ogen dwingen” • Beroepsprofielen van opleidingen

  12. Wat moeten BA studenten kunnen volgens internationale en landelijke kaders? Onderzoekend vermogen (HBO-raad): • Definiëren en analyseren complexe probleemsituaties (CF) • Planmatig aanpakken van werkzaamheden (CF) • (wetenschappelijke) inzichten, theorieën, concepten en onderzoeksresultaten toepassen (CF) • Gegevens verzamelen en interpreteren (DD) • Afwegen van sociaal-maatschappelijke, wetenschappelijke of ethische aspecten (DD) • Oordeel vormen (DD) • Ontwikkelen en beoordelen van oplossingen (CF)Leiden tot evidence based practice (HBO raad)Innovatie (HBO raad) • Reflecteren op het handelen (CF / HBO raad) Vraagstelling ontwikkelen Onderzoeksplan maken Theorie toepassen Data verzamelen en analyseren Conclusies trekken Adviezen of andere beroepsproducten maken Reflecteren op resultaten

  13. Conclusie algemene internationale en landelijke kaders • Deze bieden wel overzicht van benodigde onderzoeksvaardigheden van de student • Maar geen kwaliteitscriteria voor scripties

  14. Commissie Dunnewijk-Budé • “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.” Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012

  15. Beoordelingscriteria (standaarden) van de Commissie (1) • Vinden we onderstaande componenten terug in het afstudeerproject? • A. Vraagstelling & verantwoording • B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving) • a. Onderzoeksopzet • b. Bronnenonderzoek • c. Empirisch onderzoek • d. Conclusies • e. Output [Afhankelijk van type afstudeerproject]

  16. Beoordelingscriteria (standaarden) van de Commissie (2) • Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt? Niets

  17. Beoordelingscriteria (standaarden) van de Commissie (3) • Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”: • theoretische vorming / onderbouw • overzicht en inzicht, het kunnen plaatsen van problemen in de context • reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance • creativiteit en/of vermogen tot conceptualisering • vermogen om helder te communiceren • vermogen om efficiënt en resultaatgericht te werken

  18. Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties? Onderzoekend vermogen Een goede scriptie

  19. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

  20. Theoretische vorming / onderbouw

  21. Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance

  22. Creativiteit en/of vermogen tot conceptualisering

  23. Conclusie Commissie Dunnewijk-Budé • Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties • En is hier ook niet eenvoudig naar te vertalen

  24. Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden Onderzoekend vermogen Een goede scriptie

  25. 3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

  26. Hoe dan wel?

  27. 4. Wat is daarvan een goed voorbeeld?

  28. Voorbeeld Bedrijfskunde MER Inholland

  29. Landelijk beroepsprofiel Bedrijfskunde MER • “De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”. Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

  30. Bachelor student als probleemoplosser die handelen onderbouwt met onderzoek 6 6 6 6 1 1 1 1 5 5 5 5 PROBLEEM-KEUZE EN DIAGNOSE ONTWERP VERANDEREN EVALUATIE 4 4 4 4 2 2 2 2 3 3 3 3 Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus VOORSTEL VOOR VERVOLGONDERZOEK Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

  31. Vertaling naar goede criteria • Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002) • Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008) • Getoetst aan eisen Dunnewijk – Budé Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit

  32. Bijvoorbeeld:Criteria probleemstelling en deelvragen • Verankerd • Relevant • Precies • Functioneel • Afgebakend

  33. Didactisch functionele kwaliteitscriteria Kennisgebied VERANKERD Strategie Reden Probleemstelling en deelvragen RELEVANT FUNCTIONEEL PRECIES Antwoord Naar: Oost & Markenhof (2002)

  34. Een probleemstelling is functioneel Bron: Oost & Markenhof, 2002

  35. Criteria probleemstelling en deelvragen

  36. Onderzoeksfuncties in de scriptie OP BASIS VAN OP BASIS VAN OP BASIS VAN 6 6 6 6 1 1 1 1 5 5 5 5 PROBLEEM-KEUZE EN DIAGNOSE ONTWERP VERANDEREN EVALUATIE en/of En/of En/of 4 4 4 4 2 2 2 2 3 3 3 3 VOORSTEL VOOR VOORSTEL VOOR VOORSTEL VOOR Beschrijven Evalueren Verklaren Ontwerpen Ontwerpen Evalueren Verklaren Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus Onderzoekscyclus VOORSTEL VOOR VERVOLGONDERZOEK

  37. Onderzoeksfunctie bepaalt deelvragenVoorbeeld: Ontwerpen PROBLEEM-KEUZE EN DIAGNOSE ONTWERP Ontwerpende deelvragen: • Welke oplossingen zijn er bekend? • Welke eisen stellen we aan de oplossing? Evaluerende deelvragen: • Welke oplossingen voldoen aan de eisen? • Welke oplossing wordt gekozen? [Verklarende deelvragen: • Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem?] Beschrijvende deelvragen: • Wat zijn de kenmerken van situatie A? • Wat zijn de kenmerken van de norm? Evaluerende deelvragen: • Voldoet situatie A aan de norm? Verklarende deelvragen: • Wat maakt dat er verschillen zijn tussen A en de norm?

  38. Download de hele set van kwaliteitscriteria

  39. Borging van kwaliteitscriteria in de opleiding • Kwaliteitscriteria leidend maken in onderzoekslijn • Kwaliteitscriteria didactisch benutten in de onderzoekslijn • Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om: • De ontwikkelde kwaliteitscriteria te leren toepassen • De kwaliteitscriteria te verbeteren • Intersubjectiviteit van beoordeling te verhogen • Betere onderzoekbegeleider te worden • Betere onderzoeker te worden

  40. Conclusies: Wanneer is onderzoek goed? • Daar zijn landelijk geen algemeen geldende criteria voor • Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep • Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria: • Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek • Richtinggevend bij het maken van keuzes tijdens het onderzoek • Didactisch functioneel • Geoperationaliseerd in object, criterium en indicatoren

  41. Dr. Daan Andriessendaan.andriessen@inholland.nl Meer informatie?

More Related