College 3

1. College 3 Meten

2. Meten • Methode van meten • Interview • Vragenlijst • Test • Observatie • Kwaliteit van de meting • Validiteit • Inhouds - • Criterium - • Construct - • Betrouwbaarheid • Test-hertest - • Interne consistentie - • Inter-beoordelaars -

3. Vragenlijsten • Rare factoren die de antwoorden beïnvloeden

4. Methode van vragen • Vraag: “Voel je je wel eens eenzaam?” • Interview: 80% ja • Vragenlijst: 43% ja

5. Volgorde van vragen • Vraag A: Geef een rapportcijfer voor de colleges • Vraag B: Geef een rapportcijfer voor de syllabus • Helft van de studenten versie AB • Helft van de studenten versie BA

6. Richting van de vraag • Positief: “Dit boek is goed gestructureerd” • Negatief: “Dit boek is niet goed gestructureerd” • Op een 7-puntsschaal (1 = zeer oneens, …, 7 = zeer eens) • Positieve versie, gespiegeld: m = 2.55 • Negatieve versie: m = 4.09

7. Antwoord-categorieën • Vraag: Was u tevreden met de blokvorm?

8. Antwoordtendenties • Neiging om een bepaal antwoord te geven, ongeacht de inhoud van de vraag.

10. Instructie “Probeer zo snel en nauwkeurig mogelijk te antwoorden”

11. Conclusie We weten niet hoe mensen vragen beantwoorden. Rare factoren die meespelen: Methode Volgorde Richting Antwoordalternatieven Antwoordtendenties Instructie

12. Observatie Problemen: Wat moet je observeren? Hoe moet je observeren? Hoe moet je beschrijven? Hoe moet je interpreteren?

13. Voorbeeld: Ekman & Friesen, 1978 Een mens kan ± 5000 verschillende gelaatsexpressies maken. Video, slow-motion Nummers Betekenis opmaken uit de context.

17. CRITERIUM VALIDITEIT • Hoe goed kan de test de scores op een gekozen criterium variabele voorspellen? • Belangrijkste ondervorm: Predictieve validiteit, het criterium ligt in de toekomst. • De criterium-variabele moet al goed gemeten zijn

18. Voorbeeld criterium validiteit 74,2% correct voorspeld

19. Test = SPQ • Criterium = diagnose (schizofreen / depressief) • correct "voorspeld" = 74.2% • (zonder kennis kun je al 50% correct voorspellen) • Is de SPQ hierom een goede of een slechte test? • Zijn de diagnoses zelf wel valide?

20. INHOUDS VALIDITEIT • Zijn de items een evenwichtige afspiegeling van het soort items dat de test zou mogen bevatten? • Om de inhouds validiteit te bepalen hoeft de test niet te worden afgenomen bij proefpersonen. Je hoeft alleen te weten hoe hij geconstrueerd is. • Leunstoel validiteit. Vergelijk: Het kopen van een auto omdat hij er op de tekentafel zo goed uit ziet.

21. Voorbeeld inhoudsvaliditeit • Test = statistiek tentamen • standaard- vs. inzichts-vragen • kennis- vs. redeneer-vragen • reken- vs. visualiseer-vragen • theorie- vs. praktijk-vragen • makkelijke vs. moeilijke vragen

22. CONSTRUCT VALIDITEIT • In hoeverre begrijp je • door welke variabelen de testscores worden beïnvloed • op welke variabelen de testscores invloed hebben?

23. APA: Daar moet je een theorie(nomologisch netwerk) voor hebben. De theorie moet zijn getoetst. • Nomologisch netwerk: Geeft aan welke wetmatige relaties de diverse constructen met elkaar hebben. • De meeste constructen (begrippen) die men wil meten zijn theoretische constructen (niet-waarneembaar). Zo'n construct kun je definiëren door middel van een nomologisch netwerk.

24. Voorbeeld construct validiteit

25. Voorbeeld construct validiteit • Bij construct validiteit wordt de betekenis van het construct niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen. • Hoe meer verbanden je kent, hoe beter je begrijpt wat er gemeten wordt.

26. Criterium validiteit één correlatie moet zo hoog mogelijk zijn geen theorie nodig gericht op voorspellen hoge betrouwbaarheid nodig keuze van het criterium is moeilijk Construct validiteit meerdere verbanden moeten sterk of juist zwak zijn gebaseerd op theorie gericht op begrijpen geen hoge betrouwbaarheid nodig formuleren van de theorie is moeilijk