Validiteit van evc procedures
This presentation is the property of its rightful owner.
Sponsored Links
1 / 27

Validiteit van EVC-procedures PowerPoint PPT Presentation


  • 155 Views
  • Uploaded on
  • Presentation posted in: General

Validiteit van EVC-procedures. Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008. VALIDITEIT. Validiteit = meten wat je wilt weten Wat wil je weten: visie & keuzes Meten: technische aspecten van het instrument

Download Presentation

Validiteit van EVC-procedures

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Validiteit van evc procedures

Validiteit van EVC-procedures

Karine Janssens – Universiteit Gent

An Peeters – Associatie K.U.Leuven

31 januari 2008


Validiteit

VALIDITEIT

  • Validiteit = meten wat je wilt weten

    • Wat wil je weten: visie & keuzes

    • Meten: technische aspecten van het instrument

  • Doel van de beoordeling  validiteitseisen


Validiteit transparante samenhangende visie

VALIDITEIT = transparante & samenhangendeVISIE:

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie1

VALIDITEIT = transparante & samenhangendeVISIE:

Definitie

Leertheorie

Visie intern/extern gedragen

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie2

VALIDITEIT = transparante & samenhangendeVISIE:

Beroepscontext vs opleidingscontext

Professioneel vs academisch

Relevant en representatief

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie3

VALIDITEIT = transparante & samenhangendeVISIE:

HerkennenFormatiefDidactischOriëntering

ErkennenSummatiefAssessmentCertificering

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie4

VALIDITEIT = transparante & samenhangendeVISIE:

Taal

Cultuur

Gender

Leerstijl

Vertrouwdheid met de context (beroep vs opleiding)

Begeleiding

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie5

VALIDITEIT = transparante & samenhangendeVISIE:

Procedure

Instrumenten- Validiteit- Betrouwbaarheid

Assessoren

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Validiteit transparante samenhangende visie6

VALIDITEIT = transparante & samenhangendeVISIE:

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

CIVIEL EFFECT

Gedeeld door stakeholders


Validiteit transparante samenhangende visie7

VALIDITEIT = transparante & samenhangendeVISIE:

Validiteit= geldigheid

Betrouwbaarheid= stabiliteit= herhaalbaarheid

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE


Betrouwbaarheid validiteit

Betrouwbaarheid & validiteit

Algemene principes

  • Assessment center methode

    • Meerdere instrumenten

    • Meerdere beoordelaars

  • Aandacht voor betrouwbaarheid en validiteit in elke fase van instrumentontwikkeling

  • Is vaak een afweging


Betrouwbaarheid

Betrouwbaarheid

Definitie

  • Een assessment is betrouwbaar als het

    bij een herhaalde afname dezelfde resultaten geeft

  • Betrouwbaarheid

    = stabiliteit

    = herhaalbaarheid

  • D.w.z. bij herhaalde meting  dezelfde resultaten

    1. Over de tijd heen

    2. Bij verschillende beoordelaars

  • Zoniet, spreken we van een onbetrouwbare beoordeling


Betrouwbaarheid1

Betrouwbaarheid

1. Verschillen in prestatie over de tijd

  • Oorzaak van onbetrouwbaarheid

    toevallige schommelingen in prestatie doorheen de tijd

  • Bronnen

    • bij de kandidaat (vb. schommelingen in concentratie)

    • bij de testsituatie (vb. volgorde van vragen)

  • Aanpak

    Hoe betrouwbaarheid over de tijd heen verhogen?

    - de testsituatie zoveel mogelijk standaardiseren


Betrouwbaarheid2

Betrouwbaarheid

2. Verschillen tussen beoordelaars

  • Oorzaak

    niet elke beoordelaar beoordeelt op dezelfde manier

    = belangrijkste oorzaak van onbetrouwbaarheid

  • Bronnen: beoordelaarseffecten

    • Halo-effect

    • Sequentie-effecten

    • Beoordelingstendenties

    • Contaminatie-effecten

       Meestal onbewust!


Betrouwbaarheid3

Betrouwbaarheid

Aanpak

  • Concretiseren van de beoordelingscriteria

    • competenties concretiseren in concreet waarneembaar gedrag

  • Standaardiseren van de beoordeling

    • Ondubbelzinnige beoordelingscriteria vastleggen

      (beoordelingslijst of schema)

      • Duidelijk niveau vastleggen

      • Duidelijk modelantwoord maken

      • Scoringsvoorschriften

  • Training van de beoordelaars

    • Strikt toepassen van de beoordelingscriteria

    • Beoordelaarseffecten tegengaan

    • Na aparte scoring: assessorenoverleg


Validiteit1

Validiteit

Definitie

  • Een instrument is valide als op basis van de resultaten

    geldige conclusies kunnen getrokken worden

    over de competentiedie men wil meten

  • Validiteit = geldigheid

    Is de score indicatief voor de werkelijke competentie van de kandidaat?

  • Vier aspecten

    1. Inhoudsvaliditeit

    2. Constructvaliditeit

    3. Criteriumvaliditeit

    4. Face-validiteit


Validiteit2

Validiteit

1. Inhoudsvaliditeit

= is het instrument representatief voor (alle aspecten van) de competentie?

  • Inhoudsvaliditeit  generaliseerbaarheid

    score op het instrument  competentie in zijn geheel

  • Aanpak (kan vooraf op ingegrepen worden!)

    • Representatieve testsituatie kiezen

    • Authentieke testsituatie (opm. authenticiteit standaardisatie)

    • Alle aspecten van de competentie opnemen die men wil waarborgen

    • Normen vastleggen, eigen aan niveau dat men wil testen

    • Meerdere contexten kiezen

    • Aangepast instrument kiezen, naargelang de competentie


Validiteit3

Validiteit

2. Constructvaliditeit

= meten we enkel de competentie of ook andere (storende) factoren

  • Voorbeeld: portfolio + interview en verbale vaardigheden

  • Aanpak

    • Zoals in ACM, meerdere instrumenten voor één competentie

    • Niet holistisch beoordelen

    • Niet teveel competenties en beoordelingscriteria in één instrument (max. 7 chuncks)


Validiteit4

Validiteit

3. Criteriumvaliditeit

= discrimineert het instrument voldoende tussen de betere en de mindere kandidaat

  • Hoe criteriumvaliditeit nagaan?

    • Kan pas achteraf

    • Vergelijken van de scores op het instrument en de scores op een gerelateerd instrument

    • Vergelijkingsinstrument?

      • Combinatie van opleidingsonderdelen waarin competentie wordt aangeleerd

    • Doelgroep?

      • Criterium is de opleiding, dus best bij studenten


Validiteit5

Validiteit

4. Face-validiteit

= het ook voor de kandidaat duidelijk dat de test de beoogde competenties meet?

  • Belangrijk voor de legitimatie van het instrument, want verhoogt transparantie

  • Nadeel:

    • Kan sociale wenselijkheidsantwoorden stimuleren

    • Kan algemene validiteit van de test drukken

  • Conclusie:

    • Facevaliditeit is belangrijk, maar andere soorten validiteit zijn minstens even belangrijk

    • Facevaliditeit alleen is onvoldoende voor validiteit


Voorbeeld evc in ho

Voorbeeld EVC in HO

  • Toepassen van de traditionelecasustoets op EVC-assessment als beoordelingsmethode

    • Slechts één casus

    • Waarin meerdere competenties gelijk aan bod komen

    • Die exhaustief en nauwkeurig moet worden opgelost

      = zeer goed voor didactische doeleinden

      MAAR geeft problemen bij assessment van EVC

  • Welke problemen?

    • M.b.t. de competentie  cognitie versus gedrag

    • M.b.t. competentiecontext  inhoudspecificiteit

    • M.b.t. doel van de beoordeling  summatief

    • M.b.t. achtergronden van de kandidaat  ervaren professionals, geen beginners


Voorbeeld evc in ho1

Voorbeeld EVC in HO

  • Inhoudsspecificiteit

    = prestatie op een casus blijkt niet zomaar generaliseerbaar naar andere casussen

    • Correlatie tussen verschillende casussen blijken erg laag (zie bv. Swanson, 1978)

    • Eén casus afnemen is dus niet representatief voor hele competentie

    • Probleemoplossing is geen generieke competentie, maar varieert qua inhoudsdomein (bv. Kuipers, 2003; Schmidt, Norman en boshuizen, 1990)

       Meerdere korte casussen met representatieve steekproef van inhouden


Voorbeeld evc in ho2

Voorbeeld EVC in HO

  • Potentiële onderschatting van ervaren professionals

    • Experts hebben hun kennis georganiseerd in uitgebreide en goed georganiseerde netwerken van concepten, dit in tegenstelling tot beginners (vb. Glaser & Chi, 1983)

    • Hierdoor verloopt probleemoplossing bij ervaren professionals

      • Automatisch, door triggering, snel en minder bewust

      • Directer

      • De analyse van het probleem bevat vaak reeds de oplossing


Voorbeeld evc in ho3

Voorbeeld EVC in HO

  • Potentiële onderschatting van ervaring professionals

    • Eén casus die exhaustief en nauwkeurig moet worden opgelost

    • Onderschatting van ervaren professionals

      • Omdat ze stappen overslaan in hun redenering en hier wel op beoordeeld worden

      • Oplossingen zelf blijken wel vaak superieur aan die van beginnende beroepsbeoefenaars

      • Beginners scoren vaak beter of gelijk aan experts op dergelijke casussen (vb. Grant &Marsden, 1988)

      • Dergelijke casussen blijken zeer sterk samen te hangen met gewone kennistoetsen (tot r=1) (vb. Norcini, Swanson, Grosso & Webster 1985)

      • Bovendien blijkt expertise zeer domeinspecifiek


Voorbeeld evc in ho4

Voorbeeld EVC in HO

  • Beoordelingsmethode aanpassen

    • Meerdere korte casussen

    • Beoordelen van key-features (kernbeslissingen, essentiële elementen)

    • Grotere generaliseerbaarheid

    • Meer gerichte meting (validiteit)


Validiteit transparante samenhangende visie8

VALIDITEIT = transparante & samenhangendeVISIE:

EVC  HVC

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

Betrouwbaarheid- Stabiliteit- Herhaalbaarheid

Validiteit- Inhoud- Construct- Criterium- Face


Contact

Contact

  • An PeetersTel 016 32 09 [email protected]

  • Karine JanssensTel 09 264 70 [email protected]


  • Login