validiteit van evc procedures
Download
Skip this Video
Download Presentation
Validiteit van EVC-procedures

Loading in 2 Seconds...

play fullscreen
1 / 27

Validiteit van EVC-procedures - PowerPoint PPT Presentation


  • 253 Views
  • Uploaded on

Validiteit van EVC-procedures. Karine Janssens – Universiteit Gent An Peeters – Associatie K.U.Leuven 31 januari 2008. VALIDITEIT. Validiteit = meten wat je wilt weten Wat wil je weten: visie & keuzes Meten: technische aspecten van het instrument

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Validiteit van EVC-procedures' - stacy


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
validiteit van evc procedures

Validiteit van EVC-procedures

Karine Janssens – Universiteit Gent

An Peeters – Associatie K.U.Leuven

31 januari 2008

validiteit
VALIDITEIT
  • Validiteit = meten wat je wilt weten
    • Wat wil je weten: visie & keuzes
    • Meten: technische aspecten van het instrument
  • Doel van de beoordeling  validiteitseisen
validiteit transparante samenhangende visie
VALIDITEIT = transparante & samenhangendeVISIE:

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie1
VALIDITEIT = transparante & samenhangendeVISIE:

Definitie

Leertheorie

Visie intern/extern gedragen

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie2
VALIDITEIT = transparante & samenhangendeVISIE:

Beroepscontext vs opleidingscontext

Professioneel vs academisch

Relevant en representatief

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie3
VALIDITEIT = transparante & samenhangendeVISIE:

HerkennenFormatiefDidactischOriëntering

ErkennenSummatiefAssessmentCertificering

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie4
VALIDITEIT = transparante & samenhangendeVISIE:

Taal

Cultuur

Gender

Leerstijl

Vertrouwdheid met de context (beroep vs opleiding)

Begeleiding

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie5
VALIDITEIT = transparante & samenhangendeVISIE:

Procedure

Instrumenten- Validiteit- Betrouwbaarheid

Assessoren

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

validiteit transparante samenhangende visie6
VALIDITEIT = transparante & samenhangendeVISIE:

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

CIVIEL EFFECT

Gedeeld door stakeholders

validiteit transparante samenhangende visie7
VALIDITEIT = transparante & samenhangendeVISIE:

Validiteit= geldigheid

Betrouwbaarheid= stabiliteit= herhaalbaarheid

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

betrouwbaarheid validiteit
Betrouwbaarheid & validiteit

Algemene principes

  • Assessment center methode
    • Meerdere instrumenten
    • Meerdere beoordelaars
  • Aandacht voor betrouwbaarheid en validiteit in elke fase van instrumentontwikkeling
  • Is vaak een afweging
betrouwbaarheid
Betrouwbaarheid

Definitie

  • Een assessment is betrouwbaar als het

bij een herhaalde afname dezelfde resultaten geeft

  • Betrouwbaarheid

= stabiliteit

= herhaalbaarheid

  • D.w.z. bij herhaalde meting  dezelfde resultaten

1. Over de tijd heen

2. Bij verschillende beoordelaars

  • Zoniet, spreken we van een onbetrouwbare beoordeling
betrouwbaarheid1
Betrouwbaarheid

1. Verschillen in prestatie over de tijd

  • Oorzaak van onbetrouwbaarheid

toevallige schommelingen in prestatie doorheen de tijd

  • Bronnen
    • bij de kandidaat (vb. schommelingen in concentratie)
    • bij de testsituatie (vb. volgorde van vragen)
  • Aanpak

Hoe betrouwbaarheid over de tijd heen verhogen?

- de testsituatie zoveel mogelijk standaardiseren

betrouwbaarheid2
Betrouwbaarheid

2. Verschillen tussen beoordelaars

  • Oorzaak

niet elke beoordelaar beoordeelt op dezelfde manier

= belangrijkste oorzaak van onbetrouwbaarheid

  • Bronnen: beoordelaarseffecten
    • Halo-effect
    • Sequentie-effecten
    • Beoordelingstendenties
    • Contaminatie-effecten

 Meestal onbewust!

betrouwbaarheid3
Betrouwbaarheid

Aanpak

  • Concretiseren van de beoordelingscriteria
    • competenties concretiseren in concreet waarneembaar gedrag
  • Standaardiseren van de beoordeling
    • Ondubbelzinnige beoordelingscriteria vastleggen

(beoordelingslijst of schema)

      • Duidelijk niveau vastleggen
      • Duidelijk modelantwoord maken
      • Scoringsvoorschriften
  • Training van de beoordelaars
    • Strikt toepassen van de beoordelingscriteria
    • Beoordelaarseffecten tegengaan
    • Na aparte scoring: assessorenoverleg
validiteit1
Validiteit

Definitie

  • Een instrument is valide als op basis van de resultaten

geldige conclusies kunnen getrokken worden

over de competentiedie men wil meten

  • Validiteit = geldigheid

Is de score indicatief voor de werkelijke competentie van de kandidaat?

  • Vier aspecten

1. Inhoudsvaliditeit

2. Constructvaliditeit

3. Criteriumvaliditeit

4. Face-validiteit

validiteit2
Validiteit

1. Inhoudsvaliditeit

= is het instrument representatief voor (alle aspecten van) de competentie?

  • Inhoudsvaliditeit  generaliseerbaarheid

score op het instrument  competentie in zijn geheel

  • Aanpak (kan vooraf op ingegrepen worden!)
      • Representatieve testsituatie kiezen
      • Authentieke testsituatie (opm. authenticiteit standaardisatie)
      • Alle aspecten van de competentie opnemen die men wil waarborgen
      • Normen vastleggen, eigen aan niveau dat men wil testen
      • Meerdere contexten kiezen
      • Aangepast instrument kiezen, naargelang de competentie
validiteit3
Validiteit

2. Constructvaliditeit

= meten we enkel de competentie of ook andere (storende) factoren

  • Voorbeeld: portfolio + interview en verbale vaardigheden
  • Aanpak
    • Zoals in ACM, meerdere instrumenten voor één competentie
    • Niet holistisch beoordelen
    • Niet teveel competenties en beoordelingscriteria in één instrument (max. 7 chuncks)
validiteit4
Validiteit

3. Criteriumvaliditeit

= discrimineert het instrument voldoende tussen de betere en de mindere kandidaat

  • Hoe criteriumvaliditeit nagaan?
    • Kan pas achteraf
    • Vergelijken van de scores op het instrument en de scores op een gerelateerd instrument
    • Vergelijkingsinstrument?
      • Combinatie van opleidingsonderdelen waarin competentie wordt aangeleerd
    • Doelgroep?
      • Criterium is de opleiding, dus best bij studenten
validiteit5
Validiteit

4. Face-validiteit

= het ook voor de kandidaat duidelijk dat de test de beoogde competenties meet?

  • Belangrijk voor de legitimatie van het instrument, want verhoogt transparantie
  • Nadeel:
    • Kan sociale wenselijkheidsantwoorden stimuleren
    • Kan algemene validiteit van de test drukken
  • Conclusie:
    • Facevaliditeit is belangrijk, maar andere soorten validiteit zijn minstens even belangrijk
    • Facevaliditeit alleen is onvoldoende voor validiteit
voorbeeld evc in ho
Voorbeeld EVC in HO
  • Toepassen van de traditionelecasustoets op EVC-assessment als beoordelingsmethode
    • Slechts één casus
    • Waarin meerdere competenties gelijk aan bod komen
    • Die exhaustief en nauwkeurig moet worden opgelost

= zeer goed voor didactische doeleinden

MAAR geeft problemen bij assessment van EVC

  • Welke problemen?
    • M.b.t. de competentie  cognitie versus gedrag
    • M.b.t. competentiecontext  inhoudspecificiteit
    • M.b.t. doel van de beoordeling  summatief
    • M.b.t. achtergronden van de kandidaat  ervaren professionals, geen beginners
voorbeeld evc in ho1
Voorbeeld EVC in HO
  • Inhoudsspecificiteit

= prestatie op een casus blijkt niet zomaar generaliseerbaar naar andere casussen

      • Correlatie tussen verschillende casussen blijken erg laag (zie bv. Swanson, 1978)
      • Eén casus afnemen is dus niet representatief voor hele competentie
      • Probleemoplossing is geen generieke competentie, maar varieert qua inhoudsdomein (bv. Kuipers, 2003; Schmidt, Norman en boshuizen, 1990)

 Meerdere korte casussen met representatieve steekproef van inhouden

voorbeeld evc in ho2
Voorbeeld EVC in HO
  • Potentiële onderschatting van ervaren professionals
    • Experts hebben hun kennis georganiseerd in uitgebreide en goed georganiseerde netwerken van concepten, dit in tegenstelling tot beginners (vb. Glaser & Chi, 1983)
    • Hierdoor verloopt probleemoplossing bij ervaren professionals
      • Automatisch, door triggering, snel en minder bewust
      • Directer
      • De analyse van het probleem bevat vaak reeds de oplossing
voorbeeld evc in ho3
Voorbeeld EVC in HO
  • Potentiële onderschatting van ervaring professionals
    • Eén casus die exhaustief en nauwkeurig moet worden opgelost
    • Onderschatting van ervaren professionals
      • Omdat ze stappen overslaan in hun redenering en hier wel op beoordeeld worden
      • Oplossingen zelf blijken wel vaak superieur aan die van beginnende beroepsbeoefenaars
      • Beginners scoren vaak beter of gelijk aan experts op dergelijke casussen (vb. Grant &Marsden, 1988)
      • Dergelijke casussen blijken zeer sterk samen te hangen met gewone kennistoetsen (tot r=1) (vb. Norcini, Swanson, Grosso & Webster 1985)
      • Bovendien blijkt expertise zeer domeinspecifiek
voorbeeld evc in ho4
Voorbeeld EVC in HO
  • Beoordelingsmethode aanpassen
    • Meerdere korte casussen
    • Beoordelen van key-features (kernbeslissingen, essentiële elementen)
    • Grotere generaliseerbaarheid
    • Meer gerichte meting (validiteit)
validiteit transparante samenhangende visie8
VALIDITEIT = transparante & samenhangendeVISIE:

EVC  HVC

COMPETENTIE

competentieCONTEXT

DOEL vd beoordeling

achtergronden vd KANDIDAAT

beoordelingsMETHODE

Betrouwbaarheid- Stabiliteit- Herhaalbaarheid

Validiteit- Inhoud- Construct- Criterium- Face

contact
Contact
ad