OCENJEVANJE ZANESLJIVOSTI TESTA
This presentation is the property of its rightful owner.
Sponsored Links
1 / 63

OCENJEVANJE ZANESLJIVOSTI TESTA PowerPoint PPT Presentation


  • 105 Views
  • Uploaded on
  • Presentation posted in: General

OCENJEVANJE ZANESLJIVOSTI TESTA. “V kolikšni meri na testne dosežke vplivajo slučajne napake?”. Zanesljivost K aj je zanesljivost (2 (+1) koncept zanesljivosti). Klasična testna teorija (teorija pravega dosežka):. X = T + E T = E(X) r TE = 0. Koeficient zanesljivosti.

Download Presentation

OCENJEVANJE ZANESLJIVOSTI TESTA

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Ocenjevanje zanesljivosti testa

OCENJEVANJE ZANESLJIVOSTI TESTA

“V kolikšni meri na testne dosežke

vplivajo slučajne napake?”

Zanesljivost

Kaj je zanesljivost (2 (+1) koncept zanesljivosti)


Ocenjevanje zanesljivosti testa

Klasična testna teorija

(teorija pravega dosežka):

X = T + E

T = E(X)

rTE = 0


Ocenjevanje zanesljivosti testa

Koeficient zanesljivosti


Ocenjevanje zanesljivosti testa

Klasična testna teorija vs. teorija posplošljivosti

Kadar hočemo meriti neko spremenljivko (vedenje), imamo po tej teoriji vedno opraviti s celotnim področjem ali univerzumom vedenj.

Ker se univerzum vedno nanaša na zelo veliko število obnašanj v neki dejavnosti, se moramo iz čisto praktičnih razlogov odločiti za končni vzorec obnašanj.

Končni vzorec vedenj je isto kot izmerjeni dosežek v klasični testni teoriji, tako kot je univerzalni dosežek isto kot pravi dosežek v klasični psihometrični teoriji. Razlika je v tem, da teorija posplošljivosti dopušča možnost različnih alternativnih možnih univerzumov generalizacije, pri katerih vsak vsebuje drugačne vire napake merjenja.

Varianca napake je vse, kar sestavlja končni, dobljeni dosežek in ni pravi dosežek.


Ocenjevanje zanesljivosti testa

Varianca napake načeloma lahko “pride od koderkoli”, vendar:

(i) Sestavljanje testa(npr. posledica t.i. vzorčenja nalog ali vzorčenja vsebine).

(ii) Administriranje testa(vpliv testatorja ali medsebojnega vplivanja med testatorjem in testirancem ter testirančeva pozornost, pazljivost, natančnost, motivacija, fizično in psihično splošno počutje, prespanost, nivo testne anksioznosti, obremenjenost s čustvenimi problemi, trenutna podvrženost vplivu raznih poživljajočih ali pomirjajočih substanc ...; faktorji okolja (sobna temperatura, stopnja osvetlitve, prezračenost, hrup, prostornost in udobnost mesta testiranja za posameznika ...).

(iii) Vrednotenje rezultatov ter interpretacija. Bolj ko je test objektiviziran pri postopkih vrednotenja in razlaganja izsledkov, manjša bo napaka merjenja, ki od tod izvira. Napako, ki od tod izvira, je zelo težko kontrolirati.


Ocenjevanje zanesljivosti testa

Kritika KTT in koeficientov, ki izvirajo iz nje (npr.α)

Največ očitkov predpostavki, da gre pri merjenju le za slučajne napake, ki med seboj ne korelirajo in tudi ne korelirajo s pravim dosežkom.

Alwin (1989) - komponente, ki vplivajo na varianco izmerjenega dosežka:

-       dejanska vrednost,

-       lastnosti merskih postopkov,

-       napake pri konceptualizaciji in operacionalizaciji,

-       slučajne napake in

-      napake, ki so sicer slučajne glede na dejanske vrednosti, a korelirajo med seboj pri ponovljenih meritvah.

Ocena vseh komponent je praktično nemogoča, vendar lahko ocenimo vsaj nekatere od njih. KTT upošteva le (i) in (iv).

  • Težava KTT – temelji na treh predpostavkah:

    • o kongeneričnosti,

    • o -enakovrednosti,

    • o vzporednosti meritev.


Ocenjevanje zanesljivosti testa

X = T + E


Termini

Termini

  • xi…neodvisne merske spremenljivke

  • yi… odvisne merske spremenljivke

  • ξ (Ksi)..eksogeni latentni konstruki

  • η (eta)…endogeni latentni konstrukti

  • γ (gama)…zveze med latentnimi konstrukti

  • Λ (lambda)…zveze med merskimi spremenljivkami in latentnimi konstrukti

  • Φ (fi)…korelacije med eksogenimi latentnimi konstrukti

  • β (beta)…korelacije med endogenimi latentnimi konstrukti

  • δ (delta)…napake merjenja pri odvisnih spremenljivkah

  • ε (epsilon)…napake merjenja pri neodvisnih spremenljivkah

  • ζ (zeta)…rezidualna varianca v strukturi

  • Ψ (psi)…korelacija med rezidualnimi variancami v strukturi

  • G … m x nmatrika koeficientov eksogenih spr. x v strukturnem od.

  • B … m x mmatika koeficientov endogenih spr. h v strukturnem odnosu (Bima 0 v diagonali)


Ocenjevanje zanesljivosti testa

Merski modeli:

odnos med pravimi dosežki na

različnih meritvah (postavkah, testih)

izbira & interpretacija postopka

ocenjevanja zanesljivosti

  • Naslednja težava KTT: temelji na treh predpostavkah:

    • o kongeneričnosti,

    • o -enakovrednosti,

    • o vzporednosti meritev.


Ocenjevanje zanesljivosti testa

1. Kongenerični model:

Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost),

T in X imajo lahko različne M in SD.


Ocenjevanje zanesljivosti testa

Predpostavka o kongeneričnosti


Ocenjevanje zanesljivosti testa

2a. V bistvu (esencialno)

t - enakovredni model:

  • Kongenerični model +

  • meritve imajo enake prave variance,

  • meritve imajo lahko različne dejanske M in SD.


Ocenjevanje zanesljivosti testa

2b. t - enakovredni model:

  • Kongenerični model +

  • pravi dosežki (in s tem prave variance) na različnih meritvah so enaki;

  • meritve imajo lahko različne dejanske SD, vendar enake M.


Ocenjevanje zanesljivosti testa

Predpostavka o -enakovrednosti

αtudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi?


Ocenjevanje zanesljivosti testa

Predpostavka o vzporednosti meritev:

KTT računa na popolno koreliranost dejanskih spremenljivk pri prvem in ponovljenem merjenju (predpostavlja, da vsi merski postopki merijo natanko eno in isto inda se dejanske vrednosti dosežka ne spreminjajo v času).

rxx' = korelaciji med testom in retestom, pri čemer kovarianca med vzporednima meritvama daje oceno variance dejanske vrednosti odgovora.

Vemo pa, da pri merjenju v več t točkah na r med izmerjenimi dosežki vpliva:

-         (ne)stabilnost dejanskega dosežka v času,

-         specifičnost metode

-         mnogi drugi sistematični dejavniki.

Zato nižjir med merami ne pomeni nujno tudi majhne zanesljivosti merjenja.


Ocenjevanje zanesljivosti testa

3. Vzporedni model:

  • t - enakovredni model +

  • meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.


Preverjanje predpostavk merskih modelov

Preverjanje predpostavk merskih modelov:

  • pregled aritmetičnih sredin, varianc, kovarianc in korelacij,

    Predvsem pa:

  • konfirmatorna faktorska analiza.


Ocenjevanje zanesljivosti testa

NAČINI OCENJEVANJA ZANESLJIVOSTI

1. ponovno testiranje,

2. enakovredne oblike,

3. notranja skladnost.


1 ponovna meritev retest

1. PONOVNA MERITEV (RETEST)

  • Test po določenem času ponovno apliciramo.

  • Zanesljivost = korelacija med dosežki na obeh testiranjih.

  • Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).


2 enakovredni obliki

2. ENAKOVREDNI OBLIKI

  • Imamo vsaj dve inačici testa.

  • Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja).

  • Zanesljivost = korelacija med dosežki na obeh testiranjih.


3 notranja skladnost interna konsistentnost

3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST)

  • Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov.

  • Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja.

  • Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).


Ocenjevanje zanesljivosti testa

Cronbachov a koeficient:

“Kovariance med postavkami so odraz prave variance postavk.”


Prednosti koeficienta a

Prednosti koeficienta a:

  • enostavno izračunljiv in razumljiv,

  • vzorčni a je nepristranska ocena populacijskega a,

  • znana vzorčna porazdelitev.


Pomanjkljivost koeficienta a

Pomanjkljivost koeficienta a:

a je enak zanesljivosti le, če so postavke vsaj v bistvu t-enakovredne;

sicer je ocena spodnje meje zanesljivosti.Vendar:

a je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.


Ocenjevanje zanesljivosti testa

Poseben primer a za dihotomno točkovane postavke je

Kuder-Richardsonov obrazec št. 20


Ocenjevanje zanesljivosti testa

Dihotomne postavke z enakimi težavnostmi:

Kuder-Richardsonov obrazec št. 21

Če so M oz. SD postavk različne, je KR21 nižji od KR20.


Zanesljivost asovno omejenih testov

Zanesljivost časovno omejenih testov:

1. merjenje odgovornih časov ali

2. test razdelimo na več delov in jih ločeno apliciramo.


Ocenjevanje zanesljivosti testa

Spearman-Brownov obrazec:

odnos med zanesljivostjo in dolžino testa.

  • Ocena zanesljivosti, če:

  • združimo n vzporednih postavk,

  • test podaljšamo s homogenimi postavkami,

  • iz testa izločimo naključno izbrane postavke.


Ocenjevanje zanesljivosti testa

Spearman-Brownov obrazec

=

a za standardizirane oz. vzporedne postavke


Razpolovitveni koeficient zanesljivosti

Razpolovitveni koeficient zanesljivosti:

1. test razdelimo na dva enaka dela (npr. parne in neparne postavke);

2. izračunamo skupni dosežek za vsak del posebej;


Ocenjevanje zanesljivosti testa

3a. Varianci obeh delov približno enaki:

Spearman-Brownov obrazec.

3b. Varianci obeh delov različni:

Guttmanov razpolovitveni koeficient.


Ocenjevanje zanesljivosti testa

SB obrazec

k = koeficient zanesljivosti testa z dolžino k,

k’= test z drugačno dolžino (k’);

n= ulomek k’/k

oziroma

dodano (odvzeto) število nalog


Ocenjevanje zanesljivosti testa

Hoytov postopek

dvosmerna analiza variance:

1. faktor - osebe,

2. faktor - postavke.

Notacija:

N = št.subjektov

n = št.postavk / ocenjevalcev

Xs. = povprečni odgovor osebe s

X.o = povprečni odgovor na postavki o /

povprečna ocena ocenjevalca o,

X.. = povprečje vseh odgovorov,

Ts., T.o = skupni dosežek, vsota po postavki

T.. = skupna vsota


Ocenjevanje zanesljivosti testa

Viri variance:

1. med subjekti:

2. med postavkami / ocenjevalci:


Ocenjevanje zanesljivosti testa

3. interakcija - rezidual:

4. skupna varianca:


Ocenjevanje zanesljivosti testa

Postopek je uporaben tudi pri dihotomnih postavkah,

vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.


Ocenjevanje zanesljivosti testa

Spodnja meja intervala zaupanja

za populacijski a:

Fa = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.


Ocenjevanje zanesljivosti testa

Tabela 6.1: Podatki za primer analize zanesljivosti (angl. reliability analysis)


Ocenjevanje zanesljivosti testa

(A) Koeficient alfa:

(B) Kuder-Richardsonova formula KR20- zgolj varianta formule (A)

(C) “Split-half” koeficient zanesljivosti:


Ocenjevanje zanesljivosti testa

-         kako zanesljivi so različni testi


Ocenjevanje zanesljivosti testa

  • Interpretacija koeficienta zanesljivosti

  • (VIRI VARIABILNOSTI različni za različne rxx'):

  • rxx' = 0,82 (???)

  • kaj merimo (inteligentnost, znanje, specifične sposobnosti, veščine, osebnostne lastnosti, temperament, stališča, vrednote ...)

  • kakšen koeficient smo računali


Ocenjevanje zanesljivosti testa

Od kod pride napaka merjenja?

Pozor: irelevantni konstantni dejavniki niso napaka merjenja (npr. testna anksioznost)!


Ocenjevanje zanesljivosti testa

Tabela 6.2: Kaj pomeni “napaka” glede na različne postopke preverjanja zanesljivosti


Ocenjevanje zanesljivosti testa

-         vpliv omejenosti obsega na zanesljivost

r = .90

Restr.

r = .30

Test B

Restr.

Test A


Ocenjevanje zanesljivosti testa

Vpliv napake merjenja na korelacijo med t. rezultatom in kriterijem


Ocenjevanje zanesljivosti testa

  • Kako izboljšamo zanesljivost testa?

  • povečati objektivnost testa

  • izločiti najtežje in prelahke naloge in jih nadomestiti s srednje težkimi

  • popraviti testni rezultat za stopnjo možnosti ugibanja (pri nalogah izbirnega tipa)

  • podaljšati test

  • uporabiti sestavljen niz testov


Ocenjevanje zanesljivosti testa

Zanesljivost sestavljenih dosežkov

(kadar je zanesljivost komponent večja od korelacije z drugimi komponentami)

Standardizirane vrednosti:


Ocenjevanje zanesljivosti testa

Zanesljivost sestavljenih dosežkov


Ocenjevanje zanesljivosti testa

Opomba: N = 1080. Koeficienti lestvice IQ in faktorsko osnovane lestvice so bile izračunane po obrazcu za zanesljivost kompozita (Nunnally, 1978); vrednosti za dodatne podteste (Obseg številk, Labirinti, Iskanje simbolov) niso bile vključene v te izračune.

b Povprečni rxx je bil izračunan s pretvorbo v Fisherjeve z vrednosti.

d Koeficienti zanesljivosti so računani kot Cronbachovi alfa koeficienti notranje skladnosti. Glede na tabelo 4.3a, v kateri beremo razpolovitvene koeficente notranje skladnosti, so nižji, saj je znano, da se razpolovitveni koeficienti nagibajo k precenjevanju, alfa koeficienti pa k podcenjevanju ocene zanesljivosti.


Ocenjevanje zanesljivosti testa

Zanesljivost

Za celotni preizkus je računan indeks zanesljivosti (IZ) kot koeficient notranje skladnosti nalog v preizkusu (Cronbachov ).

- število nalog pri izpitu

- varianca skupnega relativnega števila točk pri izpitu

- varianca relativnih točk pri določeni nalogi

Gašper Cankar (RIC) - doktorska teza:

»Standardna napaka ocenjevalnega procesa pri testih dosežka«

Izpeljava stand. napake ocenjevalnega procesa (SNOP) kot mere subjektivnosti ocenjevanja.

SNOP predstavlja del variance, ki se nanaša na spremenljivost zaradi različnih pogojev ocenj.

Cankar, G. (2004). Standardna napaka rezultatov ocenjevalnega procesa preizkusov znanja. Psihološka obzorja/Horizons of Psychology, 13(3), 63-76.


Ocenjevanje zanesljivosti testa

Vzporedni Testi

Testne Serije

Testne Baterije

Testni Profili

Vzporedne oblike testa.

·dolžina;

·vrsta uporabe in formalni kriteriji (čas testiranja, navodila, oblika testnega zvezka in odgovornega lista);

·težavnost posameznih nalog v testu, razporeditev po težavnost (krivulja!) kakor tudi težavnost celotnega testa;

·zanesljivost in veljavnost (oba testa isto strukturo – pri faktorsko čistih ali večfaktorskih testih).


Ocenjevanje zanesljivosti testa

  • Lienert in Raatz (1994): enakovrednost v …

  • veljavnosti,

  • zanesljivosti,

  • karakteristikah razpršenosti in

  • lastnostih frekvenčne porazdelitve pri posameznih nalogah in v celotnem testu


Ocenjevanje zanesljivosti testa

6 do 17

WISC

WAIS

The main idea:

Testna serija: testi, ki se razlikujejo v povprečni težavnosti, vse ostale karakteristike testov v seriji pa so enake (Binetarij, Wechslerjeve lestvice)

Testnaserija WPPSI/WISC/WAIS mora imeti primerljive IQ:

(i) za isto osebo skozi različne razvojne stopnje,

(ii) za različne osebo na isti razvojni stopnji,

(iii) za različne osebo skozi različne razvojne stopnje …

4 do 8

WPPSI

15 


Ocenjevanje zanesljivosti testa

Testne baterije in testni profili.

Bistveno:

(i) da je položaj posameznika prikazan relativno glede na “referenčno skupino”, torej da je normiran glede na relevantne oziroma primerljive udeležence in

(ii) da so vsi rezultati in podrezultati na isti merski lestvici (z-vrednosti ali Z-vrednosti, ali pa so percentili, T- oziroma C-lestvica.


  • Login