OCENJEVANJE ZANESLJIVOSTI TESTA
Download
1 / 63

OCENJEVANJE ZANESLJIVOSTI TESTA - PowerPoint PPT Presentation


  • 165 Views
  • Uploaded on

OCENJEVANJE ZANESLJIVOSTI TESTA. “V kolikšni meri na testne dosežke vplivajo slučajne napake?”. Zanesljivost K aj je zanesljivost (2 (+1) koncept zanesljivosti). Klasična testna teorija (teorija pravega dosežka):. X = T + E T = E(X) r TE = 0. Koeficient zanesljivosti.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' OCENJEVANJE ZANESLJIVOSTI TESTA' - crwys


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

OCENJEVANJE ZANESLJIVOSTI TESTA

“V kolikšni meri na testne dosežke

vplivajo slučajne napake?”

Zanesljivost

Kaj je zanesljivost (2 (+1) koncept zanesljivosti)


Klasična testna teorija

(teorija pravega dosežka):

X = T + E

T = E(X)

rTE = 0



Klasična testna teorija vs. teorija posplošljivosti

Kadar hočemo meriti neko spremenljivko (vedenje), imamo po tej teoriji vedno opraviti s celotnim področjem ali univerzumom vedenj.

Ker se univerzum vedno nanaša na zelo veliko število obnašanj v neki dejavnosti, se moramo iz čisto praktičnih razlogov odločiti za končni vzorec obnašanj.

Končni vzorec vedenj je isto kot izmerjeni dosežek v klasični testni teoriji, tako kot je univerzalni dosežek isto kot pravi dosežek v klasični psihometrični teoriji. Razlika je v tem, da teorija posplošljivosti dopušča možnost različnih alternativnih možnih univerzumov generalizacije, pri katerih vsak vsebuje drugačne vire napake merjenja.

Varianca napake je vse, kar sestavlja končni, dobljeni dosežek in ni pravi dosežek.


Varianca napake načeloma lahko “pride od koderkoli”, vendar:

(i) Sestavljanje testa(npr. posledica t.i. vzorčenja nalog ali vzorčenja vsebine).

(ii) Administriranje testa(vpliv testatorja ali medsebojnega vplivanja med testatorjem in testirancem ter testirančeva pozornost, pazljivost, natančnost, motivacija, fizično in psihično splošno počutje, prespanost, nivo testne anksioznosti, obremenjenost s čustvenimi problemi, trenutna podvrženost vplivu raznih poživljajočih ali pomirjajočih substanc ...; faktorji okolja (sobna temperatura, stopnja osvetlitve, prezračenost, hrup, prostornost in udobnost mesta testiranja za posameznika ...).

(iii) Vrednotenje rezultatov ter interpretacija. Bolj ko je test objektiviziran pri postopkih vrednotenja in razlaganja izsledkov, manjša bo napaka merjenja, ki od tod izvira. Napako, ki od tod izvira, je zelo težko kontrolirati.


Kritika KTT in koeficientov, ki izvirajo iz nje (npr. vendar: α)

Največ očitkov predpostavki, da gre pri merjenju le za slučajne napake, ki med seboj ne korelirajo in tudi ne korelirajo s pravim dosežkom.

Alwin (1989) - komponente, ki vplivajo na varianco izmerjenega dosežka:

-       dejanska vrednost,

-       lastnosti merskih postopkov,

-       napake pri konceptualizaciji in operacionalizaciji,

-       slučajne napake in

-      napake, ki so sicer slučajne glede na dejanske vrednosti, a korelirajo med seboj pri ponovljenih meritvah.

Ocena vseh komponent je praktično nemogoča, vendar lahko ocenimo vsaj nekatere od njih. KTT upošteva le (i) in (iv).

  • Težava KTT – temelji na treh predpostavkah:

    • o kongeneričnosti,

    • o -enakovrednosti,

    • o vzporednosti meritev.


X = T + E vendar:


Termini
Termini vendar:

  • xi…neodvisne merske spremenljivke

  • yi… odvisne merske spremenljivke

  • ξ (Ksi)..eksogeni latentni konstruki

  • η (eta)…endogeni latentni konstrukti

  • γ (gama)…zveze med latentnimi konstrukti

  • Λ (lambda)…zveze med merskimi spremenljivkami in latentnimi konstrukti

  • Φ (fi)…korelacije med eksogenimi latentnimi konstrukti

  • β (beta)…korelacije med endogenimi latentnimi konstrukti

  • δ (delta)…napake merjenja pri odvisnih spremenljivkah

  • ε (epsilon)…napake merjenja pri neodvisnih spremenljivkah

  • ζ (zeta)…rezidualna varianca v strukturi

  • Ψ (psi)…korelacija med rezidualnimi variancami v strukturi

  • G … m x nmatrika koeficientov eksogenih spr. x v strukturnem od.

  • B … m x mmatika koeficientov endogenih spr. h v strukturnem odnosu (Bima 0 v diagonali)


Merski modeli: vendar:

odnos med pravimi dosežki na

različnih meritvah (postavkah, testih)

izbira & interpretacija postopka

ocenjevanja zanesljivosti

  • Naslednja težava KTT: temelji na treh predpostavkah:

    • o kongeneričnosti,

    • o -enakovrednosti,

    • o vzporednosti meritev.


1. Kongenerični model: vendar:

Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost),

T in X imajo lahko različne M in SD.



2a. V bistvu (esencialno) vendar:

t - enakovredni model:

  • Kongenerični model +

  • meritve imajo enake prave variance,

  • meritve imajo lahko različne dejanske M in SD.


2b. vendar: t - enakovredni model:

  • Kongenerični model +

  • pravi dosežki (in s tem prave variance) na različnih meritvah so enaki;

  • meritve imajo lahko različne dejanske SD, vendar enake M.


Predpostavka o vendar: -enakovrednosti

αtudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi?


Predpostavka o vzporednosti meritev: vendar:

KTT računa na popolno koreliranost dejanskih spremenljivk pri prvem in ponovljenem merjenju (predpostavlja, da vsi merski postopki merijo natanko eno in isto inda se dejanske vrednosti dosežka ne spreminjajo v času).

rxx' = korelaciji med testom in retestom, pri čemer kovarianca med vzporednima meritvama daje oceno variance dejanske vrednosti odgovora.

Vemo pa, da pri merjenju v več t točkah na r med izmerjenimi dosežki vpliva:

-         (ne)stabilnost dejanskega dosežka v času,

-         specifičnost metode

-         mnogi drugi sistematični dejavniki.

Zato nižjir med merami ne pomeni nujno tudi majhne zanesljivosti merjenja.


3. Vzporedni model: vendar:

  • t - enakovredni model +

  • meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.


Preverjanje predpostavk merskih modelov
Preverjanje predpostavk merskih modelov: vendar:

  • pregled aritmetičnih sredin, varianc, kovarianc in korelacij,

    Predvsem pa:

  • konfirmatorna faktorska analiza.


NAČINI OCENJEVANJA ZANESLJIVOSTI vendar:

1. ponovno testiranje,

2. enakovredne oblike,

3. notranja skladnost.


1 ponovna meritev retest
1. PONOVNA MERITEV ( vendar: RETEST)

  • Test po določenem času ponovno apliciramo.

  • Zanesljivost = korelacija med dosežki na obeh testiranjih.

  • Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).


2 enakovredni obliki
2. ENAKOVREDNI OBLIKI vendar:

  • Imamo vsaj dve inačici testa.

  • Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja).

  • Zanesljivost = korelacija med dosežki na obeh testiranjih.


3 notranja skladnost interna konsistentnost
3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST) vendar:

  • Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov.

  • Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja.

  • Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).


Cronbachov vendar: a koeficient:

“Kovariance med postavkami so odraz prave variance postavk.”


Prednosti koeficienta a
Prednosti koeficienta vendar: a:

  • enostavno izračunljiv in razumljiv,

  • vzorčni a je nepristranska ocena populacijskega a,

  • znana vzorčna porazdelitev.


Pomanjkljivost koeficienta a
Pomanjkljivost koeficienta vendar: a:

a je enak zanesljivosti le, če so postavke vsaj v bistvu t-enakovredne;

sicer je ocena spodnje meje zanesljivosti.Vendar:

a je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.


Poseben primer vendar: a za dihotomno točkovane postavke je

Kuder-Richardsonov obrazec št. 20


Dihotomne postavke z enakimi težavnostmi: vendar:

Kuder-Richardsonov obrazec št. 21

Če so M oz. SD postavk različne, je KR21 nižji od KR20.


Zanesljivost asovno omejenih testov
Zanesljivost časovno omejenih testov: vendar:

1. merjenje odgovornih časov ali

2. test razdelimo na več delov in jih ločeno apliciramo.


Spearman-Brownov obrazec vendar: :

odnos med zanesljivostjo in dolžino testa.

  • Ocena zanesljivosti, če:

  • združimo n vzporednih postavk,

  • test podaljšamo s homogenimi postavkami,

  • iz testa izločimo naključno izbrane postavke.


Spearman-Brownov obrazec vendar:

=

a za standardizirane oz. vzporedne postavke


Razpolovitveni koeficient zanesljivosti
Razpolovitveni koeficient zanesljivosti: vendar:

1. test razdelimo na dva enaka dela (npr. parne in neparne postavke);

2. izračunamo skupni dosežek za vsak del posebej;


3a. Varianci obeh delov približno enaki: vendar:

Spearman-Brownov obrazec.

3b. Varianci obeh delov različni:

Guttmanov razpolovitveni koeficient.


SB obrazec vendar:

k = koeficient zanesljivosti testa z dolžino k,

k’= test z drugačno dolžino (k’);

n= ulomek k’/k

oziroma

dodano (odvzeto) število nalog


Hoytov postopek vendar:

dvosmerna analiza variance:

1. faktor - osebe,

2. faktor - postavke.

Notacija:

N = št.subjektov

n = št.postavk / ocenjevalcev

Xs. = povprečni odgovor osebe s

X.o = povprečni odgovor na postavki o /

povprečna ocena ocenjevalca o,

X.. = povprečje vseh odgovorov,

Ts., T.o = skupni dosežek, vsota po postavki

T.. = skupna vsota


Viri variance: vendar:

1. med subjekti:

2. med postavkami / ocenjevalci:


3. interakcija - rezidual: vendar:

4. skupna varianca:


Postopek je uporaben tudi pri dihotomnih postavkah, vendar:

vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.


Spodnja meja intervala zaupanja vendar:

za populacijski a:

Fa = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.


Tabela 6.1: vendar: Podatki za primer analize zanesljivosti (angl. reliability analysis)


(A) Koeficient alfa: vendar:

(B) Kuder-Richardsonova formula KR20- zgolj varianta formule (A)

(C) “Split-half” koeficient zanesljivosti:


-         vendar: kako zanesljivi so različni testi


  • Interpretacija koeficienta zanesljivosti vendar:

  • (VIRI VARIABILNOSTI različni za različne rxx'):

  • rxx' = 0,82 (???)

  • kaj merimo (inteligentnost, znanje, specifične sposobnosti, veščine, osebnostne lastnosti, temperament, stališča, vrednote ...)

  • kakšen koeficient smo računali


Od kod pride napaka merjenja? vendar:

Pozor: irelevantni konstantni dejavniki niso napaka merjenja (npr. testna anksioznost)!


Tabela 6.2: vendar: Kaj pomeni “napaka” glede na različne postopke preverjanja zanesljivosti


-         vendar: vpliv omejenosti obsega na zanesljivost

r = .90

Restr.

r = .30

Test B

Restr.

Test A


V vendar: pliv napake merjenja na korelacijo med t. rezultatom in kriterijem


  • Kako izboljšamo zanesljivost testa? vendar:

  • povečati objektivnost testa

  • izločiti najtežje in prelahke naloge in jih nadomestiti s srednje težkimi

  • popraviti testni rezultat za stopnjo možnosti ugibanja (pri nalogah izbirnega tipa)

  • podaljšati test

  • uporabiti sestavljen niz testov


Zanesljivost sestavljenih dosežkov vendar:

(kadar je zanesljivost komponent večja od korelacije z drugimi komponentami)

Standardizirane vrednosti:



Opomba: vendar: N = 1080. Koeficienti lestvice IQ in faktorsko osnovane lestvice so bile izračunane po obrazcu za zanesljivost kompozita (Nunnally, 1978); vrednosti za dodatne podteste (Obseg številk, Labirinti, Iskanje simbolov) niso bile vključene v te izračune.

b Povprečni rxx je bil izračunan s pretvorbo v Fisherjeve z vrednosti.

d Koeficienti zanesljivosti so računani kot Cronbachovi alfa koeficienti notranje skladnosti. Glede na tabelo 4.3a, v kateri beremo razpolovitvene koeficente notranje skladnosti, so nižji, saj je znano, da se razpolovitveni koeficienti nagibajo k precenjevanju, alfa koeficienti pa k podcenjevanju ocene zanesljivosti.


Zanesljivost vendar:

Za celotni preizkus je računan indeks zanesljivosti (IZ) kot koeficient notranje skladnosti nalog v preizkusu (Cronbachov ).

- število nalog pri izpitu

- varianca skupnega relativnega števila točk pri izpitu

- varianca relativnih točk pri določeni nalogi

Gašper Cankar (RIC) - doktorska teza:

»Standardna napaka ocenjevalnega procesa pri testih dosežka«

Izpeljava stand. napake ocenjevalnega procesa (SNOP) kot mere subjektivnosti ocenjevanja.

SNOP predstavlja del variance, ki se nanaša na spremenljivost zaradi različnih pogojev ocenj.

Cankar, G. (2004). Standardna napaka rezultatov ocenjevalnega procesa preizkusov znanja. Psihološka obzorja/Horizons of Psychology, 13(3), 63-76.


Vzporedni Testi vendar:

Testne Serije

Testne Baterije

Testni Profili

Vzporedne oblike testa.

·dolžina;

·vrsta uporabe in formalni kriteriji (čas testiranja, navodila, oblika testnega zvezka in odgovornega lista);

·težavnost posameznih nalog v testu, razporeditev po težavnost (krivulja!) kakor tudi težavnost celotnega testa;

·zanesljivost in veljavnost (oba testa isto strukturo – pri faktorsko čistih ali večfaktorskih testih).



6 do 17 vendar:

WISC

WAIS

The main idea:

Testna serija: testi, ki se razlikujejo v povprečni težavnosti, vse ostale karakteristike testov v seriji pa so enake (Binetarij, Wechslerjeve lestvice)

Testnaserija WPPSI/WISC/WAIS mora imeti primerljive IQ:

(i) za isto osebo skozi različne razvojne stopnje,

(ii) za različne osebo na isti razvojni stopnji,

(iii) za različne osebo skozi različne razvojne stopnje …

4 do 8

WPPSI

15 


Testne baterije in testni profili. vendar:

Bistveno:

(i) da je položaj posameznika prikazan relativno glede na “referenčno skupino”, torej da je normiran glede na relevantne oziroma primerljive udeležence in

(ii) da so vsi rezultati in podrezultati na isti merski lestvici (z-vrednosti ali Z-vrednosti, ali pa so percentili, T- oziroma C-lestvica.


ad