m lingar
Download
Skip this Video
Download Presentation
Mælingar

Loading in 2 Seconds...

play fullscreen
1 / 56

Mælingar - PowerPoint PPT Presentation


  • 146 Views
  • Uploaded on

Mælingar. Stefán Hrafn Jónsson 3-3-2014 Aðferðafræði III. Muna eftir gögnum. Sækja um aðgang að gögnum sem allra fyrst. You say it best when you say nothing at all Eitt augnarráð. Skipulag næstu vikna. Í dag, skilgreiningar og mælingar Mat á áreiðanleika Fimmtudag,

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Mælingar' - claudia-morton


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
m lingar

Mælingar

Stefán Hrafn Jónsson

3-3-2014

Aðferðafræði III

muna eftir g gnum
Muna eftir gögnum
  • Sækja um aðgang að gögnum sem allra fyrst
skipulag n stu vikna
Skipulag næstu vikna
  • Í dag, skilgreiningar og mælingar
    • Mat á áreiðanleika
  • Fimmtudag,
    • Mat á réttmæti
    • Þáttagreining, hugmyndir og aðgerðir
  • Næsta vika
    • Að keyra þáttagreiningu og atriðagreiningu
    • Túlkun
skilgreiningar
Skilgreiningar
  • Ef við skilgreinum ekki hvað við eigum við með lykilhugtökum í rökræðum er hætt við misskilningi og mistökum.
  • Ef við skilgreinum ekki það sem við ætlum að mæla í rannsóknarstarfi áður en við mælum fyrirbærið er hætt við að við mælum eitthvað annað en til stóð að mæla
d mi r fr ttum
Dæmi úr fréttum
  • Gunnar Andersen: Útrásarvíkingarnir voru kjánar  „Þröngsýnir sveitalubbar“
    • Guðmann Jónasson (Blönduós) Fyrir hönd "sveitalubba" lýsi ég yfir vanþóknun á orðavali Gunnars.
    • Heimild: DV 26. febrúar 2013 og athugasemdakerfi
    • Ef Gunnar og Guðmann hefðu haft sama skilning (skilgreiningu) á hugtakinu „sveitalubbi“ er mögulegt að minna hefði verið deilt.
slide8
Hvað þýðir að styðja flokk?
  • Hvað þýðir að x% landsmanna styðja flokk?
margar ranns knara fer ir
Margar rannsóknaraðferðir
  • Í þessu námskeiði er megináherslan spurningalistakannanir
  • Grunnhugmyndirnar eiga að nýtast ykkur í að lesa rannsóknargreinar með gagnrýnum huga og spyrja spurninga eins og:
    • Hvaða á hugtakið að mæla?
    • Hvernig er það hugtak skilgreint í rannsókninni?
    • Hvernig er aðgerðabindingin?
    • Er sú mæling sem fæst nægjanlega áreiðanleg og réttmæt nálgun á undirliggjandi hugtak?
skilgreinum hugtaki sem vi viljum m la
Skilgreinum hugtakið sem við viljum mæla
  • Til þess að við vitum hvað við viljum mæla
  • Til þess að aðrir viti hvað við viljum mæla
  • Til að styðja við gerð mælitækis
    • Þar með að auka gæði mæling
    • Til að geta metið gæði mælinga
  • Til að niðurstöður séu skiljanlegar og trúverðugar
skref m linga eru skilgreind fr hlutbundnu abstract a hlutbundnu concrete
Skref mælingaeru skilgreind frá óhlutbundnu (abstract) að hlutbundnu (concrete)
  • Rannsóknartilgáta byggð á fyrri kenningum og rannsóknum
  • Hugtekning (conceptualization)
    • Hugtakasmíð, það sem ýmis atriði reu tekin saman vegna sambærilegra sérkenna (orðaskrá í uppeldis og sálarfræðí)
    • Þar sem óhlutbundin (abstract) hugmynd er tekin og bætt með því að koma fram með kenningalega og hugtakalega skilgreiningu
    • er aðfinnaupphugmyndeðaskýringu og setjahanafram á huglæganhátt.
    • The act or process of stating a precise meaning or significance; formulation of a meaning.
slide13
3. Tilgreina breytur og mælingabreytur

4. Aðgerðabinding (operationalization)

  • Tilgreina þæraðgerðir sem nauðsynlegar eru til að magnbinda eiginleika hugtaks.
skref 1
Skref 1.
  • Tilgáta sett fram á fyrri rannsóknum og kenningum.
    • Tilgáta: Menntun fólks minnkar fordóma.
skref 2 hugtekning
Skref 2. Hugtekning
  • Hugtekning (conceptualization)
  • Dæmi úr kennslubók (Singletonofl.): Samband menntunar og fordóma
    • Menntun og fordómar eru bara orð yfir ákveðin hugtök
    • Til að mæla undirliggjandi hugtök menntunar og fordóma þarf að skilgreina vel hvað átt er við með þessum orðum
    • Menntunerumfangvitsmunalegrar og siðferðilsegrarþjálfunar og kunnáttu.
    • Education “The extent of one’s intellectual and moral training and knowledge”.
slide16
Dæmi
  • Menntun minnkar fordóma
    • Menntun og fordómar eru orð á hugtökum, hugtökum sem hafa mun dýpri og meiri merkingu en lýst er með þessum orðum.
    • Kenningarleg útlistun, með dæmum, (þ.e. hugtekning) stýrir þá rannsakanda við þróun mælinga
    • hugtekning auðveldar einnig lesanda að skilja hvað er átt við með þeim hugtökum sem notuð eru
hugtekning
Hugtekning
  • Þegar hugtök eru flókin getur þurft að greina þau niður í undirþætti
  • Menntun má skipta í formlega menntun (skólagöngu) og óformlega menntun
  • Fordóma má greina niður í neikvæðar tilfinningar, staðalmyndir og tilhneigingu til mismununar
skref 3 tilgreina breytur og m libreytur atri i
Skref 3. Tilgreina breytur og mælibreytur (atriði)
  • Breyta tekur 2 eða fleiri tölugildi (eða texta/flokka)
    • T.d. kyn, hæð eða einkunn í áfanga í félagsráðgjöf

Greind er dæmi um skilgreint hugtak

Greind hefur tilgreinda breytu sem tekur mörg mæligildi (IQ, greindarvísitala) meðaltal er skilgreint 100 og staðalfrávik oft 15

Einnig þarf að tilgreina hvaða mælibreytur (atriði) eigi að vera á greindarprófinu

fj ldi atri a
Fjöldi atriða
  • Mörg hugtök í félagsvísindum eru þess eðlis að það dugar ekki að hafa eina mælingu eða eina breytu til að mæla hugtakið.
  • Sjaldan nægjanlegt að hafa eina breytu til að mæla viðhorf, greind, stærfræðigetu eða einkunn í aðferðafræði
skref 4 a ger abinding
Skref 4. Aðgerðabinding
  • Skilgreining á hugtaki með skýrri tilvísun og útlistun á því hvernig það er mælt. Í því felst að skilgreining þau ferli sem raða tölum á breytur til að endurspegla skilgreint hugtak.
  • Operationalization (Aðgerðabinding) is the process of defining a concept as the operations that will measure the concept (variables) through specific observations.
a ger abinding
Aðgerðabinding
  • Dæmi úr bakstri
    • Slæm (ónothæf) aðgerðabinding: Setja slatta af hveiti, sykri, egg, mjólk, lyftidufti og salti saman í skál og blandað og svo hitað við mikinn hita.
    • Nauðsynlegt að tilgreina nákvæmara magn hvers hráefnis, hvernig skal blanda þeim saman, hvað form er best, hvaða hiti og hversu lengi.
hvernig metum vi g i m linga
Hvernig metum við gæði mælinga?
  • Ófrávíkjanleg krafa að þekkja viðfangsefnið
rei anleiki
Áreiðanleiki
  • Raungildið er dulið. Við vitum ekki raungildið heldur aðeins mæligildið
  • Hvernig getum við þá mælt dreifni raungildis?
  • Hvernig getum við þá mælt dreifni villu?
m lingam del
Mælingamódel

Dulin breyta

D

0,7

0,7

sp1

sp3

sp2

0,49

e1

e2

e3

Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli

D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

slide25
Við notum fylgni á milli atriða (t.d. Prófspurninga ) til að geta okkur til um fylgni dulinnar breytu og atriða.
mat rei anleika
Mat á áreiðanleika
  • Með sígildu mælingakenningunni að vopni má meta áreiðanleika með nokkrum aðferðum
  • Intercoder reliability (inter rater reliability) Samkvæmni milli matsmanna
  • Test-retest (mat-endurmat)
  • Parellel forms (samhliða form)
  • Split-half (helmingaskipta áreiðanleiki)
  • Internal consistiency (innra samræmi)
    • Cronbacks Alpha stuðull er mat á innra samræmi (áreiðanleika kvarða)
samkv mni milli matsmanna
Samkvæmni milli matsmanna
  • Þegar tveir matsmenn nota sömu aðferð (mælitæki) til að meta og skrá einkenni t.d. fólks, dýra, innihaldsgreining dagblaða o.fl., getur komið fram villa frá hverjum matsmanni
  • Fyrir próf þarf ekki að kunna að reikna Kappa eða percent agreement
  • Inter rater reliability metur hversu gott samræmi er á milli matsmanna
    • Percent agreement (hversu oft er samræmi)
    • Kappa (tekur til greina að matsmenn geta verið sammála fyrir tilviljun)
d mi um kappa og percent agreement
Dæmi um Kappa og Percent agreement

Percentagreement

Kappa = 1,0

Percentagreement

test retest mat endurmat
Test-retest Mat-endurmat
  • Við framkvæmum mælingu á sama hóp einstaklinga tvisvar sinnum með hæfilega löngum tíma á milli
  • Ef mælingin er nákvæm ætti hún að mæla það sama í bæði skiptin
    • Fylgnin á milli mælinga gefur til kynna áreiðanleika mælingar
    • Ef áreiðanleikinn er enginn er fylgnin 0,0
    • Ef mæling er fullkomlega áreiðanleg er fylgnin 1,0
    • Oft miðað við að fylgni minni en 0,8 sé óásættanleg, nokkuð misjafnt hvaða mörk eru sett
      • Erfitt (jafnvel ógerningur) að nota test-retest ef einkenni/eiginleiki sem mæla á breytist (mikið) yfir tíma
      • Fólk getur einnig munað hverju það svaraði í fyrra skiptið og reynt að svara til að sýna samræmi. Slíkt ofmetur áreiðanleika þar sem mat okkar á ókerfisbundinni villu í mælingum minnkar.
m lingam del mat endurmat test retest
MælingamódelMat-endurmat - test retest

Dulin breyta

Viðhorf

T=true score

X1

Atriði 1

X2

Atriði 2

X3

Atriði 3

X1

Atriði 1

X2

Atriði 2

X3

Atriði 3

e3

e1

e2

e3

e1

e2

Lagt fyrir á tíma 1

Lagt fyrir á tíma 2

m lingam del mat endurmat test retest1
Vilji til að

sýna samræmi

MælingamódelMat-endurmat - test retest

Dulin breyta

Viðhorf

T=true score

T1

Kvarði

Viðhorf á

tíma 1

T2

Kvarði

Viðhorf á

tíma 2

eT1

eT2

Villa á tíma 1

Villa á tíma 2

Fylgni á milli T1 og T2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

parallel forms reliability samhli a form
Parallel-Forms ReliabilitySamhliða form
  • Einnig kallað Alternate forms
  • Tvær útgáfur af kvarða sem (eiga að) mæla sama hugtak, að öðru leiti sjálfstæðar, þ.e. mismunandi atriði í hvorri mælingu
  • Áreiðanleikinn mældur með því að reikna fylgnina á milli mælinga
  • Svipað og test-retest nema að kvarðinn og atriðin eru ekki alveg eins heldur er um að ræða ný atriði sem eiga að mæla það sama
m lingam del alternate form
Mælingamódelalternate form

Dulin breyta

Viðhorf

T=true score

X1

Kvarði1

(samsettur)

Viðhorf

Útgáfa 1

X2

Kvarði2

(samsettur)

Viðhorf

útgáfa 2

e1

e2

Villa útgáfa 1

Villa útgáfa 2

Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

split half reliability helmingaskipta rei anleiki
Split-half reliabilityHelmingaskipta áreiðanleiki
  • Svipar til alternate form
  • Í stað tveggja fyrirlagna þá er lagður fyrir einn kvarði með mörgum atriðum
  • Áreiðanleikinn mældur með því að reikna fylgnina á milli helminga
    • T.d. 10 atriði saman í kvarða á móti öðrum 10 atriðum í sömu mælingu. Fylgni reiknuð á milli undirkvarðanna tveggja
  • Hvaða atriði eru valin saman?
    • Skipt til helminga eftir tilviljun
    • Þannig getum við fengið mismikla fylgni eftir atvikum/hvernig var skipt
m lingam del split half
MælingamódelSplit-half

Dulin breyta

Viðhorf

T=true score

H1

Kvarði

Viðhorf

Helmingur 1

H2

Kvarði

Viðhorf

Helmingur 2

e1

e2

Villa útgáfa 1

Villa útgáfa 2

Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

internal consistency rei anleiki byggt innra samr mi
Internal consistencyÁreiðanleiki byggt á innra samræmi
  • Áreiðanleiki metinn með því að reikna meðal fylgni milli allra atriða.
    • Meðaltalsfylgnin er mat á áreiðanleika
  • Önnur útgáfa er að reikna fylgni hvers atriðis við öll hin atriðin saman í einum kvarða
  • Mælingalíkanið er mjög svipað og áður
coefficient alpha cronbachs alpha alpha rei anleikastu ull
Coefficient Alpha- Cronbachs alpha Alpha áreiðanleikastuðull
  • Einna mest notaður af áreiðanleikastuðlum
  • Oft kenndur við Cronbach og þá kallaður Cronbach’s alpha
  • Ef atriði eru tvíflokkabreyta þá er notuð önnur formúla
      • Kuder-Richardson formúla 20 ( KR-20 )
  • Hægt að reikna alpha annars vegar með samdreifnifylki (variance covariance matrix) og hins vegar fylgnifylki.
  • Alpha er meðaltal allra mögulegra helmingunaraðferða
  • Ef reiknað alpha er negatíf tala eða hærra en 1,0 er eitthvað mikið að gögnunum
  • Ekki er fjallað um alpha í Singleton.
    • DeVillis og Field fjalla um alpha í sínum bókum.
cronbach s alpha
Cronbach's α (alpha)

Fyrri formúla

Hér er N fjöldi atriða

Erdreifnimæligildis

Er dreifni mælibreytu (atriðis) númer i

Leggja saman dreifni þessara N mælibreyta. Summa frá og með 1. til og með síðustu (N) mælibreytu

cronbach s alpha1
Cronbach's α (alpha)

Seinniformúla

Standardized Cronbach's α

Hér er N fjöldi atriða, ekki einstaklinga

Er meðal fylgni milli allra atriða í kvarða

http://www.youtube.com/watch?v=g5sxM9hgC3E&feature=related

alpha
Alpha
  • Standardized alpha setur sama vægi á öll atriði óháð dreifni
  • Venjuleg Chronback alpha lætur atriði með mikla dreifni vega meira en atriði með litla dreifni
  • Venjuleg Chronback alpha er oftast notað nema sérstök ástæða sé til að velja Standardized útgáfuna
  • Ef dreifnin er jöfn gefa báðar formulur nánast sömu gildi
    • Tilhneiging til að standardized alpha gefi hærri tölu, en oftast er munurinn lítill
nokkur or um alpha
Nokkur orð um alpha
  • Það er hægt að hækka alpha með því að fjölga atriðum jafnvel þó fylgni á milli atriða sé ekki mjög há
  • Það þarf alltaf að kanna hvort spurningar snúi rétt (sjá wordskjal-kemur síðar)
    • Stundum þarf að endurraða svarmöguleikum áður en spurningar eru slegnar saman
  • Alpha gerir ráð fyrir að kvarði mæli eina undirliggjandi vídd því þarf oft að keyra þáttagreiningu áður.
  • Ljóst ætti að vera að Alpha áreiðanleikastuðull er aðeins notaður á samsettar mælingar (þ.e. kvarða)
d mi um pr fspurningu
Dæmi um prófspurningu

Standardized Cronbach's α

Seinni formúla

Hér er N fjöldi atriða

Er meðal fylgni milli allra atriða í kvarða

Rannsakanadi er með 8 atriða kvarða þar sem meðalfylgni á milli atriða er 0,7 hversu hár er áreiðanleikinn miðað við standardized cronbachs alpha

Lausn:

(8*0,7)/ (1+7*0,7) =0,949

a auka rei anleika
Að auka áreiðanleika
  • Gerðu forkönnun
  • Taktu viðtöl við fólk eftir að það svarar spurningalistanum
  • Bættu við atriðum, lengri kvarðar eru oftast með meiri áreiðanleika
  • Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn
  • Kannaðu hvað aðrir hafa gert
  • Bættu orðalag spurninga
    • Bættu fyrirmæli í spurningalistanum
  • Atriðagreining
    • Þá má sjá hvaða atriði greina á milli fólks
    • Velja atriði með mikla dreifingu, ef allir geta svarað spurningu á prófi er spurningin ekki að auka á áreiðanleika
    • Velja atriði sem hækka áreiðanleika kvarða
    • Hafna atriðum sem lækka áreiðanleikann
hvernig m lum vi t d
Hvernig mælum við t.d?
  • Greind
  • Námsáhuga
  • Viðhorf til vændis
  • Viðhorf til ______
  • Hvatvísi
  • Árásargirni
  • Hjálpsemi
  • Heilsu
  • Líðan
  • Depurð
  • Fátækt
  • Streitu
r ttm ti
Réttmæti

Réttmæti snýst um hvort við séum að mæla það sem við ætlum okkur að mæla

Ef eitthvað annað en sanngildi hefur áhrif á mæligildið þá erum við ekki eingöngu að mæla það sem við ætlum okkur að mæla

Við gætum verið að mæla það sem við viljum og eitthvað annað, óskylt eða skylt

Hvort heldur sem það er skylt eða óskylt þá höfum við mengað mælinguna okkar, minnkað réttmætið

r ttm ti1
Réttmæti

Hvernig metum við réttmæti?

Flóknara að meta réttmæti en áreiðanleika

Nokkrar leiðir til að meta réttmæti

Huglægt mat réttmætis: (e. Subjective validity)

Yfirborðsréttmæti (e. face validity)

Innihaldsréttmæti (e. content validity)

Mat réttmætis með fylgnisamböndum.

Hugtakaréttmæti (e. construct validity)

Viðmiðsréttmæti/forspárréttmæti (e. criterion-related validity)

subjective validity
Subjective validity
  • Talað er um að yfirborðsréttmæti (e. face validity) og innihaldsréttmæti (e. content validity) sé huglægt mat á réttmæti og því síðra en viðmiðsréttmæti.
r ttm ti2
Réttmæti
  • Yfirborðsréttmæti - Face validity snýst um það þegar spurningar eða atriði í mælingu virðast vera að mæla það sem þeim er ætlað að mæla. Þá eru spurningar eða atriði prófs eða kvarða í heild er lesin með gagnrýnu hugafari og rannasakandi spyr sig og aðra spurninga eins og “Er þetta langa orðadæmi virkilega að mæla reiknigetu þeirra nemenda sem prófið mun vera lagt fyrir” Þekking á viðfangsefninu er mikilvægt til að meta yfirborðsréttmæti. Yfirborðsréttmæti er metið með úrskurði sem ekki felur í sér tölugildi heldur lýsingar eins og: „lélegt yfirborðsréttmæti”
r ttm ti3
Réttmæti
  • Innihaldsréttmæti (content validity) er svipað og yfirborðsréttmæti að því leiti að það byggir á mati rannsakanda og/eða ráðgjafa hans.
  • Hversu vel ná atriði prófs/kvarða yfir sem breiðast svið þess sem á að mæla.
  • Reikningspróf er með lítið eða lélegt innihaldsréttmæti ef prófið er aðeins með samlagningardæmi þegar það ætti einnig að mæla frádrátt. Yfirborðréttmæti hvers atriðis getur verið gott en prófið í heild skortir meiri fjölbreytileika.
  • Á sama hátt getur innihaldsréttmæti kvarða sem mælir viðhorf til fóstureyðinga verið lélegt ef aðeins er spurt um atriði sem snúa að viðhorfum til fóstureyðinga þegar félagslegs staða móður/foreldra er bágborin en ekkert um það þegar líf og heilsa móður er í hættu.
  • Mæling er sögð vera með lítið innihaldsréttmæti ef hún er ekki að mæla hugtakið á nægjanlega víðtækan hátt þó svo það sem mælt er sé vissulega að mæla hluta af því sem mæla á.
forsp rr ttm ti breytt gl ra
Forspárréttmæti (breytt glæra)
  • Forspárréttmæti (predictive validity) svipar til hugtakaréttmætis. Forspárréttmæti felur í sér að tiltekin mæling eigi að spá fyrir um útkomu á annarri mælingu.
  • Dæmi greind mæld við 6 ára aldur spáir fyrir um gengi í skóla þegar nemendur eru 10 ára).
anna d mi
Annað dæmi
  • Ef kenningin segir að einkunn á stúdentsprófi (bóknámsbraut) spái til um árangur í háskólanámi. Ef einhver tekur sig til og reiknar fylgnina við stúdents einkunn og árangur í háskóla.
  • Fylgnin reynist engin. Hvað er þá að?
r ttm ti4
Réttmæti
  • Hugtakaréttmæti (construct validity) er að sumu leiti svipað viðmiðsréttmæti að því leiti að forsendur segja til um að fylgni eigi eða eigi ekki að vera við aðrar breytur. Hugtakaréttmæti er meira byggt á kenningarlegum forsendum en viðmiðsréttmæti emperískum. T.d. gæti kenning sagt til um að greindarprófsmæling eigi ekki að vera með fylgni við kyn, þ.e. ekki eigi að greinast kynjamunur á tiltekinni mælingu. Ef munur greinist á milli kynja á þessari greindarmælingu þá er það vísbending um að hugtakaréttmæti mælingarnar er minna en það ætti að vera.
hugtakar ttm ti e construct validity
Hugtakaréttmæti (e. construct validity)
  • Þegar lagt er mat á hvort hugtak eða mæling sé með fylgni við aðra mælingu í samræmi við kenningu.
  • Ef kenning tilgreinir að það sé ekki kynjamunur í greind.
  • Greindarmæling sýnir mun milli karla og kvenna.
  • Þessi munur sýnir að hugtakaréttmæti er skert.
lei ir til a auka r ttm ti m linga
Leiðir til að auka réttmæti mælinga
  • Mörg sömu atriði og eiga við um aukinn áreiðanleika eiga einnig við um að auka á réttmæti.
  • Reynsla, þekking, fyrri rannsóknir, forprófanir,
a auka r ttm ti
Að auka réttmæti
  • Gerðu forkönnun
  • Taktu viðtöl við fólk eftir að það svarar spurningalistanum
  • Allt sem bætir áreiðanleika bætir réttmæti
  • Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn
  • Kannaðu hvað aðrir hafa gert
  • Bættu orðalag spurninga
    • Betrumbættu fyrirmæli í spurningalistanum
  • Þáttagreining
    • Tölfræðilegar aðferðir til að auka skilning á eðli þeirra kvarða sem við erum að vinna með.
ad