M lingar
This presentation is the property of its rightful owner.
Sponsored Links
1 / 56

Mælingar PowerPoint PPT Presentation


  • 88 Views
  • Uploaded on
  • Presentation posted in: General

Mælingar. Stefán Hrafn Jónsson 3-3-2014 Aðferðafræði III. Muna eftir gögnum. Sækja um aðgang að gögnum sem allra fyrst. You say it best when you say nothing at all Eitt augnarráð. Skipulag næstu vikna. Í dag, skilgreiningar og mælingar Mat á áreiðanleika Fimmtudag,

Download Presentation

Mælingar

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


M lingar

Mælingar

Stefán Hrafn Jónsson

3-3-2014

Aðferðafræði III


Muna eftir g gnum

Muna eftir gögnum

  • Sækja um aðgang að gögnum sem allra fyrst


M lingar

  • Yousay it best whenyousaynothing at all

  • Eitt augnarráð


Skipulag n stu vikna

Skipulag næstu vikna

  • Í dag, skilgreiningar og mælingar

    • Mat á áreiðanleika

  • Fimmtudag,

    • Mat á réttmæti

    • Þáttagreining, hugmyndir og aðgerðir

  • Næsta vika

    • Að keyra þáttagreiningu og atriðagreiningu

    • Túlkun


Skilgreiningar

Skilgreiningar

  • Ef við skilgreinum ekki hvað við eigum við með lykilhugtökum í rökræðum er hætt við misskilningi og mistökum.

  • Ef við skilgreinum ekki það sem við ætlum að mæla í rannsóknarstarfi áður en við mælum fyrirbærið er hætt við að við mælum eitthvað annað en til stóð að mæla


D mi r fr ttum

Dæmi úr fréttum

  • Gunnar Andersen: Útrásarvíkingarnir voru kjánar  „Þröngsýnir sveitalubbar“

    • Guðmann Jónasson (Blönduós) Fyrir hönd "sveitalubba" lýsi ég yfir vanþóknun á orðavali Gunnars.

    • Heimild: DV 26. febrúar 2013 og athugasemdakerfi

    • Ef Gunnar og Guðmann hefðu haft sama skilning (skilgreiningu) á hugtakinu „sveitalubbi“ er mögulegt að minna hefði verið deilt.


M lingar

  • Hvað þýðir að styðja flokk?

  • Hvað þýðir að x% landsmanna styðja flokk?


Skilgreingar eru lykilatri i m lingum

Skilgreingar eru lykilatriði í mælingum


Margar ranns knara fer ir

Margar rannsóknaraðferðir

  • Í þessu námskeiði er megináherslan spurningalistakannanir

  • Grunnhugmyndirnar eiga að nýtast ykkur í að lesa rannsóknargreinar með gagnrýnum huga og spyrja spurninga eins og:

    • Hvaða á hugtakið að mæla?

    • Hvernig er það hugtak skilgreint í rannsókninni?

    • Hvernig er aðgerðabindingin?

    • Er sú mæling sem fæst nægjanlega áreiðanleg og réttmæt nálgun á undirliggjandi hugtak?


Skilgreinum hugtaki sem vi viljum m la

Skilgreinum hugtakið sem við viljum mæla

  • Til þess að við vitum hvað við viljum mæla

  • Til þess að aðrir viti hvað við viljum mæla

  • Til að styðja við gerð mælitækis

    • Þar með að auka gæði mæling

    • Til að geta metið gæði mælinga

  • Til að niðurstöður séu skiljanlegar og trúverðugar


Skref m linga eru skilgreind fr hlutbundnu abstract a hlutbundnu concrete

Skref mælingaeru skilgreind frá óhlutbundnu (abstract) að hlutbundnu (concrete)

  • Rannsóknartilgáta byggð á fyrri kenningum og rannsóknum

  • Hugtekning (conceptualization)

    • Hugtakasmíð, það sem ýmis atriði reu tekin saman vegna sambærilegra sérkenna (orðaskrá í uppeldis og sálarfræðí)

    • Þar sem óhlutbundin (abstract) hugmynd er tekin og bætt með því að koma fram með kenningalega og hugtakalega skilgreiningu

    • er aðfinnaupphugmyndeðaskýringu og setjahanafram á huglæganhátt.

    • The act or process of stating a precise meaning or significance; formulation of a meaning.


M lingar

3. Tilgreina breytur og mælingabreytur

4. Aðgerðabinding (operationalization)

  • Tilgreina þæraðgerðir sem nauðsynlegar eru til að magnbinda eiginleika hugtaks.


Skref 1

Skref 1.

  • Tilgáta sett fram á fyrri rannsóknum og kenningum.

    • Tilgáta: Menntun fólks minnkar fordóma.


Skref 2 hugtekning

Skref 2. Hugtekning

  • Hugtekning (conceptualization)

  • Dæmi úr kennslubók (Singletonofl.): Samband menntunar og fordóma

    • Menntun og fordómar eru bara orð yfir ákveðin hugtök

    • Til að mæla undirliggjandi hugtök menntunar og fordóma þarf að skilgreina vel hvað átt er við með þessum orðum

    • Menntunerumfangvitsmunalegrar og siðferðilsegrarþjálfunar og kunnáttu.

    • Education “The extent of one’s intellectual and moral training and knowledge”.


M lingar

Dæmi

  • Menntun minnkar fordóma

    • Menntun og fordómar eru orð á hugtökum, hugtökum sem hafa mun dýpri og meiri merkingu en lýst er með þessum orðum.

    • Kenningarleg útlistun, með dæmum, (þ.e. hugtekning) stýrir þá rannsakanda við þróun mælinga

    • hugtekning auðveldar einnig lesanda að skilja hvað er átt við með þeim hugtökum sem notuð eru


Hugtekning

Hugtekning

  • Þegar hugtök eru flókin getur þurft að greina þau niður í undirþætti

  • Menntun má skipta í formlega menntun (skólagöngu) og óformlega menntun

  • Fordóma má greina niður í neikvæðar tilfinningar, staðalmyndir og tilhneigingu til mismununar


Skref 3 tilgreina breytur og m libreytur atri i

Skref 3. Tilgreina breytur og mælibreytur (atriði)

  • Breyta tekur 2 eða fleiri tölugildi (eða texta/flokka)

    • T.d. kyn, hæð eða einkunn í áfanga í félagsráðgjöf

      Greind er dæmi um skilgreint hugtak

      Greind hefur tilgreinda breytu sem tekur mörg mæligildi (IQ, greindarvísitala) meðaltal er skilgreint 100 og staðalfrávik oft 15

      Einnig þarf að tilgreina hvaða mælibreytur (atriði) eigi að vera á greindarprófinu


Fj ldi atri a

Fjöldi atriða

  • Mörg hugtök í félagsvísindum eru þess eðlis að það dugar ekki að hafa eina mælingu eða eina breytu til að mæla hugtakið.

  • Sjaldan nægjanlegt að hafa eina breytu til að mæla viðhorf, greind, stærfræðigetu eða einkunn í aðferðafræði


Skref 4 a ger abinding

Skref 4. Aðgerðabinding

  • Skilgreining á hugtaki með skýrri tilvísun og útlistun á því hvernig það er mælt. Í því felst að skilgreining þau ferli sem raða tölum á breytur til að endurspegla skilgreint hugtak.

  • Operationalization (Aðgerðabinding) is the process of defining a concept as the operations that will measure the concept (variables) through specific observations.


A ger abinding

Aðgerðabinding

  • Dæmi úr bakstri

    • Slæm (ónothæf) aðgerðabinding: Setja slatta af hveiti, sykri, egg, mjólk, lyftidufti og salti saman í skál og blandað og svo hitað við mikinn hita.

    • Nauðsynlegt að tilgreina nákvæmara magn hvers hráefnis, hvernig skal blanda þeim saman, hvað form er best, hvaða hiti og hversu lengi.


Hvernig metum vi g i m linga

Hvernig metum við gæði mælinga?

  • Ófrávíkjanleg krafa að þekkja viðfangsefnið


Rei anleiki

Áreiðanleiki

  • Raungildið er dulið. Við vitum ekki raungildið heldur aðeins mæligildið

  • Hvernig getum við þá mælt dreifni raungildis?

  • Hvernig getum við þá mælt dreifni villu?


M lingam del

Mælingamódel

Dulin breyta

D

0,7

0,7

sp1

sp3

sp2

0,49

e1

e2

e3

Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli

D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7


M lingar

  • Við notum fylgni á milli atriða (t.d. Prófspurninga ) til að geta okkur til um fylgni dulinnar breytu og atriða.


Mat rei anleika

Mat á áreiðanleika

  • Með sígildu mælingakenningunni að vopni má meta áreiðanleika með nokkrum aðferðum

  • Intercoder reliability (inter rater reliability) Samkvæmni milli matsmanna

  • Test-retest (mat-endurmat)

  • Parellel forms (samhliða form)

  • Split-half (helmingaskipta áreiðanleiki)

  • Internal consistiency (innra samræmi)

    • Cronbacks Alpha stuðull er mat á innra samræmi (áreiðanleika kvarða)


Samkv mni milli matsmanna

Samkvæmni milli matsmanna

  • Þegar tveir matsmenn nota sömu aðferð (mælitæki) til að meta og skrá einkenni t.d. fólks, dýra, innihaldsgreining dagblaða o.fl., getur komið fram villa frá hverjum matsmanni

  • Fyrir próf þarf ekki að kunna að reikna Kappa eða percent agreement

  • Inter rater reliability metur hversu gott samræmi er á milli matsmanna

    • Percent agreement (hversu oft er samræmi)

    • Kappa (tekur til greina að matsmenn geta verið sammála fyrir tilviljun)


D mi um kappa og percent agreement

Dæmi um Kappa og Percent agreement

Percentagreement

Kappa = 1,0

Percentagreement


Test retest mat endurmat

Test-retest Mat-endurmat

  • Við framkvæmum mælingu á sama hóp einstaklinga tvisvar sinnum með hæfilega löngum tíma á milli

  • Ef mælingin er nákvæm ætti hún að mæla það sama í bæði skiptin

    • Fylgnin á milli mælinga gefur til kynna áreiðanleika mælingar

    • Ef áreiðanleikinn er enginn er fylgnin 0,0

    • Ef mæling er fullkomlega áreiðanleg er fylgnin 1,0

    • Oft miðað við að fylgni minni en 0,8 sé óásættanleg, nokkuð misjafnt hvaða mörk eru sett

      • Erfitt (jafnvel ógerningur) að nota test-retest ef einkenni/eiginleiki sem mæla á breytist (mikið) yfir tíma

      • Fólk getur einnig munað hverju það svaraði í fyrra skiptið og reynt að svara til að sýna samræmi. Slíkt ofmetur áreiðanleika þar sem mat okkar á ókerfisbundinni villu í mælingum minnkar.


M lingam del mat endurmat test retest

MælingamódelMat-endurmat - test retest

Dulin breyta

Viðhorf

T=true score

X1

Atriði 1

X2

Atriði 2

X3

Atriði 3

X1

Atriði 1

X2

Atriði 2

X3

Atriði 3

e3

e1

e2

e3

e1

e2

Lagt fyrir á tíma 1

Lagt fyrir á tíma 2


M lingam del mat endurmat test retest1

Vilji til að

sýna samræmi

MælingamódelMat-endurmat - test retest

Dulin breyta

Viðhorf

T=true score

T1

Kvarði

Viðhorf á

tíma 1

T2

Kvarði

Viðhorf á

tíma 2

eT1

eT2

Villa á tíma 1

Villa á tíma 2

Fylgni á milli T1 og T2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.


Parallel forms reliability samhli a form

Parallel-Forms ReliabilitySamhliða form

  • Einnig kallað Alternate forms

  • Tvær útgáfur af kvarða sem (eiga að) mæla sama hugtak, að öðru leiti sjálfstæðar, þ.e. mismunandi atriði í hvorri mælingu

  • Áreiðanleikinn mældur með því að reikna fylgnina á milli mælinga

  • Svipað og test-retest nema að kvarðinn og atriðin eru ekki alveg eins heldur er um að ræða ný atriði sem eiga að mæla það sama


M lingam del alternate form

Mælingamódelalternate form

Dulin breyta

Viðhorf

T=true score

X1

Kvarði1

(samsettur)

Viðhorf

Útgáfa 1

X2

Kvarði2

(samsettur)

Viðhorf

útgáfa 2

e1

e2

Villa útgáfa 1

Villa útgáfa 2

Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.


Split half reliability helmingaskipta rei anleiki

Split-half reliabilityHelmingaskipta áreiðanleiki

  • Svipar til alternate form

  • Í stað tveggja fyrirlagna þá er lagður fyrir einn kvarði með mörgum atriðum

  • Áreiðanleikinn mældur með því að reikna fylgnina á milli helminga

    • T.d. 10 atriði saman í kvarða á móti öðrum 10 atriðum í sömu mælingu. Fylgni reiknuð á milli undirkvarðanna tveggja

  • Hvaða atriði eru valin saman?

    • Skipt til helminga eftir tilviljun

    • Þannig getum við fengið mismikla fylgni eftir atvikum/hvernig var skipt


M lingam del split half

MælingamódelSplit-half

Dulin breyta

Viðhorf

T=true score

H1

Kvarði

Viðhorf

Helmingur 1

H2

Kvarði

Viðhorf

Helmingur 2

e1

e2

Villa útgáfa 1

Villa útgáfa 2

Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.


Internal consistency rei anleiki byggt innra samr mi

Internal consistencyÁreiðanleiki byggt á innra samræmi

  • Áreiðanleiki metinn með því að reikna meðal fylgni milli allra atriða.

    • Meðaltalsfylgnin er mat á áreiðanleika

  • Önnur útgáfa er að reikna fylgni hvers atriðis við öll hin atriðin saman í einum kvarða

  • Mælingalíkanið er mjög svipað og áður


Coefficient alpha cronbachs alpha alpha rei anleikastu ull

Coefficient Alpha- Cronbachs alpha Alpha áreiðanleikastuðull

  • Einna mest notaður af áreiðanleikastuðlum

  • Oft kenndur við Cronbach og þá kallaður Cronbach’s alpha

  • Ef atriði eru tvíflokkabreyta þá er notuð önnur formúla

    • Kuder-Richardson formúla 20 ( KR-20 )

  • Hægt að reikna alpha annars vegar með samdreifnifylki (variance covariance matrix) og hins vegar fylgnifylki.

  • Alpha er meðaltal allra mögulegra helmingunaraðferða

  • Ef reiknað alpha er negatíf tala eða hærra en 1,0 er eitthvað mikið að gögnunum

  • Ekki er fjallað um alpha í Singleton.

    • DeVillis og Field fjalla um alpha í sínum bókum.


  • Cronbach s alpha

    Cronbach's α (alpha)

    Fyrri formúla

    Hér er N fjöldi atriða

    Erdreifnimæligildis

    Er dreifni mælibreytu (atriðis) númer i

    Leggja saman dreifni þessara N mælibreyta. Summa frá og með 1. til og með síðustu (N) mælibreytu


    Cronbach s alpha1

    Cronbach's α (alpha)

    Seinniformúla

    Standardized Cronbach's α

    Hér er N fjöldi atriða, ekki einstaklinga

    Er meðal fylgni milli allra atriða í kvarða

    http://www.youtube.com/watch?v=g5sxM9hgC3E&feature=related


    Alpha

    Alpha

    • Standardized alpha setur sama vægi á öll atriði óháð dreifni

    • Venjuleg Chronback alpha lætur atriði með mikla dreifni vega meira en atriði með litla dreifni

    • Venjuleg Chronback alpha er oftast notað nema sérstök ástæða sé til að velja Standardized útgáfuna

    • Ef dreifnin er jöfn gefa báðar formulur nánast sömu gildi

      • Tilhneiging til að standardized alpha gefi hærri tölu, en oftast er munurinn lítill


    Nokkur or um alpha

    Nokkur orð um alpha

    • Það er hægt að hækka alpha með því að fjölga atriðum jafnvel þó fylgni á milli atriða sé ekki mjög há

    • Það þarf alltaf að kanna hvort spurningar snúi rétt (sjá wordskjal-kemur síðar)

      • Stundum þarf að endurraða svarmöguleikum áður en spurningar eru slegnar saman

    • Alpha gerir ráð fyrir að kvarði mæli eina undirliggjandi vídd því þarf oft að keyra þáttagreiningu áður.

    • Ljóst ætti að vera að Alpha áreiðanleikastuðull er aðeins notaður á samsettar mælingar (þ.e. kvarða)


    D mi um pr fspurningu

    Dæmi um prófspurningu

    Standardized Cronbach's α

    Seinni formúla

    Hér er N fjöldi atriða

    Er meðal fylgni milli allra atriða í kvarða

    Rannsakanadi er með 8 atriða kvarða þar sem meðalfylgni á milli atriða er 0,7 hversu hár er áreiðanleikinn miðað við standardized cronbachs alpha

    Lausn:

    (8*0,7)/ (1+7*0,7) =0,949


    A auka rei anleika

    Að auka áreiðanleika

    • Gerðu forkönnun

    • Taktu viðtöl við fólk eftir að það svarar spurningalistanum

    • Bættu við atriðum, lengri kvarðar eru oftast með meiri áreiðanleika

    • Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn

    • Kannaðu hvað aðrir hafa gert

    • Bættu orðalag spurninga

      • Bættu fyrirmæli í spurningalistanum

    • Atriðagreining

      • Þá má sjá hvaða atriði greina á milli fólks

      • Velja atriði með mikla dreifingu, ef allir geta svarað spurningu á prófi er spurningin ekki að auka á áreiðanleika

      • Velja atriði sem hækka áreiðanleika kvarða

      • Hafna atriðum sem lækka áreiðanleikann


    Hvernig m lum vi t d

    Hvernig mælum við t.d?

    • Greind

    • Námsáhuga

    • Viðhorf til vændis

    • Viðhorf til ______

    • Hvatvísi

    • Árásargirni

    • Hjálpsemi

    • Heilsu

    • Líðan

    • Depurð

    • Fátækt

    • Streitu


    R ttm ti

    Réttmæti

    Réttmæti snýst um hvort við séum að mæla það sem við ætlum okkur að mæla

    Ef eitthvað annað en sanngildi hefur áhrif á mæligildið þá erum við ekki eingöngu að mæla það sem við ætlum okkur að mæla

    Við gætum verið að mæla það sem við viljum og eitthvað annað, óskylt eða skylt

    Hvort heldur sem það er skylt eða óskylt þá höfum við mengað mælinguna okkar, minnkað réttmætið


    N stu gl rur

    Næstu glærur


    R ttm ti1

    Réttmæti

    Hvernig metum við réttmæti?

    Flóknara að meta réttmæti en áreiðanleika

    Nokkrar leiðir til að meta réttmæti

    Huglægt mat réttmætis: (e. Subjective validity)

    Yfirborðsréttmæti (e. face validity)

    Innihaldsréttmæti (e. content validity)

    Mat réttmætis með fylgnisamböndum.

    Hugtakaréttmæti (e. construct validity)

    Viðmiðsréttmæti/forspárréttmæti (e. criterion-related validity)


    Subjective validity

    Subjective validity

    • Talað er um að yfirborðsréttmæti (e. face validity) og innihaldsréttmæti (e. content validity) sé huglægt mat á réttmæti og því síðra en viðmiðsréttmæti.


    R ttm ti2

    Réttmæti

    • Yfirborðsréttmæti - Face validity snýst um það þegar spurningar eða atriði í mælingu virðast vera að mæla það sem þeim er ætlað að mæla. Þá eru spurningar eða atriði prófs eða kvarða í heild er lesin með gagnrýnu hugafari og rannasakandi spyr sig og aðra spurninga eins og “Er þetta langa orðadæmi virkilega að mæla reiknigetu þeirra nemenda sem prófið mun vera lagt fyrir” Þekking á viðfangsefninu er mikilvægt til að meta yfirborðsréttmæti. Yfirborðsréttmæti er metið með úrskurði sem ekki felur í sér tölugildi heldur lýsingar eins og: „lélegt yfirborðsréttmæti”


    R ttm ti3

    Réttmæti

    • Innihaldsréttmæti (content validity) er svipað og yfirborðsréttmæti að því leiti að það byggir á mati rannsakanda og/eða ráðgjafa hans.

    • Hversu vel ná atriði prófs/kvarða yfir sem breiðast svið þess sem á að mæla.

    • Reikningspróf er með lítið eða lélegt innihaldsréttmæti ef prófið er aðeins með samlagningardæmi þegar það ætti einnig að mæla frádrátt. Yfirborðréttmæti hvers atriðis getur verið gott en prófið í heild skortir meiri fjölbreytileika.

    • Á sama hátt getur innihaldsréttmæti kvarða sem mælir viðhorf til fóstureyðinga verið lélegt ef aðeins er spurt um atriði sem snúa að viðhorfum til fóstureyðinga þegar félagslegs staða móður/foreldra er bágborin en ekkert um það þegar líf og heilsa móður er í hættu.

    • Mæling er sögð vera með lítið innihaldsréttmæti ef hún er ekki að mæla hugtakið á nægjanlega víðtækan hátt þó svo það sem mælt er sé vissulega að mæla hluta af því sem mæla á.


    Forsp rr ttm ti breytt gl ra

    Forspárréttmæti (breytt glæra)

    • Forspárréttmæti (predictive validity) svipar til hugtakaréttmætis. Forspárréttmæti felur í sér að tiltekin mæling eigi að spá fyrir um útkomu á annarri mælingu.

    • Dæmi greind mæld við 6 ára aldur spáir fyrir um gengi í skóla þegar nemendur eru 10 ára).


    Anna d mi

    Annað dæmi

    • Ef kenningin segir að einkunn á stúdentsprófi (bóknámsbraut) spái til um árangur í háskólanámi. Ef einhver tekur sig til og reiknar fylgnina við stúdents einkunn og árangur í háskóla.

    • Fylgnin reynist engin. Hvað er þá að?


    R ttm ti4

    Réttmæti

    • Hugtakaréttmæti (construct validity) er að sumu leiti svipað viðmiðsréttmæti að því leiti að forsendur segja til um að fylgni eigi eða eigi ekki að vera við aðrar breytur. Hugtakaréttmæti er meira byggt á kenningarlegum forsendum en viðmiðsréttmæti emperískum. T.d. gæti kenning sagt til um að greindarprófsmæling eigi ekki að vera með fylgni við kyn, þ.e. ekki eigi að greinast kynjamunur á tiltekinni mælingu. Ef munur greinist á milli kynja á þessari greindarmælingu þá er það vísbending um að hugtakaréttmæti mælingarnar er minna en það ætti að vera.


    Hugtakar ttm ti e construct validity

    Hugtakaréttmæti (e. construct validity)

    • Þegar lagt er mat á hvort hugtak eða mæling sé með fylgni við aðra mælingu í samræmi við kenningu.

    • Ef kenning tilgreinir að það sé ekki kynjamunur í greind.

    • Greindarmæling sýnir mun milli karla og kvenna.

    • Þessi munur sýnir að hugtakaréttmæti er skert.


    Lei ir til a auka r ttm ti m linga

    Leiðir til að auka réttmæti mælinga

    • Mörg sömu atriði og eiga við um aukinn áreiðanleika eiga einnig við um að auka á réttmæti.

    • Reynsla, þekking, fyrri rannsóknir, forprófanir,


    A auka r ttm ti

    Að auka réttmæti

    • Gerðu forkönnun

    • Taktu viðtöl við fólk eftir að það svarar spurningalistanum

    • Allt sem bætir áreiðanleika bætir réttmæti

    • Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn

    • Kannaðu hvað aðrir hafa gert

    • Bættu orðalag spurninga

      • Betrumbættu fyrirmæli í spurningalistanum

    • Þáttagreining

      • Tölfræðilegar aðferðir til að auka skilning á eðli þeirra kvarða sem við erum að vinna með.


  • Login