Pragmatika výzkumu v humanitních vědách

1. Pragmatika výzkumu v humanitních vědách Jan Širůček IVDMR & KP FSS MU

2. Co číst? • Téměř libovolné „handbooks“ vydané renomovanými nakladatelstvími. • APA (2002). Publication manual of the American Psychological Association.6thed.Washington: APA. • závazná pro citační aparát a pro prezentaci kvantitativních výsledků • Urbánek, T. (2007). K prezentaci výsledků statistických analýz - 1. část. Československá psychologie, 51, 6, 601-609.; 2. část. Československá psychologie, 52, 1, 70-79. • též velmi vhodné pro prezentaci kvantitativních výsledků • Kvalitní učebnice metodologie obsahují kapitoly o prezentaci výsledků. Nekvalitní bohužel často také. • Co nečíst?Lokální (=české) produkty, skripta recyklovaná od roku 1985, atd. To, že dané texty vydal Portál, Grada, Academia a spol. nemusí nic znamenat.

3. Od výzkumného problému k smysluplnému výsledku • Role výzkumného designu (plánu): • strategie řešení problému -> výzkumný projekt • v případě kvantitativních výzkumů musí téměř vždy existovat relativně konkrétní výzkumný plán před započetím empirického stadia • Tedy výzkumný plán • sjednocuje potřeby výzkumného problému s možnostmi empirického řešení • stanovuje sekvenci kroků, které k řešení vedou (či alespoň mohou vést) • svým zakořeněním v teorii umožňuje adekvátní intepretaci výsledku

4. Plánování výzkumu • Dodržení návazností je pro kvatitativní výzkum vitální – jednotlivá stadia implikují volby v dalších krocích • Obvykle je zcela nemožné měnit design během výzkumu • Nedodržení nebo chyba plánu v jediném bodě může způsobit naprosté selhání výzkumu

5. Vztah výzkumného problému, výzkumné otázky a hypotéz Výzkumný problém Výzkumná otázka a hypotézy • Vyplývá ze stavu teorie v určitých podmínkách • důsledek pnutí mezi teorií a (např. časem změněnou) každodenní realitou • Provázaností se stavem, podobou teorie implikuje paradigma (pojmový systém), v němž bude přetvořen do výzkumných otázek • je udržitelná současná představa o struktuře inteligence? • VO: Specifikace VP na jevovou úroveň • jaká je struktura inteligence? tedy, jaké dimenze inteligence má smysl diagnostikovat např. ve vztahu ke škole? • H: Specifikace VO na jedno, či sérii ověřitelných tvrzení (či gramatických otázek; na formě nezáleží) • lze diferencovat verbální a neverbální faktor inteligence? • existuje jediný faktor IQ?

6. Výsledek řešení sekvence problém -> otázka -> hypotézy • Pojmový aparát (paradigma) • Teoretické konstrukty, použitelné k odvození metod vhodných pro empirické řešení • potřebuji změřit spíš interpersonální závislost nebo styl citové vazby? • záleží spíš inteligenci nebo školní znalosti/dovednosti? • Statistické hypotézy (nejen věcná a nulová ) implikující vlastní výzkumný design • potřebuji porovnat skupiny respondentů nebo zjistit vztahy mezi jevy? • jde o kauzalitu, nebo projev souvisejících charakteristik? • Selhání v řešení sekvence způsobí: • odvození nesmyslného designu, volbu absurdních metod, vznik bezcenných • Snaha o přeskočení stupně v sekvenci způsobí: • objev kokosového ořechu (dojde k užití ad hoc metod a analýze banálních dat)

7. Hledání empirického řešení - metody • Užití metod vyplývá často spíše z otázky, než hypotéz • Metody v širším smyslu • pozorování, rozhovor, ankety, dotazníky, testy, analýza artefaktu • kvantifikovatelné nebo kvantitativně zpracovatelné jsou produkty/data téměř jakkékoliv metody, jsou-li získány v adekvátním plánu/designu • Metody v užším smyslu • psychodiagnostické metody • úzké provázání s teorií, problematická přenositelnost mimo původní rámec, problematika zaškolení a autorských práv • Bez ohledu na předchozí jsou kritické požadavky na validitu a reliabilitu • validita: konstruktová, diferenciální, dimenzionální, obsahová (přinejmenším) a indikace vůči vzorku a problému (vždy) • reliabilita dle teoretických vlastností měřeného konstruktu • metody postrádající jedno či obojí produkují náhodná nebo (hůře) systematicky chybná data • Metody implikují měřenéproměnné. Garbage in, garbage out.

8. Hledání empirického řešení – vzorek • Požadavky na vzorek vyplývají z výzkumné otázky a designu • zohledňujeme přitom možnosti (indikaci) metod k dispozici • Náhodné nebo záměrné výběry? • a jak se to vlastně má k reprezentativnosti? • a kolik jich vlastně má být? (očekáváná síla efektu) • Experimentální designy: • náhodné výběry, konstrastní skupiny, intra-subject vs. inter-subject, single case • Korelační designy: • reprezenativní a záměrné výběry, kohortové a cross-sectional výběry, drop-out • Zvláštní designy – jen při jasném způsobu analýzy!

9. Dodržení disciplíny sběru dat umožňuje intepretaci... • ... a bez intepretace je kvanti výzkum bezcenný. Kdo stojí jen o čísla? • Smysluplná interpretace je možná pouze tehdy, • dodrželi jsme-li návaznost teorie – empirie, neopustili sekvenci • neselhalo-li měření • zvládli jsme-li analýzu • chápeme-li jasně souvislost mezi změřenými jevy, jejich tabelovaným popisem (daty), výsledky jejich analýzy a původní teorií • K smysluplné intepretaci patří i reflexe slabin výzkumu • Dobrá zpráva o výzkumu nenísuccess story, ale upřímný odbornýtext. Bez ohledu na to, zda je kvali-, nebo kvanti-.

10. K problému měření v humanitních vědách* • Měření je proces, jehož předmětem jsou určité atributy určitých předmětů. Měření je smysluplné pouze • může-li být jednoznačné • předmět náleží právě do jedné třídy v dané vlastnosti; třídy jsou tedy disjunktní • je-li systematické, reprodukovatelné… tedy i popsatelné • vzpomeňme operacionální definici proměnné… z definice procesu měření vyplývá reprodukovatelnost • operacionální definice proměnné je též jednou z potřebných záruk vztahu mezi měřeným (objekty) a uvažovaným (proměnné) • lze-li odhadnout jeho spolehlivost… proč?!? • empirické měření není nikdy přímé – vždy se děje pomocí nějakého nástroje (škála, oko, člověk, přístroj…) • nepřímost měření implikuje chyby měření. • A proto se Classical Test Theory zabývá vztahem • a nebo na úrovni individuálních skórů vztahem • CTT se tedy zabývá vztahy mezi měřenými hodnotami, chybou měření a skutečnými hodnotami. … celkový (měřením získaný) rozptyl, rozptyl true-score, chybový rozptyl … naměřené skóre, true-score, chyba – pro dané pozorování * Půlpán, 2000.

11. Zdroje chyby měření • Nástroj měření • Zvolený nástroj neměří přesně – není vybaven odpovídající škálou, je“hrubý“: Měření rozměrů podlahy pravítkem; záměna nástroje pro patologickou populaci nástrojem pro normu a naopak • Pozorovatel • Přesnost: kompetence – percepční schopnosti, znalosti, zaškolení: reakční čas u stopek, nedostatečné pochopení klasifikačních kriterií v případě kvalitativního výzkumu • Objektivita: názorová nezaujatost (deklarovaná i cenzurovaná), predispozice znalostmi, kulturou, výchovou: Odhad úrovně schopnosti, intelektu či morality u osoby z „nepřátelského“ etnika • Okolnosti měření • Situace a čas (a „milieu“ a „epocha“*): Význam stimulu může být dán kontextem … milieu = kultura, epocha = dějinné období; occasion a state složka rysu… krátkodobý aspekt; v tomto okamžiku a podmínkách se cítím právě tak • Měřený objekt • Měřená charakteristika „brání měření“: - tím, že je změřena, se změní (měření polohy elementární částice – Werner Heisenberg: „Relace neurčitosti“); co v psychologii? Měření objektu ovlivní (nejen právě měřené) charakteristiky objektu; obtruzivní měření má i závažné etické důsledky • Měřená veličina • nevhodně zvolená latentní proměnná/konstrukt; resp. latentní proměnná o nízké konstruktové validitě. Nesmysl není možné změřit dobře; nanejvýše je možné místo něj změřit něco jiného. „Blbec může říct pravdu jen z nesprávných důvodů.“** • Měření samo o sobě (jako proces daný výzkumníkem) • Zvolený nástroj neodpovídá měřené veličině – chyba operacionalizace: Např. odhad intelektu pomocí hodnocení školního výkonu. *Jerome Kagan, kdovíkde; **Umberto Eco, Foucaltovo kyvadlo

12. Odhad a kontrola chyb měření –– pracovní rámec CTT • Chyby vztažené k nástroji – validita a reliabilita • validita – shoda zaměření nástroje a účelu; obsahová, kriteriální, faktorová, prediktivní, empirická, ekologická… • reliabilita – relativní nepřítomnost chyby měření; stabilita v čase, konzistence, shoda paralelních forem • dané aspekty lze empiricky kontrolovat; testovat • Chyby vztažené k pozorovateli – zejména objektivita • vztahují se obvykle ke konkrétnímu (profesionálnímu) výkonu v diagnostické situaci; současně zdrojem možného zneužití nástroje; obtížně testovatelné • nerespektování podmínek pro administraci, „nespravedlnost“, interakční prvky atd. • -> mají charakter intervenujících proměnných • řeší se formálním požadavkem na standardizaci • testovat lze konzistenci posuzovatelů atd.; obtížná zobecnitelnost pro rutinní práci • Chyby vztažené k teorii – konstruktová validita • shoda nástroje a teoretického interpretačního rámce • rozšíření obsahové validity o kontext modelu či teorie; shoda empirických charakteristik dat s předpoklady teorie • Chyby interpretační – normalizace, standardizace • Navazuje na výše uvedené; týká se výlučně práce s výsledky měření • Irelevantní kontext, neznalost, „klinický vhled“, přeceňování osobní zkušenosti atd. • Toto ošetřují postupy vážení skórů => normy a intepretační postupy

13. Položky, proměnné, skóry • Položka (stimul) je operacionalizací proměnné • položka je operacionalizací/manifestací latentní proměnné, konstruktu • soubor položek k měření (latentní) proměnné je reprezentativním výběrem všech možných položek (v ideálním případě )… z tzv. banky položek • Odpověď na položku (response) • je manifestní, exogenní • je výsledkem jednání respondenta • její vztah k latentní proměnné je pouze částečný, je zatížena chybou • Hrubý skór (raw score) • Obvykle suma (správných) odpovědí ve škále • Předpoklad stejné váhy všech položek/odpovědí • 20 položek ano/ne… respondent 4 ví, 2 „ví“ chybně, 14 tipuje… jaké bude nejpravděpodobnější hrubé skore? A jaké je pravé skore? • Hrubé skore je zatíženo chybou měření • Pravý skór (true score) je HS oproštěný od chyby měření… • Na individuální úrovni nelze chybu měření určit!

14. Plný strukturní model – schéma základních pojmů CTT

15. Teoretická definice reliability • Pokud platí • potom je reliabilita testu podíl variability pravých skórů k celkové variabilitě testu, tedy • jenže takto obecně definovanou reliabilitu (také) nelze přímo určit. Proto reliabilitu odhadujeme a uvažujeme nejčastěji o • stabilitě v čase • paralelních formách/split-half reliabilitě • vnitřní konzistenci • shodě posuzovatelů

16. Test-retestová reliabilita - Stabilita v čase • Metody: • korelace dvou měření (rank-order stability) • párové srovnání středních hodnot (mean stability) • Podmínky: • samotný rys musí být stabilní v čase • možnost dvojího měření v přiměřeném odstupu • Tedy nemožné u nástrojů diagnostiky aktuálního psychického stavu • Problém: reálná fluktuace rysu v čase je považována za chybu testu • Mohou existovat dokonale stabilní rysy? • Stabilita rysu (korelace TS) vs. stabilita metody (korelace HS) X1 Xn en T Sn X2 e1 S2 On e2 S1 O2 O1 rs12 rs23 ... rs.n

17. Reliabilita paralelních forem • Možnost, jak se „vyhnout“ opakování administrace stejných položek • X testů, které měří konstrukt stejným způsobem – položky jsou vybrány ze stejné domény • Mohou existovat různé stupně ekvivalence • Alternativní (pouze podobné) • Srovnatelné (srovnatelné konečné skóry) • Ekvivalentní (zajištěny stejné průměry HS a sm. odch, totožné korelace s jinými nástroji) • (Striktně) paralelní – jako ideál výběru položek z domény; stejná vnitřní struktura • Metody: • položková analýza – průměry, rozptyly, neparametrické ekvivalenty • korelace položek a forem • vyrovnávání (např. bonifikace v IST) • Značná technická náročnost, není to však neřešitelné • Problém: co když je málo manifestací? • V praxi se reliabilita paralelních forem užívá pouze u metod s efektem zácviku

18. Reliabilita jako vnitřní konsistence • Všechny položky navzájem by měly pěkně korelovat… potom jsou konzistentní a měří totéž. • Tedy – položky měří totéž, jestliže mají společným rozptyl • Cronbachův koeficient alfa: • K je počet položek, si je rozptyl i-té položky, st je rozptyl sumy položek • čím nižší je suma rozptylů položek oproti rozptylu sumy položek, tím lépe test měří… • Psychometrický paradox: • Čím více spolu položky korelují, tím „ostřeji“ se zaměřují na specifický rys. • Měříme stále přesněji stále méně – ztráta validity. • Někdy i jako cílená aktivita; de facto je to podvod (synonymní položky) • Stejně tak nemá smysl ospravedlňovat nízkou reliabilitu vyšší validitou – ta z ní nevyplývá, ba naopak. • Pro dichotomické pol. Kuder-Richardson KR20

19. Požadavky na reliabilitu • Helmstadter: • 0,5 pro hodnocení výkonu skupiny • 0,9 pro hodnocení rozdílů skupiny u dvou a více výkonů • 0,94 pro hodnocení individuálního výkonu • 0,98 pro hodnocení rozdílů dvou a více individuálních výkonů • Podceňováno :-/ • Je zřejmé, že nelze požadovat vždy všechny důkazy o reliabilitě • Možnost výpočtu směrodatné chyby: • Sxje směrodatná odchylka provedených měření • Se je směrodatná chyba; po vynásobení příslušnými kvantily normálního rozložení určuje interval spolehlivosti měření • platí však jen tehdy, lze-li měřit opakovaně

20. chyba měření v praxi • Libovolný test, 95% interval spolehlivosti, +-chyba v měřítku IQ při dané reliabilitě…

21. Validita I • Validita = shoda mezi nástrojem a měřeným rysem; obsahová charakteristika • „Validita“ (obdobně jako reliabilita) je pouze souhrnným pojmem pro velkou skupinu různých zdrojů „důkazů o validitě“ • Nástroj je v nějakém ohledu reliabilní -> tedy něco měří. (Protože je konzistentní, stabilní, ...) Ale co? • E. G. Boring„Inteligence je to, co měří test inteligence.“ • Reliabilita sama nezajišťuje validitu, je pro ni však nezbytná. • Aspekty validity (zdroje důkazů): • Obsahová: shoda mezi metodou a účelem metody (v teoretické rovině) • face validity, sample validity, factor validity • Emipirická: shoda mezi testovým skórem (výsledkem) a vnějšímkriteriem • predictive, concurrent, incremental, differencial • Je shoda mezi výsledkem měření a „realitou“? Nebo alespoň mezi metodami? • Je tedy měření informačně hodnotné? • Kostruktová: shoda metody (dimenzí metody) s teorií • Reliabilita je pohled do metody, validita je pohled ven z metody.

22. Důkazy obsahové validity I • Face validity: zjevná vs. zdánlivá • Test měří právě to, co je v něm na první pohled vidět, pozná to i laik… • Na první pohled se zdá, že test měří ... , ale měří ... • Je běžné užívat zejména WAIS (v.) jako projektivní metodu u psychiatrických pacientů • Jakýkoliv výkonnostní test může posloužit při troše snahy jako test zvládání stresové situace, úzkosti • Tedy: využití existence více zdrojů systematického rozptylu v položkách • Současně ovšem problém systematického zkreslení • Socialdesirability • Faktor „hodnocení“ (viz Osgood, sémantický diferenciál) je přítomný téměř ve všech posuzovacích škálách jako „g“ • U výkonnostních metod je to přítomnost např. časového omezení (zavádí faktor rychlosti), percepční charakteristiky atd. • z metodologického hlediska se jedná o intervenující proměnnou. • Užití testu k jinému účelu, než jeho autor zamýšlel, se považuje za porušení autorských práv.

23. Důkazy obsahové validity II • Sample validity (výběrová...) • Vlastní obsahová validita • Dána reprezentativností výběru položek z domény • Expertní posouzení atd.; konzistence posuzovatelů: koeficient konkordace (Place de la Concorde = Náměstí Svornosti) • Soulad s teorií danými pojmy v plné šíři • Současně princip reliability v některých kvalitativních paradigmatech • Faktorová validita • (Historický) přechod k vícerozměrnému pojetí... Inteligence, Sperman vs. Thurstone • Odpovídá (korelační/faktorová) struktura skórů získaných na populaci teoretickým předpokladům? • Problém reifikace (latentní proměnné jsou jen myšlené, odvozené... Stejně tak IQ je odvozené... Inteligence/temperament/... jsou tedy pouze shrnujícími výpověďmi, ne reálně existujícími charakteristikami ve smyslu např. fyzikálních rozměrů • Tautologický postup; resp. artefakt metody – na populaci získám skory nějakou metodou a z jejich struktury odvozuji teorii. Opačným postupem je ověřena platnost. TEORIE NESMÍ BÝT NIKDY ZÁVISLÁ NA METODĚ.

24. Důkazy empirické (kriteriální) validity • Odpovídá zjištění z vyšetření metodou externímu kritériu? • Např. Inteligence známky, MMPI, ROR  Psychiatrická diagnosa dle MKN • Metody: Korelace, t-test/neparametrický ekvivalent, shoda klasifikací v kontingenční tabulce (Chi2 + analýza residuálních hodnot)… • Požadavky: • Věrohodnost kritéria (hodnotnější je vždy kriterium získané z jiného typu zdroje) • adekvátnost souboru (podmínkou je dostatečná variabilita zkoumaného rysu v souboru a shoda souboru s aplikační skupinou metody) • Prediktivní validita • Vztažena vůči kriteriu v budoucnosti (r, rank-order) • Souběžná, paralelní validita (concurrent) • Shoda s kriteriem v daném momentu (r, rank-order) • => PV i SV trpí problémy analogickými se stabilitou v čase; poněkud simplexní. Požadavek na prediktivní validitu má spíše historické důvody (jedním z cílů vývojové psychologie je predikce) • Nereliabilní metody nemohou vykazovat empirickou validitu

25. Inkremetální a diferenciální validita • Inkrementální validita: „přidaná hodnota metody“ • Mějme dva testy a kritérium … T1, T2 a K • Parciální korelace ... Korelace A-C „očištěná“ od společného rozptylu A-B a B-C • Tedy: Kolik další informace přidává o kritériu test T2, poté co jsme již měřili testem T1? • => platí de facto i pro položky v konceptu vnitřní konzistence: nemají-li vůči sobě položky inkremetální validitu, jsou (až na jednu) zbytečné, neb nic nového nenaměří. • Diferenciální validita • Schopnost metody diferencovat (srov. diferenciální diagnosa) rys od jemu „podobných“. • Tedy požadavkem je naopak nízká korelace s negativně vymezeným kriteriem • Je zřejmé, že se jedná o pouze doplňkový zdroj, užitečný jen ve speciálních případech. Je však vhodné prověřovat diferenciální validitu v jakémkoliv designu s více prediktory – jev multikolinearity zcela znehodnocuje platnost vícerozměrných (lineárních) analýz. K T2 T1

26. Proč konstruktová validita • Nic nového • Cronbach & Meehl začátkem padesátých let • Postupy prokazující empirickou validitu jsou zakotveny pouze metodově... „pureempirism“ • Metody jsou však z teorií pouze odvozeny a jsou zatíženy nepřesnostmi (viz. teorém CTT, GT…) • Tyto nepřesnosti se dále násobí • Mějme test A korelující s kritériem X 0,7. Uspokojivé? • Mějme test B ověřený pouze korelací s „kriteriálním“ testem A, a to 0,7. Uspokojivé? • Navíc, ověřování validity klasickými empirickými postupy (kriteriální, obsahová, prediktivní, paralelní) postrádá komplexitu. Nevztahuje se k teorii, pouze k metodě. • Tedy nutnost vyvinout postup komplexního testování souladu metody s teorií jako celkem.

27. Jak na konstruktovou validitu • Předpokládejme, že metoda skutečně měří distinktní rysy A B C. • BF: extraverze, neuroticismus, přívětivost, svědomitost, otevřenost vůči zkušenosti • Co je známo z dosavadní (prověřené) „teorie“ o oněch rysech? • BF: že jsou platné v euroamerickém prostoru, že dimenze jsou víceméně nezávislé, že existuje shoda mezi self-report a informant-report, že jsou do jisté míry stabilní. • Formulujeme hypotézy vyplývající z výše uvedeného a testujeme je s užitím metody, jejíž KV nás zajímá. • Musí platit na všech příslušných národních vzorcích. • Korelace dimenzí (mezi sebou) musí být redundantní • (jsou-li, nemusíme už se zabývat ani diferenciální ani inkrementální validitou) • MTMM (Multi-Trait Multi Method; Campbell a Fiske, konec 50ties): • Korelace stejných dimenzí s-r a i-r musí být průkazné a věcně významné. • Ostatní korelace v MTMM Matrix musí být redundantní. • Musí být průkazná stabilita v čase. • Jsou-li hypotézy vyvráceny... • Test neměří daný konstrukt • Teoretické předpoklady jsou #&@{ (nebo se ----- něco jiného)

28. Konstrukce testové/dotazníkové metody • Metoda musí naplňovat požadavky reliability a validity • Tvorba metody je postup navrhování položek tak, aby byly (předpokládaně) validní a ve škále reliabilní, a testování těchto předpokladů. • Konstrukce metody  Analýza položek • Teorie faset (původně Guttman, poté Shye & al.) • Základem dekompozice univerza určité teorie • Mapping definitions – zobrazující definice • Série definic obsahu nějakého chování podle tendence, příležitosti a odpovědi… (O – (T <=> S) – R) • Zdeněk Pohlreich se setkává s výzvou (O) v podobě zablešené restaurace, reaguje dle své role (T, S) a strašlivě do… personál (R).

29. Dekompozice obsahového univerza:fasety modelového zadání – studijní styl • Zadání: • popsat převládající studijní styl • Situace: • Typy výkonových situací • Zkouška • Seminárka • Průběžné studium • Čas: • dlouhodobost/krátkodobost • před – v průběhu – po • Složka postoje: • Kognitivní • Afektivní • Behaviorální • Chování • Odklon • Ruminace • Prokrastinace • Řešení úkolu • Perseverace… • Afektivní • Útlum / agitace • Konkrétní emoce… • Kognitivní • Dispozice • Realizace • Znalost • Rychlost… • A tak dále… 3x5x3(x5x2x4..)

30. Dekompozice obsahového univerza II: • Vznikne tedy pomyslná matice 3x5x3(x5x2x4..) kombinací, jak formulovat položky na tentýž obecný konstrukt… • Odtud pojem „multifasetový konstrukt“ • Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce • Před zkouškou trpím silnými pocity úzkosti • Během zkoušení mívám problémy s vybavováním • Po zkoušce se obvykle odreaguji ve společnosti • Položka je tedy tvořena vždy výběrem příslušné kombinace faset, s tím, že některé mohou být „nepoužity“ • Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené.

31. Psaní položek – typy položek • Obecně: • Item stem = podnět = jádro položky = stimul • Response = odpověď = kvantifikace = …kde co. • Jedna položka může implikovat více odpovědí. • Vztah mezi odpovědí a skórem nemusí být přímý • Vážené odpovědi, interpretované odpovědi.. ROR, TAT, MMPI • Odpověď na položku není totožná se skórem položky!

32. Typy položek II: • Z hlediska úrovně měření: • Nominální – ordinální – „intervalové“ – poměrové • Z hlediska typů metody: • Testy schopností • Osobnostní dotazníky • Silové, rychlostí vs. kapacitní testy • Výkonové vs. introspektivní • Objektivní testy • Projektivní testy • V principu: existuje „správná“ či „diagnostická“ odpověď? • Formát odpovědi: • Implikuje použité statistiky: • Položky s volnou kvantifikací (čas, x-bodové škály) lze obvykle zpracovat pod CTT s předpokladem normálního rozdělení. • Položky se „správnou“, „diagnostickou“ odpovědí je nutno v konečném zpracování brát jako dichotomické. • Dichotomizace (byť sekundární) omezuje variabilitu – rozlišovací účinnost!

33. Typy položek III: formát odpovědi • Doplňování odpovědi • 7+2=…; Co mají společného obraz a socha?; Za dvacet let budu… • Vícenásobná volba • Výběr z více než 3 variant s 1 správnou odpovědí a x distraktory • Dichotomická položka • Výběr 2 variant • Mnohonásobná volba • Vlastně série dichotomií… • Spojování (párování) • „uspořádané kategorie“ resp. „stejně se jevící intervaly“ • Nikdy – zřídka – občas - často – vždy • Nucená volba • Jste spíše tolerantní, nebo náročný? • Řazení • Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý… • Neuspořádané kategorie (vícenásobná volba bez kriteriální odpovědi)

34. Skór položky a skór testu • Hrubé skore se typicky vytváří jako suma odpovědí • Diagnostických/správných • Všech u volných škál • Odpovědi mohou být vážené: • V kvantifikátoru (různým kvantifikátorům dle závažnosti podnětu odpovídají různé hodnoty) • Ve skore položky (kvantifikátory jsou vždy stejné, ale jsou jim dle závažnosti položky přisuzovány různé hodnoty) • Ukazatelem účinnosti položky jsou • Vztah ke kriteriu • Korelace se zbytkem škály • Popularita resp. obtížnost položky (srov. Guttmanovy škály) nebo • Rozpětí, rozptyl, střední hodnota – prostě rozdělení odpovědí

35. Problém nástroje měření: úroveň měření • Měření je proces… kdy jsou charakteristikám přiřazovány hodnoty. Z povahy nástroje měření a měřeného vyplývá úroveň měření. • Tradiční v humanitních vědách: nominální – pořadová – intervalová – poměrová. • Smysluplnější alternativa*: • Nominální úroveň („nominal“) • alternativní (znak přítomen/nepřítomen) • kategorická (odlišné kvality) • A | B | C | D | …k • ekvivalence? • Pořadová = ordinální úroveň („ordinal“) • 1 < 2 < 3 < k • uspořádání? • Metrická úroveň („scale“) • smysluplná je i vzdálenost dvou bodů • Intervalová • b – a = c – b … reálná čísla • Kardinální (poměrová) • 0 znamená nepřítomnost charakteristiky • Pouze kladné • Lze i násobit • (nejen) Úroveň měření implikuje možnosti práce s daty: • Nominální: • četnosti kategorií, očekávané četnosti, kontingence… • Ordinální • „čísla“ označují pouze pořadí; nebo shodná pořadí • ntily, medián, modus… • => neparametrické metody; „robustní“, „distribution free“ • Korelace: Spearman, Kendall • Vážná omezení v SEM • Metrické • záleží na rozdělení… je normální ? • střední hodnoty a rozptyl/odchylka • (ne)parametrické metody • Při normálním rozložení ideál CTT *Půlpán, 2000