Koncept kvality výběrových šetření Jindřich Krejčí

1. Management sociálních dat a datové archivy Kurz ISS FSV UK Koncept kvality výběrových šetření Jindřich Krejčí

2. Literatura • Groves, R. 1987. "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTOR • Krejčí, J. 2010. „Approaching Quality in Survey Research: Towards a Comprehensive Perspective“. Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033. • Soukup, P. & L. Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379-395. • Soukup, P. 2010. “Nesprávná užívání statistické významnosti a jejich možná řešení”. Data a výzkum - SDA Info 4(2): 77-104. http://archiv.soc.cas.cz/download/1082/DaV10_2_s77_104.pdf

3. Groves, R. 1989. Survey Errors and Survey Costs. Wiley. • Biemer, P. P. and L. E. Lyberg 2003. Introduction to Survey Quality. Wiley. • Anderson, R., J. Kasper, M. Frankel et al. 1979. Total Survey Error. Jossey-Bass. • Biemer, P. P. 2004. Measurement Errors in Surveys. Wiley. • Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Akad. Verlag. • Lessler, J. T., W. D. Kalsbeek 1992. Nonsampling Errors in Surveys. Wiley. • Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, and D. Trewin (eds.) 1997. Survey Measurement and Process Quality. Wiley. • Jeřábek - měření v soc. vědách • Řehák et al. Sociologický čas. 1998: Kvalita dat I... III... • Kreidl - SČ/CSR, Kvalita vol. výzkumů • Krejčí - Kvalita výběrových šetření • Vinopal • ....

4. Výběrová šetření v sociologii - dva zdroje • matematická statistika • výběr • přesnost • dvě dimenze: accuracy, precision • dvě perspektivy: bias, variable variance • výběrová chyba a nevýběrové chyby • psychometrie • výzkumný nástroj • validita a reliabilita • validita = schopnost měřit koncept, který chceme měřit (koncept) • reliabilita = přesnost, konzistentnost měření (nástroj) • reliabilita je jednou z podmínek validity

5. Různá využití metody = různá očekávání • výběrové šetření v různých oborech(sociologie, psychometrie, ekonometrie...) • bodové odhady vs. testování modelů • realizátoři šetření vs. analytici • proces šetření vs. odhad chyby • matematická statistika g spočitatelná výběrová chyba, nevýběrové chyby jako nevyjádřený zbytek • v sociologii jiná data, než v příkladech počtu pravděpodobnosti g provedení hraje velkou roligvýběr jen zřídka prostý náhodnýg spočítat celkovou chybu je nereálný cíl • problém přeceňování statistické signifikancepřeceňování, chybné používání (viz Rabušic a Soukup)

6. Způsob provedení šetření má velkou roli "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe ASA & AAPOR g komplexní přístup ke kvalitě g vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb

7. Současné přístupy ke kvalitě • vícedimenzionalita - přesnost je jen jednou z dimenzí • problémům je třeba předcházet - kvalita produkce se dosahuje pomocí kvality procesu • kvalita = „fit to use“ • efektivita: chyby vs. náklady (viz Groves) • přesnost je náročné a drahé měřit, v praxi se to moc nedělá • změření chyby po skončení šetření má omezené dopady • mechanický přístup ke kvalitě nevede ke zlepšování kvality • koncentrace na odhady přesnosti vede k neefektivitě • celkový management kvality (TQM) • vývoj: model U.S. Census Bureau (Hansen et al., 50. léta); institucionalizace: statistické úřady, normy a standardy, výzkumné asociace g výzk. agentury, akademický výzkum

8. Dimenze kvality v Eurostatu • Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. • Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. • Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. • Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. • Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. • Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely.

9. Přesnost vs. chyby šetření • zásadní pro statistické testy a verifikaci výsledků • přesnost se zjišťuje pomocí svého negativu, tj. chyby • chyby specifické pro jednotl. statistiky, tj. chyba šetření = průměrná (kvadratická) chyba • proces realizace šetření g různé druhy chyb • reprezentativita • cílová populace • opora výběru • výběr • respondent - spolupráce • úpravy reprez. po sběru dat (imputace, vážení,...) • měření • konstrukt • měření (otázka, pozorování) • respondent - odpověď • záznam, editace odpovědi chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby zpracování chyby měření chyby úprav souboru