Twarze sonda y
Download
1 / 107

Twarze sondaży - PowerPoint PPT Presentation


  • 146 Views
  • Uploaded on

Twarze sondaży. Henryk Banaszak Warsztat 2013. Nieznana proporcja zielonych w populacji . Znana własność próby. skład próby:. k kulek zielonych. losowanie . obliczenia. pytanie. ze zwracaniem . Estymacja p. odpowiedź. wniosek. Czym jest sondaż. błąd. zawsze. Populacja.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Twarze sondaży' - bertha


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Twarze sonda y

Twarze sondaży

Henryk Banaszak

Warsztat

2013


Nieznana proporcja zielonych w populacji

Znana własność próby

skład próby:

k kulek zielonych

losowanie

obliczenia

pytanie

ze zwracaniem

Estymacja p

odpowiedź

wniosek

Czym jest sondaż

błąd

zawsze

Populacja

Schemat doboru próby

Metoda wnioskowania


Sondaż jest badaniem statystycznym

Przedmiot

populacja

Cel

zestaw pytańna temat populacji

zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania

Zakres

Metoda

badanie próbypobieranej z badanej populacjiwedług schematu opisywanego w kategoriach probabilistycznych

Wynik

odpowiedzi na pytaniana temat populacjina podstawie analizy łącznego rozkładu zmiennychwyznaczonych w próbiedobranej wedle schematu opisywanego w kategoriach probabilistycznych; oszacowania parametrów populacji + błąd oszacowań


Wynik sondażu zawsze zawiera błąd

Populacja

Field-work

Próba zbadana

1600

3

Non- response (400)

Próba wylosowana

4

No answer (30%)

2000

5

False responses (5%)

Operat

1

Dziurawa, stara

2

lista obiektów populacji

Źródła dodatkowego błędu oszacowań

Złożony wielstopniowy

Schemat doboru próby

Dlatego błąd jest prawie zawsze większy niż


Specyfika badania statystycznego
Specyfika badania statystycznego

  • Wynik badania jest parametrem statystycznym

  • Wynik badania jest obciążony błędem

  • Wielkość błędu można wyliczyć znając:

    • Własności operatu

    • Schemat doboru próby

    • Poziom non-response

    • Poziom braków odpowiedzi

    • Jakość realizacji (false records)

Czynniki 3, 4 i 5 zależą głównie od wykonawcy badania


Kogo potrzebujemy w sondażu?

Teoria zjawiska

Teoria pomiaru

Dobór póby, fieldwork, estymacja

Teoria skalowania

Analiza danych

Dobór wskaźników

Statystyczneodpowiedzi na statystycznepytania

Błąd !!!

„KWESTIONARIUSZ”

Interpretacjawyników analizw teorii zjawiska

Pytania statystyczne

kompetencje statystyczne

Zmienne statystyczne


Podzia zada i odpowiedzialno ci
Podział zadań i odpowiedzialności

Zamawiający

Zadaje pytania o stan populacji: JAK/CZY

Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz

Przekłada swoje pytania na pytania statystyczne

Definiuje dopuszczalny poziom błędu oszacowań

Definiuje jakościowe kryteria wykonania „field-work” (przetarg)

Statystyk zamawiającego

Szuka operatu doboru próby

Projektuje optymalny dla operatu i kosztów badania schemat doboru próby

Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5

Uczestniczy w interpetacji wyników analizy danych


Taki podzia r l i zada jest mo liwy gdy
Taki podział ról i zadań jest możliwy, gdy

zamawiający:

umie badanie zaprojektować,

umiekontrolować jakość realizacji

umie wyniki wykorzystać

Często zamawiający nie umie 1, 2, 3 Często zamawiający nie wie że powinien umieć


Budżet badania

Koszt realizacji

Wielkość próby

Dokładność oszacowań

Koszt jakości

Koszt dojazdów

Schemat doboru próby

Jakość realizacji badania

Fieldwork

Operat

Czas trwania - koszt 1 wywiadu

Response-rate

Missing values

False records

Koszt operatu

Kwestionariusz

Pominięte pytanie

Odmowa odpowiedzi

Odpowiedzialność zamawiającego

Odpowiedzialność wykonawcy



Kto zamawia sonda
Kto zamawia sondaż

  • nadawca, wydawca, dziennikarz

  • urzędnikpublicznej administracji

  • sprzedawca, producent, agencja reklamowa

  • naukowiec, zazwyczaj socjolog


teoria

Po co zamawia

Aby poinformować widownię o jej preferencjach, nastrojach, ocenach wydarzeń, instytucji i osób

Media

Diagnoza potrzeb, ocena efektywności programów (unijnych), konsultacje decyzji, ocena jakości usług publicznych

Administracja

Rozpoznanie klientów obecnych i potencjalnych (segmentacja, szacowanie popytu), wyznaczanie optymalnych cen produktów, ocena efektywności kampanii reklamowej

Rynek

Test hipotez teoretycznych, eksploracja struktury populacji, identyfikacja trendów, modelowanie dynamiki populacji (nauki społeczne, medyczne)

Nauka


Praktyka – patologia?

Po co płaci

Aby utrzymać lub zwiększyć swoje audytorium: liczbę widzów, czytelników

Media

Administracja

Aby wydać środki zaplanowane na badanie

Aby podjąć optymalne decyzje o inwestycjach, polityce cenowej, kampanii relamowej

Rynek

Nauka

Rozszerzyć lub zweryfikować wiedzę o populacji

Kto potrzebuje sondażu dobrej jakości aby osiągnąć swój faktyczny cel ?


Sondaż dobrej jakości

  • Odpowiada na pytania:

  • które zamawiający postawił [ZAMAWIAJĄCY]

  • Odpowiada wystarczająco precyzyjnie [WYKONAWCA]

  • Odpowiada wiarygodnie [WYKONAWCA]


Dobry sonda
Dobry sondaż

  • Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe [ZAMAWIAJĄCY]

  • Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów [ZAMAWIAJĄCY]

  • Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego [WYKONAWCA]

  • Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie [ZAMAWIAJĄCY]


Kwestionariusz – Próba – Realizacja – Analiza danych

Kwestionariusz

Kwestionariusz – Próba – Realizacja – Analiza danych


Dobry kwestionariusz zadanie dla zamawiaj cego
Dobry kwestionariusz: zadanie dla zamawiającego

Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe

  • Odpowiedzi to wskaźniki

  • Wskaźnikicechy ukrytej

Teoriazjawiska, teoriareakcji, teoriaskalowania

model pomiarowy

Cecha ukryta

(estymacja parametru populacji)


Inteligentne wska niki
Inteligentne wskaźniki

Szacowanie frekwencji wyborczej w wyborach parlamentarnych

Jak Pan(i)sądzi, jaka będzie

frekwencja w wyborachw najbliższą niedzielę?

Czyzamierza Pan(i)wziąć udziałw wyborachw najbliższą niedzielę?

1. Tak2. Nie3. Nie wiem

|___| %

Średnia odsetków podawanych przez respondentów

% odpowiedzi TAK


Inteligentne wska niki1
Inteligentne wskaźniki

Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa

Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap)

Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap)

Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive)

Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive)

Za ile kupiłbyś produkt?

|_______| zł

kwota średniaśrodkowa


Skalowanie z o one sei
Skalowanie złożone – SEI

Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu


Skalowanie z o one poziom zadowolenia z
Skalowanie złożone: poziom zadowolenia z ….

Bardzo zadowolony(a)

Zadowolony(a)

Niezadowolony(a)

Bardzo niezadowolony(a)

Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ?

% odpowiedzi 1, 2

Jak bardzo zadowolony(a) jest Pan(i)

X1

ze swoich sąsiadów

Cecha ukryta:

poziom zadowoleniaZ

X2

z poziomu czystości

Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy?

Y

X3

z zaopatrzenia sklepów

X4

z placówek kulturalnych

X5

z poziomu bezpieczeństwa

Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y

Wskaźniki typu „źródła”

Wskaźniki typu „skutki”


Skalowanie z o one american consumer satisfaction index acsi

Q1

ogólne oczekiwania

Q9

czy złożył skargę

poziom wymagańwzględem usługi

skargi na jakość usługi i sposób

ich załatwiania

Q6

ogólna satysfakcja

Q5

ogólna ocena jakości

Q10A/B

reakcja na skargę

poziom satysfakcji z usługi

Q11

polecanie usługi innym

Q8

porównaniez ideałem

wskaźnikijakości

zaufanie do jakości usługiw przyszłości

Q7

spełnianie oczekiwań

Q12

wiara w stabilność poziomu jakości

Q2

ocena jakości wymiaru 1

Q3

ocena jakości wymiaru 2

Q4

ocena jakości wymiaru 3

Skalowanie złożone: American Consumer Satisfaction Index (ACSI)

Jak bardzo zadwolony(a) jest Pan(i) z usługi?

Bardzo zadowolony(a)

Zadowolony(a)

Niezadowolony(a)

Bardzo niezadowolony(a)

% odpowiedzi 1, 2

odczuwana jakość usługi

Model pomiarowy ACSI dla usług


Skalowanie poziomu ekonomicznego i kulturowego kapita u jednostki

Źródła kapitału ekonomicznego

Kapitał sieciowy

Źródła kapitału kulturowego

Manifestacje kapitału ekonomicznego

Manifestacje kapitału kulturowego

Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki

KE-in

Model skalowania strukturalnego inspirowany przez teorię Bourdieu

KK-in

KE-out

KK-out

KE-in

KK-in

Wskaźniki

Wskaźniki

KK-out

KE-out

Wskaźniki

Wskaźniki


Kwestionariusz – Próba – Realizacja – Analiza danych

Próba

Kwestionariusz – Próba – Realizacja – Analiza danych


Schemat logiczny wnioskowania w sondażu

Dobór próby (1)

Populacja

n-elementowa próba losowa z populacji

Probabilistyczny schemat doboru, opisany w kategoriach rachunku prawdopodobieństwa

Statystyka opisowa: wyznaczenie parametrów w próbie

Parametry próby (2)

Parametry populacyjne (3)

Wnioskowanie statystyczne

Statystyka inferencyjna – zastosowanie rachunku prawdopodobieństwa do uzasadnienia reguł wnioskowania

(3)

(1) & (2)

wniosek

Przesłanki


W badaniu sondażow mamy do czynienia z sytuacją, w której wiadomo, co się może zdarzyć, wiadomo z jakim prawdopodobieństwem co się zdarza lecz nie wiadomo, co zdarzy się w pojedynczym doświadczeniu

Cel doświadczenia – odpowiedź na pytanie:

Doświadczenie

  • Rzucamy monetą o nieznanym prawdopodobieństwie upadania z 1EU na wierzchu n-razy

Jakie jest p-two wyrzucenia „1”

  • Losujemy n-kul

  • ze zwracaniem

  • z urny

  • o nieznanej zawartości

Jaka jest w urnie proporcja kul czerwonych


Ile razy trzeba rzucać monetą aby sprawdzić, czy jest rzetelna?

n=1

P=0,5

P=0,5

n=2

P=0,25

P=0,50

P=0,25

n=3

P=0,125

P=0,375

P=0,375

P=0,125


Losowanie próby w badaniu sondażowym to jak rzucanie monetą

lub

lub

lub

3

2

1

0

P=0,064

P=0,288

P=0,432

P=0,216


Probabilistyczny sposób doboru próby monetą

1) o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji:

2) każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, a w konsekwencji:

3) dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji:

a) umożliwia obliczenie prawdopodobieństwa popełnienia błędów wnioskowania (nazywanego błędem statystycznym) dla każdego rozmiaru błędu przy założonym schemacie doboru,

b) pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań (wielkości błędu wnioskowania) błędu przy założonym schemacie doboru


Przy losowym doborze próby monetą

§ Wynik losowania próby jest zdarzeniemlosowym.

§ Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi.

§ Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi.

§ Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego.

§ Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa.


Rozkład normalny monetą

 =10


Rozkład monetąnormalny standaryzowany

m=0, s=1

x



Twierdzenia o zbie no ci
Twierdzenia o zbieżności monetą

Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat


Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG)

Błąd oszacowania

Minimalna liczebność próby


Dokładność rozkładu normalnego oszacowań frakcji populacyjnej a wielkość losowej próby



Popularne statystyki z póby o rozkładach rozkładu normalnego N, t , F, 2


Schemat wnioskowania w badaniu sondażowym rozkładu normalnego

  • (1) Dobrano losowo 1600-osobową próbę wyborców

  • (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X

  • wobec tego

  • (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%.

(1) & (2)

(3)


Przykład wnioskowania rozkładu normalnego w badaniu sondażowym

(Przykład fikcyjny) Liczebności prób

Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225

Które zmiany proporcji są statystycznie znaczące?


Losowy dob r pr b problemy praktyczne
Losowy dobór prób – problemy praktyczne rozkładu normalnego

  • Wnioskowanie statystystyczne:

    • Dokładność oszacowań

    • Testowanie hipotez – „znaczące statystycznie”

  • Operaty

  • Response rate a dokładność oszacowań

  • Schematy doboru prób

  • Mitologie agencji badawczych


Losowy dobór w praktyce - operat losowania rozkładu normalnego

Operat= lista wszystkich obiektów badanej populacji



Schematy doboru prób rozkładu normalnego

  • Dobór prosty zależny

  • po jednym obiekcie z badanej zbiorowości (jak liczby w normalnym lotku):

  • przykłady: adresowa próba osób zamieszkałych we wskazanej gminie (uzyskiwana z PESEL,), próba mieszkań z rejonu spisowego (GUS); Dobór taki w postaci czystej dla badań ogólnopolskich nie jest stosowany - można by otrzymać np. 1000- osobową próbę rozrzuconą między 1000 miejscowości.

  • Dobór systematyczny

  • „co k-ty obiekt wylosowany” - np. co 40-ty wychodzący z lokalu wyborczego. losuje się jedną tylko liczbę (od 1 do k) określającą punkt startowy; przykłady: co któryś wychodzący ( exit poll), stosowany także w badaniach audytoriów kinowych;

  • Dobór zespołowy

  • zbiorowość podzielona jest na zespoły (części) - losuje się części i potem bada wszystkie obiekty, które do nich należą; np. losowanie klas szkolnych (bada się wszystkich uczniów w klasie)

  • Dobór wielostopniowy:

  • warstwowy: najpierw dzieli się zbiorowość na rozłączne części - warstwy (np. na regiony, województwa, na część miejską i wiejską), a potem losuje obiekty z każdej z warstw osobno (być może nawet dla każdej w inny sposób); zazwyczaj celem badania jest szacowanie parametrów warstwy jak i populacji generalnej.

  • zespołowy: losuje się najpierw zespół a potem z zespołu losuje się obiekty. Np. losujemy gminy (miejscowości) a potem osoby w nich zamieszkałe.


Popularne złożone schematy doboru rozkładu normalnego prób

  • Próba adresowa gospodarstw domowych i schemat Kish

  • Jednostką losowania jest mieszkanie losowane z operatu GUS

  • W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego

  • Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem

  • Wady:

    • Trudność kontroli jakości mikrospisu

    • trudność kontroli przyczyn niezrealizowania wywiadu

    • Konieczność wyznaczania wag analitycznych post-factum

  • Losowo-kwotowy dobór prób w badaniach typu OMNIBUS

  • Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości

  • Dla każdej z warstw losuje się taką liczbę gmin wjaka wynika z założonego sposobu podziału próby między warstwy,

  • W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe)

  • Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji


Dobór nielosowy rozkładu normalnego

  • Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria,

  • do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych .

Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów

Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa.

Pożądane własności nielosowych metod doboru:

uzyskanie “dobrego przedstawicielstwa” populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie.



Kiedy warto stosować próby kwotowe rozkładu normalnego

  • Warto stosować próby kwotowe oraz losowo-kwotowe gdy:

  • Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania

  • Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie);

  • Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne,

  • Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji


Sondaże nietypowe rozkładu normalnego i ich ograniczenia


Pułapki sondaży telefonicznych rozkładu normalnego


Błędne przeświadczenia, mitologie i rozkładu normalnego oszustwana temat doboru prób

  • Wielkość populacji a wielkość próby

  • dokładność oszacowań zależy od wielkości populacji: z małej populacji powinno się losować małe próby, z dużych – duże; im mniejsza populacja tym mniejszą próbę należy z niej pobierać;

  • Próba rezerwowa

  • jeśli nie udało się próby zrealizować w 100%, sięganie do próby rezerwowej nie zmienia jakości uzyskanych wyników (dokładności oszacowań)

  • Random route

  • “random route” jest schematem losowego doboru próby

  • jeśli nie udało się zrealizować w 100% imiennej adresowej próby pobranej z operatu PESEL, można bez szkody dla jakości wyników (dokładności oszacowań) dorobić brakuące wywiady metodą „random route”

  • Wagi porealizacyjne

  • jeśli próba zrealizowana (nie w pełni) jest niereprezentatywna (przedmiotowo) ze względu na kluczowe cechy (płeć, wiek, wykształcenie), bez szkody dla dokłądności oszacowań można „poprawić” jej strukturę za pomocą wag porealizacyjnych

  • „Sondaże”, w których próba nie ma charakteru losowego:

  • porzedwyborcza ankieta uliczna

  • sondaż opinii publicznej: SMS-y wysyłane podczas trwania programu TV

  • sondaż internetowy

  • ogólnopolski sondaż telefoniczny w Polsce

  • ankieta drukowana w czasopiśmie jako sondaż jej czytelników


Kiedy próba dobrze reprezentuje propulację? Gdy jest reprezentatywna!

Reprezentatywność przedmiotowa= skład próby odpowiada składowi populacji ze względu na ustalony zbiór zmiennych; np. proporcja respondentów z wyższym wykształceniem w próbie i w populacji wynoszą 10%

Reprezentatywność proceduralna – próba została dobrana w sposób losowy, co pozwala kontrolować stopień jej reprezentatywności przedmiotowej ze względu na dowolny zestaw zmiennych

Losowy dobór gwarantuje de facto przedmiotową reprezentatywność próby wylosowanej ze względu na wszystkie zmienne, o ile próba jest dostatecznie duża a stopień realizacji próby, response rate, jest wystaczająco wysoki



Kogo pyta dobra pr ba
Kogo pytać – dobra próba reprezentatywna!

  • aktualny, rzetelny, kompletny operat

  • optymalny schemat doboru

  • znany błąd estymacji


Kwestionariusz – reprezentatywna!Próba – Realizacja – Analiza danych

Realizacja

Kwestionariusz – Próba – Realizacja – Analiza danych


Kryteria oceny jakości realizacji reprezentatywna!

  • DoKŁADNOŚĆ oszacowań:(% non-response, równomierność realizacji, % missing-data, % “sufitów”)

  • Czas realizacji (od zamówienia do wyników)Koszt realizacji(koszt 1 rekordu)

JAKOŚĆ KOSZTUJE

Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane


budżet reprezentatywna!

Jakość realizacji

zamówienie

Wymagania zamawiającego

SIWZ

Jakość (możliwości) wykonawcy


Recepta na dobry jako realizacji
Recepta na dobry jakość realizacji reprezentatywna!

  • Poprawne zamówienie

  • Szczegółowy SIWZ

  • Właściwy wybór wykonawcy

  • Kontrakt chroniący jakość

  • Kontrolajakości realizacji badania


Jak pyta c a p i
Jak pytać: reprezentatywna! CAPI

Możliwość drobiazgowej kontroli ankietera

Komputerowa rejestracja przebiegu wywiadu

czas rozpoczęcia i zakończenia wywiadu – czas trwania wywiadu

czas reakcji na poszczególne pytania

długość przerwy między wywiadami

Eliminacja efektu ankieterskiego


Kontrola jako ci pracy ankietera
Kontrola jakości pracy ankietera reprezentatywna!

  • Systematyczna:

    • wywiady zrealizowane

    • non-response (adresy osób wylosowanych)

  • Zobiektywizowana:

    • Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano

    • Przeprowadzana przez firmę zewnętrzną


Konsekwencje dobrej kontroli
Konsekwencje reprezentatywna!dobrej kontroli

Eliminacja

wywiadów zrealizowanych budzących wątpliwości

ankieterów, koordynatorówmało sprawnych, nierzetelnych

systematyczna poprawa jakości danych


Response rate reprezentatywna!a dokładność oszacowań

Niedostępni, n2

Populacja

próba

=

n -elementowa próbawylosowana z populacji

Zbadani, n1

Response rate =


Response rate a dokładność oszacowań reprezentatywna!

n = 2000

Populacja dostępnych

Populacja nie-dostępnych

n1 = 1600

n2 = 400

Quasi-przedział ufności dla frakcji populacyjnej



Response rate a przewidywanie wyników referendum frakcji

Dane: PGSS 1992

n=2000; n1=1640


Typowe praktyczne problemy do rozwiązania w sondażu frakcji

Optymalny dobór próby – koszty dojazdu

Próba

Dostępność operatu: indywidualna – mieszkaniowa - kwota

Jak kontrolować ankietera

Fieldwork

Pilotaż laboratoryjny

Pilotaż statystyczny

Kwestionariusz

Non-response

Braki danych

Missing value

Trudno powiedzieć


  • Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani

  • Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy

  • Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne

Zamawiający - zadanie – zespół

E1 – Kwerendy-projektowanie

E2 – Pilotaże – dobór prób

E3 – Przetarg-Kontrakt - SIWZ

E4 – Realizacja w terenie

E5 – Analiza danych

E6 – Dokumentacja badania

E7 - Raport

Budżet


Badanie sondażowe według podręcznika: coEtap 0 - Przygotowania organizacyjne

  • podział zadań i funkcji

  • uzgodnienie zasad wynagradzania

Budowa zespołu

  • - książka adresowa

  • - kalendarz

  • - tablica ogłoszeń (lista mailingowa)

  • - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów,

Infrastruktura informatycznej

procedury komunikacyjne

  • - kto komu co i kiedy wysyła, zostawia, zapisuje


Kwerenda teoretyczna: co na temat napisali inni

  • akceptacja i kontynuacja paradygmatu

  • własny schemat teoretyczny zjawiska

  • rozkłady podstawowych cech populacji

  • identyfikacja zjawisk rzadkich lub powszechnych(pralka, NGO)

Kwerenda faktograficzna:

  • kontynuacja metodologii stosowanej dotychczas

  • Własna metodologia:

    • Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna)

    • Własne rozwiązania (będą wymagały testów !!!)

Kwerenda metodologiczna: jak badali to inni

Wstępne ustalenia projektowe

  • szkielet kwestionariusza – plan skalowań –modelowania–agregacji

  • dostępność operatu

  • schemat doboru próby

  • technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS )


Badanie sondażowe według podręcznika: coEtap 2 – Pilotaże – pilotaż jakościowy

  • Cel: zrozumiałośćpytań (trafność „społeczna”)

  • Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka

  • Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz)

  • Wybór wykonawcy testu jakościowego

  • Zlecenie na test:

    • Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!)

    • Akcesoria (żetony, karty, przybory)

    • Rekrutacja respondentów testowych (niski status !)

    • Realizacja wywiadów za szybą (5-10-15-30)

    • Nagrywanie dźwięku i obrazu

    • Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc.

  • Efekt: kwestionariuszzrozumiały i trafny

Pilotażjakościowy


Badanie sondażowe według podręcznika: coEtap 2 – Pilotaże – pilotaż statystyczny

  • Cel: wybórwskaźników

  • Skrypt CAPI – znaczniki czasu przy każdym bloku pytań

  • Próba 1000 (kwota, badanie typu omnibus)

  • Realizacja pilotażu

    • Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie):

      • - usunąć wskaźnik/blok wskaźników zbędny

      • - zostawić wskaźnik/blok wskaźników niezbędny

  • (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania)

  • Efekt: ostatecznawersjakwestionariusza

  • zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote)

Pilotażstatystyczny


DokumentyKtocokomu przekazuje

zamawiający  kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej)

Wykonawca  informacje na temat sieci ankieterskiej, dane, raporty, protokoły

Czasydostarczania

raportów z przebiegu realizacjirekordów z zapisem odpowiedzi

Zasadyprzyjmowaniarekordów (formalnakontrolaspójności)

- stawka za 1 wywiad

- kara z sufit (wyrzucanie wywiadów autora „sufitu”)

- kara za spóźnienia (wywiad, raport, warstwa)

- kara za response rate poniżej umownego

- kara za nierównomierność realizacji

Zasadywyznaczanianależności

Kryteriawyboruoferty

Na przykład: response-rate + czas + cena [np. 90% + 5% + 5%]


Badanie sondażowe według podręcznika: coEtap 5 - Analiza danych

  • Badanie sondażowe według podręcznika: Etap 6 - Dokumentacja badania

  • CodeBook (kwestionariusz + rozkłady brzegowe)

  • Zastosowane klasyfikacje (ISCO, ESCED, PKD)

  • Zastosowane skale/indeksy (SEI, inne)

  • Opis schematu doboru próby (prawdopodobieństwa inkluzji, wagi analityczne)

  • Zastosowane procedury ważenia

  • Raport z przebiegu realizacji (rozkłady przyczyn non-responsów)

  • Zastosowane procedury imputacji oraz łączenia danych zewnętrznych

  • Badanie sondażowe według podręcznika: Etap 7 - Raport


Sondaż w 12 krokach: co trzeba mieć i znać co

  • Zestaw pytań, na które mają odpowiedzieć Zleceniodawcy wyniki sondażu wraz z (opcjonalnie)

  • Definicję populacji, której odpowiedzi dotyczą, dostępność danych populacyjnych

  • Opis operatu losowania próby

  • Sposób doboru próby, jej wielkość oraz uzasadnienie

  • Sposób zbierania informacji na temat obiektów wylosowanych

  • Ogólny opis zawartości kwestionariusza, czasu trwania wywiadu, rodzaju pytań

  • Pilotaż kwestionariusza

  • Ogólny opis procedury kontroli jakości pracy ankieterów

  • Sposób wyznaczania wynagrodzenia Wykonawcy sondażu (szkic)

  • Sposób wyłonienia zwycięzcy przetargu/konkursu ofert

  • Szkic projektu analiz statystycznych

  • Szkic budżetu badania z podziałem na wynagrodzenie Wykonawcy i pozostałe koszty


Agencja badawcza co– wykonawca sondażowego zamówienia


Po czym poznać wiarygodny sondaż co

  • Wiarygodna firma badawcza wraz z wynikami sondażu podaje dwa wskaźniki:

  • ε, dokładność oszacowań wynikającą ze stosowanego schematu doboru próby

  • Response rate, stopień realizacji próby, czyli proporcję liczby uzyskanych wywiadów względem liczebności próby wylosowanej


Zanim zaczniesz interpretować wyniki sondaży – zapytaj o:

Operat losowania próby

Jeśli dziurawy, skrzywiony, nieaktualny – próba jest bezwartościowa

Schemat doboru próby

Czy był to dobór probabilistyczny?

Czy znany jest rozkład statystyk z próby dla tego schematu?

Czy schemat pozwala na wyznaczenie dokładności oszacowań?

Jeśli tak, jaka jest ta dokładność?

Jeśli nie znasz dokładności oszacowań, wyniki sondażu są bezwartościowe

Response rate

Jeśli nie znasz rr interpetuj ostrożnie !!


Zamawianie sondażu w agencji badawczej o:

Nasze są

Próba

Kwestionariusz

Co kupujemy zlecając sondaż ?? Za co płacimy agencji?

Jakość realizacji : szkolenie ankietera; kontrola ankietera, rejestrowany czas reakcji

Jakość realizacji: równomierność – response rate

Wybór oferty



Przykład złożonego schematu doboru próby w projekcie norweskim

Opis warstw:

I – gmina wiejska

II – miasto < 20 tys.

III – miasto < 100 tys.

IV – miasto > 100 tys.

  • Imienna, adresowa próba PESEL

  • Losowane pojedyncze osoby z wylosowanych miejscowości

  • Znane personalia respondenta możliwa kontrola realizacji badania



Case badań sondażowych 2: Nietypowe dane: analiza wypowiedzi

Case 3: Pytania zamknięte czy otwarte – mgr Aleks B

Case 4: Strategia budowy kwestionariuszy – czytać cudze

Case 5: Nietypowe dane: cechy polityków DEMOSKOP

Case 6. Nietypowa analiza: mapy (zaufania, percepcji)

Case 7: SEI, postawa, ACSI, skale kapitału społecznego

Case 8: Co bada GUS: tematy badań, kwestionariusze

Case 9: MJR, partycypacja, kapitał społęczny,


Case badań sondażowych 10: Dobry SIWZ – kogo obciążyć czym

Case 11: Analiza statystyczna a problem skalowania

Case 12: Pomiar , skalowanie, teoria, statystyka

Case 13: Triada partycypacyjna

Case 14: Potencjał partycypacyjny

Case 15: Technologia sondażowa – wersja old-school

Case 16: Technologia modern: passive, mobile, wireless


Duże między-narodowe badania sondażowe badań sondażowych

GSS – ISSP – PGSS

ESS

WVS

PISA

EuroBarometer


Duże badania sondażowe w Polsce badań sondażowych

  • PGSS/ISSP, ESS, EVS, PISA,

  • Diagnoza Społeczna

  • Badanie prezydencko-premierskie CBOS 2007

  • Badania GUS

Ośrodki kompetencji sondażowej(oprócz IS UW)

IFiS PAN: Sztabińscy, Sawiński, Słomczyński, Mach, Domański

GUS-Łódź

ISP - Markowski (?)

SWPS – Wasilewski (?)

Polskie firmy badawcze:

Staff

Sieć

Próby

Technologia

Ceny

Jakość


Źródła wiedzy i kompetencji badań sondażowych

Książki

Rubin, Donald B.,

Groves, Robert M.,

Rässler, Susanne,

Särndal, Carl-Erik,

Lundström, Sixten,

Schafer Joseph L.,

Kish Leslie,

Lynn Peter,

Snijders Tom,

D’Orazio Marcello,

Jan de Leeuw

Pisma POLSKA

Wiadomości Statystyczne

Statistics in Transition

ASK

  • WebSources:

  • FCSM

  • Statistics Canada

  • JOS

Instytucje

EUROSTAT

GESIS –ZUMA


Case badań sondażowych 1: Analiza czasu wolnego studentów Warszawy 1978

Czego wskaźnikiem może być czas: zasób, kapitał, dobro, nierówność, dyskryminacja

Pomiar zasobów czasu: pytanie wprost, rekonstrukcja wydarzeń, budżet czasu

Sezonowość – cykliczność zjawisk w czasie: pora roku, miesiąc, dzień tygodnia, pora dnia

Dobór próby: rotacja między dni

Realizacja: list zapowiedni, docieranie ankietera, identyfikacja tożsamości respondenta

Struktura danych: zmienna liczba pól, zmienne sumy zasobów, zmienne rozkłady sum

Analiza danych o nietypowej strukturze: modele liniowe zmiennych o stałej sumie

Doba = 24 godziny = 1440 minut jako oś czasu ; interwały a rozkład zbiorowości


Dzień powszedni badań sondażowych


Sonda jest sztuk
Sondaż jest sztuką badań sondażowych

  • Dostarczania

  • Pytającym

  • Odpowiedzi

  • Dobrej

  • Jakości

Sondaż jest działalnością zespołową

O efekcie decyduje najsłabsze ogniwo


Czym jest sondaż badań sondażowych

Idealny

Realny

Co w sondażu kosztuje – za co się płaci

Zamawianie sondażu – praktyka – patologie

Zamawianie sondażu - audyt


  • Wiedza badań sondażowych

  • Uświadomiona potrzeb

  • Fałszywa świadomość zamawiającego

  • - liczba dostarczonych wywiadów (kartofle)

  • - reprezentatywność

  • - za co się płaci

  • - ile co kosztuje

  • - co jest możliwe a co niemożliwe (rr >50%)

  • - wiarygodność CATI

  • - sondaż dobry, tani, szybki

  • Brak statystyka po stronie zamawiającego

  • Brak eksperta w dziedzinie badanej

  • SIWZ - Umowa

  • Zamawianie „metodologii” w agencji badawczej

  • Badania rynkowe – standardy istnieją od dawna i obowiązują

  • Badania „społeczne” – specyficzne prawie zawsze, brak standardów metodologicznych, metodologię trzeba stworzyć zgodnie ze specyfiką przedmiotu badanego

  • KRYTERIUM OCENY OFERT – nie cena !!! Lecz stosunek ceny do jakości

  • Budżet badania powinien zostać wydany w całości a maksymalizowana powinna być jakość osiągana


  • Audyt przetargów: badań sondażowych

  • Populacja

  • Pytania - wskaźniki – skale - kwestionariusz

  • Operat

  • Schemat doboru próby

  • Próba

  • Parametry jakości realizacji badania:

  • response – rate

  • równomierność response rate

  • efekt ankieterski: „sufit”, skrzywienia

  • jakość rekordów danych przysyłanych

  • czas dostarczenia

  • Analiza danych

  • Raport:

  • Codebook

  • Odpowiedzi na pytania zamawiającego

  • Wymagania dla uczestników przetargu:

  • Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego

  • Personel: liczba ankieterów

  • Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność


Przykłady: badań sondażowych

Łódź – źle zdefiniowane zamówienie (populacja, próba, kwestionariusz)

PARP- horrendalne koszty operatu

- właściwa rola statystyka

Min RR - przetargi zaskarżone, urwana inicjatywa

IBE - standard wynikający z międzynarodowego projektu

ESS - można rr ale to kosztuje więcej

Medycyna – ogromne próby, response rate 80%