Statistika

1. Statistika Ing. Jan Popelka, Ph.D.odborný asistent Katedra informatiky a geoinformatiky Univerzita Jana Evangelisty Purkyně v Ústí nad Labem email: jan.popelka@ujep.cz WWW:http://most.ujep.cz/~popelka

2. Vícenásobná regresní analýza

3. Vícenásobná regresní analýza • Korelační analýza s více proměnnými • Vícenásobná regresní analýza • Multikolinearita • Umělé proměnné • Volba modelu a volba vhodných vysvětlujících proměnných • Analýza reziduí • Předpovědi

4. Vícenásobná Korelace a Regresní analýza Popisuje závislost více než dvou číselných proměnných z nichž: • více je nezávislých (vysvětlující proměnné – značíme je x1, x2, ... , xn) • a jen jedna je závislá (vysvětlovaná proměnná y). Do analýzy lze zařadit i slovní proměnné, ale ty je nutné převézt na číselné hodnoty (viz dále).

5. Vícenásobná Korelace ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti, věku a pohlaví. Pokuste se odhalit, které faktory na IQ působí a nalezněte vhodný model závislosti. Měření jsou v následující tabulce:

6. Vícenásobná Korelace Stejně jako v případě závislosti dvou proměnných je vhodné začínat analýzu elementárními metodami popisu závislostí. • Bodový graf má význam pouze při analýze závislosti tří proměnných (3 osy). Pro více jak 3 proměnné již nelze graf sestrojit.Lze pracovat s klasickými dvourozměrnými grafy a zkoumat dílčí závislosti mezi vysvětlovanou a vybranou vysvětlující proměnnou. • Korelační matici lze sestavit pro libovolný počet proměnných, je tedy velmi vhodným nástrojem pro měření závislostí.MS EXCEL:Nástroje – Doplňky – Analýza – Analýza Dat – Korelace

7. Vícenásobná Korelace ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Čtyřrozměrný graf bohužel nelze vytvořit, proto budou analyzovány pouze dvojice proměnných (závislá je stále IQ).

8. Vícenásobná Korelace ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Korelační matice (matice korelačních koeficientů). MS EXCEL:Nástroje – Doplňky – Analýza – Analýza Dat – Korelace Podle matice je IQ vysoce korelováno se všemi proměnnými. Pozor! vysoká korelace však existuje i mezi vysvětlujícími proměnnými (věk a hmotnost) – to je v regresním modelu nežádoucí!!

9. Vícenásobná regresní analýza Vícenásobný regresní model je zjednodušeným zobrazením reality. Závislost se snaží popsat pomocí konkrétní rovnice: • regresní roviny (2 vysvětlující proměnné) nebo • regresní nadroviny (3 a více vysvětlujících proměnných). y = β0 + β1x1 + β2x2 + ...+ βnxn+ ε Deterministická složka – Náhodná složka –vliv vysvětlujícíchvšechny ostatní proměnných(nepopsané) vlivy

10. Vícenásobná regresní analýza Rovina nebo nadrovina procházející nejblíže všem bodům je vždy jen jedna! K jejímu nalezení slouží metoda nejmenších čtverců (MNČ). Je založena na řešení soustavy normálních rovnic a jejím řešením jsou odhady koeficientů b0, b1 , …, bn):

11. Vícenásobná regresní analýza Umělé proměnné Pokud je vhodné zahrnout do modelu i slovní proměnnou se dvěma obměnami, pak se převede na číselnou binární proměnnou (nula-jedničková proměnná). Příklad: Pohlaví lze zapsat hodnotou 1 pro ženu a hodnotou 0 pro muže (resp. opačně). !

12. Vícenásobná regresní analýza Umělé proměnné Pokud má slovní proměnná více než dvě obměny (k > 2), převede se na k-1 binárních proměnných. Příklad: Vzdělání se třemi různými hodnotami. ! Znak má 3 obměny (základní, středoškolské a vysokoškolské vzdělání) takže byly zavedeny dvě umělé proměnné, pokud ani jedna z nich nenabývá hodnoty 1, pak jde o vzdělání základní.

13. Vícenásobná regresní analýza V regresním modelu nesmí být silná korelace mezi vysvětlujícími (nezávislými proměnnými – xi). V takovém případě sice lze použít metodu nejmenších čtverců, ale: • odhady směrodatných chyb regresních koeficientů s(bi) jsou příliš veliké, • intervaly spolehlivosti pro regresní koeficienty jsou moc široké, • t-testy nevedou k zamítnutí hypotézy o nevýznamnosti koeficientů => parametry jsou nulové.

14. Vícenásobná regresní analýza V extrémním případě, kdy je mezi vysvětlujícími proměnnými funkční závislost (korelační koeficient rxy je 1 nebo -1) nelze parametry modelu pomocí metody nejmenších čtverců vůbec odhadnout! Příkladem je proměnná x1 hmotnost v kilogramech a x2 hmotnost v tunách. Nebo chybné zavedení stejného počtu umělých binárních proměnných jako je počet obměn slovní proměnné. ! !

15. Vícenásobná regresní analýza Jde o tzv. multikolinearitu!! Ta je podle některých autorů nezdravá, pokud je korelační koeficient libovolné dvojice vysvětlujícících proměnných x větší než 0,8. Multikolinearita v praxi znamená, že jedna z dvojice vysvětlujících proměnných, které jsou vzájemně silně závislé, je v modelu navíc a měla by být z modelu vyřazena.

16. Vícenásobná regresní analýza V případě odhalení multikolinearityvyřadíme z dvojice korelovaných vysvětlujících proměnných: • proměnnou, která do úlohy logicky nepatří (IQ není závislé na hmotnosti), nebo • proměnnou, která má slabší korelaci s vysvětlovanou proměnnou y.

17. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Korelační matice. MS EXCEL:Nástroje – Doplňky – Analýza – Analýza Dat – Korelace Jedna z proměnných je v modelu navíc => hmotnost bude z modelu vyřazena, protože do modelu logicky nepatří.

18. Vícenásobná regresní analýza ! Příklad: Český hydrometeorologický ústav v Praze měřil ... MS Excel: Data – Analýza – Analýza Dat – Regrese Do políčka „Vstupní oblast Y“ zadáváme závislou proměnnou. Do políčka „Vstupní oblast X“ zadáváme všechny nezávislé proměnné. Pro analýzu reziduí zaškrtneme „Rezidua“, „Standardní rezidua“ a „Graf s rezidui“. Data byla vložena včetně popisků proto zaškrtneme „Popisky“.

19. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Korelační matice po vyřazení proměnné hmotnost. Po vyřazení proměnné hmotnost se již v modelu multikolinearita nevyskytuje. IQ je stále vysoce korelováno s proměnnými věk a pohlaví, ale tyto dvě proměnné již mezi sebou silně korelovány nejsou.

20. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Odhad koeficientů regresní roviny MS EXCEL:Data – Analýza – Analýza Dat – Regrese Regresní rovina má tvar: ŷ= 81,52 + 2,79·x1+ 5,83·x2 neboli: IQ = 81,52 + 2,79·věk + 5,83·pohlaví

21. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Regresní rovina má tvar : IQ = 81,52 + 2,79·věk + 5,83·pohlaví Z koeficientů empirického regresního modelu plyne: • S každým dalším rokem věku vzroste IQ o 2,79 bodu (za podmínky, že se ostatní faktory nezmění). • Dívky mají v průměru o 5,83 bodu vyšší IQ než chlapci (za podmínky, že se ostatní faktory nezmění).

22. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Odhad koeficientů regresní roviny MS EXCEL:Data – Analýza – Analýza Dat – Regrese Všechny parametry jsou na hladině významnosti α= 0,1 statisticky významné (tzn. žádný z nich není roven 0). Parametr proměnné pohlaví je na hladině významnosti α= 0,05 nulový (95% interval spolehlivosti pro tento parametr obsahuje 0).

23. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Odhad koeficientů regresní roviny MS EXCEL:Data – Analýza – Analýza Dat – Regrese Regresní model je statisticky významný, obecný regresní model lze odvodit. P-hodnota F-testu je 0,01 < α = 0,05, takže zamítáme nulovou hypotézuo nevhodnosti modelu.

24. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Odhad koeficientů regresní roviny MS EXCEL:Data – Analýza – Analýza Dat – Regrese Hodnota upraveného determinačního indexu I2 je 0,9189. 92% změn hodnot IQ vysvětluje model vlivem věku a pohlaví. Zbylých 8% je způsobeno jinými vlivy. Pozn.: Protože regresní rovina má tři parametry, je nutné interpretovat právě opravený determinační index.

25. Vícenásobná regresní analýza ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Odhad parametrů regresní nadroviny (včetně hmotnosti) MS EXCEL:Data – Analýza – Analýza Dat – Regrese Pokud by byla do modelu zahrnuta i proměnná hmotnost, byla by v modelu multikolinearita. Směrodatné chyby odhadů jsou příliš veliké, intervaly spolehlivosti široké a obsahují 0. V tomto případě se všechny koeficienty kromě absolutního členu β0 zdají být statisticky nevýznamné (nezamítáme H0 u t-testů).

26. Vícenásobná regresní analýzaVolba vhodného modelu Volba vhodného modelu Příliš vysoký počet vysvětlujících proměnných v modelu může vést k závěru o statistické nevýznamnosti některých koeficientů, i když mezi proměnnými není zjevná multikolinerita. Volba modelu ve vícerozměrné regresní analýza spočívá ve výběru vhodných proměnných a vyřazování nevhodných. Vyřazení nevhodné proměnné by nemělo mít vliv na kvalitu regresního modelu. Taková proměnná byla v modelu navíc a model po jejím odstranění neutrpěl významný pokles kvality (např. se významně nesníží upravený determinační index).

27. Vícenásobná regresní analýzaVolba vhodného modelu Volba modelu na základě testu Test pro zjištění, zda je složitější model (více proměnných) vhodnější než jednodušší H0: složitější model nepřináší zlepšení HA: složitější model přináší zlepšení Testovací statistika: H0 zamítáme, pokud platí: F > F1-(p2 - p1; n - p2). SR(1) je reziduální součet čtverců jednoduššího modelu, SR(2) reziduální součet čtvercůsložitějšího modelu,n je počet pozorování, p1 počet koeficientůjednoduššího modelu a p2 počet koeficientů složitějšího modelu.

28. Vícenásobná regresní analýzaVolba vhodného modelu ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Porovnáme dva modely: model 1 bez proměnné hmotnost a model 2 se všemi vysvětlujícími proměnnými. H0: složitější model nepřináší zlepšení HA: složitější model přináší zlepšení SR(1) = 18,56 (model 1) SR(2) = 10,06 (model 2) p1= 3 p2= 4

29. Regresní analýzaVolba vhodného modelu ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Testovací statistika: H0zamítáme, pokud platí: F > F1-(p2 - p1; n - p2), kde F0,95(1;2) = 18,51. Protože testovací statistika nepadne do kritického oboru: F < 18,51, nezamítáme Ho, model s proměnnou hmotnost nepřináší zlepšení.

30. Vícenásobná regresní analýzaVolba vhodného modelu Volba modelu na základě testu je bohužel početně náročná. V praxi lze jen těžko určit, kterou proměnnou navrhnout na vyřazení. K vyhodnocení testu se tak používá statistický software, který postupně testuje všechny vysvětlující proměnné a najde nejoptimálnější podmnožinu proměnných. Proces může probíhat dvěma směry: • shora – do modelu se nejprve zařadí všechny vysvětlující proměnné a ty se pak postupně pomocí testu vyřazují. • zdola – postupně se do modelu proměnné přidávají a testuje se, zda došlo k významnému zlepšení kvality modelu.

31. Analýza reziduí Stejně jako u jednoduché regrese by rezidua měla splňovat tři podmínky: • Rezidua jsou náhodná a nezávislá. • Rezidua mají normální rozdělení N(0;σ2). • Rozptyl reziduí σ2 je konstantní.

32. Analýza reziduí ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Podmínka náhodnosti reziduí Z malého počtu pozorování lze jen stěží určit zda se jedná o náhodná rezidua. Na ose x je vyneseno jen o jaké pozorování jde. Nejde tedy o hodnoty vysvětlující proměnné x, protože těch je v modelu více a bylo by nutné vytvořit více grafů. Pro každou vysvětlující proměnnou jeden (takový výstup ovšem poskytuje MS Excel).

33. Analýza reziduí ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Znaménkový test : H0: rezidua jsou náhodná HA: rezidua nejsou náhodná Hodnota testového kritéria U není větší než 1,96, takže nezamítáme nulovou hypotézu. Rezidua jsou náhodná! Podmínka splněna. Počet kladných rozdílů S+ je vyšší a je 3, tedy S =3.

34. Analýza reziduí ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Kolmogorov-Smirnovůvtest H0: normovaná rezidua mají normální rozdělení N(0;1) HA: normovaná rezidua nemají normální rozdělení N(0;1) Testovací statistika D = 0,288 Kritický obor pro 6 hodnot D > 0,519. Nezamítáme H0, rezidua roviny mají normální rozdělení.

35. Analýza reziduí ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Testování hypotézy rovnosti rozptylů reziduí. MS EXCEL = FTEST (první oblast; druhá oblast) H0: rozptyly v obou polovinách jsou stejné resp. D1(ei) = D2(ei) HA: rozptyly v obou polovinách nejsou stejné resp. D1(ei) ≠ D2(ei) p-hodnota testu pro rezidua = 0,82. Rezidua mají stejný rozptyl, jsou homoskedastická! Podmínka splněna.

36. Bodová předpověď ! Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ... Protože rezidua modelu splňují všechny tři podmínky a jak model, tak i jeho parametry jsou statisticky významné, lze na základě modelu provést předpověď. Bodová předpověď hodnoty IQ na základě odhadnutého modelu: Regresní rovina má tvar IQ = 81,52 + 2,79·věk + 5,83·pohlaví Chlapec ve věku 14 let bude mít podle odhadnutého modelu IQ: (proměnná věk = 14 a proměnná pohlaví = 0)IQ = 81,52 + 2,79·14 + 5,83·0 =121. Dívka ve věku 14 let bude mít podle odhadnutého modelu IQ: IQ = 81,52 + 2,79·14 + 5,83·1 =126.

37. Analýza reziduí a Předpovědi v Regresní analýzeDůležité pojmy – 10. přednáška • Korelační matice • Rovina a nadrovina • Umělé proměnné • Multikolinearita • Volba vhodných proměnných • Analýza reziduí • Bodová předpověď