1 / 13

Odhad metodou maximální věrohodnost

Odhad metodou maximální věrohodnost. J.Hendl. Odhad metodou maximální věrohodnost. Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti Test poměrem věrohodností. Úvod.

sugar
Download Presentation

Odhad metodou maximální věrohodnost

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Odhad metodou maximální věrohodnost J.Hendl

  2. Odhad metodou maximální věrohodnost • Podmíněné rozložení a věrohodnost • Odhad metodou maximální věrohodnosti • Test poměrem věrohodností

  3. Úvod • Chceme odhadnout parametry, provedeme měření a získáme tak informace o sledovaném rozložení (x1,…,xn). • Metoda maximalizace věrohodnost je jednou z metod odhadu, mezi ně patří také metoda nejmenších čtverců, metoda momentů, bayesovská metoda atd. • Výsledkem je funkce pozorování – t(x1,…,xn). Jedná se tedy o náhodnou proměnnou. • Chceme znát vlastnosti této funkce t.

  4. Požadované vlastnosti • Nestrannost. Vychýlení (Bias) je definováno jako průměrný rozdíl mezi odhadem (t) a správnou hodnotou parametru (). • Efficience. Má malý rozptyl(var(t)). • Konsistence. Jak se n blíží k nekonečnu, odhad t se blíží ke správné hodnotě . • Minimální průměrná kvadratická odchylka: očekávaná hodnota čtverce odchylek. • Odhad má být eficientní a nestranný. Je těžké dosáhnout všech těchto vlastností. • ML odhady mají dobré asymptotické vlastnosti. Například t je asymptoticky normální.

  5. Podmíněné rozložení resp. pravděpodobnost, věrohodnostní funkce • Známe tvar rozložení, které závisí na parametru (parametrech). Jedno pozorování má hustotuf(x|).Jedná se podmíněné rozloženíf(x|), za podmínky že známe parametr  . • Pro nezávislá pozorování je společné rozložení násobkem jednotlivých hustot nebo pravděpodobnostních funkcí: • Můžeme interpretovatf(x1,x2,,,xn|)jako pravděpodobnost dané konfigurace pozorování, jestliže známe parametr . • Věrohodnostní funkce je úměrná společnému rozložení:

  6. Podmíněně rozložení a věrohodnost (pokr.) • Když mluvíme o rozložení, považujeme parametr za fixní a pozorování se mění. Jestliže mluvíme o věrohodnosti, pak jsou pozorování fixní a parametr se může měnit : • Princip maximální věrohodnosti říká, že máme zvolit jako odhad parametr, který maximalizuje věrohodnost toho, že napozorujeme danou konfiguraci pozorování:

  7. Metoda maximální věrohodnosti (Maximum likelihood) • Jestliže maximalizujeme funkci, která ma derivaci, pak lze derivaci položit rovnou nule: • Řešení této rovnice dává kandidáty na odhad. • Místo věrohodnostní funkce často derivujeme logaritmus věrohodnostní funkce, protože ten je rostoucí funkcí a nic se v podstatě nemění: • Práce se součtem je výhodnější než s násobky.

  8. Maximum likelihood: příklad – úspěch a neúspěch • Uvažujme případ diskrétního rozložení.Provádíme pokus na úspěch a neúspěch, pravděpodobnost úspěchu je  a pravděpodobnost neúspěchu je 1- . Neznámá hodnota . Provedli jsme n pokusů, k z nich bylo úspěšnýchk a n-k neúspěšných. Náhodná proměnná Y má hodnoty- 0 (neúspěch) nebo- 1 (úspěch).

  9. Maximum likelihood: příklad – úspěch a neúspěch • Uvažujme případ diskrétního rozložení.Pozorování jsouy=(y1,y2,…,yn). Pravděpodobnost úspěchuyiv i-tém pokusu: • Jelikož pokusy jsou nezávislé ze pro n pokusů psát:

  10. Maximum likelihood: příklad – úspěch a neúspěch (pokr.) • Pro log této funkce lze psát: • Po derivaci podle parametru a položením rovno nule dostaneme: • Vyřešením vzniklé rovnice získáme odhad ve formě:

  11. Maximum likelihood: příklad – úspěch a neúspěch Zajímavější je situace, jestliže  je funkcí nějakých parametrů: máme např.: Nalezení maxima věrohodnostní funkce je pak složitější a musí se hledat iterativně, jedná se o nelineární optimalizaci funkce ve tvaru: To je případ logistické regrese

  12. Pro normální rozložení hledáme odhady parametrů(spojité rozložení) Věrohodnostní funkce má tvar pronpozorováníy=(y1,y2,,,yn), jestliže logaritmujeme: Derivujeme parciálně podle průměru a směrodatné odchylky: První lze získat nezávisle na druhém řešení:

  13. Test poměrem maximální věrohodnosti Předpokládejme výběr o rozsahu n (x=(x1,,,,xn)) a chceme odhadnout vektor parametrů=(1,2). Obě části jsou vektory1 a 2. Testujeme nulovou hypotézu proti alternativě: Předpokládejme, že věrohodnostní funkce má tvarL(x| ). Pak test sestrojíme takto:1) Maximalizujeme věrohodnostní funkci za platnosti nulové hypotézy 10 , 2)Maximalizujeme věrohodnostní funkci bez omezení: wje testovací statistika. Jestliže je malá hypotézu zamítáme.

More Related