Kapitel 7
This presentation is the property of its rightful owner.
Sponsored Links
1 / 30

Kapitel 7 PowerPoint PPT Presentation


  • 78 Views
  • Uploaded on
  • Presentation posted in: General

Kapitel 7. Point Estimation Dan Hedlin. Vad är en punktskattning?. CB: Defintion 7.1.1: A point estimator is any function of a sample Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion)

Download Presentation

Kapitel 7

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Kapitel 7

Kapitel 7

Point Estimation

Dan Hedlin


Vad r en punktskattning

Vad är en punktskattning?

  • CB: Defintion 7.1.1: A point estimator is any function of a sample

  • Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion)

  • Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa


Konstruktion

Konstruktion

CB tar upp:

  • Momentmetoden

  • Maximum-likelihood

  • EM-algoritmen

  • Bayesianska metoder

  • Jag fokuserar på de två första


Tv sk l till att l ra sig konstruktion

Två skäl till att lära sig konstruktion

  • I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men…

  • Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen

  • Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla


Momentmetoden

Momentmetoden

  • Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete

  • Enligt stora talens lag

osv (om det behövs)


Kapitel 7

  • Med antagande om modellfamilj ”vet” vi vad högerleden är

  • Kan använda t.ex. första och tredje momentet istället för första och andra momentet

  • Istället för det ocentrerade andra momentet kan man använda


Ex gammaf rdelning

Ex: gammafördelning

  • Med momentmetoden sätter vi

(lös ut)


Maximum likelihood

Maximum likelihood

  • Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden

  • Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl


Ml skattningars egenskaper

ML-skattningars egenskaper

  • Inte alltid möjligt att få ut ett slutet uttryck

  • Besvär vid flackt optimum

  • Existerar inte alltid

  • Ofta krångligare härledning än moment-metoden

  • Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst


Kapitel 7

  • Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig

  • En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen

  • Goda asymptotiska egenskaper (kap. 10)


Hur utv rdera en estimator

Hur utvärdera en estimator?

  • Liten eller ingen bias

  • Liten varians

  • Liten MSE

  • Robust mot avvikelser i data

  • Robust mot avvikelser i modell

  • Liten ”loss”

  • Andra egenskaper?


Kapitel 7

  • Finns ingen, enda allmänt accepterad egenskap

  • I så fall skulle det vara minsta MSE

  • Ytterligare en egenskap: uppfyller Cramér-Raos olikhet

  • Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)


Standardtill mpningar p ml

Standardtillämpningar på ML

  • Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter.

  • Knep: om täthet har formen exp(parameter), ta log först

  • Exempel 7.2.5-7.2.7; Ex 7.2.11-7.2.12

  • Annat, ”inkrementresonemang” Ex 7.2.9


Enemy tank problem

Enemy Tank Problem

  • Approximera med kontinuerlig likformig fördelning på (1, )

  • Minimalt tillräcklig statistika max(xi)

  • Vi vill skatta 

  • Momentmetoden


Kapitel 7

  • Sätt (en parameter: behövs bara en ekvation)

  • Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)


Kapitel 7

  • Alternativ skattning

  • Maximum likelihood

  • ekvivalent


Kapitel 7

  • stickprov

  • Vilket val av , som fkt av stickprov, ger max(L)?

  • T.ex. om inte alla xi lika, dvs

    nästan alltid; därför

  • maximerar likelihooden


Kapitel 7

  • Tre alternativa estimatorer

  • inte minimalt tillräcklig (ej 1-1-funktion av

  • Utvärdera estimatorerna

  • Bias? (teorem 5.2.6)

(exempel 5.4.5)


Kapitel 7

  • är alltså ej väntevärdesriktig men är det

  • Varians

  • Kan visa att även är av ordning 1/n

  • Men

  • Alltså av ordning


Cram r raos olikhet

Cramér Raos olikhet

  • Den minsta variansen för en estimator W(X):

  • Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)


Fisherinformationen

Fisherinformationen

  • Ett tal (eller symbol som representerar ett tal); ju större desto mer info


Kapitel 7

  • Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna

  • Om ej oberoende är informationen mindre


Attainment

”attainment”

  • Antag att

  • a() är någon funktion

  • Då nås nedre gränsen omm

  • Betyder att skattningen och HL, ”score”, ska samvariera starkt

Felet i skattningen


Mer om cram r raos olikhet

Mer om Cramér Raos olikhet

  • Den minsta variansen för en estimator W(X):

  • där är the score

  • dvs


Kapitel 7

  • Detta är alltid sant för stokastiska variabler att

  • CR:s olikhet bidrar med uttryck för högerledet i olikheten

  • Av beviset framgår att E(S(X)) = 0

  • Fisherinformationen är Var(S(X)) , dvs…


Fisherinformationen1

Fisherinformationen


Attainment1

”attainment”

  • Antag att

  • a() är någon funktion

  • Då nås nedre gränsen ommKan visa att det gäller för tillräcklig statistika i en exponentialfamilj

  • Korrelationen ska vara hög


Kapitel 7

  • Ytterligare teorem:

  • Det finns bara en bästa vvr estimator av

  • Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för


Rao blackwells teorem

Rao-Blackwells teorem

  • Villkor 1: W(X) vvr för

  • Villkor 2: T(X) tillräcklig för 

  • Konstruera en ny estimator genom att ta

  • Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid


Kapitel 7

  • Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika

  • Ännu bättre: tillräcklig och fullständig


  • Login