kapitel 7
Download
Skip this Video
Download Presentation
Kapitel 7

Loading in 2 Seconds...

play fullscreen
1 / 30

Kapitel 7 - PowerPoint PPT Presentation


  • 108 Views
  • Uploaded on

Kapitel 7. Point Estimation Dan Hedlin. Vad är en punktskattning?. CB: Defintion 7.1.1: A point estimator is any function of a sample Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Kapitel 7' - kieran-shaffer


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
kapitel 7

Kapitel 7

Point Estimation

Dan Hedlin

vad r en punktskattning
Vad är en punktskattning?
  • CB: Defintion 7.1.1: A point estimator is any function of a sample
  • Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion)
  • Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa
konstruktion
Konstruktion

CB tar upp:

  • Momentmetoden
  • Maximum-likelihood
  • EM-algoritmen
  • Bayesianska metoder
  • Jag fokuserar på de två första
tv sk l till att l ra sig konstruktion
Två skäl till att lära sig konstruktion
  • I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men…
  • Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen
  • Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla
momentmetoden
Momentmetoden
  • Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete
  • Enligt stora talens lag

osv (om det behövs)

slide6
Med antagande om modellfamilj ”vet” vi vad högerleden är
  • Kan använda t.ex. första och tredje momentet istället för första och andra momentet
  • Istället för det ocentrerade andra momentet kan man använda
ex gammaf rdelning
Ex: gammafördelning
  • Med momentmetoden sätter vi

(lös ut)

maximum likelihood
Maximum likelihood
  • Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden
  • Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl
ml skattningars egenskaper
ML-skattningars egenskaper
  • Inte alltid möjligt att få ut ett slutet uttryck
  • Besvär vid flackt optimum
  • Existerar inte alltid
  • Ofta krångligare härledning än moment-metoden
  • Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst
slide10
Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig
  • En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen
  • Goda asymptotiska egenskaper (kap. 10)
hur utv rdera en estimator
Hur utvärdera en estimator?
  • Liten eller ingen bias
  • Liten varians
  • Liten MSE
  • Robust mot avvikelser i data
  • Robust mot avvikelser i modell
  • Liten ”loss”
  • Andra egenskaper?
slide12
Finns ingen, enda allmänt accepterad egenskap
  • I så fall skulle det vara minsta MSE
  • Ytterligare en egenskap: uppfyller Cramér-Raos olikhet
  • Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)
standardtill mpningar p ml
Standardtillämpningar på ML
  • Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter.
  • Knep: om täthet har formen exp(parameter), ta log först
  • Exempel 7.2.5-7.2.7; Ex 7.2.11-7.2.12
  • Annat, ”inkrementresonemang” Ex 7.2.9
enemy tank problem
Enemy Tank Problem
  • Approximera med kontinuerlig likformig fördelning på (1, )
  • Minimalt tillräcklig statistika max(xi)
  • Vi vill skatta 
  • Momentmetoden
slide15
Sätt (en parameter: behövs bara en ekvation)
  • Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)
slide16
Alternativ skattning
  • Maximum likelihood
  • ekvivalent
slide17
stickprov
  • Vilket val av , som fkt av stickprov, ger max(L)?
  • T.ex. om inte alla xi lika, dvs

nästan alltid; därför

  • maximerar likelihooden
slide18
Tre alternativa estimatorer
  • inte minimalt tillräcklig (ej 1-1-funktion av
  • Utvärdera estimatorerna
  • Bias? (teorem 5.2.6)

(exempel 5.4.5)

slide19
är alltså ej väntevärdesriktig men är det
  • Varians
  • Kan visa att även är av ordning 1/n
  • Men
  • Alltså av ordning
cram r raos olikhet
Cramér Raos olikhet
  • Den minsta variansen för en estimator W(X):
  • Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)
fisherinformationen
Fisherinformationen
  • Ett tal (eller symbol som representerar ett tal); ju större desto mer info
slide22
Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna
  • Om ej oberoende är informationen mindre
attainment
”attainment”
  • Antag att
  • a() är någon funktion
  • Då nås nedre gränsen omm
  • Betyder att skattningen och HL, ”score”, ska samvariera starkt

Felet i skattningen

mer om cram r raos olikhet
Mer om Cramér Raos olikhet
  • Den minsta variansen för en estimator W(X):
  • där är the score
  • dvs
slide25
Detta är alltid sant för stokastiska variabler att
  • CR:s olikhet bidrar med uttryck för högerledet i olikheten
  • Av beviset framgår att E(S(X)) = 0
  • Fisherinformationen är Var(S(X)) , dvs…
attainment1
”attainment”
  • Antag att
  • a() är någon funktion
  • Då nås nedre gränsen ommKan visa att det gäller för tillräcklig statistika i en exponentialfamilj
  • Korrelationen ska vara hög
slide28
Ytterligare teorem:
  • Det finns bara en bästa vvr estimator av
  • Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för
rao blackwells teorem
Rao-Blackwells teorem
  • Villkor 1: W(X) vvr för
  • Villkor 2: T(X) tillräcklig för 
  • Konstruera en ny estimator genom att ta
  • Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid
slide30
Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika
  • Ännu bättre: tillräcklig och fullständig
ad