bayesilainen tilastoanalyysi priorijakaumista n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Bayesilainen tilastoanalyysi - priorijakaumista PowerPoint Presentation
Download Presentation
Bayesilainen tilastoanalyysi - priorijakaumista

Loading in 2 Seconds...

play fullscreen
1 / 19

Bayesilainen tilastoanalyysi - priorijakaumista - PowerPoint PPT Presentation


  • 115 Views
  • Uploaded on

Bayesilainen tilastoanalyysi - priorijakaumista. Tavallisin Bayesanalyysin tapaus on jakauman parametrien “estimointi” Havaittu otos koostuu (vaihdettavien) satunnaismuuttujien arvoista:. Koska satunnaismuuttujat X i ovat vaihdettavia, niiden niilla on yhteinen jakauma (ehdolla parametri).

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Bayesilainen tilastoanalyysi - priorijakaumista' - dutch


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
bayesilainen tilastoanalyysi priorijakaumista
Bayesilainen tilastoanalyysi- priorijakaumista
  • Tavallisin Bayesanalyysin tapaus on jakauman parametrien “estimointi”
  • Havaittu otos koostuu (vaihdettavien) satunnaismuuttujien arvoista:
  • Koska satunnaismuuttujat Xiovat vaihdettavia, niiden niilla on yhteinen jakauma (ehdolla parametri)
  • Parametri on myös satunnaismuuttuja, jonka (a priori) jakauma on
bayesilainen tilastoanalyysi priorijakaumista1
Bayesilainen tilastoanalyysi- priorijakaumista
  • Likelihoodfunktio (joka on havaittaujen muuttujien yhteisjakauma tai löysästi sanonnutta todennäköisyyshavaita otos) on nyt, koska Xi :t ovat vaihdettavia:
  • Huom! Vaihdettavuus = ehdollinen riippumattomuus ehdolla parametri
  • Posteriorijakauma on nyt
bayesilainen tilastoanalyysi priorijakaumista2
Bayesilainen tilastoanalyysi- priorijakaumista
  • Ongelma: miten valita priori jakauma?
    • Miten ilmaista tietämättömyys; epäinformatiiviset jakaumat
    • Miten ilmaista tieto; informatiiviset jakaumat
    • Miten helpottaa laskennallisia ongelmia: konjugaattiset priori-likelihood-parit
bayesilainen tilastoanalyysi priorijakaumista3
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit:

  • Jos sekä priori- että posteriorijakaumat kuuluvat samaan jakaumaperheeseen, puhutaan konjugaattisesta priori-likelihood parista.
  • Tällöin sekäö priori- että prosteriori jakaumien muoto on sama, mutta niiden parametrien arvot ovat erilaiset
  • Jos tarkasteltavien muuttujien (Xi) yhteinen jakauma kuulun ns. Eksponentiaaliseen jakaumaperheeseen, voidaan löytää konjugaattipriori
  • Eksponentiaaliseen jakaumaperheeseen kuuluvien jakaumien tiheysfunktiot ovat muotoa:
bayesilainen tilastoanalyysi priorijakaumista4
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit: esimerkkejä

  • Binomijakauma (= Bernoulli-otanta)
  • Otos muotoa: havaittiin k kpl tietynlaisia tapahtumia kun tehtiin n koetta (seim. Havaittiin, että n:stä käynnistetystä laitteesta k ei käynnistynyt)
  • Likelihood on nyt binomijakauma B(p,n)
  • Likelihood on eksponentiaalista muotoa (osoita harjoitustehtävänä)
  • Konjugaattinen priori on selvästi muotoa
bayesilainen tilastoanalyysi priorijakaumista5
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit: esimerkkejä

  • Binomijakauma (= Bernoulli-otanta)
  • posteriorijakauma on muotoa
  • Nähdään että posteriori ja priori kuuluvat samaan jakaumaperheeseen
  • Kysymys on betajakaumasta
bayesilainen tilastoanalyysi priorijakaumista6
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit: esimerkkejä

  • Poissonotanta
  • Likelihood on eksponentiaaliseen perheeseen kuuluva Poisson jakauma
  • Otos esim muotoa: havaittu x kpl vikoja tietyn ajanjakson aikana
  • Konjugaattipriori on muotoa (totea) ; eli gammajakauma
bayesilainen tilastoanalyysi priorijakaumista7
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit

  • Vastaavia konjugaattiprioreja löytyy helposti monille otantatilanteille:
    • Normaalijakauma, moniulotteiset normaalijakaumat
    • Multinomijakauma (binomijakauman yleistys)
    • Gammajakautunut otos
    • Jne.
bayesilainen tilastoanalyysi priorijakaumista8
Bayesilainen tilastoanalyysi- priorijakaumista

Konjugaattipriorit

  • Konjugaattipriorien sekoitus (mixture)

on myös konjugaattipriori, koska

bayesilainen tilastoanalyysi priorijakaumista9
Bayesilainen tilastoanalyysi- priorijakaumista

Epäinformatiiviset priorit:

  • Halutaan että priorijakauma vaikuttaa mahdollisimman vähän posteriorijakaumaan, ts. Likehoodilla on suurin merkitys
  • Tasakajauma priorina
  • Jeffreyn priori; perustuu ns Fisherin informaatioon:
bayesilainen tilastoanalyysi numeerisista menetelmist
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Reject-accept menetelmä :

  • 1. Arvotaan luku priorijakaumasta
  • 2. Lasketaan likelihoodfunktion arvo ko. parametrin arvolle, eli L(a)
  • 3. Lasketaan suhde r = L(a)/L(a*), missä L(a*) on maksimaalinen likelihoodfunktion arvo
  • 4. Hyväksytään arvottu luku a posteriori-otokseen todennäköisyydellä r
  • 5. Toistetaan askelia 1-4 niin kauan, että halutun kokoinen otos posteriorista on saatu (esim. sata lukua)
  • 6. Muodostetaan empiirinen posteriorijakauma
bayesilainen tilastoanalyysi numeerisista menetelmist1
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Osoitetaan “reject-accept” algoritmi todella tuottaa otoksia halutusta jakaumasta

  • Bayes/posteriorijakauma parametrille  on muotoa:

Pätee, että

bayesilainen tilastoanalyysi numeerisista menetelmist2
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

“´Reject-accept” algoritmi: jos on olemassa M > 0 siten, että f()  g()M, niin algoritmi:

1. Arvo  jakaumasta g()

2. Arvo u tasajakaumasta U(0,1)

3. Jos u f()/M g()M, hyväksy , muuten toista 1-3

Algoritmin mukainen hyväksytty  noudattaa jakaumaa

bayesilainen tilastoanalyysi numeerisista menetelmist4
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Markov Chain Monte Carlo menetelmät:

  • vastikään suuren suosion saavuttaneita Bayesmallien numeerisia laskeneta menetelmiä
  • Metropolis algoritmi versioineen
  • Gibbs sampler versioineen
  • winbugs-ohjelmistoperhe, ks www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml
  • sopivat hyvinkin suurien Bayesmallien laskentaan.
bayesilainen tilastoanalyysi numeerisista menetelmist5
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Gibbs-sampler:

  • tavoitteena määrittää haluttujen muuttujien posteriorijakauma suurissa (erityisesti hierarkisissa) Bayesmalleissa
  • lähestymistapa perustuu Monte Carlo simulointiin
  • kohtalaisen helposti muodostettavissa
  • Gibbs-sampler on Metrolpolis algoritmin erikoistapaus
bayesilainen tilastoanalyysi numeerisista menetelmist6
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Gibbs-sampler:

  • tarkastellaan satunnaisvektoria X=(X1,X2,…, Xn)
  • olkoon p(x1,x2,…, xn ) ko. vekrorin komponenttien yhteisjakauma
  • oletetaan että ehdolliset jakaumat p(xi|x1,…, xi-1, xi+1,…, xn) ovat muodostettavissa ja että niistä voidaan arpoa helposti satunnaisluku
  • huom! yleensä erityisesti hierarkisissa malleissa muuttajat riippuvat suoraan vain muutasta ”naapurimuuttujusta” ja em ehdolliset jakaumat ovat yksinkertaisia
bayesilainen tilastoanalyysi numeerisista menetelmist7
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Gibbs-sampler:

  • Gibbs Sampler algoritmi on seuraava
  • valitaan joku alkuarvo vektorille x
  • j=1,…,M arvotaan uusi arvo x1j muuttujalle x1ehdollisesta jakaumasta
  • i=2…n arvotaan uusi arvo muuttujalle xiehdollisesta jakaumasta
  • Lopetetaan kun prosessia on toistettu M kierrosta
bayesilainen tilastoanalyysi numeerisista menetelmist8
Bayesilainen tilastoanalyysi-numeerisista menetelmistä

Gibbs-sampler:

  • suppeneminen kohti yhteisjakaumaa johtuu siitä, että algortimin mukainen prosessi on Markov-prosessi, jolla on tasapainotila
  • tasapainotilan jakauma on juuri tarkasteltava yhteisjakauma’
  • todistuksen yksityiskohdat löytyvät esim. kirjasta Gelman et al, Bayesian Data analysis