lokaalit uskottavuusmenetelm t ja kernelit luokittelussa n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa PowerPoint Presentation
Download Presentation
Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa

Loading in 2 Seconds...

play fullscreen
1 / 26
meredith-horne

Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa - PowerPoint PPT Presentation

78 Views
Download Presentation
Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa
An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa 6.5-6.6 ja 6.9

  2. Sisältö Lokaalit uskottavuusmenetelmät Kernel - tiheysestimaatit ja luokittelu Laskennallisia huomioita Yhteenveto Kotitehtävä

  3. Lokaalit uskottavuusmenetelmät

  4. Lokaalit uskottavuusmenetelmät Mikä tahansa parametrinen malli voidaan tehdä lokaaliksi, jos sovituksessa käytetty menetelmä hyödyntää havaintopainoja.

  5. Esimerkki (1/2) • Kaikkiin havaintoihin yi voidaan liittää parametri θi=xiTβ • Päättely havainoista xi ja β pohjautuu logaritmiseen uskottavuusfunktioon

  6. Esimerkki jatkuu (2/2) • Parametria Θ(X) voidaa mallintaa joustavammin käyttämällä lokaalia uskottavuutta. Θ(x0) =x0Tβ(x0)

  7. Havainnollinen esimerkki? (1/3) Lokaali versio luokittelijasta, joka perustuu lineaariseen logistiseen regressioon (4.36) Aineisto koostuu syötteistä xi ja luokittelevista vasteista giϵ{1,2,...,J}. Lineaarinen malli on muodoltaan

  8. Havainnollinen esimerkki (2/3) Lokaali logaritminen-uskottavuusfunktio voidaan kirjoittaa muotoon Missä βJ0=0 ja βJ=0

  9. Havainnollinen esimerkki (3/3) Lokaalit regressiot ovat keskitetty x0, joten sovitetut posteriori-todennäköisyydet ovat pisteessä x0

  10. Kernel- tiheysestimaattit ja luokittelu

  11. Kernel - tiheysestimoiti • On ohjaamattoman oppimisen menetelmä. • Mahdollistaa joukon yksinkertaisia menetelmiä parametrittomaan luokitteluun.

  12. Estimaattorit (1/2) Oletaan satunnaisotos x1,...,xN, joka on arvottu jakaumasta fX(x) ja halutaan estimoida fX pisteessä x0. XϵR Luonnollinen lokaali estimaattori on muotoa Missä N(x0) on pieni metrinen ympäristö x0 ympärillä leveydellä λ.

  13. Estimaattorit (2/2) Luonnollinen lokaali estimaatti on kuoppainen ja näin ollen Parzen estimaatti on suositumpi. Koska havainnot x0 ympäristössä huomioidaan painoin, jotka vähenevät etäisyyden pisteestä x0 kasvaessa.

  14. Luokittelu perustuen kernel - tiheysestimaatteihin Luokittelu voidaa toteuttaa suoraviivaisesti käyttämällä Bayesin teoriaa. Oletetaan J:n luokan luokitteluongelma. Sovitetaan parametrisoimattomat tiheysestimaatit fj(X) erikseen jokaiselle luokalle ja estimoidaan luokka priorit πj (usein luokkaosuudet)

  15. Luokittelu Posteriori todennäköisyys saa muodon

  16. Havainnollistava kuva

  17. Naiivi Bayes luokittelija Sopiva, kun syöteavaruuden dimensio p on suuri. Naiivi Bayes olettaa, että luokalle G=j syöte -avuruuden Xk ovat riippumattomia. (Ei yleensä totta)

  18. Naiivi Bayes ja yleistetty additiivinen malli Logit-muunnos käyttäen luokkaa J kantana

  19. Laskennallisia huomioita

  20. Laskennallisesta vaativuudesta Kernelit ja lokaali regressio ovat muisti pohjaisia menetelmiä (memory-based methods) Mallina on koko harjoitusjoukko ja sovitus tehdään evaluointi- tai ennustevaiheessa, voi tehdä menetelmistä sopimattomia reaaliaikaisiin sovelluksiin.

  21. FLoating point Operations Per Second Laskennallinen vaativuus sovitteelle yhdellä havainnolla x0 on O(N) flops, vertailuksi M kantafunktion laskennellinen vaativuus on O(M) yhdelle evaluaatiolle, tyypillisesti M~O(logN). Kantafunktio menetelmien aloitus laskennalliset vaativuudet ovat luokkaa O(NM2+M3) Smoothing parametrin valinnan laskennallinen vaativuus on O(N2) käyttäen ristiin validointia.

  22. Yhteenveto

  23. Yhteenveto Luokittelu perustuen kernel-tiheysestimaatteihin on parametriton menetelmä ja voidaan toteuttaa suoraviivaisesti käyttäen Bayesin teoriaa. Luokittelu tapa ei välttämättä sovellu reaaliaikaisiin sovelluksiin.

  24. KIITOS : ) Lähde: Wikipedia

  25. Kotitehtävä Määritä posteriori-todennäköisyys sille, että havainto kuuluu luokkaan ”normi”? Mallia voi katsoa kirjan kuvasta 6.14. Liitteenä m-tiedost, jossa data.