Tarkvarasüsteem Pidevstuudium

1. Tarkvarasüsteem Pidevstuudium Kasutamisjuhend, exe-fail ja konfiguratsioonifail on vabalt saadaval aadressil http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/ Originaalkood on Tartu Ülikooli omand Kaardi- ja kaugseireandmekihte kasutatakse vastavalt litsentsilepingutele “Kui Eestis tegutseva arvuti käest küsida, mida ta viimasel ajal teinud on, vastaks see, et magab 14 tundi ööpäevas, siis vedeleb niisama või käib mängimas või jututoas.” (Kaarel Tarand, Linnar Viik) Pidevstuudium

2. Näidistele tuginev järeldamine 1 Kinnitav analüüs (confirmatory data analysis) Lähtutakse hüpoteesist ja püütakse seda kas kinnitada või ümber lükata. Tulemus oletuse kehtimise tõenäosus. Alustatakse oletusest. On rangem, võimaldab kindlamaid järeldusi. Tulemuslikkus sõltub hüpoteeside püstitamise oskusest. Kirjeldav analüüs (exploratory data analysis) Eelnevaid hüpoteese minimaalselt. Alustatakse andmete kogumisest. On kiirem, odavam, piltlikum. Järeldused kirjeldavad ja nõrgalt põhjendatud, sobivad hüpoteeside püstitamiseks. Seoste otsimine, kirjeldamine, visualiseerimineja modelleerimine Klassifitseerimismeetodid Keskmiste ja variatsiooniparameetrite arvutamine Näidistega sarnasuse alusel klassifitseerimine ja hindamine Pidevstuudium

3. Näidistele tuginev järeldamine 2 Näidistele tugineval hindamisel langetatakse otsuseid uut olukorda või uusi andmeid varasemate kogemustega võrreldes – prognoositavale vaatlusele, objektile, kohale või muule nähtusele otsitakse olemasolevate vaatluste hulgast kõige sarnasemaidnäidiseid. Teadmisi hoitakse näidiste ja nende omaduste komplektis ehk näidiste baasis. Sarnasuse hindamisel tuleb alati otsustada, milliseid tunnuseid kasutatakse. Sarnasus mille poolest. Näidistele tuginevad ekspertsüsteemidkuuluvad intellektitehnika hulka, milles kasutataksesüsteemi õpetusandmetele sobitamiseks ehk väljaõpetamiseksautomatiseeritud iteratiivset optimeerimist ehk tehisõpet. Tehisõppe käigus valitakse õpetusandmetest parimaid prognoosetagavad näidised ja tunnused ning omistatakse neile kaalud. Näidiste abil saab prognoosida nii pideva muutujaväärtust kui ka nominaalse muutuja klassikuuluvust. Pidevstuudium

4. Pikslite klassifitseerimine näidiste komplekti järgi Näidis 1 Objekt 1 Näidis 2 Näidis 3 Objekt 2 Vaatlus (piksel) Näidis 4 V õ r d l u s E s i n d a t u s Näidis 5 Näidis 6 Objekt 3 Näidis 7 Pidevstuudium

5. Hinnangu sõltuvus kasutatavate näidiste arvust ja näidiste kaalumine Klassifitseerimine Prognoos Pidevstuudium

6. Näidistele tugineva järeldamise rakendusi • Näidistele tuginevaid järeldusi on kasutatud paljudes teadusharudes ja elualadel, kus seaduspärasused ei ole täiesti ranged, on aga olemas suur hulk üksikjuhtumeid, üksikuuringuid ja vaatlusandmestikke: meditsiinis, nõustamisel, finantsriskide hindamisel, tehniliste rikete diagnoosil, maastiku ja linnade planeerimisel, kaitsejõududes, tekstitöötluses, kõnetuvastuses, isikutuvastuses, masintõlkes, pilditöötluses, tarkvaraarenduses, taimkatte kaardistamisel kaudsete andmete järgi, metsa tagavara hindamiseks satelliidipildi järgi ja muus pilditõlgitsuses. Pidevstuudium

7. Varasema tarkvara puudused Idrisi ja muu lokaalstatistikute arvutamise tarkvara Iga andmekihi ja kaardilehe puhul peab lokaalsete pildi- ja kaardistruktuuri indeksite arvutamise programmi uuesti käivitama. Iga uue faili puhul tuleb sisestada mitmeid parameetreid (ridade ja veergude arv, nurgakoordinaadid jne) Kaasaegne masin võiks nii tark olla, et teab ise, mille järgi pildil olevaid objekte ära tunda, kuidas ühel või teisel juhul pilti formaliseerida ja võiks ise aru saada, millisel kaardilehelvaatluskoht on ning millisest failist pildi- või kaardikujutist vaadata. Pidevstuudium

8. aeg [ tunnid ja minutid ] Tehisõppe programm MLNN Vaatluste ja tunnuste suure (>1000 ja >30) arvu puhul on sarnasusele tuginev tehisõpe aeglane. Keskmine tehisõppe ühele iteratsioonile kuluv aeg sõltuvalt vaatluste arvust ja tunnuste arvust valimites, prognoositav tunnus EUNIS teise astme maakatteüksus. Eksperiment 2 GH protsessoriga arvutis. Pidevstuudium

9. aeg [ kalendripäevad ] Eelmise joonise järg Iga kord, kui vaatlusi või tunnuseid lisandub, tuleks parimate tunnuste ja näidiste komplektid uuesti arvutada. Üks õppevoor kõigi praeguste taimkattevaatlustega kestaks umbes 30 ööpäeva! Eesmärgiks on avatud süsteem, kuhu saaks alati vaatlusi ja tunnuseid lisada. Arvestada tuleb sadade tuhandete vaatluste ja kuni paarisaja tunnusega. Pidevõppe programmi MLNN ühele iteratsioonile kuluva aja ekstrapolatsioon sõltuvalt vaatluste arvust ja tunnuste arvust valimites. Pidevstuudium

10. Püstitatud ülesanded • Luua pidevalt toimiv tehisõppesüsteem, mis ei pea uute vaatluste lisandumise järel õppimist uuesti nullist alustama. • Luua avatud näidiste baasi (teabebaasi) prototüüp, millele tuginedes võiks näidistele tuginev järeldamissüsteem kiiresti genereerida: • tõenäolise taimkatte ja maakatte kaarte • liikide ning muude üksuste ja nähtuste oodatavate esinemiskohtade kaarte • võimalike kaardistusvigade kaarte (kui sarnane on aerofoto kaardil sellesse kohta märgitud klassi näidistega?) Pidevstuudium loodi aastatel 2004…2007. Pidevstuudium

11. Süsteemi looja otsustused Mida õppida, kuidas õppida, millest õppida, kas on vaja õpitut unustada, mida hinnata, kuidas hinnata? Tehnoloogiline skeem Uued tunnused (ka olemasolevatele vaatlustele) Näidistele tuginev äraarvamis-süsteem Pidevõppe tarkvara Uued vaatlused ! Õpetusandmed Õppe tulemused Õppe parameetrid näidiste kaalud Hinnatavad vaatlused hinnatud väärtused sarnasushinnangud Hinnatavad kohad ? tunnuste kaalud aktuaalsuskoodid Metaandmed Sisend-väljund Teabebaas Looja rahulolu Hinnangud rastervormis või GIS andmetabelina Kaardikujunduse tarkvara Prognoosikaardid Pidevstuudium

12. Õpet katkestamata saab: 1) muuta õppe seadistusi,2) muuta tunnuste ja vaatluste aktuaalsust,3) vaatlusi lisada,4) tunnuseid lisada (ja eemaldada). 1. Uute vaatluste koordinaatide viimine andmebaasi.2. Õppes kasutatavate seletavate tunnuste valik.3. Hinnatavate tunnuste valik.4. Valimite suuruse määramine.5. Vaatlusi sisaldavate andmebaasiobjektide moodastamine ja määramine. Pidevstuudiumi juhtimine Andmebaasis Pidevõppedialoogiaknas 1. Vaatluskohtade pildi- ja kaardiindeksite arvutamine.2. Tunnuste ja vaatluste kaalude õppimine (ja mõnede õppeparameetrite määramine).3. Vastavuse ümberarvutus (vaatluste lisamise järel).4. Näidiste ümbervalimine (vaatluste lisamise järel).5. Tunnuste hinnang.6. Sarnasus etteantud klassiga (vaid klassikaupa hinnatud nominaalsete tunnuste puhul). Pidevstuudium

13. Tunnused: Andmekihid: Andmekihid 2007. a. septembri seisuga domineeriv mullaliik 10 m raadiusesdomineeriv mullaliik 100 m madalsoomulla osakaal 100 m erinevate mullaliikide arv 100 m kaugus lähimast mullaliigi piirist eraldiste suund 200 m ümbrusesjne Kaardid ja kaugseireandmed:mullakaart 1:10 000 põhikaart 1:10 000Landsati kaadridortofotode seeriadmaapinna kõrgusmudeljne mullaliik 57 üksustmullaliik 10 üksust mulla lõimise liik jne heledusvärvitoonküllastuspunase kiirguse hulkrohelise kiirguse hulkkeskmine heledus 30 m jne keskmine 10 raadiuseskeskmine 30 m raadiusesstandardhälve 30 m kaugusega kaalutud autokorrelatsioonerinevus 100 m ümbruse keskmisestgradiendi tugevus 50 m raadiusesjne Kaartide ja kaugseireandmete kasutamiseks on vajalik litsents andmete pakkujalt Erinevate tunnuste uurimisel kasutatakse erinevaid tunnused.Otepää LP taimkattekaardi koostamisel kasutati 131 tunnust. Praegu kokku 172 kihti Pidevstuudium

14. Numbrilisest andmekihistÜle keskmise väärtuste osaKeskmineStandardhälveMediaan Morani I 8st naaberpikslistKaugusega kaalutud Morani Naaberpikslite erinevusVariatsioonikoefitsientGradiendi suund Serva ja keskosa erinevus MiinimumMaksimumEkstsessitegur Üleminekute sujuvus Erinevus keskmisestGradiendi tugevus Kauguse pöördväärtusega kaalutud keskmine Triibulisus Ruumimustri indeksid Pidevstuudium 2007s Nominaalsest andmekihistAntud klassi sagedusMoodShannoni mitmekesisus Lloydi ühetaolisus DominantsKlasside arvKlassikülgnevuste osaLaikude suundKlassivastavuste lähedusErinevat klassi vaatluspaaride osa Kaugusega kaalutud mood Klassipiiri kaugusKaugus etteantud klassi piirist Blokkvalim Juhuvalim sõõrist Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf Pidevstuudium

15. Pidevstuudiumi andmebaasi struktuur Andmebaasiobjekt Kohustuslikud väljad Vaatlusvektor VID, F, x, y, w, aktuaalsus, progn, prob, alates, kuni, seletavate tunnuste numbridAkihid KID, pkylg, kataloog, nominal, eira, alates, kuni, baiteINDEKSID Indeks, ID, nimi, nomkiht, nomindPK20t NR, min-x, min-yomasarnasus 1, 2, sATUNNUSED AID, nimi, KID, indeksID, radius, sradius, radius_k, valim, blokkvalim, antudkood, eelklassikasutus, eelklassikiht, eraldistekasutus, eraldistekiht, BV_kataloog, asendab, F1, AF1 jne FTUNNUSED arvutada, FID, antudkood, LogID, eelklass, nimi, ftyyp, osatunnuseid, sumsimmax, andmepäring, vmaht, tmaht, kvmaht, nullkauguslogitabelid ID, antudkood, kuupäev, tvastavus, kvastavus, sumsimmax, etn, valim, seletavate tunnuste numbridOMASARNASUSTABELIDAID, sarnasustabel Vaata lähemalt Pidevstuudiumi kirjeldusest: http://map.gg.bg.ut.ee/kalle_r/PIDEVSTUUDIUM/Pidevstuudium_8-05-2007.pdf Pidevstuudium

16. Pidevstuudiumi andmebaasid Andmekihtide metaandmedTaimkatte kaardistuse näidisaladKäpaliste leiukohad (ja puudumiskohad)Põhikaardi metsaliigid (okas-, leht- ja segamets)Põhikaardi põhialadEnterobiaasi esinemise proovid Eesti lasteaialaste hulgas+ üksikuurimuste jaoks loodavad tuletised Pidevstuudium

17. Tunnustest ja vaatlustest moodustatakse etteantud suurusega juhuslik valim. Iga tunnuse ja vaatluse valimisse sattumise tõenäosus sõltub tema aktuaalsuskoodist. Pidevstuudiumi tehisõppe skeem Valimis olevaid tunnuseid lisatakse ükshaaval järjest väheneva kaaluga. Saadakse tunnuste komplekt, mis tagas parima treeningvastavuse. L O O C Tunnuste kaalude nihutamine valitud arvus kordustes. Korduste arv valitakse programmi dialoogiaknast. Saadakse tunnuste kaalud, mis tagavad parima treening-vastavuse, kui kõik vaatlused on võrdselt näidisteks. Näidiste valik ja kaalumine valitud arvus kordustes. Näidiste kaalud, mis tagavad parima treeningvastavuse eelnevalt valitud tunnuste kaalude puhul valimis. Kontrollvastavuse arvutamine kogu andmestikus. Unustamine: valitud tunnuste ja näidiste aktuaalsuskaalude suurendamine, valimis olnud, aga mittevajalike tunnuste ja näidiste aktuaalsuskaalude vähendamine. Pidevstuudium

18. Õppekõveraid treeningvastavused ja nende trendjoon seni parim kontrollvastavus kontrollvastavused ja nende trendjoon EUNIS teise astme klasside õppekõver Treeningavastavused arvutati valimist, kontrollvastavused kogu andmestikust. Mida väiksem on valim, seda kergem on leida tugevat seost (vastavust) Pidevstuudium

19. Kaardiarvutuse menüü kõigi sisestusväljadega Vaatluskohtade tunnuste arvutamine Pidevstuudiumi dialoogiaknad (2 korda vähendatult) Hinnangukaardi parameetrite sisestus Hinnangu arvutamisel rasterkaardina Tehisõppe käivitamine Sarnasuskaardi parameetrite sisestus (sarnasus antud klassiga) Komplekshinnang ja sarnasuskaardi arvutus Hinnangu arvutamisel andmebaasi Pidevstuudium

20. Samm 16 pikslit Interpoleerimine kaardi genereerimisel Soo-neiuvaiba (Epipactis palustris) esinemise hinnangukaardi genereerimise astmed. Hall ― määratlemata ala, valge ― liigi tõenäoline puudumine, roheline ― liigi tõenäoline esinemine, roosa ― nii esinemise kui ka puudumise kohtadega sarnased alad. Eesti põhikaardi leht 5434, kaardilehe külg 10 km, piksli külg 10 m. Hinnangute arvutamist veekogudesse ja hoonestusalale tõkestas eelklassifikaatori andmekiht. Samm 4 pikslit Pidevstuudium

21. Nätuse esinemine/puudumine … Soo-neiuvaiba (Epipactis palustris) esinemise prognoosikaart. Roheline ― liigi tõenäoline esinemine, valge ― liigi tõenäoline puudumine, roosa ― nii esinemise kui ka puudumise kohtadega sarnased alad, helesinine ― veekogud, tumesinine ― liigi leiukohad, must ― hoonestusala ja teedeala. Eesti põhikaardi leht 5434, kaardilehe külg 10 km. Andmed aastast 2006. Pidevstuudium

22. Hinnatud klass Kaardilehe 54332 metsaliikide hinnang kaugseireandmete järgi. Heleroheline—lehtmets, pruunikas—segamets, tumeroheline—okasmets. Pidevstuudium

23. Otsusekindlus Kaardilehe 54332 metsaliikide hinnangu otsusekindlus [%] kaugseireandmete järgi. Otsusekindlus tähendab siin hinnangu arvutamisel kasutatud näidiste keskmist sarnasust hinnatava kohaga. Pidevstuudium

24. Sarnasus etteantud (kaardistatud) klassiga Väljavõte 2005. a ortofotost põhikaardiga Põhikaardil 2001.a kaardistatud põhiala näidiste sarnasus ortofotoga (uue raiesmiku kohas on sarnasus väike). Punane—väike sarnasus, roheline suur sarnasus. Pidevstuudium

25. Remm, K., Madli Linder, M. 2007. Prognoosisüsteemi Pidevstuudium tutvustus. Geodeet 34 (58): 34-40. Linder, M. 2006. Otepää looduspargi metsatüüpide kaardistamine näidistele tugineva pidevõppe tarkvara abil. Magistritöö. Käsikiri Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Eesti Rahvusraamatukogus. Remm, K. 2006. Liikide kasvukohad ja elupaigad hinnangulistel kaartidel. Eesti Loodus 7, 36–39. Otsing, M-L. 2007. Maastikumuutuste esiletoomine sarnasuskaartide ja Pidevstuudiumi abil. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas. Proosa, H. 2007. Optimaalne kerneli ulatus maakatteüksuste eristamiseksdigitaalsest rastrist. Bakalaureusetöö geoinformaatikas. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas. Oviir, M. 2007. Eesti põhikaardi okas-, sega- ja lehtmetsa eristatavus kaugseireandmete ja mullakaardi järgi kasutades näidistele tuginevat järeldamist ja tehisõpet. Bakalaureusetöö geoinformaatikas ja kartograafias. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas. Remm, K., Palo, A. Linder, M. 2007. Otepää looduspargi taimkatte kaardistamise aruanne. Käsikiri Tartu Ülikooli Ökoloogia ja Maateaduste Instituudi geograafia osakonnas ja Riikliku Looduskaitsekeskuse Põlva-Valga-Võru regioonis. Remm, M., Remm, K. Case-based estimation of the risk of enterobiasis. Esitatud ajakirjale Artificial Intelligence in Medicine. Publikatsioone ja uurimusi Pidevstuudiumist või selle abil tehtuid Pidevstuudium

26. Eelised tarkvaraLokaalstatistikud ees 1. Arvutab lokaalseid pildi- ja kaardimustri statistikuid paljudelt erinevatelt kaardilehtedelt ilma, et kasutaja peaks kaardilehe numbrit teadma või programmi mitu korda uuesti käivitama. Andmekihtide rastrid peavad olema muidugi kindlas kataloogis saadaval. 2. Täiendavad indeksid(väärtus kerneli keskmise suhtesjagradiendi tugevus üldjuhul). 3. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis. Eelised Idrisi32 ees. 1. Samad, mis Lokaalstatistikute programmil. Idrisi kasutab paljude indeksite (näiteks nõlvakalde ja autokorrelatsioni) arvutamiseks vaid naaberpiksleid, Pidevstuudium kasutab piksleid kogu kerneli ulatuses. Suuremad võimalused lokaalse kerneli ja valimite kasutamisel. Eelised tehisõppe programmi MLNN ees. 1. Mõnevõrra kiirem ühe õppevooru kulg. 2. Õppimine on pidev ehk lõputult korduv, kogemus salvestub tunnuste ja vaatluste aktuaalsuskoodides. 3. Tundmatuid vaatlusi saab alati seniste parimate õppetulemuste järgi prognoosida. 4. Ei vaja parameetrite faile ega parameetrite sisestamist programmi igal käivitamisel. Andmekihtide, tunnuste ja vaatluste andmed hoitakse ühtses teabebaasis. 5. Võimaldab õppida multinominaalse tunnuse iga klassi ülejäänutest eristamiseks vajalikke kaale. 6. Võimaldab hinnata mingisse klassi liigitatud vaatluse sarnasust selle klassi näidistega. 7. Avatus – nii tunnuseid kui ka vaatlusi võib teabebaasi pidevalt juurde lisada. Seniõpitu ei lähe kaduma ja arvuti suudab oma veendumusi uute andmete abil ümber hinnata. Tunnuseid saab ka edasisest kasutusest välja lülitada. Pidevõppe tarkvara Pidevstuudium eelised Pidevstuudium