RAKETTI-VIRTA-projekti
Download
1 / 16

RAKETTI-VIRTA-projekti Tietojen tarkastaminen - PowerPoint PPT Presentation


  • 132 Views
  • Uploaded on

RAKETTI-VIRTA-projekti Tietojen tarkastaminen. 6.2.2013, Lauri Jokipii www.csc.fi/virta. Tarkastuksia monessa vaiheessa. XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' RAKETTI-VIRTA-projekti Tietojen tarkastaminen' - dorian-freeman


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

RAKETTI-VIRTA-projekti

Tietojen tarkastaminen

6.2.2013, Lauri Jokipii

www.csc.fi/virta


Tarkastuksia monessa vaiheessa
Tarkastuksia monessa vaiheessa

  • XML-validointi korkeakoulujen puolella

  • XML-validointi tietovarannon puolella

  • Tietojen sisäänluku

  • Tietojen tarkastukset tietovarannossa

  • Tietovarannon tiedot tarkastettavaksi korkeakouluille


V likysymys
välikysymys

  • Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?


Xml validointi
XML-validointi

  • Tähän mennessä käytettyjä työkaluja

    • Xmllint (Linux, Windows)

    • Xmlstarlet (Windows)

    • Microsoft SQL Server –ohjelmiston komponentit

  • Validointi varmistaa mm. käytetyt koodistoarvot

    • Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet


Tietojen sis nluku
Tietojen sisäänluku

  • Relaatiotietokannassa viite-eheydet(korkeakoulujen tietomalli)

Henkilö/Opiskelija

Lukukausi-ilmoittautuminen

Opintosuoritus

Opiskeluoikeus


Tietojen tarkastukset tietovarannossa
Tietojen tarkastukset tietovarannossa

  • Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike)

  • Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä


Tietojen tarkastukset tietovarannossa1
Tietojen tarkastukset tietovarannossa

  • Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä


Tietojen tarkastukset tietovarannossa2
Tietojen tarkastukset tietovarannossa

  • ”Edellisen elämän” esimerkkejä:

  • hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …


Tietojen tarkastukset tietovarannossa3
Tietojen tarkastukset tietovarannossa

  • Loputon lista, kehitetään jatkuvasti lisää

  • Mahdollisia esimerkiksi:

    • Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla)

    • Tutkinnonsuoritus viittaa opiskeluoikeuteen?

    • Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi

    • Ideoita otetaan vastaan


Tarkastukset tietovarannossa
Tarkastukset tietovarannossa

  • Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja

    • Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain

    • Ideoita otetaan vastaan

  • Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille


Tarkastusten tulokset
Tarkastusten tulokset

  • Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle

  • Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen


Korkeakoulujen valtakunnallinen tietovaranto:

Keskitetty tietovarantopalvelu (CSC)

Koodistopalvelu

CSC: poiminta esim. Tilastokeskukselle tai Vipuseen

Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin:

testi- ja tuotantoympäristöt

Ohjaus, lähde, muunnos, tarkistus, siirto

Opetushallituk-sen palvelut

Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina”

Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…)

Ohjaus, lähde, muunnos, tarkistus, siirto

SFTP

SA

Tallennus

Yhdistetty tallennus

Luku-rajapinta-sovellus

WS-liikenne ulos

Tarkistus-sovellus

Ohjaus, lähde, muunnos, tarkistus, siirto

Korkeakoulujen omat palvelut

  • Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus

  • Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta

  • Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla:

  • 2 x Active Directory

  • SFTP, Events ja Auditor (Tectia) jaSQL

  • SQL Server 2008 R2

Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus)

  • Tietojen lukeminen:

  • Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön.

  • Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen.

  • Käyttövaltuuksien valvonta etäjärjestelmissä.

  • Lukemisen lokitus.


Koodistopalvelu käyttöön

Korkeakoulukohtaisen tietointegraation toteuttaminen:

Hahmotelmia korkeakoulun toimenpiteistä

?

Tiedostojen siirtäminen tietovaranto-palveluun (SFTP)

Lähdejärjes-telmä

Yhteismital-listen XML-siirtotiedosto-jen muodos-taminen

Siirtotiedos-tojen tarkastaminen

Lähteet:

Tietojen kokoaminen eri lähteistä?

Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon

Muodostus: lähdetiedoista poimimalla ja päätelemällä.

Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti).

Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian?

Tietojen siirron automatisointi?


Keskitetty tietovarantopalvelu

SFTP

Tietojen tarkistus

Tallennus

  • Korkeakoulukohtainen vastaanottoalue: SFTP

  • Tietojen automaattinen tarkistus ja raportointi korkeakoululle

  • Korkeakoulukohtainen tietokanta tiedon tallentamiselle

SA

SA

SA

SA

SA

SA


Tietojen tarkistuspalvelu

  • Korkeakoulujen käyttöön

  • Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja

  • Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella

  • Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä


ad