RAKETTI-VIRTA-projekti
This presentation is the property of its rightful owner.
Sponsored Links
1 / 16

RAKETTI-VIRTA-projekti Tietojen tarkastaminen PowerPoint PPT Presentation


  • 91 Views
  • Uploaded on
  • Presentation posted in: General

RAKETTI-VIRTA-projekti Tietojen tarkastaminen. 6.2.2013, Lauri Jokipii www.csc.fi/virta. Tarkastuksia monessa vaiheessa. XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa

Download Presentation

RAKETTI-VIRTA-projekti Tietojen tarkastaminen

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Raketti virta projekti tietojen tarkastaminen

RAKETTI-VIRTA-projekti

Tietojen tarkastaminen

6.2.2013, Lauri Jokipii

www.csc.fi/virta


Tarkastuksia monessa vaiheessa

Tarkastuksia monessa vaiheessa

  • XML-validointi korkeakoulujen puolella

  • XML-validointi tietovarannon puolella

  • Tietojen sisäänluku

  • Tietojen tarkastukset tietovarannossa

  • Tietovarannon tiedot tarkastettavaksi korkeakouluille


V likysymys

välikysymys

  • Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?


Xml validointi

XML-validointi

  • Tähän mennessä käytettyjä työkaluja

    • Xmllint (Linux, Windows)

    • Xmlstarlet (Windows)

    • Microsoft SQL Server –ohjelmiston komponentit

  • Validointi varmistaa mm. käytetyt koodistoarvot

    • Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet


Tietojen sis nluku

Tietojen sisäänluku

  • Relaatiotietokannassa viite-eheydet(korkeakoulujen tietomalli)

Henkilö/Opiskelija

Lukukausi-ilmoittautuminen

Opintosuoritus

Opiskeluoikeus


Tietojen tarkastukset tietovarannossa

Tietojen tarkastukset tietovarannossa

  • Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike)

  • Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä


Tietojen tarkastukset tietovarannossa1

Tietojen tarkastukset tietovarannossa

  • Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä


Tietojen tarkastukset tietovarannossa2

Tietojen tarkastukset tietovarannossa

  • ”Edellisen elämän” esimerkkejä:

  • hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …


Tietojen tarkastukset tietovarannossa3

Tietojen tarkastukset tietovarannossa

  • Loputon lista, kehitetään jatkuvasti lisää

  • Mahdollisia esimerkiksi:

    • Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla)

    • Tutkinnonsuoritus viittaa opiskeluoikeuteen?

    • Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi

    • Ideoita otetaan vastaan


Tarkastukset tietovarannossa

Tarkastukset tietovarannossa

  • Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja

    • Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain

    • Ideoita otetaan vastaan

  • Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille


Tarkastusten tulokset

Tarkastusten tulokset

  • Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle

  • Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen


Raketti virta projekti tietojen tarkastaminen

Korkeakoulujen valtakunnallinen tietovaranto:

Keskitetty tietovarantopalvelu (CSC)

Koodistopalvelu

CSC: poiminta esim. Tilastokeskukselle tai Vipuseen

Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin:

testi- ja tuotantoympäristöt

Ohjaus, lähde, muunnos, tarkistus, siirto

Opetushallituk-sen palvelut

Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina”

Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…)

Ohjaus, lähde, muunnos, tarkistus, siirto

SFTP

SA

Tallennus

Yhdistetty tallennus

Luku-rajapinta-sovellus

WS-liikenne ulos

Tarkistus-sovellus

Ohjaus, lähde, muunnos, tarkistus, siirto

Korkeakoulujen omat palvelut

  • Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus

  • Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta

  • Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla:

  • 2 x Active Directory

  • SFTP, Events ja Auditor (Tectia) jaSQL

  • SQL Server 2008 R2

Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus)

  • Tietojen lukeminen:

  • Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön.

  • Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen.

  • Käyttövaltuuksien valvonta etäjärjestelmissä.

  • Lukemisen lokitus.


Raketti virta projekti tietojen tarkastaminen

Koodistopalvelu käyttöön

Korkeakoulukohtaisen tietointegraation toteuttaminen:

Hahmotelmia korkeakoulun toimenpiteistä

?

Tiedostojen siirtäminen tietovaranto-palveluun (SFTP)

Lähdejärjes-telmä

Yhteismital-listen XML-siirtotiedosto-jen muodos-taminen

Siirtotiedos-tojen tarkastaminen

Lähteet:

Tietojen kokoaminen eri lähteistä?

Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon

Muodostus: lähdetiedoista poimimalla ja päätelemällä.

Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti).

Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian?

Tietojen siirron automatisointi?


Raketti virta projekti tietojen tarkastaminen

Keskitetty tietovarantopalvelu

SFTP

Tietojen tarkistus

Tallennus

  • Korkeakoulukohtainen vastaanottoalue: SFTP

  • Tietojen automaattinen tarkistus ja raportointi korkeakoululle

  • Korkeakoulukohtainen tietokanta tiedon tallentamiselle

SA

SA

SA

SA

SA

SA


Raketti virta projekti tietojen tarkastaminen

Tietojen tarkistuspalvelu

  • Korkeakoulujen käyttöön

  • Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja

  • Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella

  • Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä


  • Login