slide1 n.
Download
Skip this Video
Download Presentation
RAKETTI-VIRTA-projekti Tietojen tarkastaminen

Loading in 2 Seconds...

play fullscreen
1 / 16

RAKETTI-VIRTA-projekti Tietojen tarkastaminen - PowerPoint PPT Presentation


  • 134 Views
  • Uploaded on

RAKETTI-VIRTA-projekti Tietojen tarkastaminen. 6.2.2013, Lauri Jokipii www.csc.fi/virta. Tarkastuksia monessa vaiheessa. XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'RAKETTI-VIRTA-projekti Tietojen tarkastaminen' - dorian-freeman


Download Now An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

RAKETTI-VIRTA-projekti

Tietojen tarkastaminen

6.2.2013, Lauri Jokipii

www.csc.fi/virta

tarkastuksia monessa vaiheessa
Tarkastuksia monessa vaiheessa
  • XML-validointi korkeakoulujen puolella
  • XML-validointi tietovarannon puolella
  • Tietojen sisäänluku
  • Tietojen tarkastukset tietovarannossa
  • Tietovarannon tiedot tarkastettavaksi korkeakouluille
v likysymys
välikysymys
  • Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?
xml validointi
XML-validointi
  • Tähän mennessä käytettyjä työkaluja
    • Xmllint (Linux, Windows)
    • Xmlstarlet (Windows)
    • Microsoft SQL Server –ohjelmiston komponentit
  • Validointi varmistaa mm. käytetyt koodistoarvot
    • Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet
tietojen sis nluku
Tietojen sisäänluku
  • Relaatiotietokannassa viite-eheydet(korkeakoulujen tietomalli)

Henkilö/Opiskelija

Lukukausi-ilmoittautuminen

Opintosuoritus

Opiskeluoikeus

tietojen tarkastukset tietovarannossa
Tietojen tarkastukset tietovarannossa
  • Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike)
  • Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä
tietojen tarkastukset tietovarannossa1
Tietojen tarkastukset tietovarannossa
  • Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä
tietojen tarkastukset tietovarannossa2
Tietojen tarkastukset tietovarannossa
  • ”Edellisen elämän” esimerkkejä:
  • hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …
tietojen tarkastukset tietovarannossa3
Tietojen tarkastukset tietovarannossa
  • Loputon lista, kehitetään jatkuvasti lisää
  • Mahdollisia esimerkiksi:
    • Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla)
    • Tutkinnonsuoritus viittaa opiskeluoikeuteen?
    • Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi
    • Ideoita otetaan vastaan
tarkastukset tietovarannossa
Tarkastukset tietovarannossa
  • Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja
    • Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain
    • Ideoita otetaan vastaan
  • Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille
tarkastusten tulokset
Tarkastusten tulokset
  • Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle
  • Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen
slide13

Korkeakoulujen valtakunnallinen tietovaranto:

Keskitetty tietovarantopalvelu (CSC)

Koodistopalvelu

CSC: poiminta esim. Tilastokeskukselle tai Vipuseen

Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin:

testi- ja tuotantoympäristöt

Ohjaus, lähde, muunnos, tarkistus, siirto

Opetushallituk-sen palvelut

Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina”

Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…)

Ohjaus, lähde, muunnos, tarkistus, siirto

SFTP

SA

Tallennus

Yhdistetty tallennus

Luku-rajapinta-sovellus

WS-liikenne ulos

Tarkistus-sovellus

Ohjaus, lähde, muunnos, tarkistus, siirto

Korkeakoulujen omat palvelut

  • Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus
  • Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta
  • Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla:
  • 2 x Active Directory
  • SFTP, Events ja Auditor (Tectia) jaSQL
  • SQL Server 2008 R2

Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus)

  • Tietojen lukeminen:
  • Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön.
  • Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen.
  • Käyttövaltuuksien valvonta etäjärjestelmissä.
  • Lukemisen lokitus.
slide14

Koodistopalvelu käyttöön

Korkeakoulukohtaisen tietointegraation toteuttaminen:

Hahmotelmia korkeakoulun toimenpiteistä

?

Tiedostojen siirtäminen tietovaranto-palveluun (SFTP)

Lähdejärjes-telmä

Yhteismital-listen XML-siirtotiedosto-jen muodos-taminen

Siirtotiedos-tojen tarkastaminen

Lähteet:

Tietojen kokoaminen eri lähteistä?

Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon

Muodostus: lähdetiedoista poimimalla ja päätelemällä.

Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti).

Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian?

Tietojen siirron automatisointi?

slide15

Keskitetty tietovarantopalvelu

SFTP

Tietojen tarkistus

Tallennus

  • Korkeakoulukohtainen vastaanottoalue: SFTP
  • Tietojen automaattinen tarkistus ja raportointi korkeakoululle
  • Korkeakoulukohtainen tietokanta tiedon tallentamiselle

SA

SA

SA

SA

SA

SA

slide16

Tietojen tarkistuspalvelu

  • Korkeakoulujen käyttöön
  • Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja
  • Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella
  • Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä