Adatminőség

1. Adatminőség Előadó:Angyal Gergely 2012.02.22.

2. Bemutatkozás • Iskolák, szakképesítések: okleveles mérnök-informatikus, bankinformatikus szakmérnök, vezetőképzés, Certified Information System Auditor (ISACA), Certified Tester (ISTQB) • Szakmai tevékenység: szoftverfejlesztés (VB, C#, SQL), IT audit, tesztelés, IT minőségbiztosítás, csoportvezetés, projektvezetés • Motiváció: komplex informatikai problémák megoldásában való közreműködés Előadó: Angyal Gergely

3. Tematika • Teória • definíciók • keretrendszer (BI, DWH) az adatminőség értelmezéséhez • ellenőrzéstípusok (PreDeCo) • Praktikus szempontból • adatminőség anomáliák • mező: név, cím, okmányok • rekord: duplikátum • általánosság Előadó: Angyal Gergely

4. Bevezetés • Minőség • Adatminőség • Elvárások • Kit érint az adatminőség • Ki tehet az adatminőségért? Előadó: Angyal Gergely

5. Definíciók • minőség: az a szint, amikor a komponens, rendszer vagy folyamat megfelel a meghatározott követelményeknek és/vagy a felhasználó/ügyfél igényeinek és elvárásainak. [IEEE 610 / 24765-2010] • szoftverminőség: a szoftvertermék funkcionalitásainak és jellemzőinek az összessége, amelyek az explicit és implicit módon megadott szükségleteket elégítik ki. [ISO 9126] Előadó: Angyal Gergely

6. Definíciók • transzcendencia-alapú minőség: a minőség azon formája, amit nem lehet egyértelműen meghatározni, mégis tudjuk, ha látjuk, vagy érzékeljük a hiányát, ha az nem megfelelő. A minőség az egyén, vagy egyének csoportjának érzékelésén és szubjektív érzésein múlik [Garvin] • data quality: fit for their intended uses in operations, decision making and planning [J. M. Juran, wikipedia / en] Előadó: Angyal Gergely

7. Keretrendszer • BI: „adatok, információ és tudás hozzáférhetősége” • Hozzáférhetőség minőségi aspektusa: nem megfelelő minőségűek az adatok, akkor sem az adat, sem az információ nem – teljeskörűen – hozzáférhető • DWH: betöltés „elhasal”: a forrásrendszerek adatminőségi problémájára először az aznapi töltés derít fényt Előadó: Angyal Gergely

8. Ellenőrzéstípusok • Preventív ellenőrzés adatbevitelkor • megelőzés: a minőség romlását megelőzzük • megfelelő adatmodellezéssel • adatvalidátorok alkalmazásával • Detektív és korrektív ellenőrzés • felderítés: a minőségi problémát felderítjük • nem megfelelő értékek megkeresése egyedileg (GUI) • nem megfelelő értékek tömeges megkeresése (SELECT), és javítása (INSERT/UPDATE) Előadó: Angyal Gergely

9. Mező szintű anomáliák • Szkóp • attribútum • adatmező, adatelem • oszlop • az entitás leíró adatára vonatkozó minőségi kritéria • Szerkezet • az adat önállóan, egymagában értelmezett minősége • megfelelő formátumban tárolt adat • Értékkészletnek megfelelő adat • adatelemek közötti összefüggés • konzisztencia Előadó: Angyal Gergely

10. Mező szintű anomáliák • Adathiány, hiányzó adat, nem töltött érték • lakcímkártyaszám mező: üres • Formátumnak nem megfelelő érték • lakcímkártyaszám mezőben: AAA-999 (rendszám) • Értékkészletnek nem megfelelő érték • neme mezőben: Z (pl. F/N helyett) • Más típusú érték • születési név mezőben: 1989 Előadó: Angyal Gergely

11. Formátum • Név? • Természetes személy • Jogi személy • Természetes személy Magyarországon használatos • születési név • házassági név • megkülönböztető betűjel • titulusok • utónevek • Természetes személy külföldi nevek • speciális ékezetek, írásjelek (cirill, kínai) • más formátumlogikát követ Előadó: Angyal Gergely

12. Formátum • Név • Bastiano Coimbra de la Coronilla y Azevedo • Antonio Coimbra de la Coronilla y Azevedo Előadó: Angyal Gergely

13. Formátum • Születési név Magyarországon • Egytagú családnév egy utónévvel • Kéttagú családnév egy utónévvel • Egytagú családnév két utónévvel • Kéttagú családnév két utónévvel Előadó: Angyal Gergely

14. Formátum • Házassági név • A feleség a házasságkötés után választása szerint: • kizárólag a maga teljes nevét viseli • a férje teljes nevét viseli a házasságra utaló toldással • a férje teljes nevét viseli a házasságra utaló toldással, amelyhez a maga teljes nevét hozzákapcsolhatja • a férje családi nevét viseli a házasságra utaló toldással és ehhez a maga teljes nevét hozzákapcsolja • férje családi nevéhez hozzákapcsolja a saját utónevét Előadó: Angyal Gergely

15. Formátum • Házassági név 2 • A férj a házasságkötés után: • kizárólag a maga teljes nevét viseli • a felesége családi nevéhez hozzákapcsolja a saját utónevét • A férj, illetve a feleség a házasságkötés után házassági névként családi nevüket is összekapcsolhatják, hozzáfűzve a saját utónevüket Előadó: Angyal Gergely

16. Formátum • Titulusok • dr. • ifj. • id. • özv. • Titulusok • dipl. Ing • med. • Prof. • Dr. med.habil. Xxxx Yyyyyy Ph. D., D.Sc. Előadó: Angyal Gergely

17. Formátum • Cím • Postai küldemény – postaláda fellelhetősége • Elérhetőség – ajtó, helyiség fellelhetősége Előadó: Angyal Gergely

18. Formátum • Okmányok • Személyi igazolvány • Lakcímkártya • Egyéb okmányok • Útlevél • Születési anyakönyvi kivonat • Vezetői engedély Előadó: Angyal Gergely

19. Formátum • Reguláris kifejezések Oracle-ben (10g) • REGEXP_INSTR • REGEXP_SUBSTR • REGEXP_REPLACE • REGEXP_LIKE • Lakcímkártya-szám • REGEXP_INSTR(fieldname, [:digit:]{6}[:alpha:]{2}) Előadó: Angyal Gergely

20. Értékkészlet • Osztályokra bontás, klasszifikálás • GROUP BY • Név referencia adatbázisok • Név-adatszolgáltatás • Utónévtörzs • Cím referencia • Közterülettörzs ? Előadó: Angyal Gergely

21. Rekord szintű anomáliák • Tárolás struktúrája • nem felel meg az adat jellegéből adódó alkalmas struktúrának (pl. névadat egy VARCHAR mezőben) • Duplikátum • ugyanazon entitás többszörözött tárolása • keresése • kezelése • Korrekciója (logikai fizikai összevonás) Előadó: Angyal Gergely

22. Összefoglalás • Definíciók • minőség, adatminőség • Keretrendszer • Ellenőrzéstípusok • Mező szintű anomáliák • formátum • értékkészlet • Rekord szintű anomáliák • duplikáció Előadó: Angyal Gergely

23. Kérdések Előadó: Angyal Gergely

24. Köszönöm a figyelmet! Angyal Gergely gergely.angyal@gmail.com +36 20 492 5885 Előadó: Angyal Gergely