Az adattárház tervezése

1. Az adattárház tervezése

2. Az adattárház tervezése Kétféle módszer: • Inkrementális: egy-egy adatpiacot hozunk létre egymás után • „Big bang”: az összes releváns adat tárolására hozzuk létre az adattárházat 2. DM DM DM DM DM DM 3. DWH DWH 1. 1. 2. 3. DS DS DS DS DS DS

3. Az adattárház tervezése Mindkét módszer az alábbi alapvető lépésekből áll: • Üzleti igények feltérképezése  Üzleti specifikáció • Logikai és fizikai rendszerterv elkészítése  Funkcionális specifikáció • Fizikai megvalósítás  Rendelkezésre álló adatpiac(ok)

4. Az adattárház tervezése Az inkrementális módszer előnyei: • gyorsabb és olcsóbb a tervezés • gyorsabb és olcsóbb a megvalósítás • az esetleges alapvető, koncepcionális hibák már korán megjelennek, javításuk egyszerűbb A „Big bang” módszer előnyei: • a további adatpiacok kiépítése jelentősen kisebb ráfordítást igényelnek • a különböző üzleti területek számára már rendelkezésre áll az adatmodell, aminek az alapján eldönthetik, hogy igénybe veszik-e, és ha igen, milyen mértékben a rendelkezésre álló adatokat • az adattárház kezdeti hibái (gyerekbetegségei) mát megoldottak a továbbfejlesztés kezdetekor • a további ősfeltöltések nem jelentenek többletráfordítást

5. Az adattárház tervezése • Üzleti igények feltérképezése: A tudásmunkásoknak meg kell adniuk, hogy milyen mérőszámokat, és azokat milyen dimenziókra értelmezve szeretnék látni (pl.: üzleti terület: termék értékesítés; mérőszámok: értékesítések darabszáma, értékesítések összege; dimenziók: időszak, régió, hiteltípus)

6. Az adattárház tervezése Ezzel egyidejűleg specifikálni kell a dimenziók hierarchiáit illetve az egyes hierarchiák szintjeit (pl.: időszak: év – negyedév – hónap terület: régió – megye – város – fiók hiteltípus: felhasználás jellege: szabad, lakásvásárlási futamidő: éven belüli, éven túli – féléves, egyéves; 18-24-36-48-60-stb. hónapos)

7. Az adattárház tervezése A leendő felhasználóknak a fejlesztőkkel együttműködve meg kell határozniuk, hogy melyik és milyen adatforrásokból szeretnék az információkat kinyerni, illetve hogy milyen eszközzel szeretnék megjeleníttetni az információkat (pl.: adatforrás: Oracle, MS Access megjelenítés: Cognos, Excel)

8. Az adattárház tervezése • Logikai és fizikai rendszerterv elkészítése A rendszerterv része a logikai adatmodell és a fejlesztés átadásnál mellékelni kell a Felhasználói kézikönyvet. A felhasználók munkáját és a továbbfejlesztést azonban nagyban segítheti valamilyen metaadat-kezelő alkalmazás használata. Ez egy olyan eszköz, amelynek a segítségével könnyen feltérképezhető az egyes adatok pontos jelentése (azaz a forrásrendszerben mit reprezentálnak) illetve, hogy milyen logika mentén történik az adatok transzformálása és/vagy szűrése.

9. Az adattárház tervezése A modellezés során az adattárház struktúráján kívül részletesen ki kell térni (többek között) az alábbiakra: • Az adatok kinyerésének módja (pl.: DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) • Az adatok betöltésének módja (pl.: DB-linkek, ODBC, csatolt forrásállományok) • Az adatok tisztításának mikéntje (pl.: null értékek helyettesítése 0-val, szélső értékek helyettesítése átlagértékekkel) • Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra) • Az adatok integritásának biztosítása (keresztellenőrzések, egyediség ellenőrzése)

10. Az adattárház tervezése Információ kinyerése, kocka generálás, adatpia-cosítás Információs rendszerek … • Az adattárház egy lehetséges felépítése vázlatosan: IS1 IS2 IS3 IS4 ISn Historikus adatok (ROLAP struktúrában) Delta képzés (histori-zálás) Szűkebb értelemben vett adattárház Metaadat-kezelő rendszer Integrált adott napi adatok (ROLAP struktúrában) Struktúra váltás, tisztítás, transzfor-málás Forrásrendszerek adott napi lenyomata (OLTP struktúrában) Szűrés, közös platformra hozás Forrásrend-szerek … DS1 DS2 DS3 DS4 DSn

11. Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 1. • Az adatok kinyerésének meghatározása (pl.: DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) • Az adatok betöltésének meghatározása (pl.: DB-linkek, ODBC, csatolt forrásállományok) • A közös platform kiválasztása (adatbázis típusa: pl.: Oracle, Microsoft; szerver operációs rendszere: Windows, Unix) • Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra)

12. Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 2. • Struktúra váltás OLTP-ről ROLAP-ra: elemzésre optimalizált témakörökre alapított adathalmazok objektumainak definiálása • Az adatok tisztításának mikéntjének meghatározása (pl.: null értékek helyettesítése 0-val, szélső értékek helyettesítése átlagértékekkel) • Adatok transzformálása (pl.: beépített szabályok szerint a program kódjában, változtatható szabályok szerint mapping táblával)

13. Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 3. • Historikus adatok képzése: • Állományi adatoknál csak változás esetén kerül be új rekord • Tranzakciós adatoknál minden tranzakcióra bekerül egy rekord

14. Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 4. • Célrendszerek (Döntéstámogató Rendszerek, Vezetői Információs Rendszerek, Adatbányászati alkalmazások, Jelentéskészítő rendszerek, stb.) • Célrendszerek típusa: • multidimenzionális • relációs • irodai alkalmazás (pl.: Excel) • Információ kinyerésének módja (pl.: adatbázis-linkek, felhasználói szerepkörök az adattárházban, ODBC kapcsolat)

15. Az adattárház tervezése • Metaadat-kezelés: A felhasználók, a fejlesztők és az üzemeltetők munkáját támogatandó nyilvántartásba veszik a forrásadatok és a kinyert információk közötti összefüggéseket: • Üzleti metaadatok (az adatok szemantikája) • Technikai metaadatok (az adatok szintaktikája) szűrés transzf. transzf. DS IS DWH

16. Köszönöm a figyelmet!