Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek

Adattárházak:OLTP, OLAP,ROLAP, MOLAP rendszerek

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek A rendszerekről röviden OLTP (On-line Transactional Processing) rendszerek: Olyan relációs adatbázis-rendszerek, amelyek az üzemszerű működés támogatását szolgálják. Például: számlavezető rendszer, értékesítési rendszer OLAP (On-line Analytical Processing) rendszerek: Olyan relációs vagy multidimenzionális adatbázis-rendszerek, amelyek az elemzések, jelentések elkészítését támogatják. Például: vezetői információs rendszer, döntéstámogató rendszer, jelentéskészítő rendszer ROLAP (Relational OLAP) rendszerek: alapja relációs adatbázis OLAP rendszerek MOLAP (Relational OLAP) rendszerek: alapja multidimenziós adatbázis

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek A rendszerek összehasonlítása

Adattárházak: Bevezetés Az idő dimenzió Az OLAP rendszerekből kinyert információk szinte mindig valamilyen időszakra/időszakokra vonatkoznak Időszakokat tartalmazó dimenzió szükségessége Az idő dimenzió tartalma előre meghatározható, üzemeltetésszerű, rendszeres töltése nem szükséges. Természetesen ez alól kivétel, amikor új időszakot kell nyitni. Például amikor az idő dimenzió a 2005-2010 évi időszakot tartalmazza, és tudjuk, hogy nemsokára szükség lesz a 2011 évi időszakokra, kiegészítjük azt ezzel az intervallummal. Az idő dimenzió általában az alábbi szintekkel rendelkezik: • év > negyedév > hónap (> nap) és/vagy • év > hét (> nap)

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek A rendszerek összehasonlítása

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Normalizáltság Az OLTP rendszerekben az adatok normalizált állapotban tárolódnak, így biztosítva az adatok integritását illetve az adatbázis anomáliák (beszúrási, módosítási, törlési) megelőzését.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Normalizáltság Az OLAP rendszerekben az adatok denormalizált állapotban tárolódnak, ezáltal az adatok tárolása redundáns lesz.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Normalizáltság Az OLTP – OLAP struktúraváltás szkriptje az alábbi: select c.*,csr.country_subregion,cr.* from country c,country_subregion csr,country_region cr where c.country_subregion_id = csr.country_subregion_id and csr.country_region_id = cr.country_region_id; Az OLAP – OLTP transzformációé pedig ez: create table country as select c.country_id, c.country_iso_code,c.country_name,c.country_name_hist,c.country_subregion_id from countries c; create table country_subregion as select distinctc.country_subregion_id,c.country_subregion, c.country_region_id from countries c; create table country_region as select distinct c.country_region_id, c.country_region from countries c;

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP rendszerek felépítése A tény- illetve dimenziótáblák háromféle struktúrába rendeződhetnek, azaz egy ROLAP rendszer felépítését tekintve háromféle lehet: • csillag (Star): egy ténytábla van és ahhoz közvetlenül kapcsolódnak a dimenziótáblák • hópehely (Snowflake): egy ténytábla van, de van olyan dimenziótábla, ami egy másik dimenziótáblához kapcsolódik • csillagkép (Galaxy): több ténytábla van és a dimenziótáblák egyszerre több ténytáblához ténytáblához kapcsolódhatnak Csillag séma Hópehely séma Csillagkép séma Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Tény-tábla Tény-tábla Tény-tábla Tény-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla Dimenzió-tábla

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP rendszerek felépítése A ROLAP rendszerek építőelemei: • Dimenziótáblák: egy vagy több hierarchiát tartalmaznak, amelyek szintekre bontódnak • Ténytáblák: dimenzióazonosítókból és tényadatokból épülnek fel Dimenziótábla Ténytábla dimenzió-azonosító hierarchia 1 szint n … szint 1 hierarchia 2 szint m … szint 1 … hierarchia p szint o … szint 1 dimenzió-azonosító 1 … dimenzió-azonosító q tényadat 1 … tényadat r

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP rendszerek felépítése Dimenziótáblák alkotóelemei: • dimenzió-azonosító: elsődleges kulcs (egyedi) • hierarchiák: legalább egy, de lehet több is (pl.: ügyfél dimenzió esetén: típus, életkor, cím) • szintek: minden hierarchia szintekből épül fel, az elemi szinttől akár a teljes összegzettségig (pl.: ügyfél dimenzió cím hierarchia esetén: ügyfél > település > megye > ország > összes) A legalsó szint minden hierarchiában ugyanazokból az elemekből áll. Amennyiben a legfelső szint minden hierarchiánál a teljes összegzettség, úgy (értelemszerűen) ez is azonos és csak egy elemből áll. Dimenzió-azonosítóból pontosan annyi van, mint a legalsó (azaz elemi) szint elemeiből. A dimenziótáblák tekinthetők fa struktúrájú objektumoknak is. Ebből az aspektusból a hierarchiák legalsó szintjei a levelek, a legfelső szint/szintek pedig a gyökér/gyökerek. A közbülső szintek alkotják a csomópontokat.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP rendszerek felépítése gyökér szint csomóponti szintek levél szint

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP dimenziótábla (dimenzióként megjelenítve)

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP rendszerek felépítése Ténytáblák alkotóelemei: • dimenzió-azonosítók: idegen kulcsok, kapcsolómezők a dimenziókhoz • tényadatok: más szóval mértékek, mérőszámok, ezek maguk a megjelenítendő mennyiségek A tényadat minden esetben valamilyen aggregátum, például: összeg, átlag, minimum, maximum, szórás, számosság. A végfelhasználó amit lát, az nem más, mint a dimenziókombinációk és a hozzájuk tartozó tényadatok.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a ROLAP struktúrákon Csoportosítások (csoportfüggvények alkalmazásával): select t.CALENDAR_YEAR_NAME, t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR, sum(c.UNIT_COST) from costs c, times t where c.TIMES = t.DIMENSION_KEY group by t.CALENDAR_YEAR_NAME, t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR order by 1,2,3;

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a ROLAP struktúrákon Szűrések (feltételek alkalmazásával): select t.CALENDAR_YEAR_NAME, t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR, sum(c.UNIT_COST) from costs c, times t where c.TIMES = t.DIMENSION_KEY and t.CALENDAR_YEAR_NAME = ‘1999’ group by t.CALENDAR_YEAR_NAME, t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR order by 1,2,3;

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a ROLAP struktúrákon Dimenzió(k) elhagyása: Tételezzük fel, hogy a következő dimenziók léteznek: PRODUCTS, PROMOTIONS, TIMES, CHANNELS Amennyiben így van, az előbbi oldalakon bemutatott lekérdezésekdimenziószűkítést alkalmaznak. Az összes dimenziót tartalmazó lekérdezés a következőképpen festene: select p.CATEGORY_DESCRIPTION, pm.CATEGORY_DESCRIPTION, t.QUARTER_OF_YEAR, ch.CLASS_DESCRIPTION, sum(c.UNIT_COST) from costs c, products p, promotions pm, times t, channels ch where c.TIMES = t.DIMENSION_KEY and c.PRODUCTS = p.DIMENSION_KEY and c.PROMOTIONS = pm.DIMENSION_KEY and c.CHANNELS = ch.DIMENSION_KEY group by p.CATEGORY_DESCRIPTION, pm.CATEGORY_DESCRIPTION, t.QUARTER_OF_YEAR, ch.CLASS_DESCRIPTION order by 1,2,3;

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a ROLAP struktúrákon További lehetőségek: • rollup • cube • analitikus függvények Példa a rollup-ra: select t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR, sum(c.UNIT_COST) from costs c, times t where c.TIMES = t.DIMENSION_KEY and t.CALENDAR_YEAR_NAME = ‘1999’ group by rollup(t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR) order by 1,2; Példa a cube-ra: select t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR, sum(c.UNIT_COST) from costs c, times t where c.TIMES = t.DIMENSION_KEY and t.CALENDAR_YEAR_NAME = ‘1999’ group by cube(t.QUARTER_OF_YEAR, t.MONTH_OF_YEAR) order by 1,2;

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek ROLAP ténytábla (adatkockaként megjelenítve)

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek MOLAP rendszerek felépítése A MOLAP rendszerek felépítése nagyon hasonló a ROLAP rendszerekéhez az alábbi különbségekkel: • Dimenziótáblák helyett dimenziókból, ténytáblák helyett adatkocká(k)ból épülnek fel. • A séma, amiben megvalósítják ezeket, nem relációs, hanem multidimenzionális, ezért más eszközökkel lehet kezelni/karbantartani az ilyen rendszereket/struktúrákat. • A MOLAP struktúrákban a tényadatok az adatkocka egy-egy cellájában tartózkodnak, minden dimenziókombinációhoz tartozik egy (vagy több) tényadat akár null tartalommal is, ebből adódóan ugyanolyan szemcsézettség esetén egy adatkocka helyigénye nagyobb, mint egy ténytábláé. Ezért • a MOLAP struktúrák jellemzően durvább szemcsézettségűek. A MOLAP struktúrákat relációs struktúrákból, ROLAP vagy OLTP struktúrákból származtatják, tehát az alapjuk (előzményük) minden esetben relációs.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek MOLAP struktúrák felépítése adatkocka tényadat 2500 dimenzió aggregáltság szintek dimenzió dimenzió

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a MOLAP struktúrákon felgörgetés felgörgetés lefúrás lefúrás szeletelés

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Műveletek a MOLAP struktúrákon Egyéb műveletek: • átfúrás (MOLAP struktúrából ROLAP struktúrába) • keresztülfúrás (egyik adatkockából egy másikba) részkocka képzése dimenzió elhagyása

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek MOLAP műveletek  ROLAP műveletek lefúrás  csoportosítás finomítása felgörgetés  összevontabb csoportosítás szeletelés  szűrés egy dimenziónál egy konkrét értékre részkocka képzése  szűrés dimenzió elhagyása  dimenziók szűkítése

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Az adattárház felépítése Az adattárházak olyan endszerek, amelyek a forrásrendszerek jellemzően OLTP adatait olyan struktúrába rendezik át, amely megfelel az OLAP rendszerekkel szemben támasztott követelményeknek. Ennek érdekében réteges felépítésű. Ez azt jelenti, hogy az adatok integrálása, historizálása, szerkezetváltása, az adatok tisztítása, integritásának/konzisztenciájának ellenőrzése, illetve a különböző üzleti információk kinyeréséhez szükséges logika (transzformációk, kalkulációk) felhasználása ugyanazon adatbázis (az adattárház adatbázisa) különböző sémáiban valósul meg. A következő oldalon lévő ábrán egy lehetséges felépítés látható. Fontos azonban megjegyezni, hogy a legalsó és a legfelső réteg funkcionalitása minden adattárháznál megegyezik. Minden egyes szint (legalább) az alábbi komponenseket tartalmazza: • adatobjektumok: táblák, nézetek, szekvenciák, stb. • mappingek: olyan tárolt eljárások, amelyek a forrásobjektumok mezőit leképezik a célobjektumok mezőire, így biztosítva az egyes szintek közötti adatáramlást. Ezek tartalmazzák a transzformációkat, az adattisztítási procedúrákat, az üzleti logikát, a kalkulációkat stb.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Az adattárház felépítése Célrendszerek: információs rendszerek Adattárház: adattisztítás, historizálás, struktúraváltás, kalkulációk Forrásrendszerek: operatív és egyéb rendszerek

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Információs rendszerek … Az adattárház egy lehetséges felépítése (vázlatosan) IS1 IS2 IS3 IS4 ISn Információ kinyerése Adatpiacok (ROLAP vagy MOLAP struktúrában) Kocka- generálás, Adatpiacosítás Historikus adatok (ROLAP struktúrában) Delta-képzés (historizálás) Adattárház Metaadat-kezelő rendszer Integrált előző napi adatok (ROLAP struktúrában) Struktúraváltás, tisztítás, transzformálás Forrásrendszerek előző napi lenyomata (OLTP struktúrában) Szűrés, közös platformra hozás Forrásrend-szerek … SS1 SS2 SS3 SS4 SSn

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Fejlesztési sajátosságok Kétféle fejlesztési metódus: • Big Bang • Inkrementális A Big Bang fejlesztés során felmérik a szervezek különböző egységeiben az aktuális és lehetséges (releváns) igényeket, majd felépítik az adattárházat, beleértve az adatpiacokat is. Az inkrementális fejlesztés alkalmazásánál egy igény jelentkezése során felépítenek egy (esetleg több) adatpiacot, de az elképzelhető, hogy csak bővítenek egy adatpiacot. Az igénynek nyilvánvalóan olyannak, kell lennie, amely kielégítése adattárház igénybe vételével lenne célszerű. Az előbbi értelemszerűen egy hosszabb átfutási idejű ás költségesebb fejlesztést igényel, mint az utóbbi.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek 1. fejlesztés 2. fejlesztés 3. fejlesztés Fejlesztési sajátosságok Az inkrementális fejlesztés ábráján az egy nem egy adatforrást jelez, hanem a fejlesztéshez felhasznált forrásrendszerek halmazát. DM DM DM DM DM DM DWH DWH SS SS SS SS SS SS Inkrementális Big Bang SS

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Fejlesztési sajátosságok A fejlesztés menete (mindkét esetben): • Igények felmérése, követelmények meghatározása • Logikai adatmodell elkészítése • Forrásadatok megkeresése, forrásrendszerek feltérképezése • Fizikai adatmodell elkészítése • Megvalósítás • Tesztelés • Ősfeltöltés (az adattárház feltöltése a régebbi adatokkal pl. archív adatbázisokból) A két legalapvetőbb különbség a hagyományos és az adattárház fejlesztés között a fenti 3. és 7. pont. A 3. pont a forrásrendszerek integrálásából, a 7. pont az adatok historikus mivoltából adódik.

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Fejlesztési sajátosságok

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek Üzemeltetési sajátosságok Az adattárház adattartalma folyamatosan nő A tárhely igény folyamatosan, meglehetősen nagy léptékben növekedik Erős szerver választása, újabb diszkek hozzárendelése Az adattárház töltése történhet rendszeresen (naponta, hetente, havonta) vagy ad-hoc jelleggel A rendszeres töltések ütemezetten szoktak végbemenni Ütemezett, egymástól függő jobok: egy job általában egy objektumot tölt

Köszönöm a figyelmet!

Adattárházak: OLTP, OLAP, ROLAP, MOLAP rendszerek