Tema 3: Skladi štenje podataka i inteligentni agenti

1. Tema 3: Skladištenje podataka i inteligentni agenti SISTEMI ZA PODRŠKU ODLUČIVANJU doc dr Vladislav Miškovic Fakultet za informatiku i menadžment 2009/2010

2. Tema 3:Skladištenje podatakai inteligentni agenti • Uvod • Skladišta podataka • Razvoj skladišta podataka • Zaštita i administracija • Inteligentni agenti • Primeri

3. 1. UVOD • Poslovna inteligencija • Skladište podataka • Osnovna svojstva • Struktura i komponente

4. Poslovna inteligencija (business intelligence) • Sastoji se od • skladišta podataka (data warehouse, DW) i • skupa korisničkih alata za kreiranje upita i izveštaja i njihovu analizu i vizualizaciju (business analytics, BA) • metoda za otkrivanje netrivijalnih relacija u podacima (data mining i Web mining) • metoda i alata za upravljanje performansama poslovanja (business performance management, BPA)

5. Skladište podataka • skup podataka proizvedenih radi podrške odlučivanju • mesto prikupljanja tekućih i istorijskih podataka, potencijalno od interesa za različite menadžere u organizaciji • podaci su strukturisani na način pogodan za različite analitičke obrade

6. Osnovna svojstvaskladišta podataka • neophodni za analitičko procesiranje (OLAP), koje omogućava korisniku udobnije, manje formalne načine postavljanja složenih upita • različito od klasičnog procesiranja transakcija (OLTP) • suprotstavljeni ciljevi izgradnje operativnih baza i analitičkih baza podataka (neefikasnost) • skladište proizvedenih informacija • informacije iz više izvora (baza podataka) • neophodne za održavanje tržišne prednosti • primena u izgradnji brendova, lojalnosti mušterija, ...

7. Struktura i komponente skladišta podataka

8. 2. SKLADIŠTA PODATAKA • Osnovne definicije • Proces skladištenja • Arhitekture skladištenja • Integracija podataka

9. Osnovne definicije • Skladište podataka (Data Warehouse) • integrisana, pojmovno orijentisana, vremenski promenljiva i neizbrisiva kolekcija podataka, koja pruža podršku odlučivanju • Data Mart • mali podskup skladišta posvećen nekoj tematici i namenjen određenoj grupi ljudi • Operational Data Store (ODS) • dinamička, privremena skladišta, za brzo donošenje odluka • Enterprise Data Warehouses (EDW) • velika skladišta podataka, za celu organizaciju

10. Proces skladištenja • Osnovne komponente • izvori podataka (data sources) - transakcione baze, datoteke, eksterni izvori • ekstakcija • punjenje • baza podataka • metapodaci • middleware

11. Arhitekture skladištenja • dvoslojna ili troslojna, prema tome kako su raspoređeni • podaci i softver skladišta • softver za prikupljanje podataka (ekstrakciju, konsolidaciju, sumiranje i punjenje skladišta) • klijent • Web sistemi • postoje različite varijante arhitekture skladišta, od centralizovanih do decentralizovanih rešenja, gde se samo dele različiti pogledi (DataMarts)

12. Različite arhitekture skladištenja a) centralizovano b) Web c) decentralizovano

13. Integracija podataka • priprema podataka za upotrebu od strane drugih alata za skladištenje (DW) • pristup (access) različitim izvorima podataka • objedinjavanje (federation) podataka iz različitih izvora/sistema - internih i eksternih • izdvajanjepromena (change capture) • Tehnologije koje se koriste u integraciji • Enterprise application integration (EAI) • Service-oriented architecture (SOA) • Enterprise information integration (EII) • Extract, transformation and load (ETL)

14. ETL proces • Ekstrakcija - čitanje više baza (transakcione baze podataka, fajlovi, elektronske tabele, lične baze podataka) • Transformacija - promena oblika podataka • Punjenje (load) - smeštanje u skladište • Koristi se pomoćna, privremena baza podataka • Poslovna pravila su smeštena centralizovano, kao metapodaci • Koriste se namenski alati (Microsoft, Oracle, IBM, Informatica, Tibco) ili se pišu se posebni programi

15. ETL proces

16. 3. RAZVOJ SKLADIŠTA • Primer • Poznati proizvođači softvera • Različiti pristupi razvoju • Struktura skladišta (zvezda) • Implementacija • Masivna skladišta • Skladištenje u realnom vremenu

17. Primer • avioprevoznik u finansijskim problemima (7. u svetu) • 2300 letova dnevno • 227 destinacija • problem organizacije i zadovoljenja potreba putnika • više različitih baza podataka i nasleđenih zastarelih sistema, spori upiti • izgrađeno integrisano skladište podataka kompanije (EDW) • informacije u realnom vremenu (putnici, osoblje, bezbednost, proces letenja) • osim redukcije troškova, eliminisane i zloupotrebe • investicija od 30 miliona (u toku 6 godina), povećanje prihoda 500 miliona

18. Poznati proizvođači softvera • Computer Associates (www.ca.com) • Hyperion Solutions (www.hyperion.com) • IBM (www.ibm.com) • Informatica (www.informatica.com) • Microsoft (www.microsoft.com) • Oracle (PeopleSoft, Siebel) www.oracle.com • SAS Institute (www.sas.com) • Sybase (www.sybase.com) • Teradata (www.teradata.com)

19. Različiti pristupi razvoju • Centralizovani pristup (EDW) • jedinstven pogled na celu organizaciju • koristi metode i alate za razvoj baza podataka (ERD, spiralni razvoj) • Decentralizovani pristup (Data Mart) • "planirati celinu, graditi postupno" • podaci se prvo organizuju prema problematici pojedinih organizacionih celina • često prvi korak ka razvoju centralizovanog skladišta (EDW)

20. Struktura skladišta (zvezda) • modeliranje dimenzija - sistem pristupa podacima velikog obima • struktura zvezde je način implementacije modela dimenzija • centralna tabela - posmatrani poslovni podaci i njihovi atributi, analitički (mere performansi), deskriptivni, ključevi • tabele dimenzija (klasifikacija i agregacija informacija o podacima) • granulacija - nivo detaljnosti (optimizuje se)

21. Primer

22. Implementacija • poseban projekt, veliki broj različitih pristupa • niz faktora i kriterijuma (na vežbama) • osnovni alati za integraciju podatakasu deo softvera poznatih proizvođača DBMS/BI alata, npr. • SSIS - SQL Server Integration Services

23. SSISSQL Server Integration Services

24. Masivna skladišta • performanse opadaju porastom veličine skladišta • veličina skladišta podataka raste eksponencijalno (danas petabajti) • skalabilnost skladišta je svojstvo da vreme pristupa linearno zavisi od veličine skladišta

25. Skladištenje u realnom vremenu • tradicionalna skladišta podataka se ažuriraju periodično (npr. nedeljno) • važni aspekti poslovanja zahtevaju donošenje odluka u realnom vremenu • za potrebe korisnika koji direktno komuniciraju s kupcima i dobavljačima, EDW su evoluirali u real time data warehousing (RTDW) ili active warehousing (ADW) • omogućena je upotreba skladišta podataka i na taktičkom nivou

26. 4. ZAŠTITA I ADMINISTRACIJA • Metodi zaštite i administracije informacionih sistema i baza podataka • Administrator skladišta podataka • komunikacija sa donosiocima odluka • potrebno znanje iz informacionih sistema, baza podataka, mreža i sistema za podršku odlučivanju

27. 5. INTELIGENTNI AGENTI • Inteligentniagent - računarski program koji pomaže korisniku u obavljaju rutinskih poslova na osnovu utvrđenih pravila i baze znanja [1] • agent - osoba koja sarađuje s drugim licima radi obavljajnja određenih poslova • softverski agent (software daemon, software agent), čarobnjak (wizzard) = softverski robot (softbot, chatterbot, shopbot, knowbot, mailbot, spambot)

28. Podela prema primeni • autonomni agenti • biološki agenti • robotski agenti • računarski agenti • softverski agenti • određene namene • za zabavu • virusi • veštački živi agenti

29. Podela prema svojstvima (dimenzijama) • agencija - stepen autonomije (asinhronost) • inteligencija - stepen zaključivanja i sposobnost učenja • mobilnost - sposobnost premeštanja u mrežnom okruženju • učestvuju u procesima i u vreme kad korisnik nije na mreži (npr. višednevne aukcije)

30. Internet agenti • e-mail agenti (mailbot) • web browsing asistenti • inteligentni pretraživači • indeksiranje informacija, robots, spiders, wanderers • softboti (pronalaženje informacija) • google.com, hotjobs.yahoo.com • agenti za upravljanje i nadzor • e-commerce agenti • bestwebbuys.com, ebay.com • ostali agenti (inteligentni interfejsi, učenje, preporučivanje, profilisanje, Web mining, ...)

31. 6. PRIMERI Primeri projekata na sajtovima • Oracle www.oracle.com • Microsoft www.microsoft.com • IBM www.ibm.com • Hyperion www.hyperion.com • Harvard Bussines School Case Collection www.harvardbussinesonline.hbsp.harvard.edu Inteligentni agenti i interfejsi • www.botspot.com

32. Literatura • Nastavni materijali (prezentacije i uputstva) • Turban E., Aronson J.E., Liang T., Sharda R., Decision Support and Business Intelligence Systems, 8th Ed, Pearson Education,Inc, 2007 • Seref M., Ahuja R.,Winston W., Developing Spreadsheet-based Decision Support Systems, Dynamic Ideas, 2007 • Adam F., Humphreys P., Encyclopedia of Decision Making and Decision Support Technologies, IGI Global, 2008

33. SISTEMI ZA PODRŠKU ODLUČIVANJUTema 3: Skladištenje podataka i inteligentni agenti KRAJ