Data Warehousing

1. BentMøllerMadsen Data Warehousing Del 1 af 3: Hvad er Data Warehousing? Aalborg Universitet, d. 1. februar 2007

2. Formål med beslutningsinformation igennem business intelligence • Opnå bedre beslutningsgrundlag gennem ”komplette”, rettidige og præcise data • Håndtere og få gavn af den eksponentielt voksende mængde data • Sammenkæde data fra forskellige systemer • Kvalitetssikre data fra operationelle systemer • Koble (økonomistyrings-)modeller på data • Muliggør decentralt fleksibel afrapportering af online data

3. Hvad er et Data Warehouse? • En database med fokus at organisere data, således at det er nemt at udtrække beslutningsinformation. • Samling af data fra forskellige kilder • Rensning/validering af data • Transformering af data • Datakilde for analyse- og præsentations-værktøjer.

4. Videnbaserede processer Regelbaserede processer DWH – grundlag for ledelsesinformation på taktisk og strategisk niveau Strategisk Taktisk Operationel

5. DWH – grundlag for ledelsesinformation på taktisk og strategisk niveau Data Mining OLAP Data Warehouse SCM ABC/ABM EVA CRM Balanced Scorecard Kreditor Lager MRP MPS OLTP ERP Finans Debitor Produktion

6. Navn Budget Faktisk Bent 11000 12000 Henrik 8000 8000 Hans 12000 10500 Lone 11000 13000 Hvorfor anvende Data Warehouse? • Indbyggede rapportingsmuligheder i kildesystemer ERP

7. Hvorfor anvende Data Warehouse? • Indbyggede rapportingsmuligheder i kildesystemer • Fordele • Simpelt at anvende: standardrapporter • Ulemper • Ikke sikkert at der er indbyggede rapporteringsmuligheder • Afhængig af standardrapporter – begrænsede muligheder for egne definerede rapporter • Kun mulighed for at præsentere data fra dette ene system • Ingen mulighed for at validere/rense data • Ingen/begrænsede avancerede analytiske muligheder • Ikke muligt at arbejde dynamisk med data (OLAP)

8. Navn Budget Faktisk Bent 11000 12000 Henrik 8000 8000 Hans 12000 10500 Lone 11000 13000 Hvorfor anvende Data Warehouse? • Eksterne rapporterings-/analyseværktøjer i forhold til kildesystemer Produktions- system Analyse- værktøjer ERP

9. Hvorfor anvende Data Warehouse? • Eksterne rapporterings-/analyseværktøjer i forhold til kildesystemer • Fordele • Avancerede rapporterings- og analysemuligheder • Der kan arbejdes dynamisk med data (OLAP) • Kan sammenholde data fra flere kilder • Ulemper • Meget besværligt at sammenholde data fra flere kilder • Datamodellerne der ligger bag kildesystemerne kan være meget svære at overskue og dermed præsentere data fra • Ingen mulighed for at validere/rense data • Forespørgsler kan være meget ressourcekrævende og dermed genere andres daglige arbejde med kildesystemerne

10. Navn Budget Faktisk Bent 11000 12000 Henrik 8000 8000 Hans 12000 10500 Lone 11000 13000 Hvorfor anvende Data Warehouse? • Samling af data i et Data Warehouse før anvendelse af rapporterings- og analyse-værktøjer Produktions- system DWH Analyse- værktøjer ERP Logistik

11. Hvorfor anvende Data Warehouse? • Samling af data i et Data Warehouse før anvendelse af rapporterings- og analyse-værktøjer • Fordele • Data fra flere kilder integreres i et Data Warehouse • Data Warehouse baseres på en (relativ) simpel datamodel der er velegnet til at trække data ud fra. • Data renses og valideres • Tunge beregninger kan udregnes på forhånd • Avancerede rapporterings- og analysemuligheder (OLAP), der kun skal basere sig på en kilde • Forespørgsler fra rapporterings- og analyseværktøjer generer ikke kildesystemerne • Ulemper • Ressourcekrævende at udvikle

12. Definition af Data Warehouse • Definitionen på et data warehouse: • ”… a subject oriented, integrated, time variant, nonvolatile collection of data in support of management decisions.” Bill Inmon

13. Salg i butikker Salg via postordre Internet-salg Alt salg i virksomheden Definition af Data Warehouse • Subject oriented (emneorienteret) • Fokus skifter fra at se på en virksomheds applikationer til at se på de væsentlige emner.

14. Rørlængde: 55 cm Rørlængde: 0,55 m Rørlængde: 550 mm En fælles længdeangivelse Definition af Data Warehouse • Integrated (integreret) • Data (fra forskellige kildesystemer) relateres til hinanden • Datatyper ensrettes, således at eksempelvis enheder ikke angives i forskellige formater.

15. Pris vare A 89,50 119,50 99,50 2/2 2003 Tid 13/4 2001 20/8 2001 Definition af Data Warehouse • Time variant (tidsafhængig) • Data i et DW er ikke nødvendigvis korrekte set fra dags dato, men alle data har været korrekte set fra forskellige historiske tidspunkter. • Et kildesystem vil som modsætning (ofte) kun vise data der dags dato er korrekte.

16. Definition af Data Warehouse • Nonvolatile (ikke-omskiftelig/ikke-flygtig) • Man må/kan ikke gå direkte ned og redigerer data i et data warehouse. • Data må kun overføres fra kildesystemer • Og efterfølgende kun hentes ud fra data warehouse. • Hvis dette ikke overholdes, ændrer man på fortiden/de historiske data.

17. Definition af Data Warehouse • Support of management decisions • Data warehouset skal stille relevante data til rådighed for analyser, som kan anvendes af ledelsen til at foretage økonomistyring, markedsanalyser, logistikopfølgning osv. • Dette stiller krav til den logiske model bag et data warehouse.

18. Opsamling, rensning & bearbejdning af data OLTP-systemer Analyse-værktøjer Produktions- system Excel DWH OLAP ERP Rapporter Tekstfiler Data Mining … Andre data-kilder Det store billede

19. Data, information og viden • Where is the wisdom? Lost in the knowledge. Where is the knowledge? Lost in the information. - T.S. Eliot Where is the information? Lost in the data. Where is the data? Lost in the #@%&! database! - Joe Celko Celko, J. (1999). Joe Celko's Data and Databases: Concepts in Practice (T.S. Eliot citatet er lettere omskrevet og kommer oprindeligt fra Choruses From "The Rock" (1934))

20. Erkendelses- og begrebsfiltre Handling (datakilde) Agent (videnkilde) Information Data Boisot, M. (1998). Knowledge Assets - Securing Competitive Advantage in the Information Economy, s. 12 Data, information og viden

21. Metadata • Metadata er data om data • Dokumentation • I et Data Warehouse projekt beskrives bl.a. • Hvor kommer data fra? • Hvor bliver data leveret til? • Hvilke transformationer gennemgår data? • Hvilken logisk og semantisk betydning har data? • Hvordan præsenteres data til slutbrugerne? • etc.

22. Kilder om data, information og viden • www.akajoe.dk  Ph.D.  Kapitel 7 om Data, Information & Viden • Davenport, T. H. & Prusak, L. (1998). Working knowledge - How Organizations manage what they know. • Brooking, A. (1999). Corporate Memory: Strategies For Knowledge Management. • Boisot, M. (1998). Knowledge Assets - Securing Competitive Advantage in the Information Economy.