Data pod kontrolou

1. Data pod kontrolou Řešení datového skladu v prostředí Celní správy ČR Ondřej Vít ondrej.vit@adastracorp.com Konference ISSS 3.4.2006

2. Adastra • Adastra ječeská společnost s tuzemskými i mezinárodními referencemi (ČR, SK, Kanada, Neměcko) • Adastra je technologicky nezávislou konzultační společností • Adastra se specializuje na Business Intelligence, což zahrnuje: • Datové sklady (Data Warehousing) • Management Information Systems MIS • Customer Intelligence • Data Mining (Dolování dat) • Specifická řešení • Samostatnou kompetencí je oblast aplikačního vývoje • 300+zaměstnanců, 200+ v České republice, 70 v Kanadě • Obrat více než 500 mil Kč ročně • Růst více než 40% ročně • ISO 9001:2000 certified by Moody’s

3. Vybraní zákazníci

4. Partnerství

5. Adastra – ocenění 2004 TOP10 system integrator (CZ) 2004 TOP Professional Business Intelligence & Data Warehouse project (CZ) 2004 Oracle Consulting Award (CEE) 2002 Oracle Partner of the Year (CZ) Microsoft Gold Certified Partner for Business Intelligence (CEE) 2002 Best Practicesin CRM 2001 Best Practicesin DataWarehousing The Best Data Warehouse 2000 2000 Innovator Award in Data Warehousing 1999 Excellence in Business Information Award

6. Hlavní moto 1/2 Je pěkné mít data nashromážděná, ještě lepší je však mít data vhodně uspořádaná a dostupná

7. Hlavní moto 2/2 • Shromažďování dat • Obvykle není problém • Starost primárních systémů • Vhodné uspořádání dat • Často problematické • Starost datového skladu • Dostupnost dat • Problematické • Starost datového skladu

8. Situace před nasazením datového skladu – hlavní charakteristiky • Data jsou rozmístěna po několika až mnoha primárních systémech • Vzájemná provázanost primárních systémů je na nízké úrovni • Požadavky na datové výstupy (reporty, exporty, datové pohledy, …) jsou řešeny prostřednictvím tzv. „tvůrců reportů“ (informatici, správci systémů, administrátoři, …)

9. Situace před nasazením datového skladu - nevýhody • Obtížné/problémové/nemožné vytváření konsolidovaných datových výstupů • Obtížná porovnatelnost datových výstupů z různých oblastí (primárních systémů) • Velké nároky na „tvůrce reportů“ • Dlouhá doba na uspokojování požadavků (dny, týdny) • Nemožnost zadávání mlhavých požadavků • Nemožnost analýzy dat

10. Hlavní přínosy datového skladu pro CS ČR • Konsolidace dat • Možnost analýzy dat • Jediná verze pravdy • Snadná dostupnost dat • Nové reporty a pohledy na data • Podpora čištění dat • Odlehčení primárním systémům • DS jako zdroj pro specializované aplikace • Centralizace dat

11. Konsolidace dat 1/2 • Konsolidace číselníků • Např. číselníky organizací

12. Konsolidace dat 2/2 • Konsolidace oblastí / agend / evidencí

13. Možnost analýzy dat • DS obsahuje data ve strukturách podporujících efektivní analýzu dat • Podpora analytických funkcí • Zajištění rychlé odezvy • DS je věcně orientovaný • Analytik neztrácí čas studiem datových struktur, vztahů mezi daty, … • DS obsahuje analytické nástroje umožňující efektivně využívat data v DS pro provádění analýz. • Uživatelské rozhraní • Analytické funkce • Grafické výstupy • DS umožňuje zadávat mlhavé dotazy a postupně je zpřesňovat • DS umožňuje zadávat ad-hoc dotazy

14. Jediná verze pravdy • Pravda může mít mnoho verzí • Výstupy z různých systémů mohou být obtížně porovnatelné • Datový sklad definuje společné principy, pravidla a algoritmy, kterými jsou zpracována veškerá data

15. Snadná dostupnost dat • Data v datovém skladu mohou být snadno dostupná všem pracovníkům organizace • Stačí pouze přidělit patřičná přístupová oprávnění • Pomocí klientských analytických nástrojů a obecného dotazovacího nástroje si může uživatel během několika sekund vytvořit vlastní datové výstupy (reporty, datové pohledy, …)

16. Nové reporty a pohledy na data 1/2 • Nové možnosti DS (konsolidace dat, možnost zadávání mlhavých dotazů a možnost ad-hoc dotazování, …) umožňují vznik novým reportům a pohledům na data

17. Nové reporty a pohledy na data 2/2 • Ukázka vývoje dovozu a vývozu ČR(Dovoz, Vývoz, Intrastat)

18. Podpora „čištění“ dat 1/2 • Primární data vykazují různou „čistotu“ • Překlepy ve jménech, názvech, … • Odkazy na neexistující číselníkové záznamy a neexistující dokumenty • Zjevně nesprávné hodnoty (např. budoucí data, prehistorické data, …) • Nezadané hodnoty • … • DS „nečistotu“ identifikuje • DS umožňuje kvantifikovat objem chybných dat

19. Podpora čištění dat 2/2 • Ukázka kvantifikace chybně zadaných kódů zboží na dovozních JSD • Absolutní počty “Neuvedených“ a „Neznámých“ kódů zboží • Relativní počty „Neznámých“ a „Neuvedených“ kódů zboží

20. Odlehčení primárním systémům • DS přebírá úlohu reportingu a exportingu • Do nasazení DS je reporting a exporting zpravidla řešen primárními systémy

21. DS jako zdroj pro specializované aplikace • DS bývá vhodným zdrojem pro další specializované aplikace vyžadující konsolidovaná data • Příklady: • Datamainingové aplikace • Analýza rizik celních deklarací

22. Centralizace dat • Data z různých oblastí jsou dostupná na jednom místě, jednotným způsobem a prostřednictvím jednotného uživatelského rozhraní

23. Výsledek budování datového skladu

24. Problematika řešená datovým skladem CS ČR Dovoz Tranzit Vývoz Intrastat Spotřební daně Vzorky Dluhy Finanční analýza Delikty Kontroly (fyzické, následné, dokumentační, …) Globální záruky ...

25. Základní komponenty datového skladu CS ČR Obecné dotazování Standardní aplikace pro podporu rozhodování Specializované aplikace Reporting Exporting Analytické prostory Dotazovací oblasti QDS Exporty Reporty Data mining Riziková analýza Databáze datového skladu Datový sklad ??? Zdrojové systémy Vývoz Intrastat Vzorky TARIC SPD Dovoz ... Kontrolní protokoly Delikty CesDic

26. Použité technologie • Relační vrstva • Microsoft SQL Server 2000 Enterprise Edition 64 bit databázový stroj (Failover cluster) • ETL • Microsoft SQL Server 2000 DTS, Job Agent • Multidimenzionální vrstva • Server: Microsoft SQL Server 2000 Analysis Services (Failover cluster) • Klient: • Microsoft Excel Add-in for SQL Server Analysis Services • ProClarity • Reporty • Reportovací server: Microsoft SQL Server 2000 Reporting Services • Klient: Internet Explorer • Exporty • bcp utilita • Uživatelské rozhraní: Reporting Services, Internet Explorer • Obecný dotazovací nástroj • QDS – Na zakázku vyrobený systém

27. Adastra Corporation 8500 Leslie St., Markham Ontario, L3T 7M8 Canada Tel. 905 881 7946 Fax 905 881 4782 info@adastracorp.com www.adastracorp.com Adastra, s.r.o. Benešovská 10, Praha 10 Tel. 271-733-303 Fax 271-735-296 info@adastra.cz www.adastra.cz