Maximizing Performance with Massively Parallel Processing (MPP) Database Appliance

1. Kan vi fjerneventetidenhelt? Erfaringerfra DNV GL

2. Massively Parallel Processing (MPP) Database

3. Massively Parallel Processing (MPP) Database

4. DW Appliance eren spesialisert“Alt-i-ett-løsning”

5. The DNV GL Group DNV GL GroupHeadquarter: Oslo, Norway Maritime Oil & Gas Energy Business Assurance • Headquartered in Hamburg, Germany • 5,600 employees • 80 countries • Headquartered in Høvik, Norway • 5,800 employees • 30 countries • Headquartered in Arnhem, Netherlands, core hub in Bristol, UK • 3,100 employees • 30 countries • Headquartered in Milan, Italy • 2,000 employees • 50 countries

6. DNV GL Global delivery capability and strong presence Europe / Africa / Middle East 10,000 staff Americas 3,000 staff Asia / Oceania 4,000 staff 2,500 Mill. EURO (2012) 100 countries 17,000 employees

7. BICC • BI Competency Center • Høvik • Shanghai • Gdansk • Arnhem • Hamburg • Totalt ca 40 årsverk • Ettglobalt team, der roller ogansvarfordelesuavhengigavfysiskplassering • Leverertjenestertilalle DNV GLs forretningsområder

8. BI-løsningen • >2000 tabeller • >2300 ETL-jobber • Ca 7 TB • 47 konseptuelle modeller i BI-verktøyet • Migrerereksisterendedatavarehustil en MPP-plattformIBM Pure Data for Analytics (Netezza)

9. Investment motivation • Main business pains are: • Long response time of reports for users • Poor support for self service BI • Costly development process • Main requirements are: • Scalability for future projects • Reduced need for tuning and custom solutions • Substantial uplift of existing performance

10. Ytelsesproblemer Bruker Hvorerflaskehalsen? • BI-verktøy • Nettverk • SAN • Database • DB-modellering • BI-verktøymodellering • Antallbrukere • Backup • …??? IIS BI-verktøy DW Disk

11. Potensiellefordeler med en DW Appliance BICC agility GIS-gruppen Forskning BICC Self service BI BICC development efficiency BICCAnalytical Services In-database statistics In-database GIS services Operations efficiency and reliability General performance improvements DW

12. Erfaringer • For å lykkes med en DW appliance må man tenkepåandre ting enntidligere • Hvordankan vi utnytteparallelliteten? • Move less, scan less • La arbeidshestenedralasset. Unngå å la “kusken” gjørejobbenihestespannet.

13. Erfaringer?

14. BI-rapporter • Self-service: • Konsulenterharfått en nyhverdag. Analyser somtidligeretok 3-8 timer tar nå under 3 minutter. • Tør å gjøre analyser somtidligereikkevarmulig • Harsluttet å eksportere data for viderebearbeiding. Jobber nåistedetinteraktivti BI-verktøyet • Brukernemener de nyemulighetenegirdem en sterkmarkedsposision.

15. BI-rapporter • Standardrapporter • Lanserer de førstestandardrapportenedenneuka • Forbedringpåmerkrevenderapporter, men der deterintensivprosesseringi BI-verktøyeterdetandretiltaksommågjøres. • Tidligere tester viserklarforbedring • De mesttidkrevenderapporteneviserstørstforbedring • Vi kombinererDW appliance med in-memory-teknologiirapporteringsverktøyet der deternaturlig.

16. ETL • Storforbedringilastetid • Eksempel: Finansiellkonsolidering • Tidligerehardettattopptil90 minutter å publisere tall. I enkelteperiodergjøresdette 6-8 ganger om dagen • Dettekannågjørespå ca. 15 min. • Andre tester harvistendabedreytelsesforbedring • For å oppnågoderesultatererdet en del ETL-jobber sommåtilpasses en MPP-tankegang.

17. Avansert analyse • GIS • Samarbeid GIS-teametog BICC • Direktenytteverdi • Prosjekter med størredatavolumer • Eksempel: GIS-analyse forbedretsegfra å bruke 8 timer til ca. 2,5 min • Avansertstatistikk • Samarbeid med forskerei DNV GL • Kontroll over DW appliancencenskapasiteterviktig for å unngå at krevendekalkulasjonerstjelerkapasitet. Stedlig/romliginformasjoner en naturlig del av en analyse

18. Økonomiog drift Økonomi • Prosjekter med størredatavolum • Termineringavservere • Forventer en redusertdriftskostnad med DW appliance Drift • Interne databaseoperasjonerersærseffektive. • Størrekontroll, men ogsåstørreansvar • Leverandøren tar et ansvarfor systemet. • Måavklareansvar for oppgavertidligerelevertavIT-infrastruktur

19. Migrering • Migreringertidkrevende • Samtlige ETL-jobber måmodifiseres • Tilpasningeri BI-verktøyet • Koordinering • Kvalitetssikring • Synkroniseringmellomgammelognyplattform • Standard for migreringsarbeid • Gode, automatisertetestrutinermåetableres, men kanværevanskelig. Eksempel: tegnsettelleravrunding. Hvaer et akseptabeltavvik? • Prosjektkoordineringogsamarbeid med annetpågåendearbeid.

20. Erfaringer? BICC agility GIS-gruppen Forskning BICC Self service BI BICC development efficiency BICCAnalytical Services In-database statistics In-database GIS services Operations efficiency and reliability General performance improvements DW

21. Innkjøpsprosess Bruker • Hvorforgjørenoe med databasen? (Er den problemet?) • DNV GL skaptefellesforståelsegjennom en analyseprosess • RFT og POC IIS BI-verktøy DW Disk

22. DNV GLs videre planer • Migrering • Høsteytterligereav DW appliancenspotensiale • Forsterkesamarbeidet med analytiskefagmiljøer • Bruke ELT for ytterligerereduksjonilastetid

23. Oppsummering • DW applianceteknologienløpervidere • Avansert analyse integreres • Brukerstyrt analyse blir en viktigere del avrapporteringsløsningene

24. Kristian Ramsrud kristian.ramsrud@dnvgl.com