1 / 21

Netezza – to pravé řešení pro Vaše náročné analytické potřeby

Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík (martin_pavlik@cz.ibm.com) 14 . Června 2011. Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika. Co Netezza dodává

binh
Download Presentation

Netezza – to pravé řešení pro Vaše náročné analytické potřeby

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík (martin_pavlik@cz.ibm.com) 14. Června 2011

  2. Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování nad PB dat Datové sklady a pokročilé analýzy Co je Netezza? Firma Špičková technologie pro oblast datových skladů Kde působí? Po celém světě Zejména však v severní Americe Filozofie Jednoduchost po všech stránkách Akvizice IBM 11.11.2010 Netezza se stává součástí portfolia produktů brandu Information Management Zaměstnanci500+ Zákazníci500+ Reference400+

  3. Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy • Jednoduchost •  Chytrost Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy • Rychlost • Škálovatelnost

  4. Co je to appliance v případě Netezzy?

  5. Proč appliance? • Aby to bylo komplikované • Aby to bylo hooooodně drahé A co vlastně má efektivně fungovat? • Vyhodnocování analytických / ad-hoc dotazů • Aby to EFEKTIVNĚ FUNGOVALO

  6. Co Netezza není? • Není OLTP databázovým serverem • Není vhodná jako db pod ERP, CRM, ... Kdy Netezza obvykle není rychlejší? • Když jsou konvenční technologie maximálně vyladěné • pro konkrétní dotazovací potřebu • Má co do činění s velmi malým objemem dat Kde Netezza fakticky nemá konkurenci? • Náročné • Analytické dotazy • Ad-hoc dotazy

  7. OK. Musíme udělat řadu statistik,nastavitsprávně indexy a partitioning. 5 dní práce to spraví Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu. IT Analytik

  8. Hotovo. Můžete spustit Váš analytický dotaz. Paráda. Mockrát děkuji. Hned to zkusím. IT Analytik Po 5 dnech ...

  9. Neeee !!! Tady se nedá pracovat ! Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní práce Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak IT Analytik Po 10 minutách ...

  10. A teď s Netezzou ...

  11. Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu. IT Analytik

  12. Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak. S Netezzou můžu dotaz zadat hned. Odpověď bude za stejnou dobu IT Analytik IT se může věnovat něčemu jinému Po 12 minutách ...

  13. Masivní paralelní architektura“Rozděl a panuj” • MPP architektura • Koncept “Shared Nothing” • Rozdělení práce na několik menších úloh • Velká úloha je rozdělena vertikálně do série menších úloh • Menší úlohy běží paralelně / naprosto nezávisle • Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů • Komunikace mezi jednotlivými úlohami je jen na začátku a konci • Přínosy • Obrovské úlohy jsou vykonány ve významně kratším čase • Maximální využitelnost zdrojů

  14. ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Client ETL Server DBA CLI Source Systems SOLARIS AIX 3rd PartyApps HP-UX TRU64 LINUX WINDOWS High Performance Loader Netezza TwinFin Appliance S-Blade 1 Processor & streaming DB logic SQL Compiler Query Plan Optimize Admin 2 S-Blade Execution Engine Processor & streaming DB logic S-Blade 3 Processor & streaming DB logic Ÿ Ÿ Ÿ High-PerformanceDatabase Engine Streaming joins, aggregations, sorts High-Speed Loader/Unloader 920 S-Blade Front End Processor & streaming DB logic Massively Parallel Intelligent Storage Network Fabric SMP Host

  15. Client ETL Server DBA CLI Source Systems SOLARIS AIX 3rd PartyApps HP-UX TRU64 LINUX WINDOWS High Performance Loader Netezza TwinFin Appliance S-Blade 1 Snippets Processor & streaming DB logic SQL Compiler Query Plan Optimize Admin 3 2 1 1 1 1 1 2 2 2 2 3 3 3 3 1 2 3 SQL SQL 2 S-Blade Execution Engine Processor & streaming DB logic S-Blade 3 Processor & streaming DB logic Ÿ Ÿ Ÿ High-PerformanceDatabase Engine Streaming joins, aggregations, sorts High-Speed Loader/Unloader 920 S-Blade Front End Processor & streaming DB logic Massively Parallel Intelligent Storage Network Fabric SMP Host

  16. Zpracování toku dat jednotkou S-Blade DatováCache Jádro (Core) FPGA Jádro CPU Selekce, Autorizace Komplexní ∑ Joiny, Aggr, atd. Dekomprese dat Projekce Select sex, age, count(*) From MultiBillionRowTable Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’ Group by sex, age; • Každý S-Blade obsahuje 8 n-tic s vlastním: • Diskem • Datovou cache • Jádrem FPGA jednotky • Jádrem CPU

  17. Client ETL Server DBA CLI Source Systems SOLARIS AIX 3rd PartyApps HP-UX TRU64 LINUX WINDOWS High Performance Loader Asymmetric Massively Parallel Processing™ Netezza TwinFin Appliance Consolidate S-Blade 1 1 2 3 1 1 1 2 2 2 3 3 3 Processor & streaming DB logic SQL Compiler Query Plan Optimize Admin ODBC 3.X JDBC Type 4 OLE-DB SQL/92 2 S-Blade Execution Engine Processor & streaming DB logic S-Blade 3 Processor & streaming DB logic Ÿ Ÿ Ÿ High-PerformanceDatabase Engine Streaming joins, aggregations, sorts, etc. High-Speed Loader/Unloader 920 S-Blade Front End Processor & streaming DB logic Massively Parallel Intelligent Storage Network Fabric SMP Host

  18. The NetezzaTwinFin™ Appliance Každý disk je rozdělen na 3 oblasti: Uživatelská data „Swap“ „Mirror“ Disky SQL Compiler Query Plan Optimalizátor Administrace SMP Servery Jednotky S-Blade™ (s databázovým akcelerátorem FPGA)

  19. Produkty rodiny Netezza

  20. Základní přínosy řešení NETEZZA Data mart to enterprise warehouses Price/PerformanceLeader Low TCO,fast time to value Deliver analyticsto the masses

  21. Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů. Musejí být tedy lepší. Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele. Používá tedy vlastně jakési implicitní hodnoty parametrů Tak takhle nějak jsem se na to tvářil poprvé, podruhé, ... a ještě mockrát, ... Jenže v případě Netezzy platí: Výkonnost systému s implicitními parametry je dostatečná • Těším se na Vaše dotazy  • Martin Pavlík • +420 731 435 691 • martin_pavlik@cz.ibm.com

More Related