1 / 37

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse. 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft. Agenda. Data Warehousing Data Warehouse aujourd’hui & Challenges Associés

cachez
Download Presentation

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server FastTrack et Parallel Data Warehouse 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft

  2. Agenda • Data Warehousing • Data Warehouse aujourd’hui & Challenges Associés • Vision Microsoft • Appliance ??? • Solutions Techniques • SQL Server Fast Track Data Warehouse • Qu’estceque SQL Fast Track Data Warehouse • Futur • SQL Server Parallel Data Warehouse • Architecture Matérielle • Architecture Logicielle • Distributed Data Warehouse Architecture • Etapes suivantes

  3. Data Warehouse aujourd’hui & Challenges Associés Explosion des données– De nombreuses bases au-dessus de 10+TB Le double à 3 ans Besoin de réduire les coûts De plus en plus de besoin d’analyse temps réel (real-time analytics) Marché des appliances DW en pleine expansion Déplacement vers le MPP –utilisation massive du MPP in the next 3 years 1 2 3 4 5 1 34% 17% > 10TB 4 92% Appliances 57% 2 78% 5 3 Massive Parallel Processing 82 % Croissance Marché Source – TDWI, “Next Generation Data Warehouse Platforms”

  4. Vision Microsoft Data Warehouse Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base Evolutivité Massive à prix réduit Choix et flexibilité Solution Data Warehouse Complete Adminsitration Simplifiée du Data Warehouse

  5. Appliance ???Définition & DWH • Définition générale • Dispositif, outil ou système conçu pour un usage particulier • Transposition aux Entrepôts de Données : • Infrastructure matérielle dédiée • Logiciel SGBD dédié / Configuration optimisée • Service dédié (Assemblage/Installation/Maintenance…)

  6. Appliance : Equilibre de conceptionmatériel Pas de goulet d’étranglement A A B B SERVER CPU CORES WINDOWS SQL SERVER CACHE FC SWITCH FC HBA FC HBA STORAGE CONTROLLER CACHE A A B B A B DISK DISK DISK DISK CPU Feed Rate SQL Server Read Ahead Rate HBA Port Rate Switch Port Rate SP Port Rate LUN Read Rate Disk Feed Rate LUN LUN

  7. Appliance ???Avantages • Avantages • Réduction des risques • Usage simplifié • Réduction drastique du « Time to Value » • Système opérationnel en quelques heures • Performances garanties • Pas de dégradation de performances pour les autres utilisateurs du stockage • Meilleur ratio prix/performance

  8. Applianceou commentéviterd’avoir à partir de là Pour aller là  To this…

  9. Les écueils potentielsHBA • Où placer les cartes ? 4 X Slots 8X Slots

  10. La bonne configurationHBA • 1 sur 2 avec 2 slot 4x et 2 8x occupés 8X Slots 4 X Slots

  11. Les écueils potentielsCâblage • Server • 4 x Qlogic QLE2562 8 Gbit dual port HBAs • Storage • 6 x AX4-5F DP Array • Fabric • 2 x QlogicSanbox 5802V 8Gb Fibre Switch • 8 x 8Gb SPF (SPF4-SW-JD4) • 6 x 4Pack 4Gb SPF (SPF8-SW-1PK) • Où placer les SFPs? • Comment connecter les SFPs au serveur et au SANs?

  12. La bonne configurationCâblage • Chaque switch à une connection verschaque HBA • Ports 8Gbit attachés au serveur 8GBit 8GBit Connected to Switch 1 Connected to Switch 2

  13. La bonne configurationCâblage FC SWITCH SAN 1 FC HBA A B SERVER A A A A STORAGE PROCESSOR B STORAGE PROCESSOR A STORAGE PROCESSOR B STORAGE PROCESSOR A B B B B FC HBA A B SAN 6 FC HBA A FC SWITCH B FC HBA A B

  14. CâblageLes risques • Problème facile à diagnostiquer • Pas si facile 

  15. Applianceou commentéviterd’avoir à partir de là Pour aller là  To this…

  16. Offres Appliance Microsoft SQL Server SQL Server FastTrack SQL Server Parallel Data Warehouse • Solutions livrées prêtes à l’emploi ! • Utilisation immédiate • Performance du matériel et de la configuration logicielle garanties

  17. Offres High End High End Services and Support Solutions Microsoft Data Warehousing

  18. SQL Server Fast Track Data Warehouse

  19. SQL Server Fast Track Data Warehouse Solution pour accélérer les déploiements data warehouse • Une méthode de conception de systèmes équilibrés et performance à un ratio prix/performances réduit pour les workloads Data Warehouse • Des configurations de référence hardware développées en collaboration avec des partenaires constructeur et basées sur cette méthode • Des Best practices de répartition, chargement et administration de données

  20. Composants Fast Track Data Warehouse Software: • SQL Server 2008 Enterprise • Windows Server 2008 Configuration guidelines: • Physical table structures • Indexes • Compression • SQL Server settings • Windows Server settings • Loading Hardware: • Tight specifications for servers, storage and networking • ‘Per core’ building block

  21. Fast Track Data Warehouse 2.0 • 12 Architectures de Référence SMP • Templates de Solution Intégrateurs

  22. Configurations de Référence FastTrack 2.0 Configurations 2 Processeurs4 – 12 TB • HP ProLiant DL380 G6 • HP ProLiant DL385 G6 • IBM System x3650 M2 • Dell Power Edge R710 • Bull Novascale R460 E2 Configurations 4 Processeurs12 – 24 TB • HP ProLiant DL 580 G5 • HP ProLiant DL 585 G6 • IBM System x3850 M2 • Dell Power Edge R900 • Bull Novascale R480 E1 Configurations 8 processeurs 16 – 48 TB • HP ProLiant DL 785 G6 • IBM System x3950 M2 Represents storage array fully populated with 300GB15k SAS and use of 2.5:1 compression ratio. This includes the addition of one storage expansion tray per enclosure. 30% of this storage should be reserved for DBA operations

  23. FastTrack 3.0 3,5 comp v2.0 v3.0 • Machines 2 et 4 processeur disponibles (et testables !!!) • Disponibilité 8 processeurs estimée à mi février 2011 2 Proc FT approx 1,8GB/sec approx 3,5GB/sec 12,25 GB/sec 4 Proc FT approx 4GB/sec approx 7GB/sec 24,25 GB/sec 8Proc FT approx 8 GB/sec Testing => ?? GB/sec ??????? Testing ?? GB/sec ?????? MPP N * Débit Nominal d’1 noeud SAN 0,3GB/sec HiglyTuned SAN 1,5GB/sec

  24. Vidéo • FastTrack en action (Centre de performance HP de Boebligen)

  25. SQL Server Parallel Data Warehouse

  26. Introduction à Parallel Data Warehouse • Offre applianceEnterprise Data Warehouse High End • Haute évolutivité - Dizaine à centaines de terabytes • Haute performance grâce à un système MPP • Flexibilité et choix • Plusieurs Fournisseurs matériel possibles • Possibilité de déploiement au travers d’architecture distribuées • Solution la plus complète • Solution data warehousecomplète couvrant le poste de travail, data warehouse d’enterprise(EDW), et les data marts • Intégration forte avec l’offre de business intelligence Microsoft • Outillage complet: BI, ETL, MDM, et streaming data

  27. Une nouvelle vision du Data Warehouse “High Scale “ High End Enterprise Data Warehouse Flexibilité et choix Solution la plus complète • Architecture “Ultra sharednothing” • Performance et évolutivité grâce à l’exécution en parallèle des opérations • Interopérabilité avec les solutions BI existantes • Plusieurs choix matériels Pas de contrainte fournisseur • Support des data marts, implémentations FastTracks, et hubs MPP • Options de stockage et traitement adaptable à vos besoins • Tire parti des solutions data martset data warehouseexistantes • Configurations pré-testées pour réduire le risque d’implémentation • Solution BI complète

  28. Control Rack Data Rack Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Control NodesActive / Passive Management Servers Built-inBackup Landing Zone Dual Fiber Channel Dual Infiniband Landing Zone Backup Node Spare Compute Node Private Network

  29. Appliance Parallel Data WarehouseArchitecture matérielle Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Active/Passive Star Schema Or Normalized Data Client Drivers Management Servers Data Center Monitoring Dual Fiber Channel Dual Infiniband Landing Zone ETL Load Interface Data stored on servers Backup Node Corporate Backup Solution Backup Data Spare Database Server Corporate Network Private Network

  30. Apports PDW– Traitement parallèle massif Compute Nodes Storage Nodes Control Rack Data Rack SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes Active / Passive La requête 1 est soumise à SQL Server sur le Control Node Requête 1 Management Servers La requête est exécutée sur les 10 noeuds Dual Fiber Channel Dual Infiniband Landing Zone Le résultat est envoyé au client ? ? ? ? ? ? ? ? ? ? Backup Node Spare Compute Node Private Network

  31. Apports PDW– Traitement parallèle massif Control Rack Data Rack Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Requêtes multiples exécutéessimultanémentsurtous les noeuds PDW supporte le requêtage pendant le chargement de données. Control Nodes Active / Passive ? ? ? ? ? ? ? Management Servers ? ? ? ? ? Dual Fiber Channel Dual Infiniband ? Landing Zone ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Backup Node ? Spare Compute Node Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra sharednothing hautement performants. Private Network

  32. Architecture Data Warehouse distribuée Flexibilité et alignementBusiness • Permet le support de groupe utilisateurs ayant des SLA différents: • Performance • Capacité • Chargement • Concurrence • Sécurité La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise.

  33. Vidéo • Parallel Data Warehouse en action (Centre de performance HP de Boebligen) HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliancesHP dédiées à la BI et au DataWarehouse (PAR229)

  34. Microsoft Data Warehousing “Denali” • Column Store • Data Quality Services • Enhanced ETL Capabilities • Enterprise ETL Services • Star Join Query Optimizations • Massively scalable DW appliance • MPP with Shared nothing architecture Fast Track Data Warehouse Fast Track Data Warehouse 2011 vNext • Managed Self-Service BI • Application & Multi-Instance Management • Master Data Services • Stream Data Processing • DW Reference Architectures • Predictable performance at low cost • Faster time to solution 3.0 2008 2009 2010 Beyond

  35. MERCI !!! • Pour en savoir plus oualler plus loin • Microsoft Technology Center (Issy) • Microsoft Data Warehousing portal • Pages Web Fast Track et Parallel Data Warehouse • TechNet -SQL Server DW Portal • Sessions techdays • BULL : Jour 1 – 13 :00 – 14 :00 - Optimisation de flux de données sous FastTrack, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR104) • HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229) OU  otolon@microsoft.com

More Related