Slide1 l.jpg
This presentation is the property of its rightful owner.
Sponsored Links
1 / 37

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse PowerPoint PPT Presentation


  • 123 Views
  • Uploaded on
  • Presentation posted in: General

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse. 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft. Agenda. Data Warehousing Data Warehouse aujourd’hui & Challenges Associés

Download Presentation

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Slide2 l.jpg

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server FastTrack et Parallel Data Warehouse

08 février 2011

Olivier Tolon

Architecte Avant Vente SQL Server

Microsoft


Agenda l.jpg

Agenda

  • Data Warehousing

    • Data Warehouse aujourd’hui & Challenges Associés

  • Vision Microsoft

  • Appliance ???

  • Solutions Techniques

    • SQL Server Fast Track Data Warehouse

      • Qu’estceque SQL Fast Track Data Warehouse

      • Futur

    • SQL Server Parallel Data Warehouse

      • Architecture Matérielle

      • Architecture Logicielle

      • Distributed Data Warehouse Architecture

  • Etapes suivantes


Slide4 l.jpg

Data Warehouse aujourd’hui & Challenges Associés

Explosion des données– De nombreuses bases au-dessus de 10+TB Le double à 3 ans

Besoin de réduire les coûts

De plus en plus de besoin d’analyse temps réel (real-time analytics)

Marché des appliances DW en pleine expansion

Déplacement vers le MPP –utilisation massive du MPP in the next 3 years

1

2

3

4

5

1

34%

17%

> 10TB

4

92%

Appliances

57%

2

78%

5

3

Massive Parallel Processing

82 %

Croissance Marché

Source – TDWI, “Next Generation Data Warehouse Platforms”


Vision microsoft data warehouse l.jpg

Vision Microsoft Data Warehouse

Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base

Evolutivité Massive à prix réduit

Choix et flexibilité

Solution Data Warehouse Complete

Adminsitration Simplifiée du Data Warehouse


Appliance d finition dwh l.jpg

Appliance ???Définition & DWH

  • Définition générale

    • Dispositif, outil ou système conçu pour un usage particulier

  • Transposition aux Entrepôts de Données :

    • Infrastructure matérielle dédiée

    • Logiciel SGBD dédié / Configuration optimisée

    • Service dédié (Assemblage/Installation/Maintenance…)


Slide7 l.jpg

Appliance : Equilibre de conceptionmatériel

Pas de goulet d’étranglement

A

A

B

B

SERVER

CPU CORES

WINDOWS

SQL SERVER

CACHE

FC SWITCH

FC

HBA

FC

HBA

STORAGE

CONTROLLER

CACHE

A

A

B

B

A

B

DISK

DISK

DISK

DISK

CPU Feed Rate

SQL Server

Read Ahead Rate

HBA Port Rate

Switch Port Rate

SP Port Rate

LUN Read Rate

Disk Feed Rate

LUN

LUN


Appliance avantages l.jpg

Appliance ???Avantages

  • Avantages

    • Réduction des risques

    • Usage simplifié

    • Réduction drastique du « Time to Value »

      • Système opérationnel en quelques heures

    • Performances garanties

    • Pas de dégradation de performances pour les autres utilisateurs du stockage

    • Meilleur ratio prix/performance


Slide9 l.jpg

Applianceou commentéviterd’avoir à partir de là

Pour aller là 

To this…


Les cueils potentiels hba l.jpg

Les écueils potentielsHBA

  • Où placer les cartes ?

4 X Slots

8X Slots


La bonne configuration hba l.jpg

La bonne configurationHBA

  • 1 sur 2 avec 2 slot 4x et 2 8x occupés

8X Slots

4 X Slots


Les cueils potentiels c blage l.jpg

Les écueils potentielsCâblage

  • Server

    • 4 x Qlogic QLE2562 8 Gbit dual port HBAs

  • Storage

    • 6 x AX4-5F DP Array

  • Fabric

    • 2 x QlogicSanbox 5802V 8Gb Fibre Switch

    • 8 x 8Gb SPF (SPF4-SW-JD4)

    • 6 x 4Pack 4Gb SPF (SPF8-SW-1PK)

  • Où placer les SFPs?

  • Comment connecter les SFPs au serveur et au SANs?


La bonne configuration c blage l.jpg

La bonne configurationCâblage

  • Chaque switch à une connection verschaque HBA

  • Ports 8Gbit attachés au serveur

8GBit

8GBit

Connected to Switch 1

Connected to Switch 2


La bonne configuration c blage14 l.jpg

La bonne configurationCâblage

FC SWITCH

SAN 1

FC

HBA

A

B

SERVER

A

A

A

A

STORAGE

PROCESSOR B

STORAGE

PROCESSOR A

STORAGE

PROCESSOR B

STORAGE

PROCESSOR A

B

B

B

B

FC

HBA

A

B

SAN 6

FC

HBA

A

FC SWITCH

B

FC

HBA

A

B


C blage les risques l.jpg

CâblageLes risques

  • Problème facile à diagnostiquer

  • Pas si facile 


Slide16 l.jpg

Applianceou commentéviterd’avoir à partir de là

Pour aller là 

To this…


Offres appliance microsoft sql server l.jpg

Offres Appliance Microsoft SQL Server

SQL Server FastTrack

SQL Server Parallel Data Warehouse

  • Solutions livrées prêtes à l’emploi !

  • Utilisation immédiate

  • Performance du matériel et de la configuration logicielle garanties


Solutions microsoft data warehousing l.jpg

Offres High End

High End Services and Support

Solutions Microsoft Data Warehousing


Slide19 l.jpg

SQL Server Fast Track Data Warehouse


Sql server fast track data warehouse l.jpg

SQL Server Fast Track Data Warehouse

Solution pour accélérer les déploiements data warehouse

  • Une méthode de conception de systèmes équilibrés et performance à un ratio prix/performances réduit pour les workloads Data Warehouse

  • Des configurations de référence hardware développées en collaboration avec des partenaires constructeur et basées sur cette méthode

  • Des Best practices de répartition, chargement et administration de données


Composants fast track data warehouse l.jpg

Composants Fast Track Data Warehouse

Software:

  • SQL Server 2008 Enterprise

  • Windows Server 2008

Configuration guidelines:

  • Physical table structures

  • Indexes

  • Compression

  • SQL Server settings

  • Windows Server settings

  • Loading

Hardware:

  • Tight specifications for servers, storage and networking

  • ‘Per core’ building block


Fast track data warehouse 2 0 l.jpg

Fast Track Data Warehouse 2.0

  • 12 Architectures de Référence SMP

  • Templates de Solution Intégrateurs


Configurations de r f rence fast track 2 0 l.jpg

Configurations de Référence FastTrack 2.0

Configurations 2 Processeurs4 – 12 TB

  • HP ProLiant DL380 G6

  • HP ProLiant DL385 G6

  • IBM System x3650 M2

  • Dell Power Edge R710

  • Bull Novascale R460 E2

    Configurations 4 Processeurs12 – 24 TB

  • HP ProLiant DL 580 G5

  • HP ProLiant DL 585 G6

  • IBM System x3850 M2

  • Dell Power Edge R900

  • Bull Novascale R480 E1

    Configurations 8 processeurs 16 – 48 TB

  • HP ProLiant DL 785 G6

  • IBM System x3950 M2

Represents storage array fully populated with 300GB15k SAS and use of 2.5:1 compression ratio. This includes the addition of one storage expansion tray per enclosure. 30% of this storage should be reserved for DBA operations


Fast track 3 0 l.jpg

FastTrack 3.0

3,5 comp

v2.0

v3.0

  • Machines 2 et 4 processeur disponibles (et testables !!!)

  • Disponibilité 8 processeurs estimée à mi février 2011

2 Proc FT

approx

1,8GB/sec

approx

3,5GB/sec

12,25

GB/sec

4 Proc FT

approx

4GB/sec

approx

7GB/sec

24,25

GB/sec

8Proc FT

approx

8 GB/sec

Testing

=> ?? GB/sec ???????

Testing

?? GB/sec

??????

MPP

N * Débit Nominal d’1 noeud

SAN

0,3GB/sec

HiglyTuned SAN

1,5GB/sec


Vid o l.jpg

Vidéo

  • FastTrack en action

    (Centre de performance HP de Boebligen)


Slide26 l.jpg

SQL Server Parallel Data Warehouse


Introduction parallel data warehouse l.jpg

Introduction à Parallel Data Warehouse

  • Offre applianceEnterprise Data Warehouse High End

    • Haute évolutivité - Dizaine à centaines de terabytes

    • Haute performance grâce à un système MPP

  • Flexibilité et choix

    • Plusieurs Fournisseurs matériel possibles

    • Possibilité de déploiement au travers d’architecture distribuées

  • Solution la plus complète

    • Solution data warehousecomplète couvrant le poste de travail, data warehouse d’enterprise(EDW), et les data marts

    • Intégration forte avec l’offre de business intelligence Microsoft

    • Outillage complet: BI, ETL, MDM, et streaming data


Une nouvelle vision du data warehouse high scale l.jpg

Une nouvelle vision du Data Warehouse “High Scale “

High End Enterprise Data Warehouse

Flexibilité et choix

Solution la plus complète

  • Architecture “Ultra sharednothing”

  • Performance et évolutivité grâce à l’exécution en parallèle des opérations

  • Interopérabilité avec les solutions BI existantes

  • Plusieurs choix matériels Pas de contrainte fournisseur

  • Support des data marts, implémentations FastTracks, et hubs MPP

  • Options de stockage et traitement adaptable à vos besoins

  • Tire parti des solutions data martset data warehouseexistantes

  • Configurations pré-testées pour réduire le risque d’implémentation

  • Solution BI complète


Slide29 l.jpg

Control Rack

Data Rack

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Control NodesActive / Passive

Management Servers

Built-inBackup

Landing Zone

Dual Fiber Channel

Dual Infiniband

Landing Zone

Backup Node

Spare Compute Node

Private Network


Appliance parallel data warehouse architecture mat rielle l.jpg

Appliance Parallel Data WarehouseArchitecture matérielle

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Active/Passive

Star Schema

Or

Normalized Data

Client Drivers

Management Servers

Data Center

Monitoring

Dual Fiber Channel

Dual Infiniband

Landing Zone

ETL Load Interface

Data stored on servers

Backup Node

Corporate Backup

Solution

Backup Data

Spare Database Server

Corporate Network

Private Network


Apports pdw traitement parall le massif l.jpg

Apports PDW– Traitement parallèle massif

Compute Nodes

Storage Nodes

Control Rack

Data Rack

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Active / Passive

La requête 1 est soumise à SQL Server sur le Control Node

Requête 1

Management Servers

La requête est exécutée sur les 10 noeuds

Dual Fiber Channel

Dual Infiniband

Landing Zone

Le résultat est envoyé au client

?

?

?

?

?

?

?

?

?

?

Backup Node

Spare Compute Node

Private Network


Apports pdw traitement parall le massif32 l.jpg

Apports PDW– Traitement parallèle massif

Control Rack

Data Rack

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Requêtes multiples exécutéessimultanémentsurtous les noeuds

PDW supporte le requêtage pendant le chargement de données.

Control Nodes

Active / Passive

?

?

?

?

?

?

?

Management Servers

?

?

?

?

?

Dual Fiber Channel

Dual Infiniband

?

Landing Zone

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

Backup Node

?

Spare Compute Node

Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra sharednothing hautement performants.

Private Network


Slide33 l.jpg

Architecture Data Warehouse distribuée

Flexibilité et alignementBusiness

  • Permet le support de groupe utilisateurs ayant des SLA différents:

  • Performance

  • Capacité

  • Chargement

  • Concurrence

  • Sécurité

La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts

Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services

Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise.


Vid o34 l.jpg

Vidéo

  • Parallel Data Warehouse en action

    (Centre de performance HP de Boebligen)

    HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliancesHP dédiées à la BI et au DataWarehouse (PAR229)


Microsoft data warehousing l.jpg

Microsoft Data Warehousing

“Denali”

  • Column Store

  • Data Quality Services

  • Enhanced ETL Capabilities

  • Enterprise ETL Services

  • Star Join Query Optimizations

  • Massively scalable DW appliance

  • MPP with Shared nothing architecture

Fast Track Data Warehouse

Fast Track Data Warehouse

2011

vNext

  • Managed Self-Service BI

  • Application & Multi-Instance Management

  • Master Data Services

  • Stream Data Processing

  • DW Reference Architectures

  • Predictable performance at low cost

  • Faster time to solution

3.0

2008

2009

2010

Beyond


Merci l.jpg

MERCI !!!

  • Pour en savoir plus oualler plus loin

    • Microsoft Technology Center (Issy)

    • Microsoft Data Warehousing portal

    • Pages Web Fast Track et Parallel Data Warehouse

    • TechNet -SQL Server DW Portal

    • Sessions techdays

      • BULL : Jour 1 – 13 :00 – 14 :00 - Optimisation de flux de données sous FastTrack, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR104)

      • HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229)

        OU 

        [email protected]


  • Login