slide1 l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware PowerPoint Presentation
Download Presentation
Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware

Loading in 2 Seconds...

play fullscreen
1 / 37

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware - PowerPoint PPT Presentation


  • 186 Views
  • Uploaded on

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Warehouse. 08 février 2011 Olivier Tolon Architecte Avant Vente SQL Server Microsoft. Agenda. Data Warehousing Data Warehouse aujourd’hui & Challenges Associés

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server Fast Track et Parallel Data Ware' - cachez


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide2

Accélérez vos entrepôts de données avec les Appliances Microsoft : SQL Server FastTrack et Parallel Data Warehouse

08 février 2011

Olivier Tolon

Architecte Avant Vente SQL Server

Microsoft

agenda
Agenda
  • Data Warehousing
    • Data Warehouse aujourd’hui & Challenges Associés
  • Vision Microsoft
  • Appliance ???
  • Solutions Techniques
    • SQL Server Fast Track Data Warehouse
      • Qu’estceque SQL Fast Track Data Warehouse
      • Futur
    • SQL Server Parallel Data Warehouse
      • Architecture Matérielle
      • Architecture Logicielle
      • Distributed Data Warehouse Architecture
  • Etapes suivantes
slide4

Data Warehouse aujourd’hui & Challenges Associés

Explosion des données– De nombreuses bases au-dessus de 10+TB Le double à 3 ans

Besoin de réduire les coûts

De plus en plus de besoin d’analyse temps réel (real-time analytics)

Marché des appliances DW en pleine expansion

Déplacement vers le MPP –utilisation massive du MPP in the next 3 years

1

2

3

4

5

1

34%

17%

> 10TB

4

92%

Appliances

57%

2

78%

5

3

Massive Parallel Processing

82 %

Croissance Marché

Source – TDWI, “Next Generation Data Warehouse Platforms”

vision microsoft data warehouse
Vision Microsoft Data Warehouse

Faire de SQL Server la plus rapide et la plus abordable des bases pour tous les clients quelle que soit la taille de base

Evolutivité Massive à prix réduit

Choix et flexibilité

Solution Data Warehouse Complete

Adminsitration Simplifiée du Data Warehouse

appliance d finition dwh
Appliance ???Définition & DWH
  • Définition générale
    • Dispositif, outil ou système conçu pour un usage particulier
  • Transposition aux Entrepôts de Données :
    • Infrastructure matérielle dédiée
    • Logiciel SGBD dédié / Configuration optimisée
    • Service dédié (Assemblage/Installation/Maintenance…)
slide7

Appliance : Equilibre de conceptionmatériel

Pas de goulet d’étranglement

A

A

B

B

SERVER

CPU CORES

WINDOWS

SQL SERVER

CACHE

FC SWITCH

FC

HBA

FC

HBA

STORAGE

CONTROLLER

CACHE

A

A

B

B

A

B

DISK

DISK

DISK

DISK

CPU Feed Rate

SQL Server

Read Ahead Rate

HBA Port Rate

Switch Port Rate

SP Port Rate

LUN Read Rate

Disk Feed Rate

LUN

LUN

appliance avantages
Appliance ???Avantages
  • Avantages
    • Réduction des risques
    • Usage simplifié
    • Réduction drastique du « Time to Value »
      • Système opérationnel en quelques heures
    • Performances garanties
    • Pas de dégradation de performances pour les autres utilisateurs du stockage
    • Meilleur ratio prix/performance
les cueils potentiels hba
Les écueils potentielsHBA
  • Où placer les cartes ?

4 X Slots

8X Slots

la bonne configuration hba
La bonne configurationHBA
  • 1 sur 2 avec 2 slot 4x et 2 8x occupés

8X Slots

4 X Slots

les cueils potentiels c blage
Les écueils potentielsCâblage
  • Server
    • 4 x Qlogic QLE2562 8 Gbit dual port HBAs
  • Storage
    • 6 x AX4-5F DP Array
  • Fabric
    • 2 x QlogicSanbox 5802V 8Gb Fibre Switch
    • 8 x 8Gb SPF (SPF4-SW-JD4)
    • 6 x 4Pack 4Gb SPF (SPF8-SW-1PK)
  • Où placer les SFPs?
  • Comment connecter les SFPs au serveur et au SANs?
la bonne configuration c blage
La bonne configurationCâblage
  • Chaque switch à une connection verschaque HBA
  • Ports 8Gbit attachés au serveur

8GBit

8GBit

Connected to Switch 1

Connected to Switch 2

la bonne configuration c blage14
La bonne configurationCâblage

FC SWITCH

SAN 1

FC

HBA

A

B

SERVER

A

A

A

A

STORAGE

PROCESSOR B

STORAGE

PROCESSOR A

STORAGE

PROCESSOR B

STORAGE

PROCESSOR A

B

B

B

B

FC

HBA

A

B

SAN 6

FC

HBA

A

FC SWITCH

B

FC

HBA

A

B

c blage les risques
CâblageLes risques
  • Problème facile à diagnostiquer
  • Pas si facile 
offres appliance microsoft sql server
Offres Appliance Microsoft SQL Server

SQL Server FastTrack

SQL Server Parallel Data Warehouse

  • Solutions livrées prêtes à l’emploi !
  • Utilisation immédiate
  • Performance du matériel et de la configuration logicielle garanties
sql server fast track data warehouse
SQL Server Fast Track Data Warehouse

Solution pour accélérer les déploiements data warehouse

  • Une méthode de conception de systèmes équilibrés et performance à un ratio prix/performances réduit pour les workloads Data Warehouse
  • Des configurations de référence hardware développées en collaboration avec des partenaires constructeur et basées sur cette méthode
  • Des Best practices de répartition, chargement et administration de données
composants fast track data warehouse
Composants Fast Track Data Warehouse

Software:

  • SQL Server 2008 Enterprise
  • Windows Server 2008

Configuration guidelines:

  • Physical table structures
  • Indexes
  • Compression
  • SQL Server settings
  • Windows Server settings
  • Loading

Hardware:

  • Tight specifications for servers, storage and networking
  • ‘Per core’ building block
fast track data warehouse 2 0
Fast Track Data Warehouse 2.0
  • 12 Architectures de Référence SMP
  • Templates de Solution Intégrateurs
configurations de r f rence fast track 2 0
Configurations de Référence FastTrack 2.0

Configurations 2 Processeurs4 – 12 TB

  • HP ProLiant DL380 G6
  • HP ProLiant DL385 G6
  • IBM System x3650 M2
  • Dell Power Edge R710
  • Bull Novascale R460 E2

Configurations 4 Processeurs12 – 24 TB

  • HP ProLiant DL 580 G5
  • HP ProLiant DL 585 G6
  • IBM System x3850 M2
  • Dell Power Edge R900
  • Bull Novascale R480 E1

Configurations 8 processeurs 16 – 48 TB

  • HP ProLiant DL 785 G6
  • IBM System x3950 M2

Represents storage array fully populated with 300GB15k SAS and use of 2.5:1 compression ratio. This includes the addition of one storage expansion tray per enclosure. 30% of this storage should be reserved for DBA operations

fast track 3 0
FastTrack 3.0

3,5 comp

v2.0

v3.0

  • Machines 2 et 4 processeur disponibles (et testables !!!)
  • Disponibilité 8 processeurs estimée à mi février 2011

2 Proc FT

approx

1,8GB/sec

approx

3,5GB/sec

12,25

GB/sec

4 Proc FT

approx

4GB/sec

approx

7GB/sec

24,25

GB/sec

8Proc FT

approx

8 GB/sec

Testing

=> ?? GB/sec ???????

Testing

?? GB/sec

??????

MPP

N * Débit Nominal d’1 noeud

SAN

0,3GB/sec

HiglyTuned SAN

1,5GB/sec

vid o
Vidéo
  • FastTrack en action

(Centre de performance HP de Boebligen)

introduction parallel data warehouse
Introduction à Parallel Data Warehouse
  • Offre applianceEnterprise Data Warehouse High End
    • Haute évolutivité - Dizaine à centaines de terabytes
    • Haute performance grâce à un système MPP
  • Flexibilité et choix
    • Plusieurs Fournisseurs matériel possibles
    • Possibilité de déploiement au travers d’architecture distribuées
  • Solution la plus complète
    • Solution data warehousecomplète couvrant le poste de travail, data warehouse d’enterprise(EDW), et les data marts
    • Intégration forte avec l’offre de business intelligence Microsoft
    • Outillage complet: BI, ETL, MDM, et streaming data
une nouvelle vision du data warehouse high scale
Une nouvelle vision du Data Warehouse “High Scale “

High End Enterprise Data Warehouse

Flexibilité et choix

Solution la plus complète

  • Architecture “Ultra sharednothing”
  • Performance et évolutivité grâce à l’exécution en parallèle des opérations
  • Interopérabilité avec les solutions BI existantes
  • Plusieurs choix matériels Pas de contrainte fournisseur
  • Support des data marts, implémentations FastTracks, et hubs MPP
  • Options de stockage et traitement adaptable à vos besoins
  • Tire parti des solutions data martset data warehouseexistantes
  • Configurations pré-testées pour réduire le risque d’implémentation
  • Solution BI complète
slide29

Control Rack

Data Rack

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Control NodesActive / Passive

Management Servers

Built-inBackup

Landing Zone

Dual Fiber Channel

Dual Infiniband

Landing Zone

Backup Node

Spare Compute Node

Private Network

appliance parallel data warehouse architecture mat rielle
Appliance Parallel Data WarehouseArchitecture matérielle

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Active/Passive

Star Schema

Or

Normalized Data

Client Drivers

Management Servers

Data Center

Monitoring

Dual Fiber Channel

Dual Infiniband

Landing Zone

ETL Load Interface

Data stored on servers

Backup Node

Corporate Backup

Solution

Backup Data

Spare Database Server

Corporate Network

Private Network

apports pdw traitement parall le massif
Apports PDW– Traitement parallèle massif

Compute Nodes

Storage Nodes

Control Rack

Data Rack

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Control Nodes

Active / Passive

La requête 1 est soumise à SQL Server sur le Control Node

Requête 1

Management Servers

La requête est exécutée sur les 10 noeuds

Dual Fiber Channel

Dual Infiniband

Landing Zone

Le résultat est envoyé au client

?

?

?

?

?

?

?

?

?

?

Backup Node

Spare Compute Node

Private Network

apports pdw traitement parall le massif32
Apports PDW– Traitement parallèle massif

Control Rack

Data Rack

Compute Nodes

Storage Nodes

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Requêtes multiples exécutéessimultanémentsurtous les noeuds

PDW supporte le requêtage pendant le chargement de données.

Control Nodes

Active / Passive

?

?

?

?

?

?

?

Management Servers

?

?

?

?

?

Dual Fiber Channel

Dual Infiniband

?

Landing Zone

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

Backup Node

?

Spare Compute Node

Performance hors normes grâce à la parallélisation massive des requêtes sur des nœuds ultra sharednothing hautement performants.

Private Network

slide33

Architecture Data Warehouse distribuée

Flexibilité et alignementBusiness

  • Permet le support de groupe utilisateurs ayant des SLA différents:
  • Performance
  • Capacité
  • Chargement
  • Concurrence
  • Sécurité

La technologie de copie rapide de données permet des mouvements de données rapide et la consistance entre l’ EDW et les Data Marts

Création de Data Marts SQL Server 2008, Fast Track Data Warehouse, et SQL Server Analysis Services

Une architecture distributée permet la flexibilité d’ajouter ou changer des workloads ou groupes d’utilisateurs variés, tout en maintenant la consistance des données au travers de l’entreprise.

vid o34
Vidéo
  • Parallel Data Warehouse en action

(Centre de performance HP de Boebligen)

HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliancesHP dédiées à la BI et au DataWarehouse (PAR229)

microsoft data warehousing
Microsoft Data Warehousing

“Denali”

  • Column Store
  • Data Quality Services
  • Enhanced ETL Capabilities
  • Enterprise ETL Services
  • Star Join Query Optimizations
  • Massively scalable DW appliance
  • MPP with Shared nothing architecture

Fast Track Data Warehouse

Fast Track Data Warehouse

2011

vNext

  • Managed Self-Service BI
  • Application & Multi-Instance Management
  • Master Data Services
  • Stream Data Processing
  • DW Reference Architectures
  • Predictable performance at low cost
  • Faster time to solution

3.0

2008

2009

2010

Beyond

merci
MERCI !!!
  • Pour en savoir plus oualler plus loin
    • Microsoft Technology Center (Issy)
    • Microsoft Data Warehousing portal
    • Pages Web Fast Track et Parallel Data Warehouse
    • TechNet -SQL Server DW Portal
    • Sessions techdays
          • BULL : Jour 1 – 13 :00 – 14 :00 - Optimisation de flux de données sous FastTrack, système BI haute performance : le témoignage de Gérard Scemama, Directeur de Recherche à l’INRETS, avec les experts Bull et Intel. (PAR104)
          • HP : Jour 3 - 13:00 - 14:00 - Mieux tirer parti de SQL Server® avec les nouvelles appliances HP dédiées à la BI et au DataWarehouse (PAR229)

OU 

otolon@microsoft.com