Syst mes quorums dynamiques et projet visage
Download
1 / 39

Systèmes à quorums dynamiques et projet ViSaGe - PowerPoint PPT Presentation


  • 73 Views
  • Uploaded on

Systèmes à quorums dynamiques et projet ViSaGe. Ivan Frain Institut de Recherche en Informatique de Toulouse (IRIT). Plan. Cohérence des réplicas et systèmes à quorums Problème de la charge des noeuds Protocoles de reconfiguration de systèmes à quorums Un cadre de construction

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Systèmes à quorums dynamiques et projet ViSaGe' - rae-beard


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Syst mes quorums dynamiques et projet visage

Systèmes à quorums dynamiques et projet ViSaGe

Ivan Frain

Institut de Recherche en Informatique de Toulouse (IRIT)


Plan

  • Cohérence des réplicas et systèmes à quorums

  • Problème de la charge des noeuds

  • Protocoles de reconfiguration de systèmes à quorums

    • Un cadre de construction

    • Prise en compte de la charge des nœuds de stockage

    • Prise en compte de la latence réseau

  • ViSaGe : intergiciel de stockage pour grille

    • Architecture logicielle

    • Carnet de route

  • Conclusion et Perspectives


Probl me de la coh rence

Ecrire

Lire

Ecrire

Lire

Problème de la cohérence

Règle: chacun lit et écrit sa copie locale

Copie de Paul

Paul

Copie de Jeanne

Jeanne


Probl me de la coh rence premier exemple de solution rowa

Ecrire

Ecrire

Lire

Lire

Ecrire

Ecrire

Problème de la cohérencePremier exemple de solution : ROWA

Règle: chacun lit sa copie locale mais écrit toutes les copies

Paul

Jeanne


Probl me de la coh rence deuxi me exemple de solution un syst me quorums

Ecrire

Ecrire

Ecrire

Ecrire

Version ?

Version ?

Problème de la cohérenceDeuxième exemple de solution : un système à quorums

Règle : chacun lit et écrit une majorité de copies

Remarque : ajout d’un numéro de version aux copies

Lire

Version

0

1

1

Paul

Lire

Version

2

0

Nicolas

Version

1

2

0

Jeanne


Syst mes quorums d finition

Quorumq - Ensemble minimum de copies impliquées dans une opération de lecture ou d’écriture afin que l’opération réussisse.

CoterieC - Ensemble des quorums possibles pour un groupe de copies et un protocole donné

Systèmes à quorums : définition

  • Intersection :

  • Minimalité :


Syst mes quorums coterie en arbre

Protocole de Agrawal et Abbadi [1]

Systèmes à quorums : coterie en arbre

P1

  • Nœuds organisés logiquement en arbre

  • Quorum = un chemin de la racine à une feuille = {P1,P2,P4}

  • Coterie = {{P1,P2,P4},{P1,P2,P5}, {P1,P3,P6},{P1,P3,P7}}

P2

P3

P4

P5

P6

P7

  • Sur quel critère construire la coterie ?

    • Les solutions existantes : latence réseau

    • Notre solution : charge des noeuds


Charge d une coterie d finition
Charge d’une coterie : définition

  • Un nœud possédant une réplique :

  • Charge d’un nœud :

  • Charge d’un Quorum :

  • Charge d’une Coterie :


Probl me
Problème

P1

12

P2

P3

40

50

15

P4

P5

P6

P7

23

9

8

21

23

15

50

50

40

40

180


Protocoles de reconfiguration de syst mes quorums
Protocoles de reconfiguration de systèmes à quorums

  • Reconfiguration = changement de coterie

  • But : utiliser une coterie mieux adaptée à l’environnement

  • Un protocole de reconfiguration :

    • Quand effectuer une reconfiguration?

      • Politique de récupération des informations

        • Récupération à la demande

        • Récupération périodique

      • Politique de déclenchement

        • Déclenchement à la demande

        • Déclenchement périodique

    • Comment effectuer une reconfiguration?

      • Politique de reconfiguration


Trois protocoles de reconfiguration pour syst mes quorums en arbre
Trois protocoles de reconfiguration pour systèmes à quorums en arbre

  • Reconfiguration en fonction de la charge des nœuds

    • Protocole des permutations élémentaires

    • Protocole de permutation globale

  • Reconfiguration en fonction de la charge et de la latence réseau

    • Protocole de permutation hybride


Protocole des permutations l mentaires 1 2

15 quorums en arbre

15

9

50

40

50

23

40

8

21

23

9

8

21

40

40

50

50

23

40

50

50

9

8

15

50

15

9

23

40

8

21

23

40

50

21

40

50

21

23

23

40

50

50

Protocole des permutations élémentaires (1/2)

  • Politique de reconfiguration

    • Permuter deux nœuds parents si le père est plus chargé que le fils


Protocole des permutations l mentaires 2 2

8 quorums en arbre

8

21

9

15

9

23

40

50

15

23

40

50

21

40

50

15

40

50

21

23

23

Protocole des permutations élémentaires (2/2)

  • Politique d’information à la demande

    • Un des clients est choisit

    • A chacune de ses opérations de lecture ou d’écriture (un quorum)

  • Politique de déclenchement à la demande

    • Si une permutation élémentaire est possible dans le quorum contacté lors d’une opération de lecture ou d’écriture

  • Problème

    • Les nœuds les plus chargés se trouvent dans les feuilles


Protocole de permutation globale

Politique de reconfiguration quorums en arbre

agréger les noeuds les plus chargés dans le même sous arbre

8

23

9

50

40

21

15

15

40

21

50

8

15

9

23

40

50

21

21

40

50

23

Protocole de permutation globale

  • Politique d’information périodique

  • Politique de déclenchement périodique


Prise en compte de la latence r seau temps de r ponse d une coterie
Prise en compte de la latence réseau quorums en arbreTemps de réponse d’une coterie

  • Temps de réponse d’un nœud Pj vis-à-vis d’un autre nœud Pi :

  • Temps de réponse d’un quorum vis-à-vis d’un noeud Pi :

  • Temps de réponse d’une coterie vis-à-vis d’un nœud Pi :


Le probl me
Le problème quorums en arbre


Protocole de permutation hybride
Protocole de permutation hybride quorums en arbre

  • Politique de reconfiguration

    • Permutation globale avec temps de réponse médians

  • Politique d’information périodique

    • Récupération de la latence la première fois

    • Récupération des charges les autres fois

  • Politique de déclenchement périodique


Valuation des protocoles de reconfiguration
Évaluation des protocoles de reconfiguration quorums en arbre

  • Algorithme de Shvartsman et Lynch

    • Plusieurs lecteurs et plusieurs rédacteurs

    • Supporte la reconfiguration dynamique de coterie

      • Propriété d’intersection entre deux coteries

  • Implémentation dans le simulateur Neko de Urban, Défago et Schiper

    • La grille simulée utilise 7, 15, 31, 63 et 127 réplicas (nœuds)

    • La charge d’un nœud n’évolue pas trop vite

    • Les nœuds ne sont pas dédiés au système de stockage

    • 3 contextes de simulation :

      • La latence au niveau des serveurs est dominante (contexte LS)

      • La latence réseau est dominante (contexte LR)

      • Les latences serveur et réseau sont équivalentes (contexte LEQ)

    • Temps de simulation fixe


Sans reconfiguration avec 7 noeuds
Sans reconfiguration avec 7 noeuds quorums en arbre

Contexte LS

Contexte LEQ

Contexte LR


Protocole des permutations l mentaires contexte ls et 7 r plicas
Protocole des permutations élémentaires quorums en arbreContexte LS et 7 réplicas

Sans reconfiguration

Protocole des permutations élémentaires


Protocole de permutation globale contexte ls et 31 r plicas
Protocole de permutation globale quorums en arbreContexte LS et 31 réplicas

Sans reconfiguration

Protocole de permutation globale

Période = 200K


Protocole de permutation hybride contexte leq et 63 r plicas
Protocole de permutation hybride quorums en arbreContexte LEQ et 63 réplicas

Sans reconfiguration

Protocole de permutation hybride

Période = 200K


Synth se des r sultats
Synthèse des résultats quorums en arbre

  • Calcul du débit d’opérations (throughput) pour un temps de simulation fixé



Composants logiciels de visage
Composants logiciels de ViSaGe quorums en arbre

Application

Administration

Et

Monitoring

Système de gestion

de fichiers

Concurrence

et

Cohérence

Virtualisation

Communication

Fabrique


Visage carnet de route
ViSaGe : carnet de route quorums en arbre

1. Expression des

besoins

Aujourd’hui

2. Architecture et Design

Prototypage

3.1 Prototypage

Développement

3.2 Développement

4. Gridification

Gridification

5. Tests in situ

Tests

2

4

8

17

21

24

0

février 2005

mars 2007


Conclusion
Conclusion quorums en arbre

  • Protocoles de reconfiguration :

    • Définition de la charge et du temps de réponse d’une coterie

    • Variation de la charge des nœuds est un problème

    • Protocoles de reconfiguration

      • Permutations élémentaires

      • Permutation globale

      • Permutation hybride

    • Amélioration du débit d’opération sous certaines conditions

  • Projet ViSaGe :

    • Proposition d’un nouvel intergiciel dédié a stockage de données sur grille : ViSaGe

      • Interface fichier fournissant une certaine qualité de service

      • Différentes méthodes de gestion de la cohérence


Perspectives
Perspectives quorums en arbre

  • Protocoles de reconfiguration :

    • Preuve de l’algorithme des permutations globales

    • Comparaison avec un plus grand nombre de systèmes à quorums : grilles, hiérarchique…

    • Évaluation en environnement réel : projet ViSaGe

      • Quels sont les critères de charges à prendre en compte ?

      • Identification de seuils pour effectuer une reconfiguration

      • Historique de l’état des nœuds…

  • Projet ViSaGe :

    • Terminer l’intégration et les tests  Mars 2007

    • Déploiement et tests sur Grid 5000

    • Tester avec d’autres applications … des partenariats?

    • ViSaGe comme stockage pour une BD distribuée


R f rences
Références quorums en arbre

Protocoles de reconfiguration :

[1]I. Frain, R. Basmadjian, J-P. Bahsoun and A. M’zoughi. How to improve the scalability of read/write operations with dynamic reconfiguration of a tree-structured coterie. In ICPP’06 workshops, pages 123-134, August 2006.

[2] I. Frain, A. M’zoughi and J-P. Bahsoun. How to achieve high throughput with dynamic tree-structured coterie. In the 5th International Symposium on Parallel and Distributed Computing (ISPDC’06), July 2006.

Projet ViSaGe :

[3] F.Thiebolt, I.Frain et A. M’zoughi. Virtualisation du stockage dans les grilles informatiques. Dans les 16ème rencontres francophones de parallèlisme, (Renpar’05), avril 2005.

[4] http://www.irit.fr/visage






Permutation l mentaire l ments de preuve
Permutation élémentaire : quorums en arbreéléments de preuve



Contexte les grappes de grappes

Légende quorums en arbre

Un réplica

Contexte : les grappes de grappes

  • Grappe de grappes

  • Réplication de données entre sites distants

  • Charge des nœuds de stockage et latence réseau

Client

GRILLE

(WAN)

S1

S5

S2

S4

S3


Composants logiciels de visage1
Composants logiciels de ViSaGe quorums en arbre

  • ViSaGe est découpé en 5 composants principaux

    • vcom : un système de communication entre composants

    • vrt : un composant de virtualisation des ressources de stockage

    • visagefs : un système de gestion de fichiers au niveau grille

    • vccc : une librairie de gestion de la concurrence des accès et de gestion de la cohérence des réplicas

    • vam : service d’administration et de monitoring de ViSaGe

      • Un module d’administration

      • Un module de monitoring

  • Les composants sont déployés à tous les niveaux de la grille:

    • Hôtes frontaux

    • Hôtes contrôleurs

    • Nœuds de calcul et de stockage


Gestion de la coh rence dans visage le composant vccc
Gestion de la cohérence dans ViSaGe : quorums en arbrele composant vccc


ad