Adapting to changing resource performance in grid query processing

1. Adapting to changing resource performance in grid query processing Anastasios Gounaris Jim Smith Norman W. Paton Paul Watson Rizos Sakellariou University of Newcastle Alvaro A.A. Fernandes upon Tyne University of Manchester Publié le septembre 2005 présenté par : Michel EL RAHI

2. Plan • Introduction • Définitions • Problème • Approche • Evaluation • Conclusion & critiques 2

3. Introduction • Le traitement de requête de grille est particulièrement approprié où il y a un besoin d'intégrer et analyser l'information de différentes sources pendant des périodes spécifiques. • les ressources de grille, aussi bien qu'être hétérogènes, peuvent également montrer le comportement imprévisible et volatil. • Indisponibilité des statistiques précises sur le temps de compilation et les conditions d'exécution d'évolution. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 3

4. Definitions • OGSA-DQP (Grid Query Evaluator Service): • Un processeur de requête distribué exposé aux utilisateurs. • Maintient la compilation et l’évaluation des requêtes. • Soutient l'accès aux services multiples de grille. • Grid Data Service Factory (GDSF): • Représente les ressources de données. • Expose les capacités et les metadonnées. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 4

5. Definitions • Grid Data Service (GDS): • Créer par GDSF. • Utiliser pour l’accès aux ressources de données. • GDQS (Grid Distributed Query Service): • Accepte des requêtes d'utilisateur. Il lance la compilation et l'optimisation des requêtes pour rapporter des plans d'exécution. • GQES (Grid Query Evaluator Service): • Un moteur d'évaluation qui est capable de courir un sous plan d'un plan distribué de requête produit par un GDQS. • L'exécution distribuée de requête est donc effectuée par un ensemble de GQES qui communiquent en échangeant des tuples. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 5

6. Definitions • Exécution d’une requête: Introduction Definitions Problème Approche Evaluation Conclusion et critiques 6

7. Problème • Grille. • Ralentissement dans une machine ! • Diminution de la performance du système entier.!!! • Solution aborder par le système… Introduction Definitions Problème Approche Evaluation Conclusion et critiques 7

8. Approche • Une architecture pour le traitement adaptatif de requête qui est caractérisé par les dispositifs suivants: non centralisé, orienté service, et ses composants communiquent d’une manière asynchrone. • L'AGQES (Adaptive Grid Query Evaluator Service) est configuré de la façon suivante: Le MonitoringEventDetector est en activité dans chaque emplacement évaluant un fragment de requête. Il doit également y avoir un Diagnoser activé et un répondeur. • Supposant un sous plan P est divisé à travers n machines, et que Pi , i = 1... n, est le fragment sous plan envoyé à l’ieme AGQES. • C(Pi) = coût par tuple pour chaque sous plan. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 8

9. AGQES (Adaptive Grid Query Evaluator Service) MonitoringEventDetector Query Engine AGQES Diagnoser Send notification subscribe Responder (répondeur) Adpt execution Send notification Query Engine MonitoringEventDetector raw monitoring events subscribe subscribe Diagnoser Submit plan fragment AGQES Responder (répondeur) Introduction Definitions Problème Approche Evaluation Conclusion et critiques 9

10. AGQES (Adaptive Grid Query Evaluator Service) • Surveillance (monitoring): • Le moteur de requête produit des notifications des deux types suivants: • M1, qui contient des informations sur le coût de traitement d'un tuple. • M2, qui contient des informations sur le coût de communication d'un buffer sortant des tuples. • Ces notifications de bas niveau sont envoyés au MonitoringEventDetector, qui: • Groupe les notifications de deux types M1 et M2. • Calcule la moyenne du coût de fonctionnement. • Produit une notification à envoyer à Diagnoser si la valeur moyenne change par rapport à un seuil. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 10

11. AGQES (Adaptive Grid Query Evaluator Service) • Surveillance (monitoring): • Un exemple des paramètres pris en défaut: • La fréquence de surveillance pour le moteur de requête est un notification pour chaque 10 tuples produits (pour M1) et un notification pour chaque buffer envoyé (pour M2). • Le seuil pour produire des notifications pour le Diagnosers est placé à 20%. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 11

12. AGQES (Adaptive Grid Query Evaluator Service) • Évaluation: • L'évaluation est effectuée par le Diagnoser. Il recueille l'information produite par MonitoringEventDetectors pour établir s'il y a un déséquilibre de charge de travail. • Le Diagnoser se rend compte de la politique de distribution courante de tuple, qui est représentée comme vecteur W = (w1, w2. . . wn), où le wi représente la proportion de tuples qui est envoyée à pi. • W'= (w'1, w'2.... w'n) = vecteur équilibré calculé par le diagnoser. • Le coût par tuple c(pi) pour un sous plan peut être calculé de deux manières: • A1, qui tient compte seulement des notifications du type M1. • A2, qui tient compte en plus des notifications du type M2. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 12

13. AGQES (Adaptive Grid Query Evaluator Service) • Réponse: • Le répondeur reçoit des notifications au sujet de déséquilibre du Diagnoser sous forme de vecteurs augmentés proposés W' de distribution de charge de travail. • La distribution de données peut changer de deux manières: • R1, où les tuples dans les recovery logs sont redistribués selon la nouvelle politique de distribution de données. Nous appelons cette redistribution rétrospective. • R2, où les tuples dans les buffers et les recovery logs ne sont pas affectés. Nous appelons cette redistribution prospective. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 13

14. Évaluation • Q1: select EntropyAnalyser(p.sequence) from protein sequences p; • Q2: select i.ORF2 from protein sequences p, protein interactions i where i.ORF1=p.ORF ; • Trois machines RedHat Linux 9 connectées par un réseau de 100 mb/s sont utilisées pour l’évaluation. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 14

15. Évaluation • Augmentation de 45% quand l'adaptation est permise par opposition à 253% quand elle n’est pas permise. • Une augmentation de 57% quand l'adaptation est permise. • Dans le cas du déséquilibre et de l’adaptation, le système fait courir 1,31 fois plus lent au lieu de 1,71. Q1 – R2 1 1.059 3.53 1.45 Q1 – R1 1 1.15 3.53 1.57 Q2 – R1 1 1.11 1.71 1.31 le coût d’appel d’un WS dans une machine est 10 fois plus que dans l'autre Introduction Definitions Problème Approche Evaluation Conclusion et critiques 15

16. Évaluation (a) Performance de Q1 pour l’adaptation prospective R2; (b) Performance de Q1 pour différentes politiques de l’adaptation. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 16

17. Évaluation (a) Performance de Q2 pour l’adaptation rétrospective; (b) Performance de Q1 pour l’adaptation prospective et pour une donnée de taille double. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 17

18. Évaluation Performance de Q1 pour l’adaptation rétrospective. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 18

19. Conclusion et critiques • Conclusion • Cette proposition est une bonne solution sur le problème de charge de travail dynamique. • Particulièrement l’implémentation pour cette proposition est sur les environnements comme la grille. • Critiques • Manque de la structuration. • Utilise seulement trois machines semblables pour l'évaluation.!!!!!! • Plusieurs idées sont répétées plusieurs fois. • Pas de comparaison avec les anciennes approches sur ce sujet. Introduction Definitions Problème Approche Evaluation Conclusion et critiques 19

20. Merci pour votre attention !