Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr

1. Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille

2. Plan • Introduction: Le modèle GridRPC • Motivation de la gestion des données • Le modèle GridRPC et la gestion des données • L’approche DIET de gestion des données • Expériences • Conclusion

3. Introduction • Calcul sur la grille = aggrégation de ressources hétérogènes • Très grand potentiel • Difficile pour les non spécialistes • Pas ou peu de standards • GridRPC: standard pour l’approche de calcul client-serveur (Global Grid Forum) • API basée sur le modèle RPC • Quelques Environnements ASP ; NetSolve, Ninf, DIET…

4. Requête AGENT(s) S2 ! A, B, C Réponse (C) Op(C, A, B) S3 S4 S1 S2 Modèle GridRPC Client

5. Gestion des données Pas de gestion des données dans le modèle GridRPC: • Un serveur de calcul ne peut pas conserver des données localement et les réutiliser pour d’autres calculs (persistance). • Un serveur ne peut pas émettre une donnée vers un autre serveur (redistribution).

6. C=A*B D=C-1 AGENT(s) S2 ! S1 ! A, B D C C C=A*B D=C-1 S3 S4 C ??? S1 S2 Limitation du modèle actuel Client

7. Pourquoi: Grandes à très grandes taille des données Eviter les transferts de données inutiles Localiser les données Mais...pas toujours utile Données dans le GridRPC Client Serveur Stockage de données

8. Extension du modèle GridRPC à la gestion des données • Accès aux données • Localisation des données: • Données Externes • Données Internes • !! Ne pas modifier l’API standard Registre handle enregistrement lookup Client call Service résultats API de gestion des données Stockage des données

9. A B Gestion des données dans les plateformes GridRPC (existant) call call Client Serveur Client Serveur API GridRPC standard Données externes call call Client Client Serveur Serveur resultats B=F(A) C=G(B) Résultats intermédiaires Données externes résultats

10. A B Extension à la gestion des données call call Client Serveur Client Serveur API GridRPC standard Utilisation de données externes call call Client Client Serveur Serveur retour B=F(A) C=G(B) persistance des données Transfert vers des serveurs externes

11. DistributedInteractive Engineering Toolbox C, Fortran, Java LA • Structure hiérarchique facilitant la mise à l’échelle • Informations distribuées le long des la hiérachie d’agents • Courtage / Ordonnancement • Persistance des données / Redistribution MA MA MA MA MA Master Agent Computational server (SeD) Local Agent LA LA LA Direct connection

12. DIET DTM Loc Manager Agent Data Manager Data Mover SeD DIET Data Tree Manager • Motivations générales : • Persistance et redistribution des données • API client simple : pas de modification de l’API standard • Données accessibles dans d’autres sessions par d’autres clients • Transparence d’accès aux données (identification) FAST : Performance Forecasting tool

13. DIET Data Tree Manager • Avantages • API simple à utiliser • Placement et mouvement des données transparents au client. • Données proches des serveurs de calcul • Inconvénients actuels • Pas de réelle politique de stockage

14. Platforme de tests • Machines Linux 0.8 up to 1.5 Ghz • LAN : 100 Mbytes • WAN : 16 Mbytes • Tests réalisés en conditions réelles • Séquence d’appel : opérations sur des matrices • C = A*B • D = C+E • A = tA

15. Résultats Experimentaux

16. Modélisation Numérique de Terrain: Calcul du modèle numérique de terrain + rendu 3D ou + positionnement d’antennes Simulation de physique moléculaire: Simulation Monte Carlo de la cinétique de déposition d’atomes sur substrat Visualisation Povray Dividing cube: Extraction d’ISO surfaces Reconstruction d’images Visualisation Quelques exemples d’applications cibles

17. Exemple d’utilisation : Dividing Cube MA Div Cube ? Id1, LM1 LA Id1, DM1 id1, jpeg_file Vox_file SeD1! Ajout fichier vox ID1, file, /../../file1.vox, …, .. SeD1 Algorithme d’extraction d’iso surfaces LM0 Client LM1 DM1 Calcul

18. MA Div Cube ? Id1, LM1 LA Id1, DM1 Solve(id1,..) Jpeg file SeD1! ID1, file, /../../file1.vox, …, .. SeD1 getData(id1) Use Case : Dividing Cube Donnée déjà présente LM0 Client LM1 DM1 Calcul

19. Exemple d’utilisation : Dividing Cube 52%

20. Conclusion et Perspectives Conclusion • Intérêt de l’approche : gain en temps de calcul total, transparence • Proposition de normalisation en cours de discussion dans la cadre du GridRPC Working Group au GGF pour la gestion des données. Perspectives • Politique de conservation de la donnée : Combien de temps ? Valeur de TTL, algorithme type LRU • Hétérogénéité : récupérer ou fournir des données externes à la plateforme. • Service de Réplication : • API pour la réplication : fournie à l’ordonnanceur • Evaluation de performances = FAST (meilleurs candidats pour les transferts) • Cohérence des données ? Intérêt ?

21. Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille