slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Projet grappe 200 PC PowerPoint Presentation
Download Presentation
Projet grappe 200 PC

Loading in 2 Seconds...

play fullscreen
1 / 21

Projet grappe 200 PC - PowerPoint PPT Presentation


  • 71 Views
  • Uploaded on

Projet grappe 200 PC. Philippe Augerat. Laboratoire ID. Statut du projet. Appel d’offre infructueux Pentium 4 Athapascan Partenariats. Applications. Philosophie : partenariats scientifiques, validation d’Athapascan Applications nouvelles : Cartographie Génomique Imagerie

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Projet grappe 200 PC' - gillian-nguyen


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Projet grappe 200 PC

Philippe Augerat

Laboratoire ID

statut du projet
Statut du projet
  • Appel d’offre infructueux
  • Pentium 4
  • Athapascan
  • Partenariats
applications
Applications
  • Philosophie : partenariats scientifiques, validation d’Athapascan
  • Applications nouvelles :
      • Cartographie
      • Génomique
      • Imagerie
      • Optimisation combinatoire
  • Travail sur les méthodes
environnements h t rog nes
Environnements hétérogènes
  • Nouvelles plateformes :
    • Architectures de grilles
    • Global computing
    • Couplage de code
  • Algorithmique :
    • Ordonnancement hétérogène et hiérarchique
    • Ordonnancement inter/intra applications
i cluster
I-cluster
  • Centre de calcul dédié à l’expérimentation
  • 225 PC « entrée de gamme » sur réseau standard
  • Utilisation intensive dont une cinquantaine d’utilisateurs en dehors d’ID
outils d exploitation d une grappe de grande taille
Outils d’exploitation d’une grappe de grande taille
  • Mettre en place des architectures de calcul et de services basées sur des centaines (milliers) de PC
  • Voir (accéder, administrer, programmer) ces machines comme s’il s’agissait d’une seule
slide7
Ka

Besoin de passage à l’échelle des outils d’exploitation :

  • installation de système d’exploitation
  • copie de fichiers
  • lancement de commandes parallèles
  • systèmes de fichiers
  • outils de monitoring
  • etc
op rations collectives sur un grand nombre de machines
Opérations collectives sur un grand nombre de machines
  • Usages :
    • Gestion des processus et E/S (lancement de programmes ou commandes parallèles, réseau de contrôle dans un environnement de programmation parallèle ou de monitoring)
    • Déplacement des données (fichiers, opération collectives dans MPI, installation de l’OS)
    • Etc
  • Techniques : multicast, arbres couvrants
topologies de communications
Topologies de communications
  • séquentiel

arbre binomial

  • multicast : fiabilisation (?)
  • chaîne
  • arbre binaire
gestion de processus ka run cyrille martin
Gestion de processus : Ka-run(Cyrille Martin)
  • But : Lancement rapide de processus sur un grand nombre de nœuds.
  • Contraintes :
    • Utilisation des daemons standards (rshd)
    • Récupération de signaux, entrées/sorties
    • Utilisation du canal de communication crée entre les processus pour diffuser des données
optimisation du lancement
Optimisation du lancement
  • Une étape = un appel d'exécution distante
  • Déroulement d'une étape dans le temps:

authentification

Demande de connexion

Création ou échec de connexion

  • il faut minimiser le nombre d'étapes
    • arbre binomial
  • faire plus en une étape
    • parallélisation d'un appel d'exécution distante
exemples

1

2

3

4

Exemples

Temps

séquentiel

arbre

pipeline

plate forme d valuation i cluster
Plate-forme d’évaluation : I-cluster

225 HP e-PC PIII 733 Mhz

Top500 : 82 Gigaflops (385ème)

installation de syst me d exploitation en cha ne ka deploy simon derr
Installation de système d’exploitation en chaîne : Ka-deploy (Simon Derr)
  • Données : quelques Gigaoctets
  • Importance de la bande passante
  • Solution en deux étapes :
    • formation d’un chaîne de machines
    • copie des données en pipeline
slide17

Serveur

Contrôle

Données

Client1

Client 2

Client 3

Serveur

Disque

  • Les machines que l’on installe demandent à la machine source (le serveur) l’adresse IP de la fin de la chaîne de diffusion et s ’y connectent
  • Chacun des clients lit les données en provenance de la chaîne, les écrit sur son disque et les envoie au reste de la chaîne

Client 1

Client 2

Client 3

Disque

Disque

Disque

performances
Performances
  • Pipeline : débit ~= 10Mo/s (en théorie débit optimal). L’installation de 200 machines prends une vingtaine de minutes.
  • Multicast : 4 Mo/s vers 100 nœuds, semble se dégrader ensuite
  • Arbre binomial : Un peu plus lent pour le nombre de machines concerné (6 à 8 étapes nécessaires)
difficult s
Difficultés
  • Modélisation complexe :
    • Sensibilité à la topologie du réseau et à l’opération à réaliser
    • Synchronisation dans un environnement hétérogène (réseau, cpu, disque)
  • Tolérance aux pannes
  • Ingénierie des OS
conclusion et perspectives
Conclusion et perspectives
  • Déploiement très souple d’une grappe (reboot, upgrade, passage en Windows 2000) ou d’un Intranet
  • Des commandes parallèles performantes
  • Exploitation d’un intranet
  • Déploiement dans un environnement grille
  • Utilisation dans un environnement de programmation parallèle
  • Intégration à une distribution Linux Mandrake pour cluster
perspectives grappe 200
Perspectives : grappe 200
  • Plate-formes et outils d’exploitation :
    • Installation premier trimestre 2001
    • Grille de grappes opérationnelle
    • I-cluster : infrastructure de services sur un Intranet d’entreprise
  • Applications
  • Visualisation
  • « Valorisation » du logiciel Athapascan dans le cadre des projets CLIC et Microsoft