Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)

1. Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc) Othmane Bouhali Université Libre de Bruxelles EumedGrid Workshop

2. Programme • Motivations • Introduction à la grille de calcul • Grille de calcul au Maroc? • Collaboration UAE, ULB et CNRST • Résumé et perspectives EumedGrid Workshop

3. Motivations EumedGrid Workshop

4. Motivations • besoins en puissance de calcul et capacité de stockage importants • systèmes de grande ampleur • géographiquement dispersés • utilisation des ressources informatiques: • quelques exemples: • fournir un accès au maximum d’utilisateurs à ces ressources • exploitation optimale • rationalisation (demande de budgets) EumedGrid Workshop

5. Computing Intensive Science • Recherche sur les séquences de l’ADN • Analyse génétique • Processus souvent parallèles • Nanotechnologie et sciences des matériaux • Simulation à l’échelle moléculaire • grande puissance de calcul EumedGrid Workshop

6. Sciences de l’observation de la terre • Transmission: >200 Mbps • Pbytes à sauvegarder/an • plusieurs projets d’études • Multi-Utilisateurs EumedGrid Workshop

7. Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Concorde (15 Km) Mt. Blanc (4.8 Km) CERN: European Organisation for Nuclear Research • Tunnel d’accélération de 27km • de circonférence • Projet LHC • 10 Petabytes de données/an • 20 millions de CDs par an Where the web was born EumedGrid Workshop

8. Aucun centre ne disposera de l’infrastructure pour autant de calcul Nouveau concept de la collaboration combiner les ressources de calcul et de stockage des centres scientifiques Grille de calcul planétaire ou Grid computing EumedGrid Workshop

9. Eléments d’une grille de calcul • ressources: • fermes de calcul (cluster) • stockage • réseaux LAN-WAN • services: • sécurité: authentification  autorisation • recherche de l’information • gestion des jobs • gestion de données: transfert, replication • communication entre les processus (parallélisme) Middleware: Globus EDG LCG • Applications • Physique des hautes énergies • BioInformatique • Sciences de la terre • … EumedGrid Workshop

10. Avantages de la grille de calcul • Accès, selon des règles prédéfinies, aux ressources requises • La faculté de résoudre des problèmes complexes • Utilisation optimisée des ressources existantes • (exploitation des ressources non ou peu utilisées) • Travail collaboratif (mise en réseau des ressources informatiques) • Nouvelles perspectives pour la recherche scientifique • Initiatives nationales partout EumedGrid Workshop

11. Grille de calcul au Maroc? • Situation de la Recherche Scientifique et nécessité d’une infrastructure de calcul mieux adaptée • Exemple de « petit » pays ayant déjà opté pour la grille • Existence d’un noyau de la diaspora marocaine (projet fincome et transfert de technologie) EumedGrid Workshop

12. Recherche scientifique au Maroc Etablissements • 15 Universités • plusieurs établissements publics: CNRST, INH, CNESTEN,.. • Secteur privé: REMINEX, ST, Matra,.. EumedGrid Workshop

13. Recherche scientifique au Maroc Groupes de recherche Unités de Formation par la Recherche:  Assurer la formation par la recherche  804 UFR EumedGrid Workshop

14. Recherche scientifique au Maroc Groupes de recherche Pôles de compétences: • PC Microbiologie du Sol et Biotechnologie de Plantes • PC Pharmaco chimie • PC des Sciences et Technologies de l’Information • Réseau National de Physique Théorique • PC Matière Condensée • PC Electrochimie, Corrosion et Chimie Analaytique • Réseau National des Sciences et techniques de l’Espace • Réseau National d’Etude sur le Local et le Régional • Réseau Marocain des Plantes Aromatiques et Médicinales • PC Neurogénétique • Réseau Universitaire de la Physique des hautes Energies • Réseau National de Physico-Chimie • Réseau National de Mécanique • PC Qualité • Réseau National des Sciences et Techniques de la Mer • PC Eau & Environnement • PC Patrimoine Culturel • Réseaux thématiques de recherche • orienter la RS vers des thèmes ayant un impact sur le développement du pays • optimiser les moyens mis à la disposition de la RS • créer une synergie entre les chercheurs au niveau national EumedGrid Workshop

15. Recherche scientifique au Maroc Budget et production Budget alloué à la RS: Production Scientifique EumedGrid Workshop

16. Recherche scientifique au Maroc Groupes de recherche • Programmes visant à consolider la R (CNRST) • Réseau MARWAN (Morocco Wide-Area Network) • Unités d’Appui Technique à la RS (UATRS) • Institut National de l’Information Scientifique et Technologique (IMIST) • Froum International des COmpétences Marocaines à l’Etranger (FINCOME) • Plateforme Nationale de Grille de calcul (MaGrid) EumedGrid Workshop

17. Collaboration UAE(Maroc)-ULB(Belgique) Motivations et plan d’action 2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE) • acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul ainsi que les outils nécessaires à leur déploiement • campagne de sensibilisation auprès des chercheurs • synergie entre partenaires (nationaux et autres) intéressés • création d’un noyau national « grid computing »: - développement et maintien des compétences techniques - recherche liée au: grid, calcul distribué, services web,.. EumedGrid Workshop

18. Collaboration UAE(Maroc)-ULB(Belgique) Motivations et plan d’action • identifier les applications et utilsateurs: (en commençant par les disciplines susceptibles de s’impliquer rapidement) • plateforme de grille nationale • implication dans les projets internationaux liés au grid. EumedGrid Workshop

19. Collaboration UAE(Maroc)-ULB(Belgique) • activités de l’ULB (notamment de l’IIHE) • UAE • Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs EumedGrid Workshop

20. Collaboration UAE(Maroc)-ULB(Belgique) ULB-IIHE (activités) • participation aux expériences de physique des hautes énergies: • (AMANDA/ICE3, CHORUS, CMS, H1, OPERA) • PET (Tomographie à émission de poitrons) • Computing: • - CMS Tier2 centre (800 CPU et 200 TB ) • - EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite) • - Grille nationale belge de calcul: BEgrid EumedGrid Workshop

21. UA UGent BELNET ULB VLIZ VUB UCL CETIC FPMS ULG FUNDP Collaboration UAE(Maroc)-ULB(Belgique) ULB-IIHE (activités) EumedGrid Workshop

22. Tanger Martil Tétouan Asila Chaouen Larache Ouezzane Ksar El Kebir Collaboration UAE(Maroc)-ULB(Belgique) UAE • 22000 étudiants • 11 établissements (8 facultés) • 2 sites (Tanget-Tétouan) • 58 UFR • 48 labratoires • sites connectés via un réseau sans fil ~50km EumedGrid Workshop

23. Collaboration UAE-ULB Installation et administration d’un cluster 2003/2004 (Projet de fin d’études) • techniques liées aux clusters - bachsystem, ordonnancement - parallélisme (MPI) - networking EumedGrid Workshop

24. Collaboration UAE-ULB Installation et administration d’un cluster 2003/2004 • OS: Scientific Linux 3.0 • gestionnaire de taches: Condor (environnement HPC) • Interface graphique: soummission de jobs, gestion du cluster,.. EumedGrid Workshop

25. Collaboration UAE-ULB Autorité de certification (DESA) • acquisition des notions de base liées à la sécurité: • cryptographie, déchiffrement,.. • fonctions de hachage (MD5, SHA) • principe des signatures numériques • protocole en relation (SSL,..) • installer un prototype d’autorité de certifications • générer des certificats (machines et utilisateurs) EumedGrid Workshop

26. Collaboration UAE-ULB Autorité de certification • installer un prototype d’autorité de certifications • générer des certificats (machines et utilisateurs) • administration du CA EumedGrid Workshop

27. Collaboration UAE-ULB Prototype d’une grille de clacul de base (DESA) • expérience acquise sur les clusters • expériences acquise sur les certificats • Installation d’un intergiciel (middeleware) de base • certificats machines et ustilsateurs • exécution des jobs de test EumedGrid Workshop

28. Collaboration CNRST-UAE-ULB • Contact avec le CNRST (groupe réseau MARWAN) • lettre d’intention pour la création d’une plateforme grid • mailing list:grid-list@marwan.ma(discussion des sujets liés au grid) • commission nationale: vision stratégique pour la grille nationale: MaGrid • commencement du projet Eumedgrid: une chance historique • plateforme CNRST et plateforme UAE déjà en place EumedGrid Workshop

29. Collaboration CNRST-UAE-ULB • CNRST (Rabat): R. Merrouch, N. Talhaoui, • UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès • ULB (Bruxelles): O. Bouhali • plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux EumedGrid Workshop

30. Résumé et perspectives • Collaboration réussie entre CNRST, UAE et ULB • renforcée par la participation au projet EumedGrid • travaux présentés/publiés dans plusieurs manifestations nationales et internationales • 1 PFE, 2 DESA + 2 thèses de doctorat en cours • bonne expérience acquise: clustering, grid et CA • noyau national grid computing EumedGrid Workshop

31. Résumé et perspectives • application à tourner sur la grille  physique nucléaire  GEANT4 (applications médicales)  groupe HEP marocain • élargissement vers d’autres universités et centre nationaux • quelques projets déjà soumis avec des partenaires internationaux • s’impliquer d’avantage dans EumedGrid EumedGrid Workshop

32. EumedGrid Workshop

33. EumedGrid Workshop

34. EumedGrid Workshop

35. MSS MSS MSS ~800kSI2k Physique des hautes énergies PC (2004) = ~1 kSpecInt2k ~Pb/sec Event Builder 10 GB/sec Event Filter~7.5MSI2k • Some data for calibration and monitoring to institutes • Calibrations flow back • ~5 Pb/year • No simulation T0 ~5MSI2k Tier 0 Castor Tier 1 • ~2MSI2k/T1 • ~2 Pb/year/T1 T1 T1 T1 T1 MSS Tier-1s reprocess house simulation Group Analysis Tier 2 ~800kSI2k Tier2 Centre ~200kSI2k Tier2 Centre ~200kSI2k • ~200 Tb/year/T2 Each Tier 2 has ~20 physicists working on one or more channels Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data Tier 2 do bulk of simulation Physics data cache EumedGrid Workshop Workstations