Grille de calcul et coopération Nord-sud
Download
1 / 35

Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc) - PowerPoint PPT Presentation


  • 141 Views
  • Uploaded on

Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc). Othmane Bouhali Université Libre de Bruxelles. Programme. Motivations Introduction à la grille de calcul Grille de calcul au Maroc? Collaboration UAE, ULB et CNRST Résumé et perspectives. Motivations. Motivations.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)' - benita


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

Grille de calcul et coopération Nord-sud

(exemple Belgique-Maroc)

Othmane Bouhali

Université Libre de Bruxelles

EumedGrid Workshop


Programme

  • Motivations

  • Introduction à la grille de calcul

  • Grille de calcul au Maroc?

  • Collaboration UAE, ULB et CNRST

  • Résumé et perspectives

EumedGrid Workshop


Motivations

EumedGrid Workshop


Motivations

  • besoins en puissance de calcul et capacité de stockage importants

  • systèmes de grande ampleur

  • géographiquement dispersés

  • utilisation des ressources informatiques:

  • quelques exemples:

  • fournir un accès au maximum d’utilisateurs à ces ressources

  • exploitation optimale

  • rationalisation (demande de budgets)

EumedGrid Workshop


Computing Intensive Science

  • Recherche sur les séquences de l’ADN

  • Analyse génétique

  • Processus souvent parallèles

  • Nanotechnologie et sciences des matériaux

  • Simulation à l’échelle moléculaire

  • grande puissance de calcul

EumedGrid Workshop


Sciences de l’observation de la terre

  • Transmission: >200 Mbps

  • Pbytes à sauvegarder/an

  • plusieurs projets d’études

  • Multi-Utilisateurs

EumedGrid Workshop


Balloon

(30 Km)

CD stack with

1 year LHC data!

(~ 20 Km)

Concorde

(15 Km)

Mt. Blanc

(4.8 Km)

CERN: European Organisation for Nuclear Research

  • Tunnel d’accélération de 27km

  • de circonférence

  • Projet LHC

  • 10 Petabytes de données/an

  • 20 millions de CDs par an

Where the web was born

EumedGrid Workshop


Aucun centre ne disposera de l’infrastructure pour autant de calcul

Nouveau concept de la collaboration

combiner les ressources de calcul et de stockage des centres scientifiques

Grille de calcul planétaire

ou

Grid computing

EumedGrid Workshop


Eléments d’une grille de calcul de calcul

  • ressources:

  • fermes de calcul (cluster)

  • stockage

  • réseaux LAN-WAN

  • services:

  • sécurité: authentification  autorisation

  • recherche de l’information

  • gestion des jobs

  • gestion de données: transfert, replication

  • communication entre les processus (parallélisme)

Middleware:

Globus

EDG

LCG

  • Applications

  • Physique des hautes énergies

  • BioInformatique

  • Sciences de la terre

EumedGrid Workshop


Avantages de la grille de calcul de calcul

  • Accès, selon des règles prédéfinies, aux ressources requises

  • La faculté de résoudre des problèmes complexes

  • Utilisation optimisée des ressources existantes

  • (exploitation des ressources non ou peu utilisées)

  • Travail collaboratif (mise en réseau des ressources informatiques)

  • Nouvelles perspectives pour la recherche scientifique

  • Initiatives nationales partout

EumedGrid Workshop


Grille de calcul au Maroc? de calcul

  • Situation de la Recherche Scientifique et nécessité d’une infrastructure de

    calcul mieux adaptée

  • Exemple de « petit » pays ayant déjà opté pour la grille

  • Existence d’un noyau de la diaspora marocaine

    (projet fincome et transfert de technologie)

EumedGrid Workshop


Recherche scientifique au Maroc de calcul

Etablissements

  • 15 Universités

  • plusieurs établissements publics: CNRST, INH, CNESTEN,..

  • Secteur privé: REMINEX, ST, Matra,..

EumedGrid Workshop


Recherche scientifique au Maroc de calcul

Groupes de recherche

Unités de Formation par la Recherche:

 Assurer la formation par la recherche

 804 UFR

EumedGrid Workshop


Recherche scientifique au Maroc de calcul

Groupes de recherche

Pôles de compétences:

  • PC Microbiologie du Sol et Biotechnologie de Plantes

  • PC Pharmaco chimie

  • PC des Sciences et Technologies de l’Information

  • Réseau National de Physique Théorique

  • PC Matière Condensée

  • PC Electrochimie, Corrosion et Chimie Analaytique

  • Réseau National des Sciences et techniques de l’Espace

  • Réseau National d’Etude sur le Local et le Régional

  • Réseau Marocain des Plantes Aromatiques et Médicinales

  • PC Neurogénétique

  • Réseau Universitaire de la Physique des hautes Energies

  • Réseau National de Physico-Chimie

  • Réseau National de Mécanique

  • PC Qualité

  • Réseau National des Sciences et Techniques de la Mer

  • PC Eau & Environnement

  • PC Patrimoine Culturel

  • Réseaux thématiques de recherche

  • orienter la RS vers des thèmes ayant un impact sur le développement du pays

  • optimiser les moyens mis à la disposition de la RS

  • créer une synergie entre les chercheurs au niveau national

EumedGrid Workshop


Recherche scientifique au Maroc de calcul

Budget et production

Budget alloué à la RS:

Production Scientifique

EumedGrid Workshop


Recherche scientifique au Maroc de calcul

Groupes de recherche

  • Programmes visant à consolider la R (CNRST)

    • Réseau MARWAN (Morocco Wide-Area Network)

    • Unités d’Appui Technique à la RS (UATRS)

    • Institut National de l’Information Scientifique et Technologique (IMIST)

    • Froum International des COmpétences Marocaines à l’Etranger (FINCOME)

    • Plateforme Nationale de Grille de calcul (MaGrid)

EumedGrid Workshop


Collaboration UAE(Maroc)-ULB(Belgique) de calcul

Motivations et plan d’action

2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE)

  • acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul

    ainsi que les outils nécessaires à leur déploiement

  • campagne de sensibilisation auprès des chercheurs

  • synergie entre partenaires (nationaux et autres) intéressés

  • création d’un noyau national « grid computing »:

    - développement et maintien des compétences techniques

    - recherche liée au: grid, calcul distribué, services web,..

EumedGrid Workshop


Collaboration UAE(Maroc)-ULB(Belgique) de calcul

Motivations et plan d’action

  • identifier les applications et utilsateurs: (en commençant par les disciplines

    susceptibles de s’impliquer rapidement)

  • plateforme de grille nationale

  • implication dans les projets internationaux liés au grid.

EumedGrid Workshop


Collaboration UAE(Maroc)-ULB(Belgique) de calcul

  • activités de l’ULB (notamment de l’IIHE)

  • UAE

  • Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs

EumedGrid Workshop


Collaboration UAE(Maroc)-ULB(Belgique) de calcul

ULB-IIHE (activités)

  • participation aux expériences de physique des hautes énergies:

  • (AMANDA/ICE3, CHORUS, CMS, H1, OPERA)

  • PET (Tomographie à émission de poitrons)

  • Computing:

  • - CMS Tier2 centre (800 CPU et 200 TB )

  • - EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite)

  • - Grille nationale belge de calcul: BEgrid

EumedGrid Workshop


UA de calcul

UGent

BELNET

ULB

VLIZ

VUB

UCL

CETIC

FPMS

ULG

FUNDP

Collaboration UAE(Maroc)-ULB(Belgique)

ULB-IIHE (activités)

EumedGrid Workshop


Tanger de calcul

Martil

Tétouan

Asila

Chaouen

Larache

Ouezzane

Ksar El Kebir

Collaboration UAE(Maroc)-ULB(Belgique)

UAE

  • 22000 étudiants

  • 11 établissements (8 facultés)

  • 2 sites (Tanget-Tétouan)

  • 58 UFR

  • 48 labratoires

  • sites connectés via un réseau sans fil

~50km

EumedGrid Workshop


Collaboration UAE-ULB de calcul

Installation et administration d’un cluster 2003/2004

(Projet de fin d’études)

  • techniques liées aux clusters

    - bachsystem, ordonnancement

    - parallélisme (MPI)

    - networking

EumedGrid Workshop


Collaboration UAE-ULB de calcul

Installation et administration d’un cluster 2003/2004

  • OS: Scientific Linux 3.0

  • gestionnaire de taches: Condor (environnement HPC)

  • Interface graphique: soummission de jobs, gestion du cluster,..

EumedGrid Workshop


Collaboration UAE-ULB de calcul

Autorité de certification

(DESA)

  • acquisition des notions de base liées à la sécurité:

    • cryptographie, déchiffrement,..

    • fonctions de hachage (MD5, SHA)

    • principe des signatures numériques

    • protocole en relation (SSL,..)

  • installer un prototype d’autorité de certifications

  • générer des certificats (machines et utilisateurs)

  • EumedGrid Workshop


    Collaboration UAE-ULB de calcul

    Autorité de certification

    • installer un prototype d’autorité de certifications

    • générer des certificats (machines et utilisateurs)

    • administration du CA

    EumedGrid Workshop


    Collaboration UAE-ULB de calcul

    Prototype d’une grille de clacul de base

    (DESA)

    • expérience acquise sur les clusters

    • expériences acquise sur les certificats

    • Installation d’un intergiciel (middeleware) de base

    • certificats machines et ustilsateurs

    • exécution des jobs de test

    EumedGrid Workshop


    Collaboration CNRST-UAE-ULB de calcul

    • Contact avec le CNRST (groupe réseau MARWAN)

    • lettre d’intention pour la création d’une plateforme grid

    • mailing list:[email protected](discussion des sujets liés au grid)

    • commission nationale: vision stratégique pour la grille nationale: MaGrid

    • commencement du projet Eumedgrid: une chance historique

    • plateforme CNRST et plateforme UAE déjà en place

    EumedGrid Workshop


    Collaboration CNRST-UAE-ULB de calcul

    • CNRST (Rabat): R. Merrouch, N. Talhaoui,

    • UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès

    • ULB (Bruxelles): O. Bouhali

    • plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux

    EumedGrid Workshop


    Résumé et perspectives de calcul

    • Collaboration réussie entre CNRST, UAE et ULB

    • renforcée par la participation au projet EumedGrid

    • travaux présentés/publiés dans plusieurs manifestations nationales et

      internationales

    • 1 PFE, 2 DESA + 2 thèses de doctorat en cours

    • bonne expérience acquise: clustering, grid et CA

    • noyau national grid computing

    EumedGrid Workshop


    Résumé et perspectives de calcul

    • application à tourner sur la grille

       physique nucléaire

       GEANT4 (applications médicales)

       groupe HEP marocain

    • élargissement vers d’autres universités et centre nationaux

    • quelques projets déjà soumis avec des partenaires internationaux

    • s’impliquer d’avantage dans EumedGrid

    EumedGrid Workshop





    MSS de calcul

    MSS

    MSS

    ~800kSI2k

    Physique des hautes énergies

    PC (2004) = ~1 kSpecInt2k

    ~Pb/sec

    Event Builder

    10 GB/sec

    Event Filter~7.5MSI2k

    • Some data for calibration and monitoring to institutes

    • Calibrations flow back

    • ~5 Pb/year

    • No simulation

    T0 ~5MSI2k

    Tier 0

    Castor

    Tier 1

    • ~2MSI2k/T1

    • ~2 Pb/year/T1

    T1

    T1

    T1

    T1

    MSS

    Tier-1s reprocess

    house simulation

    Group Analysis

    Tier 2

    ~800kSI2k

    Tier2 Centre ~200kSI2k

    Tier2 Centre ~200kSI2k

    • ~200 Tb/year/T2

    Each Tier 2 has ~20 physicists working on one or more channels

    Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data

    Tier 2 do bulk of simulation

    Physics data cache

    EumedGrid Workshop

    Workstations


    ad