Grille de calcul et coopération Nord-sud
This presentation is the property of its rightful owner.
Sponsored Links
1 / 35

Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc) PowerPoint PPT Presentation


  • 104 Views
  • Uploaded on
  • Presentation posted in: General

Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc). Othmane Bouhali Université Libre de Bruxelles. Programme. Motivations Introduction à la grille de calcul Grille de calcul au Maroc? Collaboration UAE, ULB et CNRST Résumé et perspectives. Motivations. Motivations.

Download Presentation

Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Grille de calcul et coop ration nord sud exemple belgique maroc

Grille de calcul et coopération Nord-sud

(exemple Belgique-Maroc)

Othmane Bouhali

Université Libre de Bruxelles

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Programme

  • Motivations

  • Introduction à la grille de calcul

  • Grille de calcul au Maroc?

  • Collaboration UAE, ULB et CNRST

  • Résumé et perspectives

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Motivations

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Motivations

  • besoins en puissance de calcul et capacité de stockage importants

  • systèmes de grande ampleur

  • géographiquement dispersés

  • utilisation des ressources informatiques:

  • quelques exemples:

  • fournir un accès au maximum d’utilisateurs à ces ressources

  • exploitation optimale

  • rationalisation (demande de budgets)

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Computing Intensive Science

  • Recherche sur les séquences de l’ADN

  • Analyse génétique

  • Processus souvent parallèles

  • Nanotechnologie et sciences des matériaux

  • Simulation à l’échelle moléculaire

  • grande puissance de calcul

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Sciences de l’observation de la terre

  • Transmission: >200 Mbps

  • Pbytes à sauvegarder/an

  • plusieurs projets d’études

  • Multi-Utilisateurs

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Balloon

(30 Km)

CD stack with

1 year LHC data!

(~ 20 Km)

Concorde

(15 Km)

Mt. Blanc

(4.8 Km)

CERN: European Organisation for Nuclear Research

  • Tunnel d’accélération de 27km

  • de circonférence

  • Projet LHC

  • 10 Petabytes de données/an

  • 20 millions de CDs par an

Where the web was born

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Aucun centre ne disposera de l’infrastructure pour autant de calcul

Nouveau concept de la collaboration

combiner les ressources de calcul et de stockage des centres scientifiques

Grille de calcul planétaire

ou

Grid computing

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Eléments d’une grille de calcul

  • ressources:

  • fermes de calcul (cluster)

  • stockage

  • réseaux LAN-WAN

  • services:

  • sécurité: authentification  autorisation

  • recherche de l’information

  • gestion des jobs

  • gestion de données: transfert, replication

  • communication entre les processus (parallélisme)

Middleware:

Globus

EDG

LCG

  • Applications

  • Physique des hautes énergies

  • BioInformatique

  • Sciences de la terre

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Avantages de la grille de calcul

  • Accès, selon des règles prédéfinies, aux ressources requises

  • La faculté de résoudre des problèmes complexes

  • Utilisation optimisée des ressources existantes

  • (exploitation des ressources non ou peu utilisées)

  • Travail collaboratif (mise en réseau des ressources informatiques)

  • Nouvelles perspectives pour la recherche scientifique

  • Initiatives nationales partout

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Grille de calcul au Maroc?

  • Situation de la Recherche Scientifique et nécessité d’une infrastructure de

    calcul mieux adaptée

  • Exemple de « petit » pays ayant déjà opté pour la grille

  • Existence d’un noyau de la diaspora marocaine

    (projet fincome et transfert de technologie)

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Recherche scientifique au Maroc

Etablissements

  • 15 Universités

  • plusieurs établissements publics: CNRST, INH, CNESTEN,..

  • Secteur privé: REMINEX, ST, Matra,..

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Recherche scientifique au Maroc

Groupes de recherche

Unités de Formation par la Recherche:

 Assurer la formation par la recherche

 804 UFR

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Recherche scientifique au Maroc

Groupes de recherche

Pôles de compétences:

  • PC Microbiologie du Sol et Biotechnologie de Plantes

  • PC Pharmaco chimie

  • PC des Sciences et Technologies de l’Information

  • Réseau National de Physique Théorique

  • PC Matière Condensée

  • PC Electrochimie, Corrosion et Chimie Analaytique

  • Réseau National des Sciences et techniques de l’Espace

  • Réseau National d’Etude sur le Local et le Régional

  • Réseau Marocain des Plantes Aromatiques et Médicinales

  • PC Neurogénétique

  • Réseau Universitaire de la Physique des hautes Energies

  • Réseau National de Physico-Chimie

  • Réseau National de Mécanique

  • PC Qualité

  • Réseau National des Sciences et Techniques de la Mer

  • PC Eau & Environnement

  • PC Patrimoine Culturel

  • Réseaux thématiques de recherche

  • orienter la RS vers des thèmes ayant un impact sur le développement du pays

  • optimiser les moyens mis à la disposition de la RS

  • créer une synergie entre les chercheurs au niveau national

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Recherche scientifique au Maroc

Budget et production

Budget alloué à la RS:

Production Scientifique

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Recherche scientifique au Maroc

Groupes de recherche

  • Programmes visant à consolider la R (CNRST)

    • Réseau MARWAN (Morocco Wide-Area Network)

    • Unités d’Appui Technique à la RS (UATRS)

    • Institut National de l’Information Scientifique et Technologique (IMIST)

    • Froum International des COmpétences Marocaines à l’Etranger (FINCOME)

    • Plateforme Nationale de Grille de calcul (MaGrid)

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE(Maroc)-ULB(Belgique)

Motivations et plan d’action

2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE)

  • acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul

    ainsi que les outils nécessaires à leur déploiement

  • campagne de sensibilisation auprès des chercheurs

  • synergie entre partenaires (nationaux et autres) intéressés

  • création d’un noyau national « grid computing »:

    - développement et maintien des compétences techniques

    - recherche liée au: grid, calcul distribué, services web,..

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE(Maroc)-ULB(Belgique)

Motivations et plan d’action

  • identifier les applications et utilsateurs: (en commençant par les disciplines

    susceptibles de s’impliquer rapidement)

  • plateforme de grille nationale

  • implication dans les projets internationaux liés au grid.

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE(Maroc)-ULB(Belgique)

  • activités de l’ULB (notamment de l’IIHE)

  • UAE

  • Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE(Maroc)-ULB(Belgique)

ULB-IIHE (activités)

  • participation aux expériences de physique des hautes énergies:

  • (AMANDA/ICE3, CHORUS, CMS, H1, OPERA)

  • PET (Tomographie à émission de poitrons)

  • Computing:

  • - CMS Tier2 centre (800 CPU et 200 TB )

  • - EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite)

  • - Grille nationale belge de calcul: BEgrid

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

UA

UGent

BELNET

ULB

VLIZ

VUB

UCL

CETIC

FPMS

ULG

FUNDP

Collaboration UAE(Maroc)-ULB(Belgique)

ULB-IIHE (activités)

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Tanger

Martil

Tétouan

Asila

Chaouen

Larache

Ouezzane

Ksar El Kebir

Collaboration UAE(Maroc)-ULB(Belgique)

UAE

  • 22000 étudiants

  • 11 établissements (8 facultés)

  • 2 sites (Tanget-Tétouan)

  • 58 UFR

  • 48 labratoires

  • sites connectés via un réseau sans fil

~50km

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE-ULB

Installation et administration d’un cluster 2003/2004

(Projet de fin d’études)

  • techniques liées aux clusters

    - bachsystem, ordonnancement

    - parallélisme (MPI)

    - networking

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE-ULB

Installation et administration d’un cluster 2003/2004

  • OS: Scientific Linux 3.0

  • gestionnaire de taches: Condor (environnement HPC)

  • Interface graphique: soummission de jobs, gestion du cluster,..

EumedGrid Workshop


Grille de calcul et coop ration nord sud exemple belgique maroc

Collaboration UAE-ULB

Autorité de certification

(DESA)

  • acquisition des notions de base liées à la sécurité:

    • cryptographie, déchiffrement,..

    • fonctions de hachage (MD5, SHA)

    • principe des signatures numériques

    • protocole en relation (SSL,..)

  • installer un prototype d’autorité de certifications

  • générer des certificats (machines et utilisateurs)

  • EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Collaboration UAE-ULB

    Autorité de certification

    • installer un prototype d’autorité de certifications

    • générer des certificats (machines et utilisateurs)

    • administration du CA

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Collaboration UAE-ULB

    Prototype d’une grille de clacul de base

    (DESA)

    • expérience acquise sur les clusters

    • expériences acquise sur les certificats

    • Installation d’un intergiciel (middeleware) de base

    • certificats machines et ustilsateurs

    • exécution des jobs de test

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Collaboration CNRST-UAE-ULB

    • Contact avec le CNRST (groupe réseau MARWAN)

    • lettre d’intention pour la création d’une plateforme grid

    • mailing list:[email protected](discussion des sujets liés au grid)

    • commission nationale: vision stratégique pour la grille nationale: MaGrid

    • commencement du projet Eumedgrid: une chance historique

    • plateforme CNRST et plateforme UAE déjà en place

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Collaboration CNRST-UAE-ULB

    • CNRST (Rabat): R. Merrouch, N. Talhaoui,

    • UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès

    • ULB (Bruxelles): O. Bouhali

    • plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Résumé et perspectives

    • Collaboration réussie entre CNRST, UAE et ULB

    • renforcée par la participation au projet EumedGrid

    • travaux présentés/publiés dans plusieurs manifestations nationales et

      internationales

    • 1 PFE, 2 DESA + 2 thèses de doctorat en cours

    • bonne expérience acquise: clustering, grid et CA

    • noyau national grid computing

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    Résumé et perspectives

    • application à tourner sur la grille

       physique nucléaire

       GEANT4 (applications médicales)

       groupe HEP marocain

    • élargissement vers d’autres universités et centre nationaux

    • quelques projets déjà soumis avec des partenaires internationaux

    • s’impliquer d’avantage dans EumedGrid

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    EumedGrid Workshop


    Grille de calcul et coop ration nord sud exemple belgique maroc

    MSS

    MSS

    MSS

    ~800kSI2k

    Physique des hautes énergies

    PC (2004) = ~1 kSpecInt2k

    ~Pb/sec

    Event Builder

    10 GB/sec

    Event Filter~7.5MSI2k

    • Some data for calibration and monitoring to institutes

    • Calibrations flow back

    • ~5 Pb/year

    • No simulation

    T0 ~5MSI2k

    Tier 0

    Castor

    Tier 1

    • ~2MSI2k/T1

    • ~2 Pb/year/T1

    T1

    T1

    T1

    T1

    MSS

    Tier-1s reprocess

    house simulation

    Group Analysis

    Tier 2

    ~800kSI2k

    Tier2 Centre ~200kSI2k

    Tier2 Centre ~200kSI2k

    • ~200 Tb/year/T2

    Each Tier 2 has ~20 physicists working on one or more channels

    Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data

    Tier 2 do bulk of simulation

    Physics data cache

    EumedGrid Workshop

    Workstations


  • Login