Chaîne de calcul IPSL - niveau 2 avril 2013

1. Chaîne de calcul IPSL - niveau 2avril 2013

2. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

3. Le pôle de modélisation du climat • 80 personnes, coordinateur Jean-Louis Dufresne, dir adj IPSL • Missions : • Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant intervenir les composantes du modèle de l'IPSL • Identifier et coordonner les simulations de référence • Fédérer et rationaliser les moyens, les développements techniques • Animation scientifique • Modèle climat : • Atmosphère • Océan et glace de mer • Surfaces continentales • Cycle du carbone • Chimie • IPSLCM5 • Earth System Model Le modèle climat IPSL 3

4. Modeling platform(IPSL-ESM)Arnaud Caubel (LSCE) - Marie-Alice Foujols (IPSL) Current and future climate changesJean-Louis Dufresne(LMD) - Olivier Boucher (LMD) Atmospheric and surface physics and dynamics (LMDZ)Frédéric Hourdin (LMD) - Laurent Fairhead (LMD) Paleoclimate and last millennium Pascale Braconnot - Masa Kageyama (LSCE) Ocean and sea ice physics and dynamics (NEMO, LIM)C Ethé (IPSL) - Claire Lévy - Gurvan Madec (LOCEAN) “Near-term” prediction (seasonal to decadal)Eric Guilyardi (LOCEAN) - Juliette Mignot (LOCEAN) Atmosphere and ocean interactions (IPSL-CM, different resolutions) Sébastien Masson (LOCEAN) - Olivier Marti (LSCE) Regional climatesRobert Vautard (LSCE), Laurent Li (LMD) Atmospheric chemistry and aerosols (INCA, INCA_aer, Reprobus)Anne Cozic (LSCE) - M. Marchand (LATMOS) Biogeochemical cycles (PISCES)Laurent Bopp (LSCE) - Patricia Cadule (IPSL) Evaluation of the models, present-day and future climate change analysis Sandrine Bony (LMD) - Patricia Cadule (IPSL) - Marion Marchand (LATMOS) - Juliette Mignot (LOCEAN) – Jérôme Servonnat (LSCE) Data Archive and Access RequirementsSébastien Denvil (IPSL) - Karim Ramage (IPSL) Organisation du pôle de modélisation du climat Resp: J-L Dufresne; Bureau: L. Bopp, MA Foujols, J. Mignot Comité de pilotage Continental processes (ORCHIDEE)Philippe Peylin (LSCE) - Josefine Ghattas (IPSL)

5. Groupe de travail Plate-formecoordination M-A. Foujols, A. Caubel • Ancien nom ESCI : Equipe Système Climat IPSL • 40 personnes ( 15 régulières ) • Missions : • Organiser les développements techniques en accord avec les activités scientifiques du pôle • Assurer le lien et la cohérence des développements entre les différentes composantes et le modèle couplé IPSLCM5 • Support aux utilisateurs des modèles, liste entraide : platform-users@ipsl.jussieu.fr • Documentation • Animation technique, formations • Veille technologique • Organisation : 1 réunion/mois (Jussieu et LSCE) • liste interne : esci@ipsl.jussieu.fr

6. forge.ipsl.jussieu.fr/igcmg

7. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

8. Le modèle climat de l’IPSL : IPSLCM5 IPSL

9. IPSLCM5 Modèle du système Terre (ESM) Chimie tropo & aérosols (INCA) Émissions • Physique – Transport • Atmosphère (LMDZ) • Surface (ORCHIDEE) • Océan (NEMO) • Glace de mer (LIM) • Coupleur (OASIS) Climat global Utilisation des sols Carbone / CO2 (Orchidée, Pisces) Volcans Insolation Ozone strato. (Reprobus) LMDZ zoomé Climat régional

10. lmdz.lmd.jussieu.fr

12. http://www.nemo-ocean.eu/

13. 19 vert. levels Lesgrilles horizontales - couplage - 3 exécutables Atmosphère et surf. continentale (LMDZ - ORCHIDEE) coupleur (OASIS) Résolutions: Atm: 3.75°x2.5° (~350 km) Oce: 2°x2° reserré à l’équateur Océan et glace de mer (ORCA-LIM)

14. History of IPSLCM model since 2004 from IPSLCM4_v1 … NEC SX-9 2004 2005 2006 2007 2008 2009 2010 2011 Frozen IPSLCM4 for CMIP3/ IPCC AR4 NEMO for ocean : IPSLCM5 iomput for ocean : IPSLCM5 libIGCM : IPSLCM4_OASIS3 Oasis3 : IPSLCM4_OASIS3 LMDZ and Orchidee // IPSLCM4_v2 Carbon cycle included : IPSLCM5_v3 Carbon configurations for CMIP3/AR4 IPSLCM5A-LR : ready for CMIP5 Operationnal on vargas, titane (32 procs) Implicit usage of MPI/OpenMP IPSLCM5A-MR : 144x142x39 New physic : LMZ5B IPSLCM5B Increasing of resolution for ocean IO server Increasing of resolution for atm New dynamical core for atm … to IPSLCM5A … … and prepare the next generation

15. Modèles de l'IPSL pour CMIP5 LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS IPSL-CM5A Modèle intégré du système Terre (ESM) IPSL-CM5B Idem IPSL-CM5A, avec modèle atmosphérique LMDZ5B IPSL-CM5A-LRBasse résolution atm: 3.75°x2°L39 oce: 2° L31 IPSL-CM5A-MRMoyenne résolution atm: 2.5°x1.25°L39 oce: 2° L31 IPSL-CM5B-LRBasse résolution atm: 3.75°x2°L39 oce: 2° L31

17. 1 Pflops Curie 1 Tflops 1 Gflops

18. TOP 500 : nb de processeurs/cores

19. Eléments techniques : parallélisme, HPC • Composantes seules : • parallélisme MPI et mixte MPI/OpenMP • utilisation de fichiers de forçages • Couplé ou MPMD : • 3 composantes au moins : coupleur, atmosphère, océan • chacune MPI ou MPI/OpenMP avec nombre différent de tâches • les serveurs d'IO • ajout des composantes imbriquées : 5 exécutables • ajout OpenMP en routine • Codes écrits en Fortran, sauf exception • Beaucoup de sorties • NetcDF • librairie IOIPSL • serveur : XIOS : en attaché/détaché • Grand challenge au CINES, SGI, > 2000 procs • Couplé LMDZ 1/3°- OASIS -NEMO 1/4°

20. Evolutions prévues à court terme : • Physique : nouvelle physique LMDZ • Plus de résolutions, Pulsation et S Masson • Des ensembles, S Denvil tests actuels • Des simulations plus longues, P Braconnot • Des modèles plus complexes à bon escient: ajout de la chimie A Cozic • Plus grand nombre de processeurs : cœur dynamique de LMDZ sur grille icosaédrique, Y Meurdesoif • Optimisations des IO, XIOS, Y Meurdesoif • de l'ensemble de la chaine: modipsl/libIGCM, ...  Contraintes ressources calcul, données, réseau

21. Quelques Enjeux pour les simulations climatiques • Des questions de plus en plus précises impliquant : • de nombreuses échelles de temps et d’espace (global au local, quelques années à quelques décennies) • Evolution des caractéristiques de la météorologies et de la variabilité climatique (heure à décennale) • Couplages entre le climat et les cycles biogéochimiques (gaz à effet de serre, aérosols, cycle du carbone, utilisation des terres,…) GIEC (simulations coordonnées) : Ensembles de projections climatiques suivant différents scénarios socioéconomiques À 3° de résolution : 380 cœurs pendant 2 ans (exercice actuel) À 2° de résolution : 840 cœurs pendant 2 ans (exercice en cours) À 1/3° de résolution : 500000 cœurs pendant 2 ans (à venir?) Ensembles Résolution Complexité

22. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

23. Environnement Récupération de la configuration Serveurs CVS/SVN Assemblage dumodèle Visualisation/comparaison des résultats IOserver Modipsl Accés aux résultats Compilation LibIGCM Support Formation Machines Description d’une expérience Soumission/Exécution Documentation

24. Environnement Récupération de la configuration Serveurs CVS/SVN Assemblage dumodèle Visualisation/comparaison des résultats Modipsl IOserver Accés aux résultats Compilation LibIGCM Support Documentation Formation Machines Documentation : http://forge.ipsl.jussieu.fr/igcmg/wiki/platform/documentation (Version PDF disponible) Description d’une expérience Soumission/Exécution

25. Le modèle climat de l’IPSL • Définition : plateforme qui permet, sur les centres de calcul usuels : • de récupérerdes configurations de référence • de compiler : • les sources des différentes composantes • les interfaces de couplage (océan-atmosphère) et le coupleur • de réaliser une expérience type fournie (y compris fichiers entrée), • de suivre son exécution, • de produire et stocker des résultats bruts, • de produire, stocker et rendre accessible des ATLAS et analyses systématiques

26. Deux centres de calcul privilégiés Calcul Ada (10 624 cores, 233 Tflops) : 332 nodes, 4 proc Intel Sandy Bridge 8-cœurs à 2,7 GHz (32 cores/node), 128Go/nodes (4Go/core) Turing (65 536 cores, 836 Tflops) : 4.096 nœuds de calcul, PowerPC A2 (16 cores/node), 16 Go/node (1G/core) Post Ada : 4 nœuds 4 proc Intel Westmere 8-cœurs à 2,67GHz (32cores/node), 1 To (32 Go/core)  Fichiers Gaya, transferts des fichiers dods : http://dods.idris.fr Assistance assist@idris.fr, 01-69-35-85-55 Infos www.idris.fr Calcul Curie NF (80 640 cores, 1,6 Pflops) 5 040 thin nodes, 2 proc Intel Sandy Bridge 8-cœurs à 2,7 GHz (16 cores/node), 64Go/nodes (4Go/core) Curie NL (11 520 cores) 90 fat nodes, 16 proc Nehalem-EX 8-cœurs à 2,27 GHz (128 cores/node), 512Go/nodes (4Go/core) Titane (12 768 cores, 140 Tflops)1596 nœuds de calcul, 2 proc Intel Xeon 8 cœurs à 2,93 GHz (8 cores/node), 24 Go/node (3G/core) Post Curie NL, titane Fichiers $CCCWORKDIR, $CCCSTOREDIR, quotas : ccc_quota dods : http://dods.extra.cea.fr/work, http://dods.extra.cea.fr/store Assistance hotline.tgcc@cea.fr, 01-77-57-42-42 Infos curie.info

27. Configurations distribuées dans modipsl → Une configuration contient les sources des modèles, les outils de lancement basés sur libIGCM (driver et card) et les paramètres d'entrée Les configurations cohérentes avec IPSLCM5A : IPSLCM5A : Modèle couplé standard LMDZ-ORCHIDEE-NEMO-PISCES, utilisé pour CMIP5. Responsable A. Caubel et M-A Foujols LMDZOR_v4 : Modèle forcé LMDZ-ORCHIDEE. Responsable J. Ghattas. Même réglage que LMDZ4OR_v3. LMDZORINCA : Modèle avec chimie troposphère LMDZ-ORCHIDEE-INCA. Responsable A. Cozic IPSLCM5A_C : Comme IPSLCM5A mais avec des versions des composants différentes Responsable P. Cadule IPSLCM5B : Comme IPSLCM5A mais avec la nouvelle physique dans LMDZ. Responsable L. Fairhead Ces configurations sont figées et ne sont plus maintenues

28. Configurations distribuées dans modipsl →« La famille v5 » : Refonte des configurations pour améliorer le cohérence entre les différentes configurations et faciliter leur gestion/utilisation. Les réglages pour une composante restent les mêmes dans toutes les configurations dans la même famille. Les configurations dans la famille v5 : IPSLCM5_v5 : Correspond à IPSLCM5A et 5B. Responsables A. Caubel et M-A Foujols LMDZOR_v5 : Prend la suite de LMDZOR_v4. Responsable J. Ghattas LMDZORINCA_v5 : Correspond au LMDZORINCA mais les réglages ont un peu changé pour correspondre à IPSLCM5_v5. Responsable A. Cozic LMDZREPR_v5 : Avec chimie stratosphère LMDZ-Reprobus. Responsable J. Ghattas IPSLCM5CHT_v5 : Comme IPSLCM5_v5 avec INCA. Responsable A. Cozic IPSLCM5CHS_v5 : Comme IPSLCM5_v5 avec Reprobus. Responsable M. Marchand A noter : IPSLCM5CHT_v5 et IPSLCM5CHS_v5 sont des versions de travail et non des version de production

29. Configurations distribuées dans modipsl Autre configurations : NEMO : Modèle forcé de l'océan OPA-LIM-PISCES. Responsable C. Ethé. ORCHIDEE_TAG : Modèle forcé de surface ORCHIDEE, contient le dernier tag de ORCHIDEE (actuellement 1.9.6). Responsable J. Ghattas. ORCHIDEE_SVN_AR5 : Modèle forcé de surface ORCHIDEE, contient la version utilisée pour CMIP5 de ORCHIDEE. Responsable J. Ghattas. Recommandation générale : prévenir lors de nouvelles études basées sur une de ces configurations, en particulier pour les modèles couplés

30. Récupérer, compiler et lancer une configuration de type _v5 • Accès à MODIPSL svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl • Accès à IPSLCM5_v5cd modipsl/util ; ./model IPSLCM5_v5 • Installation des Makefilescd modipsl/util ; ./ins_make • Compilation cd modipsl/config/IPSLCM5_v5 ; gmake + resolution choisie • Installation de l’expérience type (et post-traitements) cp EXPERIMENT/IPSLCM5/piControl/config.card . vi config.card ### JobName=MYEXP ../../util/ins_job ### recopie repertoire piControl dans MYEXP avec COMP, DRIVER, PARAM • Soumission du Job de lancementcd modipsl/config/IPSLCM5_v5/MYEXP; ccc_msub Job_MYEXPllsumbmit Job_MYEXP

31. IPSL Gestion des sources des composantes Serveur cvs/svn Connexion Récupération de la configuration Modipsl Compilation Description de la simulation LibIGCM Choix des réglages physiques Exécution/ lancement du run LibIGCM Frontale Calcul

32. Script de référence : AA_Job PeriodLength

33. Schéma de la librairie de scripts libIGCM EXP00 EXP00/COMP

35. Comment vérifier que cela s’est bien passé? MY_EXPERIENCE • Message de fin de simu reçu • run.card : • PeriodState=Completed • Fichiers sur le serveur de fichiers • Post-traitements lancés puis finis • ATLAS et monitoring sur serveur dods modipsl en décalé config IPSLCM5_v5 EXP00 COMP PARAM DRIVER Job_EXP00 Script_Output* run.card run.card.init config.card

36. Message en fin de simulation A la fin d’une expérience, vous recevrez un message de ce type : Objet : T05042013 completed Dear user, Simulation TEST201301 is completed on supercomputer curie5779. Job started : 25000101 Job ended : 25011231 Output files are available in /ccc/store/cont003/dsm/user/IGCM_OUT/IPSLCM5A/DEVT/piControl/TEST201301 Files to be rebuild are temporarily available in /ccc/scratch/cont003/dsm/user/REBUILD/IPSLCM5A/TEST201301 Pre-packed files are temporarily available in /ccc/scratch/cont003/dsm/user/IGCM_OUT/IPSLCM5A/DEVT/piControl/TEST201301 Script files, Script Outputs and Debug files (if necessary) are available in /ccc/work/cont003/dsm/user/CURIE/CMIP5/R99/IPSLCM5A_20120910/modipsl/config/IPSLCM5A/TEST201301

37. Arborescence sur serveur de fichiers IDRIS gaya: cd IGCM_OUT IPSLCM5A/DEVT/pdControl JobName SRF ATM MBG ICE SBG DEBUG OCE CPL RESTART MONITORING ATLAS TAR Output Analyse Fichiers archivés à la fréquence définie (PackFrequency) TS_DA SE TS_MO NCRCAT DA [HF] MO [INS]

38. Arborescences sur serveurs de fichiers TGCC cd $CCCSTOREDIR/IGCM_OUT cd $CCCWORKDIR/IGCM_OUT IPSLCM5A/DEVT/pdControl IPSLCM5A/DEVT/pdControl JobName JobName SRF ATM MBG ICE SBG DEBUG OCE CPL RESTART TAR MONITORING ATLAS Output Analyse Fichiers archivés à la fréquence définie (PackFrequency) TS_DA SE TS_MO NCRCAT DA [HF] MO [INS]

39. Simulations avec libIGCM : les options monitoring 2007 create_ts Job_EXP00 create_se atlas rebuild online RebuildFrequency=NONE, PackFrequency=NONE(ou absent), mode « DEBUG » ou « TEST » 2010 monitoring create_ts rebuild Job_EXP00 create_se atlas RebuildFrequency=1Y, PackFrequency=NONE, mode « Sans pack » (IDRIS-vargas) 2012 monitoring create_ts rebuild pack_output create_se Job_EXP00 atlas pack_restart pack_debug RebuildFrequency=1Y, PackFrequency=1Y, mode « Avec pack » (CCRT-TGCC et IDRIS-ada)

40. Les utilitaires de pack pack_restart.job : archive, avec tar, les restart par période « PackFrequency » pack_debug.job : archive, avec tar, les fichiers debug par période « PackFrequency » pack_output.job : concatène, avec ncrcat, les fichiers output (netcdf) par période « PackFrequency » est lancé par le job de rebuild Une simulation de type historical (1850-2005) : 50 jobs de calcul (36 mois à la fois) 156 rebuild, 156 pack_output, 156 pack_debug, 156 pack_restart 16 create_se, 45 atlas, 500 create_ts, 30 monitoring

41. ada Job_EXP00 Job_EXP00 Job_EXP00 Calcul IDRIS PeriodLength PeriodLength PeriodLength $WORKDIR/REBUILD $WORKDIR/IGCM_OUT PackFrequency RebuildFrequency ada pack_restart pack_debug rebuild tar Post $WORKDIR/IGCM_OUT gaya : IGCM_OUT PackFrequency ada ncrcat pack_output Post gaya : IGCM_OUT SeasonalFrequency TimeSeriesFrequency ada create_ts create_se Post monitoring atlas gaya:IGCM_OUT dods.idris.fr

43. titane, curie TGCC Job_EXP00 Job_EXP00 Job_EXP00 Calcul $SCRATCHDIR/REBUILD PeriodLength PeriodLength PeriodLength $SCRATCHDIR/IGCM_OUT pack_restart pack_debug tar PackFrequency RebuildFrequency Post titane, curie rebuild Post titane, curie $CCCSTOREDIR/IGCM_OUT ncrcat pack_output SeasonalFrequency TimeSeriesFrequency $SCRATCHDIR/IGCM_OUT $CCCSTOREDIR PackFrequency create_ts create_se Post monitoring atlas titane, curie TS et SE : $CCCSTOREDIR/IGCM_OUT/…  dods/storeMONITORING et ATLAS : $CCCWORKDIR  dods/work

44. quotas

45. Nombre de fichiers : historical

46. Plan • Présentation du pôle de modélisation • Présentation du modèle IPSL-CM5 • Rappel du fonctionnement de la chaine • Surveillance de la chaîne de calcul • Travaux pratiques personnalisés

47. 1 : Suivi de la simulation 2 : Vérification, correction

48. Suivi de la simulation • Il est indispensable de surveiller très régulièrement sa simulation !!! • RunChecker : script (libIGCM) à lancer pour obtenir des informations sur l’état d’une (ou plusieurs) simulations. • Rappel : une simulation historical : 50 jobs de calcul et près de 1000 jobs de post-traitements • Documentation • http://forge.ipsl.jussieu.fr/igcmg/wiki/platform/documentation/suivi

49. RunChecker: usage et options • Le script RunChecker.job peut être lancé de n'importe où : • path/to/libIGCM/RunCkecker.job [-u user][-q][-j n][-s][-p path] job_name • -u user : lance le Checker sur la simulation d'un autre utilisateur • -q : mode silencieux • -j n : affiche n jobs de post-traitement (10 par défaut) • -s : recherche d'une simulation non référencée $WORKDIR pour l'ajouter à son catalogue personnel de simulations avant d'afficher les informations • -p path : pour donner le chemin !!!absolu!!! du répertoire contenant le config.card à la place du job_name. A donner une fois seulement. Ensuite le nom de la simulation suffit. Voir ~/.simucatalog.dat • 1) path/to/libIGCM/RunCkecker.job -p $CCCWORKDIR/CURIE/CMIP5/R1414/IPSLCM5A_20120731/modipsl/config/IPSLCM5A/v5.rcp45CMR2 • 2) path/to/libIGCM/RunCkecker.job v5.rcp45CMR2

50. RunChecker : exemple de simulation OK