Les simulations numériques au DAPNIA Les enjeux scientifiques et les codes du SAp

1. Le projet de développements logiciels du DAPNIApour la simulation et la visualisation desplasmas astrophysiquesV. Gautard, J.-P. Le Fèvre, D. Pomarède, B. ThoorisLaboratoire d’Ingénierie Logicielle des Applications ScientifiquesCEA/DAPNIA/LILAS - Saclay

2. Les simulations numériques au DAPNIA • Les enjeux scientifiques et les codes du SAp • Moyens de calculs • Le projet de développements logiciels • Gestion des données • Visualisation • Perspectives

3. Les simulations numériques au DAPNIA • La simulation des plasmas astrophysiques, aux cotés des projets de détecteurs spatiaux et d’observatoires terrestres, est l’un des trois piliers sur lequel se fonde le programme scientifique du Service d’Astrophysique du DAPNIA • L’objectif scientifique est la compréhension de la formation des structures observées dans l’Univers : Structure et distribution des amas de galaxies à partir des conditions initiales du Big Bang Dynamique des nuages moléculaires où se forment les étoiles Magnétohydrodynamique stellaire Formation des systèmes protoplanétaires

4. Les codes du SAp • Quatre codes de simulations numériques sont développés à Saclay ou dans le cadre de collaborations internationales : • RAMSES (R. Teyssier) • étude multi-échelles de la formation des structures de l’univers • solution de l’interaction de la Matière Noire avec le gaz baryonique • hydrodynamique et systèmes à N-corps, gravitation, MHD • HERACLES (E. Audit et al) • formation et dynamique des nuages moléculaires • Hydrodynamique radiative • ASH (A.S. Brun, collaboration avec J. Toomre et al.) • Magnétohydrodynamique du Soleil • FARGO (F. Masset) • études des forces de marées disque-planètes • Hydrodynamique 2D & 3D • Ces codes partagent des caractéristiques communes • F90 ou C, parallélisés avec la librairie MPI • Emploi de solveurs d’équation type Riemann ou Godunov • Maillage spatio-temporel sur des grilles cartésiennes fixes (HERACLES, ASH) ou a résolution adaptative (RAMSES, FARGO)

5. Illustration de la technique de maillage adaptatif (AMR) de RAMSES level 2 level 3 level 5 level 9 level 11 level 14 La résolution du maillage est améliorée dynamiquement quand des gradients importants sont observés sur la distribution de variables telles que la densité de matière

6. Illustration de la technique de maillage adaptatif (AMR) de RAMSES Niveaux 9 à 14 de l’AMR. Le raffinement ultime est atteint au niveau 14 qui correspond à 4.1107 cellules La résolution finale équivalente atteinte est de 213 =8192 cellules dans chaque direction, soit au total 81923=5.5 1011 cellules Avec cette résolution, des mécanismes physiques à des échelles trés différentes sont traités : depuis l’interaction gravitationelle à grande échelle (matière noire) jusqu’à la formation d’étoiles dans les galaxies

7. Illustration de la technique de maillage adaptatif (AMR) de RAMSES Densité de la Matière Noire Densité du plasma baryonique Température du plasma baryonique Age et distribution des étoiles Référence : “The History of the Baryon Budget – Cosmic Logistics in a Hierarchical Universe”, Y. Rasera & R. Teyssier, astro-ph/0505473 (23 May 2005)

8. Les moyens de calculs • Les codes de simulations sont parallélisés, conçus pour être exécutés sur des mainframes performants • Ressources du CEA : • CCRT (CEA Bruyères-le-Châtel) : • NickelChrome HP/OSF1 225 quadri-processors alpha nodes (2250 GFlops au total) • Tantale HP/Linux 138 quadri-processors AMD Opteron • Ressources du “Projet Horizon” pour la Cosmologie • IDRIS (CNRS Orsay) • Ensemble de 1024 processors Power4 répartis sur plusieurs clusters • MareNostrum (Barcelona Supercomputing Center) • 2406 dual 64-bit processor nodes @ 2.2GHz, ~42 TeraFlops peak • Part of the DEISA « Extreme Computing Initiative » • DEISA=Distributed European Infrastructure for Supercomputing Applications • Requirement 8 To RAM, 4096 processors

9. ISC Conference Dresde juin 2006 Les moyens de calculs : rappel sur le Top500 BlueGene 130000 processeurs Recherche (biologie moléculaire, …) (GFlops) Columbia Utilisée par nos concurrents US (Cosmologie,…) CEA/Defense MareNostrum Utilisée pour les Prods RAMSES CEA/Defense CNRS/IDRIS out (281eme en 2005, 11eme en 1996) Note : CC-IN2P3 linux = 639 proc, 3500 GFlops

10. Le projet de développements logiciels • Depuis septembre 2005, les développements software sont organisés dans le cadre d’un projet d’ingénierie indépendant. L’objectif est de partager les expertises et de fournir des modules de type “core software” utilisables par les différents codes. Cela inclut la gestion des données, le post-traitement, la visualisation, l’optimisation du parallélisme, le développement d’algorithmes numériques novateurs. RAMSES CORE SOFTWARE MODULES I/O, Graphics, Algorithms ASH HERACLES FARGO

11. Gestion des données • 1er axe de développements : format des données de sortie des codes • choix du format HDF5 (Hierarchical Data Format) développé par le NCSA (National Center for Supercomputing Applications, USA) • free, open source, portable, F90/C/C++/Java interfaces • la librairie est optimisée pour lire et écrire efficacement sur des systèmes de calcul parallèle, pas de limite de taille • Deux objets de base : datasets (tableaux) et groupes (structures) • Grouping & linking mechanisms, browsing/navigation efficace dans la hierarchie • Nombreuses applications • 1er jalon : migration d’HERACLES, avril 2006

12. Visualization and browsing of HDF5 files in IDL

13. Gestion des données • 2eme axe de développements : les bases de données • Le Projet ODALISC (Opacity Database for Astrophysics, Lasers experiments and Inertial Fusion Science): mise en place d’une base de données d’opacités et d’équations d’état pour les communautés d’Astrophysique et des interactions plasma/laser • collaboration avec le CELIA Bordeaux (Centre Lasers Intenses et Applications) • MySQL • Web-service TOMCAT • Installée au DAPNIA (cds.datagrid.cea.fr) • Fichiers HDF5 (mise à disposition d’une interface de haut-niveau pour les utilisateurs) • visualisation IDL • β release opérationel depuis mai 2006

15. Gestion des données • 2eme axe de développements : les bases de données • L’Observatoire Virtuel HORIZON • Effort de la communauté mondiale des astrophysiciens pour stocker et partager les observations via des Virtual Observatories • Exemples : EURO-VO, IVOA, SkyView VO (NASA) • Cela vaut également pour les données simulées • Les productions massives du code RAMSES seront gérées par un tel VO • Collaboration avec l’Observatoire de Lyon (INSU) • Mesomachine au DAPNIA

16. Visualisation : SDvision • Developpement d’une interface graphique dans le cadre d’IDL • Basée sur les Objets Graphiques des derniers releases (6+) de la plateforme SDvision the Saclay/DAPNIA Visualization Interface • Visualisation 3D interactive et immersive, accélération graphique • Scènes composites avec différents objets : iso-surfaces, projections volumiques, image slices, nuages de points, vecteurs, streamlines • Input : RAMSES, HERACLES, ASH. Champs 3D scalaire & vecteur sur grilles cartésiennes ou complexes (AMR), particules

20. Projections volumiques RAMSES baryon density size 100 Mpc HERACLES (density) volume of size 15 pc grid 12003 ASH mag field Bphi seen from the pole

21. Iso-surfaces RAMSES (baryon density) HERACLES (density) volume of size 15 pc grid 12003 ASH (Bphi) Blue negative Red positive

22. Illustration des capacités d’immersion dans les simulations Données RAMSESLe point de vue est à l’intérieur du volumeFocale ~ grand angleVisualisation simultanée de la distribution de la densité de matière baryonique, du champ de vélocité hydrodynamique baryonique, et du nuage de particules de Matière Noire

23. La scene est composée de : • 1 nuage de particules • halos très dense • 3 iso-surfaces de la densité baryonique : • grise = haute-densité, (semi-transparente) • jaune = moyenne • rouge = basse • 1 image semi-transparente de la densité baryonique sur une tranche • 2 sources d’illumination • frontale • ambiante • Les limites du volume

24. La scene est composée de : • 1 projection volumique de la densité baryonique • 1 image semi-transparente de la densité baryonique

25. La scène est composée de : • 1 projection volumique de la densité baryonique • 1 nuage de particules • halos très dense • 1 image semi-transparente de la densité baryonique

26. La scène est composée de : • 1 nuage de particules • halos très dense • 1 collection de lignes de courant du champ de vélocité hydrodynamique • 1 image semi-transparente de la densité baryonique

27. La scène est composée de : • 1 nuage de particules • halos très dense • 1 collection de lignes de courant du champ de vélocité hydrodynamique • 1 image semi-transparente de la densité baryonique

28. Perspectives • Gestion des données : • évaluation comparée des performances de HDF5 • migration des autres codes sur ce format • nouvelles fonctionnalités pour ODALISC • release du VO HORIZON • Visualisation : • nouvelles fonctionnalités • visualisation des données de FARGO (systèmes protoplanétaires) • optimisation du management de la mémoire pour accéder à des jeux de données plus importants (zoom spatial et zoom en résolution synchronisés) • parallélisme (fastDL/mpiDL solutions d’ITT) • Développements d’algorithmes • RAMSES : optimisation des algorithmes pour améliorer l’équilibrage de charge • HERACLES : algorithmes multi-grille pour améliorer la résolution • Divers : • page web, Wiki • management des codes (Subversion)

29. Publications, conférences, Web • Page web du Projet http://www-dapnia.cea.fr/Projets/SNOOPY • Présentations à des conférences : • “Numerical Simulations of Astrophysical Plasmas: status and perspectives of the Saclay/DAPNIA software project”, E. Audit, D. Pomarède, R. Teyssier, B. Thooris, Proceedings of the First CalSpace-IGPP International Conference on Numerical Modeling of Space Plasma Flows, ASTRONUM2006, Palm Springs CA, USA, March 27-30, 2006, to appear in the Astronomical Society of the Pacific Conference Series. • “Visualization of large astrophysical simulations datasets”, D. Pomarède, E. Audit, R. Teyssier, B. Thooris, Proceedings of the 2006 Conference on Computational Physics, CCP2006, Gyeongju, Republic of Korea, August 29 – Sept 1, 2006. • “Numerical Simulations of Astrophysical Plasmas”, D. Pomarède, B. Thooris, E. Audit, R. Teyssier, Proceedings of the Sixth IASTED Conference on Modeling, Simulation, and Optimization, MSO2006, Gaborone, Botswana, September 11-13, 2006, Acta Press. • A venir : • « Accessing the database of the HORIZON project », J.-P. Le Fèvre, H. Wozniak, J. Devriendt, R. Teyssier, Astronomical Data Analysis Software & Systems Conference ADASS XVI, Tucson AZ, USA, October 15-18, 2006. • Organisation de la Conférence ASTRONUM2007  « International Conference on Numerical Modeling of Space Plasma Flows » à Paris en juin 2007 • Session spéciale « Data Handling and Visualization »