Almerico Murli ICAR-Napoli e Università degli Studi di Napoli Federico II

1. ? Almerico Murli ICAR-Napoli e Università degli Studi di Napoli Federico II Meeting progetto Grid Computing: tecnologie abilitanti e applicazioni per e-Science

2. MIUR 5% 1999 (Laforenza) Grid Computing: tecnologie abilitanti e applicazioni per eScience WP1.1 Dispiegamento della Griglia WP2.1 Ambienti di Programmazione WP3.1 Applicazioni – EOS WP3.2 Applicazioni Scientifiche AGENZIA 2000 (Vanneschi) AGENZIA 2000 (Murli) Integrazione librerie scientifiche nell’ambiente di programmazione Ambiente per lo sviluppo di applicazioni ad alte prestazioni … • Dispiegamento della griglia • Applicazioni medico-nucleari Griglie Computazionali e Applicazioni ASI-PQE2000 (Vanneschi) …altri progetti Sviluppo di Applicazioni di Osservazione della Terra mediante Sistemi e Strumenti di Calcolo ad Alte Prestazioni Integrazione librerie scientifiche nell’ambiente di programmazione FIRB MIUR 5% 2000 (Vanneschi) • WP8 Ambienti di programmazione… • WP9 Sviluppo librerie scientifiche Grid-enabled • WP11 Applicaz. EOS: previs. e monitor. inquinam. Piattaforme abilitanti per Griglie Computazionali ad alte prestazioni … Ampliamento dell’ambiente di programmazione con componenti numeriche per applicazioni scientifiche Piattaforma distribuita ad alte prestazioni

3. High-performance scientific computing platform

4. Problematiche per lo sviluppo di algoritmi e software “efficace” • accuratezza • affidabilità • modularità • portabilità • API standard • estendibilità • facilità di (ri)uso • integrazione e interoperabilità • … Pubblicazioni

5. High-performance scientific computing platform

6. APPL APPL APPL Numerical/visualization/appl.-specific lib. Sw medium level OS, compilers, system libraries, shared-memory/multithreading lib., message-passing lib., monitoring/debugging/performance analysis tools SMP , MPP, COWs, NOWs Sw low level Hardware Architettura software di riferimento PSE

7. Problematiche per lo sviluppo di algoritmi e software “efficace” • accuratezza • affidabilità • modularità • portabilità • API standard • estendibilità • facilità di (ri)uso • integrazione e interoperabilità • grado di parallelismo • località dei dati • scalabilità • bilanciamento del carico • minimizzazione sincronizzazione/comunicazione • … Pubblicazioni

8. PNAM high level Stiff ODE solver sparse solver PDE solver Matrix reordering preprocessor medium level data structure library (RSL) low level MPI MIMD Pubblicazioni PNAM Un esempio: Parallel Naples Airshed Model (PNAM) un software parallelo per la simulazione su mesoscala della dinamica di inquinanti atmosferici in troposfera

9. PNAM Un software che risolve un modello differenziale di fluidodinamica mediante metodi alle differenze finite

10. Decomposizione 2D della griglia 3D Introduzione del parallelismo a livello del problema discreto: partizionamento della griglia di discretizzazione (domain decomposition) Un partizionamento della griglia che realizza un buon compromesso tra: grado di parallelismo, località dei dati, scalabilità

11. Realizzazione del parallelismo nell’implementazione dell’algoritmo: Distribuzione dei blocchi di griglia ai processori Una distribuzione dei blocchi di griglia che realizza un buon compromesso tra: efficienza, accuratezza ed affidabilità Bilanciamento dinamico del carico tra i processori

12. Altre problematiche affrontate • uso di interfaccia F90 a routine C e Fortran77 • modularità, estendibilità, integrazione e interoperabilità, facilità di (ri)uso, API standard • uso di software low-level standard (MPI, RSL) • portabilità, facilità di ri(uso)

13. Architettura software di riferimento • EOS Applications • Scientific Libraries Programming Tools and Environment Middleware MPP, COWs/MPI Hardware/low level sw

14. Un esempio: SPMIAC Un Sistema Software per il Monitoraggio e la Previsione dell’Inquinamento Atmosferico in Campania

15. Reading (UK) Regione Campania MPP ICAR-NA SMP GIS UNINA Scienze Ambientali “Parthenope” Un Sistema Software per il Monitoraggio e la Previsione dell’Inquinamento Atmosferico in Campania Un’applicazione interdisciplinare, “multi-physics” e “multi-model”

16. Database Database Database Supercomputer High-performance scientific computing platform

17. APPL APPL APPL Numerical/visualization/appl.-specific lib. RPC-based or RMI-based tools OS, compilers, system libraries, shared-memory/multithreading lib., message-passing lib., monitoring/debugging/performance analysis tools Middleware Sw medium level Hardware SMP , MPP, COWs, NOWs,… Sw low level Architettura software di riferimento PSE Internet

18. Problematiche per lo sviluppo di algoritmi e software “efficace” • …quelle di prima + • eterogeneità • scheduling delle richieste utente • I/O su rete • Socket TCP/IP • WSDL+XML+ SOAP • visualizzazione su rete • video stream • … Pubblicazioni SPMIAC

19. Architettura software di riferimento • EOS Applications • GIS • Scientific Libraries Programming Tools and Environment Application Manager Security Middleware Commmunic. Internet/GARR + MPP + COWs Hardware/low level sw

20. SPECT UNIFI ICAR-NA Workstation Storage resources Beowulf UNIFI, DMA Medigrid Un’applicazione per la ricostruzione e visualizzazione di immagini provenienti da apparecchiature medico nucleari

21. Database High-performance scientific computing platform SPECT

22. APPL APPL APPL Numerical/visualization/appl.-specific lib. RPC-based or RMI-based tools,… OS, compilers, system libraries, shared-memory/multithreading lib., message-passing lib., monitoring/debugging/performance analysis tools Middleware Sw medium level SMP , MPP, COWs, NOWs, Internet Sw low level Hardware Architettura software di riferimento PSE Globus

23. GridReconstruction OrtView high level MedIGrid medium level VolumeView 215 100 200 204 233 071 141 122 160 093 162 183 036 155 004 040 102 033 027 255 215 100 200 204 233 071 141 122 160 093 162 183 036 155 004 040 102 033 027 255 156 075 163 134 126 MediTomo MIP ApplMan middleware Globus GIS GRAM GASS MPI low level Repository

24. Problematiche per lo sviluppo di algoritmi e software “efficace” • …quelle di prima • + • Coordinazione • Applicationmanager • Sicurezza • GIS (Globus Information System) • Esecuzione remota • GRAM (Globus Resource Allocation Manager) • Trasferimento dei dati • GASS (Globus Access to Secondary Storage) • …

25. Architettura software di riferimento • Neuroscience Applications • Scientific Libraries Programming Tools and Environment Security Application manager Middleware Scheduling Commmunic. Internet/GARR + MPP + COWs Hardware/low level sw

26. Database Database Database Supercomputer Grid-flow applications Le risorse sono allocate staticamente e i task sono eseguiti sui nodi della griglia computazionale secondo uno schema data-flow Grid-aware applications Le risorse sono allocate dinamicamente; l’applicazione controlla lo stato della griglia e si riconfigura automaticamente.

27. Architettura software di riferimento • Neuroscience • Environment Applications for E-Science&Engineering • High-perf. Components • Scientific Libraries • Cost models • Resource Management • PSE Programming Tools and Environment Knowledge Services Security Resource Brokers Grid Portals Middleware Data Intensive core services Scheduling Monitoring Commmunic. Internet/GARR Large-bandwidth Optical Net High-perf. Networks

28. ? Almerico Murli ICAR-Napoli e Università degli Studi di Napoli Federico II Meeting progetto Grid Computing: tecnologie abilitanti e applicazioni per e-Science

29. High Performance Scientific Computing Almerico Murli ICAR-Napoli e Università degli Studi di Napoli Federico II Meeting progetto Grid Computing: tecnologie abilitanti e applicazioni per e-Science