1 / 36

Riunione PON SCoPE - 29 marzo 2007

Riunione PON SCoPE - 29 marzo 2007. L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea L’organizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche. L. Merola. L’esperienza dell’INFN per l’infrastruttura GRID

neena
Download Presentation

Riunione PON SCoPE - 29 marzo 2007

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Riunione PON SCoPE - 29 marzo 2007 • L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche L. Merola

  2. L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche

  3. Progetti nazionali: - INFN-GRID[dal 2000] - Grid.IT, finanziato dal MIUR/FIRB [2002-2005] - BioinfoGrid, LIBI, LITBIO, Cyclops Progetti europei: • - DataGrid (EDG) [V PQ UE [2001-2004] • - DataTAG [V PQ UE 2002-2003] • - LHC Computing Grid (LCG), progetto CERN [dal 2002] • - EGEE[VI PQ UE 2004-2006] • - EGEE-II[VI PQ UE 2006-2008] • - EELA, EUChinaGrid, EuIndiaGrid, EUMedGrid, • OMII, ETICS,CoreGRID, GRIDCC [VI PQ UE] •  VII PQ UE (EGEE-III, NMR, OGF, …) • Da testbed a infrastruttura Grid di produzione verso la • costituzione di Italian Grid Infrastructure Association e di • una European Grid Initiative.

  4. INFN Comm. Scient. Naz. LCG I progetti INFN sulle Grid sono gestiti da un INFN Executive Board (presieduto da M. Mazzucato; L.M. ne è componente)

  5. EGEE 40 nazioni 200 siti > 100 VO 37 k CPU 7 PB storage

  6. INFN PON FIRB

  7. Middleware INFNGRID Piena compatibilità con il m/w EGEE (gLite/LCG) con release e aggiornamenti frequenti e controllati centralmente. • Servizi “core” (presenti in ciascun sito) • Repository pacchetti del middleware (YAIM - INFNGRID 3.0.0 - Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x) • Servizi di computing (Computing Element  gestione dei Worker Node – Servizi Globus: globus-gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF) • Servizi di storage (Storage Element  gestione dello storage – Servizi Globus: globus-gridftp, GRIS) • User Interface (sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS)

  8. Servizi “collective” (gestiti centralmente) • Servizi di autenticazione/autorizzazione (VOMS - Virtual Organization Membership Service) • Servizi di allocazione dei job (Resource Broker – allocazione job via matchmaking con le risorse) • Servizi informativi (GRIS Grid Resource Information Service  Information Index • Cataloghi di file / repliche (LFC LCG File Catalog  localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL) • User interface

  9. Servizi aggiuntivi di supporto e gestione dell’infrastruttura • Certification Authority (Certificati personali e server di una Registration Authority locale) • Servizi di Monitoring (GridIce  monitoring delle risorse, SAM Service Availability Monitoring  monitoring dei servizi) • Servizi di Accounting (DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register) • Servizi di Ticketing per la risoluzione di problemi (Gestione dei trouble ticket)

  10. LFC SAM Grid Service Center II MS TS VOMS GRID UI UI RB SE DGAS Grid Site YAIM CE WN

  11. No jobs Running/Waiting jobs

  12. DISSEMINATION Il laboratorio GILDA Il portale GENIUS

  13. CERN Tier 0 desktop Tier 3-4 (Dip. e Institute) CPU Server CPU Server CPU Server CPU Server desktop desktop Data Server Data Server Data Server Tier 1 (“Regional” naz. and internaz. Center) Tier 2 (“Regional” Centers) Tier-2 Esp.Atlas: RM1, NA desktop CPU Server Esempio di applicazione Scienze del Microcosmo – Fisica delle Alte Energie Hierarchical model Esperimento ATLAS

  14. ~PB/s Event Builder 10 GB/s Event Filter 320 MB/s Tier0 ~ 150 MB/s ~10 Tier1 ~50 Mb/s Tier2 ~3-4/T1 Tier3 Il modello generale di calcolo per l’offline e l’analisi dati di un esperimento di Fisica delle Alte Energie (es. Esp.ATLAS, CMS, ALICE, LHC-b) è quello gerarchico multi-Tier. • Tier-0 (CERN) • Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1 • Tier-1 (10) • Accesso a lungo termine e archivio di un subset di RAW data • Copia dei RAW data di un altro Tier-1 • Reprocessing della ricostruzione dei propri RAW data con parametri • di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2 • Tier-2 • Simulazione Monte Carlo • Analisidei dati

  15. Esempio di uso del Tier-2 di Napoli in termini di CPU time e Wall Time ATLAS Altre VO

  16. L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche

  17. Resp. Scientifico G. MARRUCCI Resp. Amministr. E. CESARO Comitato Direttivo G. MARRUCCI V. BARONE G. FRANCESCHETTI N. MAZZOCCA L. MEROLA A. MURLI G. RUSSO F. SALVATORE G. VENTRE Aree scientifiche Middleware A&B (30 prof. + ric.) Scienze del Microcosmo e del Macrocosmo (19 prof. + ric.) Scienze dei Materiali e dell’Ambiente (37 prof. + ric.) Scienze della Vita (42 prof. + ric.) Work Packages WP1 PROGETTAZIONE, REALIZZAZIONE E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRID ( 1 contr. ) WP2 IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID ( 3 contr. ) WP3 REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI ( 2 contr. ) WP6 DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI ( 0 contr. ) WP4 PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE ( 34 contr. ) WP5 INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE ( 1 contr. )

  18. Argomenti di ricerca

  19. L’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europea • L’organizzazione del progetto in work packages • Il prototipo presso il Dipartimento di Scienze Fisiche

  20. PON S.CO.P.E. CAMPUS GRID MSA DSF INFN Fibra ottica DiChi DMA GARR C.S.I. Centro PON S.CO.P.E. Cabina elettrica G.E. 1 MW Liv.1 ed G Tier2–ATLAS Prototipo SCoPE Dipartimento di Scienze Fisiche INFN Edificio G

  21. 9 marzo 2007 14 marzo 2007

  22. Risorse di calcolo e di storage previste nel PON Da integrare nell’infrastruttura grid nazionale ed internazionale (Grid.It, INFN-Grid, EGEE) Scientific Linux 3.x, 4.x LCG/EGEE m/w

  23. Sala Tier-2 ATLAS Prototipo SCoPE Sala infrastruttura Principale Campus Grid

  24. UPS INFN 60 kVA Rack-2 TIER-2 ATLAS Rack UNIV. FED II Rack-1 TIER-2 ATLAS LOCALE TIER-2 ATLAS SIST. ANTINCENDIO 8 biproc. dual core 17 biproc. Monitoraggio ambientale (T, HV, UPS) PC1 7 biproc. dual core Servers servizi PC2 switch SW Monitoring (servers, storage) SE + 9 TB SE + 25 TB HW Monitoring (Operating Systems) PC3 switch switch CISCO 3750 1 Gb/s 1 Gb/s GRID Monitoring (infrastruttura, servizi) PC4 Unità di raffreddamento Unità di raffreddamento Unità di raffreddamento UPS INFN 400 kVA Backup system PRESENTER 42” GRUPPO ELETTRO GENO UniNA CHILLER Locali o spazi esterni Locali PON SCoPE 1 Gb/s Campus Grid Network Tier-2 ATLAS e Prototipo SCoPE

  25. S C O P E A T L A S PC monitoring Servers per servizi Computing element Storage element Worker Nodes Unità di raffreddamento

  26. Siti Campus Grid N x1 Gbps GARR 10 Gbps 2.5 Gbps Pon UniNA Tier 2 Campus Grid 1 Gbps 1 Gbps 10 Gbps 2 x1Gbps 1 Gbps 100/200 Mbps 1 Gbps 1 Gbps 1 Gbps LAN INFN MAN UNINA Le Connessioni di Rete

  27. PONSCoPE INFRASTRUTTURA e SERVIZIGRID Man power a regime nel Centro SCoPE Man power allo startup del Prototipo SCOPE Registration Authority Federico II wp2 wp2/wp3 • N. 4 persone intercambiabili • e specializzate a 2 a 2: • 2 per VOMS e LFC • 2 per RB e II CPU1 YAIM Repository pacchetti e profili di GRID • N. 4 persone intercambiabili • e specializzate a 2 a 2: • 2 per VOMS e LFC • 2 per RB e II CPU2-CPU2’ VOMS CPU3-CPU3’ RB - II CPU4 LFC N. 2 persone CPU5 CE CPU6 WN CPU7 SE CPU8 UI N. 4 persone N. 2 persone CPU10 SAM CPU11 GENIUS CPU12 Ticketing N. 2 persone CPU9 GridICE Totale man power startup prototipo: n. 8 persone Totale man power a regime: n. 10 persone COLLECTIVE CORE

  28. Tempistica e Conclusioni Obiettivi Intermedi (OR) OR1: Specifiche generali OR2: Modellizzazione OR3: Logistica e sistemi OR4: Middleware di base OR5: Attivazione del sistema OR6: Middleware applicativo OR7: Sviluppo algoritmi e prime applicazioni OR8: Sviluppo Applicazioni Integrate OR9: Potenziamento di reti di collaborazione scientifica OR10: Diffusione dei risultati I Fase:Costruzione dell’Edificio e realizzazione degli Impianti. Realizzazione della GRID (e della VO) d’Ateneo integrando le preesistenze e costruendo i servizi Grid collective e core. Uso delle APPLICAZIONI II Fase:Acquisizione e messa in produzione delle risorse di calcolo/storage. Integrazione delle infrastrutture GRID dei 4 PON. Uso delle APPLICAZIONI III Fase:Operatività a regime del Centro ScoPE . Integrazione nella GRID nazionale ed europea LCG/EGEE Uso delle APPLICAZIONI

More Related