La sperimentazione del software di GRID e i piani per una grid di produzione

1. La sperimentazione del software di GRID e i piani per una grid di produzione Luciano Gaido – INFN sezione di Torino luciano.gaido@to.infn.it Workshop della Commissione Calcolo e Reti Paestum, 9-12 giugno 2003 luciano gaido

2. GriPhyN PPDG iVDGL Le Grid Grande fermento in tutto il mondo: i progetti, proposte di progetti e iniziative relativi alle GRID crescono come funghi. Una lista non esaustiva: LCG INFN-GRID Griphyn* SUGAR IG-BIGEST DataGrid PPDG* HEAVEN CrossGrid DataTAG EuroGRID Teragrid GRID.IT GRIDlab CoreGrid GridPP NorduGRID EGEE iVDGL* GRIDLAB Worldgrid GRIP Trillium* luciano gaido

3. National Grid Initiatives in Europe luciano gaido

4. Le Grid Siamo alla seconda generazione: l’obiettivo è realizzare grid “di produzione” implementando e perfezionando quanto sviluppato finora, con particolare attenzione ai problemi di gestione e supporto Una descrizione sintetica dei progetti grid finanziati dalla EU si trova su http://www.gridstart.org/projects.shtml Prossimamente: Sixth Framework Programme EU luciano gaido

5. DataGrid DataGrid è un progetto della durata di 3 anni finanziato dalla Comunità Europea. L’obiettivo è costruire una infrastruttura di calcolo di nuova generazione che sia in grado di consentire calcolo intensivo e l’analisi di una enorme mole di dati distribuiti e condivisi, dell’ordine dei PetaBytes, nell’ambito di comunità e collaborazioni scientifiche distribuite su scala planetaria. Data di inizio: 1 gennaio 2001 Durata: 3 anni http://www.eu-datagrid.org INFN-GRID INFN-GRID è fortemente legato a DataGrid, con alcune specificità. Data di inizio: giugno 2000 http://www.infn.it/grid luciano gaido

6. DataTAG DataTAG è finanziato dalla EU ed ha l’obiettivo di studiare l’interoperabilità tra m/w prodotto da DataGrid e dai progetti americani (GriPhyn, PPDG, etc.) Data inizio: 1.12.01 Durata: 2 anni http://www.datatag.org LCG LHC Computing Grid Ha L’obiettivo di realizzare una infrastruttura per il calcolo distribuito degli esperimenti LHC (Centri Regionali) Fase 1 (2002-2005): realizzazione prototipo Fase2 (2006-2008): realizzazione e gestione del “servizio di calcolo” per LHC http://www.cern.ch/LCG luciano gaido

7. FIRB-GRID (GRID.IT) Finanziato dal MIUR ha l’obiettivo di realizzare una infrastruttura di grid italiana per settori scientifici non coperti dagli altri progetti grid esistenti, in particolare Geologia, Vulcanologia, Astrofisica, Biologia, etc. Partecipano varie università, istituti del CNRe l’ASI. La partecipazione INFN ha l’obiettivo di definire e sviluppare tools per la gestione operativa ed il supporto di una grid nazionale mediante la ‘costruzione’ di un Grid Operation Center (GOC) nazionale. Data di inizio: 1.1.03 Durata: 3 anni http:/grid.infn.it/firb-grid luciano gaido

8. EGEE(Enabling Grids and Escience in Europe) • Il proposal è stato sottomesso alla EU il 6 maggio 2003 ed ha appena superato con successo la prima valutazione. • Obiettivo: costruire, gestire e fornire supporto per una grid europea di produzione • costituita dall’interconnessione di grid esistenti • Aree di interesse: • consolidamento del middleware • operation • management • supporto • http://egee-ei.web.cern.ch/ luciano gaido

9. Situazione Release EDG Attualmente è in uso la release EDG 1.4.x usata dagli esperimenti LHC + EO + BIO per validazione del middleware e prove di produzione - test di Atlas in corso (ultimi in ordine di tempo)..... Uno dei limiti principali è costituito dal fatto che necessita di RH 6.2, anche se il porting a RH 7.3 è stato effettuato per i Worker Node EDG 2.0 prevista per il 15 giugno Previste altre release minori, con l’integrazione di nuove funzionalità, entro la fine del progetto luciano gaido

10. I testbed EDG + INFN-GRID (fino ad oggi) • EDG development Testbed • 5 siti di cui 1 INFN (CNAF) • Utilizzato dall’Integration Team per il test della release EDG prima del rilascio ufficiale • EDG application Testbed • una dozzina di siti europei di cui 5 INFN: Catania, CNAF, Milano, • Padova e Torino luciano gaido

11. I testbed EDG + INFN-GRID (fino ad oggi) – cont. INFN-GRID application (production) Testbed 20 siti finanziati dal Progetto Speciale: Catania, CNAF, Bari, Bologna, Cagliari, Ferrara, Genova, Lecce, Legnaro, Milano, Napoli, Parma, Pavia, Padova, Pisa, Roma1, Roma2, Roma3, Torino e Trieste Siti in rosso: si tratta delle stesse risorse dell’application testbed EDG In alcuni siti (quelli in rosso + PI) è stato installato il set completo dei grid elements (UI, SE, CE e WNs), negli altri un sottoinsieme. La validazione middleware e le prove di produzione sono state fatte su questi Testbed. Tutte (o quasi) le risorse grid dell’INFN sono state installate utilizzando il tool per l’installazione automatica LCFG(ng). luciano gaido

12. The INFN-GRID Testbed luciano gaido

13. Riorganizzazione dei testbed • Due eventi sono all’origine di questa riorganizzazione (in corso): • - ritardo nel rilascio di EDG 2.0 • - avvio di LCG, che è il progetto più importante per la comunità • HEP e per l’INFN. • EDG Development testbed • ampliamento della parte italiana (CNAF, CT e TO) per il test • approfondito dei servizi grid sviluppati da EDG WP1 (di responsabilità • INFN) e del VOMS • test del middleware WP2 nel sito CERN e di WP3-WP5 nei siti inglesi • maggiore sinergia con gli sviluppatori luciano gaido

14. Riorganizzazione dei testbed – cont. EDG Application testbed - riduzione del numero dei siti (da 5 a 2 x l’INFN: PD e CNAF) - non sarà più aperto agli esperimenti per le prove di produzione - usato solo da un gruppo ristretto di persone (loose cannons) per la validazione della release del middleware luciano gaido

15. Riorganizzazione dei testbed – cont. • LCG Certification Testbed • analogo al development testbed di EDG • usato per test della Release LCG (composta da EDG 2.0 + VDT) • - finora risorse (hw e persone) solo al CERN • - 1 o 2 siti aggiuntivi in USA, presto • - 1 sito aggiuntivo nell’INFN (probabilmente CNAF) in via di • definizione; partecipazione alle attività di un Certification Team • INFN luciano gaido

16. Riorganizzazione dei testbed – cont. • LCG Production testbed (LCG-1) • analogo all’application testbed di EDG • usato dagli esperimenti per le prove di produzione e i data challenge • 4 siti italiani: CNAF (Tier-1) e LNL, MI e TO (Tier-2) • Testbed di produzione INFN-GRID • sarà ‘collegato’ ad LCG-1, anzichè all’application Testbed di EDG luciano gaido

17. I nuovi problemi posti dalle grid di produzione Il funzionamento di una vera grid ‘production quality’ presuppone la risoluzione di vari problemi, anche di tipo organizzativo. La gestione è complessa e deve essere accuratamente studiata. Gli elementi principali sono: - garantire che le risorse siano correttamente configurate e funzionanti - garantire che le policy di accesso siano definite correttamente ed applicate - fare in modo che i problemi siano identificati rapidamente, assegnati a personale tecnico specializzato e risolti - raccogliere ed elaborare dati statistici relativi all’uso delle risorse - effettuare il monitoring delle risorse e del loro stato - realizzare un help desk per gli utenti - ............... E’ necessario perfezionare gli strumenti esistenti e svilupparne nuovi. luciano gaido

18. I nuovi problemi posti dalle grid di produzione – cont. All’interno del progetto LCG è in fase di definizione un modello strutturale per un Grid Operation Center distribuito su 3 siti con compiti di condurre, effettuare la gestione e fornire supporto per la grid di produzione LCG. A livello di INFN-GRID è in fase di definizione un modello strutturale analogo che prevede la creazione di un GOC per la grid italiana: - è necessario definire bene gli ambiti e le interfacce verso il GOC di LCG - il problema sarà affrontato anche nell’ambito di EGEE  obiettivo: sfruttare le possibili sinergie razionalizzando lo sforzo e valorizzando le competenze Di questo e di altre cose si discuterà nel Workshop del Technical Board di INFN-GRID che si terrà il 16 e 17 giugno a bologna luciano gaido

19. La scommessa per il futuro Se i progetti grid avranno successo, fondamentalmente in termini di: - utilizzabilità del middleware per le attività degli esperimenti coinvolti - semplicità di gestione - efficienza della struttura di supporto allora la grid di produzione (l’evoluzione di INFN-GRID) potrà davvero diventare uno strumento generale utilizzabile per qualsiasi tipo di elaborazione da parte dei gruppi di ricerca dell’INFN, con un ruolo analogo a quello che ha avuto CONDOR per l’INFN. Molto è stato fatto nei progetti R&D, ma molto rimane ancora da fare! luciano gaido