COMPUTING DELLA CSN2

1. COMPUTING DELLA CSN2 D. Martello Dep. Of Physics - Lecce

2. Esperimenti in Commissione 2 Studio Radiazione Cosmica nello Spazio AGILE AMS2 CREAM GLAST PAMELA Studio Radiazione Cosmica in Superficie e Sottomarina ANTARES ARGO-YBJ AUGER MAGIC NEMO-RD SLIM Fisica del Neutrino BOREX HARP K2K MANU2 MI-BETA OPERA Onde Gravitazionali AURIGA DUAL-RD GGG LISA-RD RAP-RD ROG VIRGO Processi rari CUORE DAMA LVD WARP Fisica Generale GGG LARES MAGIA MIR PVLAS 33 sigle Solo alcune presentano esigenze di calcolo rilevanti

3. Esperimenti in Commissione 2 Una possibile suddivisione : Esperimenti con richieste di calcolo “minori” Borex, Agile Esperimenti che propongono la realizzazione di una o piu’ farm locali presso le sezioni Antares,Auger, Glast, Nemo Esperimenti che propongono investimenti di calcolo presso il CNAF Ams, Argo, Magic, Opera, Pamela, Virgo

4. BOREX • Status/milestones esperimento • Avvio presa dati di fisica gennaio 2007 • Modello di calcolo per analisi dati e simulazioni • Un cluster di analisi centrale ai LNGS, e' previsto fornire la risorsa di calcolo e di storage (1 TB/y) piu' importante. • L' architettura e' basata su PC Linux. E' prevista la connessione al sistema di backup di dati in dotazione al Servizio Calcolo del Laboratorio • Responsabilita' INFN • L' INFN ha la responsabilita' primaria dell' online e dell' offline. • 10 ricercatori INFN su un totale di 24 partecipano allo sviluppo e mantenimento del software.

5. AGILE • Status/milestones esperimento • Lancio imminente • Modello di calcolo per analisi dati e simulazioni • Simulazione in Geant4 e Geant3, analisi dei dati in IDL e ROOT. Risorse necessarie Un 1.0 TB di spazio disco, storage su nastro per 2 TB Minima potenza di calcolo richiesta

6. ANTARES • Status/milestones esperimento • Obiettivo 6 linee connesse per la fine 2006. • Iniziata presa dati di test con una linea. • Modello di calcolo per analisi dati e simulazioni • - L’apparato completo di 12 stringhe produrrà circa 1 GBps di raw data • - 1 MBps sarà il flusso di dati filtrati per circa 30 Tbyte/anno immagazzinati a LIONE • - 300-600 Gbyte per anno sarà la quantità di dati dopo il filtro offline in Italia • Risorse necessarie • E’ previsto che Bari e Bologna dispongano di una copia dei dati quindi sono stati realizzati cluster di dual processor per l’analisi • Responsabilita' INFN • Bologna ha la responsabilità del filtro offline • Bari coordina il WG di astronomia neutrini • Attività dei gruppi italiani nella simulazione e rivelazione di neutrini in acqua

7. AUGER • Status/milestones esperimento • 3 occhi in acquisizione, quarto occhio in costruzione building. • 1200 tanks in acquisizione per fine 2006 • Esperimento in presa dati di fisica • Modello di calcolo per analisi dati e simulazioni • E' stata definita l' organizzazione del calcolo basata su architettura distribuita che prevede tre siti mirror dedicati allo storage dei dati (Lione CNRS-IN2P3, FNAL e Buenos Aires) dai quali le Istituzioni partecipanti trasferiscono i dati alle risorse locali per ricostruzioni ed analisi. • I siti mirror fungono anche da archivio degli sciami simulati • Pianificazione e localizzazione risorse • Si è realizzata in Italia (LNGS) una farm in cui si tiene una copia dei dati di Lione. • Una seconda farm è stata realizzata presso la sede di Napoli prevalentemente mirata a simulazioni di canali di interesse specifico della collaborazione italiana.

8. GLAST • Status/milestone esperimento • In fase avanzata integrazione satellite, inizio test di volo. • Lancio previsto 2007 • Modello di calcolo per analisi dati e simulazioni • Il modello di calcolo per l’analisi dei dati non è attualmente definito. La simulazione dell’esperimento è basata su Geant 4 in un framework GAUDI. La collaborazione italiana è stata fortemente impegnata nel completamento dell’hardware dell’esperimento. • Risorse necessarie • La collaborazione stima di raccogliere circa 4 TB/anno di dati per un periodo di 5 anni (durata esperimento). Stima le potenze di calcolo necessarie (parte italiana) intorno a 100 KSI. Prevede di migrare al CNAF.

9. NEMO-RD • Status/milestones esperimento • Installazione minitorre imminente • Installazione torre a 16 piani 2007 • Modello di calcolo per analisi dati e simulazioni • Il modello di calcolo per l’analisi dei dati non è attualmente definito. La collaborazione prevede di realizzare una piccola farm presso i LNS che funga da storage e data-filtering per i dati raccolti dalle stringhe di test che si stanno mettendo a punto • Risorse necessarie • Si richiedono 20 TB di spazio disco e una decina di bi-processori, più unità di backup (in discussione).

10. ARGO-YBJ • Status/milestones esperimento • Inizio presa dati aprile 2006 (104 clusters) • Acquisiti dati di test con 16 - 42 clusters • Modello di calcolo per analisi dati e simulazioni • L’esperimento prevede di duplicare i sui dati in due siti (CNAF e Pechino) • Fase 1 – agosto 2006 (?) • I dati raccolti su LTO-1 presso YangBajing vengono inviati al CNAF. • Fase 2 • I dati vengono trasferiti via rete da YangBajing al CNAF e archiviati in • CASTOR • Presso il CNAF si procede alla ricostruzione e analisi degli eventi ed al • riempimento dei DB di bookeeping. • I dati prodotti a regime ( 2006 ) sono dell’ ordine di 200 TB/anno • (includendo raw data, dati ricostruiti e simulati) con mantenimento in linea • di un anno per i dati ricostruiti. • E’ in produzione la simulazione di eventi per il 10% degli eventi raccolti in un • anno. • Produzioni più massicce potranno essere realizzate nell’ambito di GRID

11. ARGO-YBJ Risorse necessarie Il Tier-1 del CNAF coprirà il 90-100% delle risorse necessarie. A regime il Tier1 del CNAF sarà il centro principale in Italia di raccolta dati raw dell’esperimento, il quale svolgerà il ruolo di Tier0. Richiede di allocare spazio disco per 200 TB/anno di dati e una potenza di calcolo di 400 KSI2000. La collaborazione ha iniziato la migrazione del software verso GRID, ma prevede di passare definitivamente a GRID non prima della seconda metà 2007. E’ l’esperimento di CSN2 con più grosse esigenze di calcolo nell’immediato. Presso la sede di Roma-3 è disponibile una farm che è stata utilizzata per l’analisi dei dati raccolti durante i run di test (2004-2005) e per la simulazione di DB di dati utilizzati per la messa a punto del software di analisi.

12. ARGO-YBJ Responsabilità INFN L' INFN ha la responsabilità primaria dell' offline e inoltre contribuisce alla messa a punto delle farm Cinesi 16 FTE INFN contribuiscono allo sviluppo del software di analisi La collaborazione dispone di 0.5 FTE dedicati all’esperimento presso CNAF

13. PAMELA/WIZARD • Status/milestones esperimento • Satellite integrato e pronto al lancio • Lancio imminente (primavera 2006) • Modello di calcolo per analisi dati e simulazioni • I dati trasmessi a terra (NTsOMZ-Mosca ) dal satellite a partire dal momento del lancio (imminente) saranno 10-20 Gbytes/day • Linea MEPhI-CERN da 100 Mbit/sec sarà utilizzata per trasferire i dati al CNAF. • Risorse necessarie • Il CNAF verrà usato come centro di archiviazione primario dei dati. Le richieste di spazio disco/nastri e potenza di calcolo sono minime ( 5 TB/anno e 20 KSI2000). Molta rilevanza riveste l’affidabilità dello storage (CASTOR). • Non prevede un passaggio a GRID. • Responsabilità INFN • L' INFN ha la responsabilità primaria dell’analisi dati

14. MAGIC • Status/milestones esperimento • Specchio completato e in acquisizione. • Proposta secondo specchio in discussione (MAGIC2) • Modello di calcolo per analisi dati e simulazioni • Lo schema del modello di calcolo della collaborazione MAGIC prevede l’utilizzo di un di un centro di calcolo centrale (CDC). Il compito di questo centro è quello di immagazzinare i dati e preparare i Data Summary Tapes (DSTs) che vengono poi distribuiti a tutta la collaborazione. La collaborazione ha identificato come CDC il PIC di Barcellona e sta migrando i dati da Wuerzburg (Germania), attuale CDC temporaneo a Barcellona. Utilizza il CNAF come Centro Regionale. • Risorse necessarie • La collaborazione prevede di utilizzare il CNAF allocando 3 TB/anno di dati e impegnando una potenza di calcolo pari a 20 KSI2000. La collaborazione ha già iniziato una migrazione del software verso GRID. • Responsabilità INFN • La collaborazione italiana si sta interessando delle simulazioni MC attualmente attestate al CNAF.

15. OPERA • Status/milestones esperimento • Inizio presa dati con 1 SM seconda metà 2006 • Modello di calcolo per analisi dati e simulazioni • I dati prodotti dal rivelatore elettronico dell’esperimento sono valutati in 100 Mbyte/s I dati immagazzinati in coincidenza con il beam sono valutati in 100 Gbyte /anno, inclusi i dati di calibrazione • Una piccola Linux farm presso LNGS ( 5 PC dual processor e 1.4 Tbyte disco) produrrà le predizioni per i brick da rimuovere e immagazzinerà le informazioni in un Database ORACLE (copia al Cern) • La maggior parte dei dati sarà prodotto dallo scanning in emulsione (circa 100 TB per le tracce ricostruite in 5 anni). Lo scanning verrà eseguito in 12 laboratori e strutture distribuite geograficamente, la maggior parte delle quali (8) è localizzata in Italia.

16. OPERA Un database ORACLE raccoglierà i dati dai laboratori locali di scanning. Verrà utilizzata un’architettura multi-master per permettere di avere simultaneamente più copie del DB. La collaborazione ha identificato in Lyon/CERN, Nagoya (Giappone) e CNAF le tre sedi idonee allo scopo. Risorse necessarie In relazione allo scanning dei brick nei laboratori Italiani ( Bari, Bologna, Napoli, LNGS, LNF, Padova,Roma, Salerno) per la ricerca e analisi degli eventi nei brick si prevedono per la parte Italiana : 40 PC dual processor + 10 Tbyte disco per l’acquisizione ed elaborazione di immagini in emulsione per i brick + 100 TB LTO per online ed offline storage (raw data) Le macchine per l’acquisizione ed elaborazione online di immagini operano in ambiente Windows. Data Base ORACLE con 100 TB disco presso il CNAF. Non si prevede utilizzo di GRID.

17. OPERA Responsabilità INFN La responsabilità dello scanning in emulsione e’ divisa tra Europa e Giappone. L’INFN ha la responsabilità dei 2/3 dello scanning europeo. L' INFN ha la responsabilità del coordinamento dell’analisi fisica dell’esperimento e dello scanning ed analisi in emulsione . Tali responsabilità sono condivise con i giapponesi. Inoltre e’ responsabilità INFN lo sviluppo del software per gli spettrometri. Circa 20 FTE sono coinvolti nello scanning ed analisi in emulsione e circa 10 FTE sono coinvolti nell’analisi ibrida ( detector + emulsione )

18. AMS2 • Status/milestones esperimento • Rivelatori pronti per integrazione in satellite • Problemi lanciatore. Situazione altamente incerta. • Modello di calcolo per analisi dati e simulazioni • La copia primaria del campione dati verrà mantenuta al CERN. Pur non facendo parte dell’esperimento il CERN ha approvato lo stato di “recognized experiment” per AMS e mette a sua disposizione spazi, uffici e sistemi di calcolo. Al CERN verrebbe realizzata una CPF (Central Production Facility) che oltre a mantenere una copia dei dati si occuperebbe della loro ricostruzione, di una frazione della simulazione Monte Carlo per l’esperimento e dell’analisi dei dati. • La collaborazione italiana necessita di un Italian Ground Segment Data Storage (IGSDS) che consenta l’archiviazione dei dati e l’analisi degli stessi, nonchè la produzione di eventi Monte Carlo.

19. AMS2 Risorse necessarie Il gruppo ha individuato nel Centro Regionale in formazione al CNAF il sito elettivo per la realizzazione dell’ IGSDS. A fine missione si richiede di poter allocare presso il CNAF 350 TB di dati su nastro e di disporre di spazio disco per analisi di 40TB.

20. AMS2 Responsabilità INFN Il gruppo italiano è fortemente coinvolto nella simulazione e analisi dati dell’esperimento. Le responsabilità sono molteplici e distribuite in tutte le sezioni partecipanti all’esperimento. In particolare si segnala la responsabilità di produrre presso il CNAF il 20% dei dati MC.

21. VIRGO • Status/milestones esperimento • Sensibilità da progetto praticamente raggiunta • Inizio run di fisica imminente. Pressione comunità internazionale. • Modello di calcolo per analisi dati e simulazioni Acquizione dati online, analisi inline e storage temporaneo al Tier0 di Cascina [aspettative per ~70 KSpecInt2000 (300GFlops) e 72TB] • Analisi dati offline in ambiente distribuito costituito da: • - Tier1 a Lione (CNRS-IN2P3) per storage di tutti i dati prodotti e calcolo • “leggero” • - Tier1 al CNAF per storage temporaneo (~1 anno) e calcolo “intensivo” • integrato con le risorse da dispiegare nelle Sezioni

22. VIRGO Risorse necessarie Le richieste per l’analisi relative al Tier1 del CNAF e ammontano a 70 TB necessariamente su disco e di una potenza di calcolo pari a 150 KSI2000. Il Tier0 di Cascina è realizzato dal consorzio EGO e non “grava” direttamente sull’INFN.

23. VIRGO Responsabilità INFN 31 (20.6 FTE) componenti di Virgo Italia svolgono attività nei seguenti task, tutti finalizzati ad un uso distribuito delle risorse.

24. Esperimenti CSN2: Data Taking 1 torre Nemo Lancio Glast Full Auger 1 SM Opera 6 Linee Antares Run Virgo Lancio Agile 104 Cl Argo Lancio Pamela 2006 2007 2008 CNAF non CNAF

25. Stima crescita potenza di calcolo necessaria

26. Stima crescita storage necessario

27. CNAF

28. CNAF Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.

29. CNAF Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.

30. CNAF • Stime risparmio ottenuto in CSN2 grazie al trasferimento del calcolo di alcuni esperimenti al CNAF • 1500 K€ per le potenze di calcolo richieste • 220 K€ per lo storage su disco • 0.5 – 2.0 M€ robotica per storage di massa

31. Conclusioni Si è in prossimità dell’ inizio della presa dati di esperimenti ad “alto” rate di acquisizione (Argo-Ybj, Virgo). Quasi tutti gli esperimenti con significative esigenze di calcolo sono progressivamente migrati verso il Tier1 del CNAF. Per alcuni esperimenti il CNAF svolge il ruolo di punto principale di raccolta dati raw (Tier0). L’utilizzo delle risorse del CNAF avviene prevalentemente mediante accesso diretto e utilizzo del sistema di code li presente (LSF). Gli esperimenti con maggiori richieste di calcolo hanno iniziato o stanno per iniziare la migrazione del loro software su GRID. Come conseguenza, le richieste di risorse di calcolo per il 2006 pervenute in CSN2 sono dell’ ordine di 0.4 M€ da confrontare con i 1.2 M€ richiesti per il 2004.