120 likes | 250 Views
ATLAS Tier-2 INFN. Lamberto Luminari CSN1 - 17 Maggio 2005. Sommario. I Tier-2 in ATLAS Ruolo Replica dei dati Modelli di analisi Data flow I Tier-2 italiani in ATLAS Ruolo Sedi Valutazione dei costi. Ruolo dei Tier-2 in ATLAS. ~PB/sec.
E N D
ATLASTier-2 INFN Lamberto Luminari CSN1 - 17 Maggio 2005
Sommario • I Tier-2 in ATLAS • Ruolo • Replica dei dati • Modelli di analisi • Data flow • I Tier-2 italiani in ATLAS • Ruolo • Sedi • Valutazione dei costi Lamberto Luminari - ATLAS Tier-2 INFN
Ruolo dei Tier-2 in ATLAS ~PB/sec • I Tier-2 assumono un ampio spettro di ruoli e funzioni. La loro dimensione e il tipo di risorse può variare sensibilmente a seconda delle attività e della dimensione dei gruppi di fisica che vi fanno riferimento: • forniscono capacità di analisi per i gruppi e sottogruppi di fisica, vale a dire un’infrastruttura di calcolo adeguata a sostenere un’attività multiutente e tendenzialmente caotica. • forniscono tutta la capacità di simulazione necessaria alla collaborazione; a meno che un Tier2 non riesca a garantirne esso stesso l’accesso in modo veloce e affidabile, i dati simulati saranno migrati al Tier1 di riferimento. • a seguito del coinvolgimento della comunità locale in un rivelatore, possono avere un ruolo rilevante nelle procedure di calibrazione e allineamento. Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Replica dei dati • RAW: • Una replica completa dei raw data risiede nei Tier-1 (~1/10 per Tier1) • Campioni di eventi sono memorizzati anche nei Tier-2e, in misura minore, nei Tier3 • ESD: • Tutte le versioni degli ESD sono replicate e risiedono in almeno due dei Tier1 • Gli ESD primari e i RAW data associati sono assegnati ai ~10 Tier1 con un meccanismo di roundrobin • Campioni di eventi sono memorizzati anche nei Tier2e, in misura minore, nei Tier3 • AOD: • Sono replicati completamente in ogni Tier1e parzialmente nei Tier-2 (~1/3 – 1/4). • Alcune stream possono essere memorizzate nei Tier3 • TAG: • I database dei TAG sono replicati in tutti i Tier1e Tier-2 • DPD: • Nei Tier1,Tier2e Tier3 ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
I Tier-2 nei modelli di analisi • Produzione di AOD, n-tuple e TAG dagli ESD e analisi schedulate: • Gruppi di analisi su canali rilevanti per la comunità locale; varie iterazioni su: • TAG di tutti gli eventi • sottocampioni di AOD • eventuali (pochi) ESD • pochissimi eventi RAW • Analisi caotica di AOD e n-tuple, nuove selezioni, simulazioni particolari, etc.: • Singoli utenti; molte iterazioni su: • piccoli campioni di TAG, AOD e ESD; • due versioni dei suoi DPD • 15 kSI2k e 2 Tb per utente • Uno scenario di analisi: • Si invia una query a un dataset di TAG (es., l’ultimo) residente su DB • Il risultato della query serve ad individuare gli AOD relativi agli eventi selezionati • Un ulteriore algoritmo di selezione può essere applicato agli eventi e il risultato puo’ essere un dataset ridotto di AOD o DPD (piu’ raramente di ESD o RAW) o direttamente una n-tupla. • L’analisi di grandi campioni di eventi sarà distribuita (Grid)! ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Data flow Tier1 – Tier2 ~PB/s • Campioni di RAW data e dati derivati copiati per sviluppo algoritmi ed analisi • dati derivati copiati ad ogi riprocessamento dei RAW data nei Tier1 • Dati simulati prodotti nei Tier2 salvati nei Tier1 per essere permanentemente disponibili a tutta la collaborazione • replicati in altri Tier1 • Servizi di rete richiesti: • throughput occasionalmente elevato • possibilità di prenotare in anticipo bandwidth aggiuntiva Event Builder 10 GB/s Event Filter~7.5 MSI2k >320 MB/s Tier05. MSI2k - 5 PB/y >75 MB/s Tier18. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Data Flow: casi particolari ~PB/s Event Builder • Stream di dati principali dagli High Level Trigger (LV2 + EF): • Stream primario, contenente tutti gli eventi di fisica • Express line • Eventi di calibrazione: • processamento veloce (risorse dedicate in situ) • calibrazione fine (Tier2) • Stream per debugging e diagnostica • Obiettivi principali dello streaming: • Ridurre la latenza per un sottoinsieme di eventi (in particolare quelli di calibrazione) • Processare lo stream primario con i risultati ottenuti dallo stream di calibrazione • Risorse necessarie: • La calibrazione veloce e la express line dovrebbero occupare ~20% di bandwidth e CPU 10 GB/s LV2 Event Filter~7.5 MSI2k >320 MB/s Tier05. MSI2k - 5 PB/y >75MB/s Tier18. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Ruolo dei Tier-2 italiani in ATLAS • La comunità italiana intende svolgere un ruolo rilevante in una o piu’ attività tra quelle considerate di pertinenza dei Tier-2, e in particolare: • Ricostruzione: • Muon Detector, Calorimetri, Pixel Detector. • Calibrazioni/allineamento: • MDT, RPC, Calorimetri, Pixel Detector. • Studi di performance: • Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3) • Tau/jet/EtMiss/egamma (GE, MI, PI) • Analisi: • Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1) • Susy (MI, NA) • Top (PI, UD) • Fisica del B (CS, GE, PI) • Simulazioni connesse alle attività suddette. ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Sedi dei Tier-2 italiani ~PB/sec • La comunità italiana intende organizzare le proprie attività attorno a 4 infrastrutture di calcolo principali (situate presso i LNF e le sedi di Milano, Napoli e Roma1) che hanno già dimostrato affidabilità e efficienza durante la partecipazione ai Data Challenge di ATLAS • I responsabili delle 4 unità operative sopra menzionate hanno dichiarato il loro interesse ad ospitare un Tier-2 ATLAS, riservandosi di assumere un impegno in tal senso quando saranno meglio definite le condizioni di servizio. • Lo studio delle caratteristiche specifiche dei vari Tier-2 italiani è in corso, con la collaborazione di tutta la comunità italiana ed esperti delle sedi interessate. In particolare si vuole definire un profilo temporale di crescita adeguato ai compiti specifici che ciascun Tier-2 dovrà svolgere anno per anno. Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN
Stima evoluzione dei costi Lamberto Luminari - ATLAS Tier-2 INFN
Valutazione dei costi (acquisto anno corrente) Lamberto Luminari - ATLAS Tier-2 INFN
Valutazione dei costi (acquisto anno precedente) Lamberto Luminari - ATLAS Tier-2 INFN