1 / 12

ATLAS Tier-2 INFN

ATLAS Tier-2 INFN. Lamberto Luminari CSN1 - 17 Maggio 2005. Sommario. I Tier-2 in ATLAS Ruolo Replica dei dati Modelli di analisi Data flow I Tier-2 italiani in ATLAS Ruolo Sedi Valutazione dei costi. Ruolo dei Tier-2 in ATLAS. ~PB/sec.

Download Presentation

ATLAS Tier-2 INFN

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. ATLASTier-2 INFN Lamberto Luminari CSN1 - 17 Maggio 2005

  2. Sommario • I Tier-2 in ATLAS • Ruolo • Replica dei dati • Modelli di analisi • Data flow • I Tier-2 italiani in ATLAS • Ruolo • Sedi • Valutazione dei costi Lamberto Luminari - ATLAS Tier-2 INFN

  3. Ruolo dei Tier-2 in ATLAS ~PB/sec • I Tier-2 assumono un ampio spettro di ruoli e funzioni. La loro dimensione e il tipo di risorse può variare sensibilmente a seconda delle attività e della dimensione dei gruppi di fisica che vi fanno riferimento: • forniscono capacità di analisi per i gruppi e sottogruppi di fisica, vale a dire un’infrastruttura di calcolo adeguata a sostenere un’attività multiutente e tendenzialmente caotica. • forniscono tutta la capacità di simulazione necessaria alla collaborazione; a meno che un Tier2 non riesca a garantirne esso stesso l’accesso in modo veloce e affidabile, i dati simulati saranno migrati al Tier1 di riferimento. • a seguito del coinvolgimento della comunità locale in un rivelatore, possono avere un ruolo rilevante nelle procedure di calibrazione e allineamento. Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  4. Replica dei dati • RAW: • Una replica completa dei raw data risiede nei Tier-1 (~1/10 per Tier1) • Campioni di eventi sono memorizzati anche nei Tier-2e, in misura minore, nei Tier3 • ESD: • Tutte le versioni degli ESD sono replicate e risiedono in almeno due dei Tier1 • Gli ESD primari e i RAW data associati sono assegnati ai ~10 Tier1 con un meccanismo di roundrobin • Campioni di eventi sono memorizzati anche nei Tier2e, in misura minore, nei Tier3 • AOD: • Sono replicati completamente in ogni Tier1e parzialmente nei Tier-2 (~1/3 – 1/4). • Alcune stream possono essere memorizzate nei Tier3 • TAG: • I database dei TAG sono replicati in tutti i Tier1e Tier-2 • DPD: • Nei Tier1,Tier2e Tier3 ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  5. I Tier-2 nei modelli di analisi • Produzione di AOD, n-tuple e TAG dagli ESD e analisi schedulate: • Gruppi di analisi su canali rilevanti per la comunità locale; varie iterazioni su: • TAG di tutti gli eventi • sottocampioni di AOD • eventuali (pochi) ESD • pochissimi eventi RAW • Analisi caotica di AOD e n-tuple, nuove selezioni, simulazioni particolari, etc.: • Singoli utenti; molte iterazioni su: • piccoli campioni di TAG, AOD e ESD; • due versioni dei suoi DPD • 15 kSI2k e 2 Tb per utente • Uno scenario di analisi: • Si invia una query a un dataset di TAG (es., l’ultimo) residente su DB • Il risultato della query serve ad individuare gli AOD relativi agli eventi selezionati • Un ulteriore algoritmo di selezione può essere applicato agli eventi e il risultato puo’ essere un dataset ridotto di AOD o DPD (piu’ raramente di ESD o RAW) o direttamente una n-tupla. • L’analisi di grandi campioni di eventi sarà distribuita (Grid)! ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  6. Data flow Tier1 – Tier2 ~PB/s • Campioni di RAW data e dati derivati copiati per sviluppo algoritmi ed analisi • dati derivati copiati ad ogi riprocessamento dei RAW data nei Tier1 • Dati simulati prodotti nei Tier2 salvati nei Tier1 per essere permanentemente disponibili a tutta la collaborazione • replicati in altri Tier1 • Servizi di rete richiesti: • throughput occasionalmente elevato • possibilità di prenotare in anticipo bandwidth aggiuntiva Event Builder 10 GB/s Event Filter~7.5 MSI2k >320 MB/s Tier05. MSI2k - 5 PB/y >75 MB/s Tier18. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  7. Data Flow: casi particolari ~PB/s Event Builder • Stream di dati principali dagli High Level Trigger (LV2 + EF): • Stream primario, contenente tutti gli eventi di fisica • Express line • Eventi di calibrazione: • processamento veloce (risorse dedicate in situ) • calibrazione fine (Tier2) • Stream per debugging e diagnostica • Obiettivi principali dello streaming: • Ridurre la latenza per un sottoinsieme di eventi (in particolare quelli di calibrazione) • Processare lo stream primario con i risultati ottenuti dallo stream di calibrazione • Risorse necessarie: • La calibrazione veloce e la express line dovrebbero occupare ~20% di bandwidth e CPU 10 GB/s LV2 Event Filter~7.5 MSI2k >320 MB/s Tier05. MSI2k - 5 PB/y >75MB/s Tier18. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  8. Ruolo dei Tier-2 italiani in ATLAS • La comunità italiana intende svolgere un ruolo rilevante in una o piu’ attività tra quelle considerate di pertinenza dei Tier-2, e in particolare: • Ricostruzione: • Muon Detector, Calorimetri, Pixel Detector. • Calibrazioni/allineamento: • MDT, RPC, Calorimetri, Pixel Detector. • Studi di performance: • Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3) • Tau/jet/EtMiss/egamma (GE, MI, PI) • Analisi: • Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1) • Susy (MI, NA) • Top (PI, UD) • Fisica del B (CS, GE, PI) • Simulazioni connesse alle attività suddette. ~PB/sec Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  9. Sedi dei Tier-2 italiani ~PB/sec • La comunità italiana intende organizzare le proprie attività attorno a 4 infrastrutture di calcolo principali (situate presso i LNF e le sedi di Milano, Napoli e Roma1) che hanno già dimostrato affidabilità e efficienza durante la partecipazione ai Data Challenge di ATLAS • I responsabili delle 4 unità operative sopra menzionate hanno dichiarato il loro interesse ad ospitare un Tier-2 ATLAS, riservandosi di assumere un impegno in tal senso quando saranno meglio definite le condizioni di servizio. • Lo studio delle caratteristiche specifiche dei vari Tier-2 italiani è in corso, con la collaborazione di tutta la comunità italiana ed esperti delle sedi interessate. In particolare si vuole definire un profilo temporale di crescita adeguato ai compiti specifici che ciascun Tier-2 dovrà svolgere anno per anno. Event Builder 10 GB/sec Event Filter~7.5 MSI2k 320 MB/sec Tier05. MSI2k - 5 PB/y ~ 75MB/s Tier18. MSI2k - 2 PB/y ~10 622Mb/s links Tier2~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 Lamberto Luminari - ATLAS Tier-2 INFN

  10. Stima evoluzione dei costi Lamberto Luminari - ATLAS Tier-2 INFN

  11. Valutazione dei costi (acquisto anno corrente) Lamberto Luminari - ATLAS Tier-2 INFN

  12. Valutazione dei costi (acquisto anno precedente) Lamberto Luminari - ATLAS Tier-2 INFN

More Related