1 / 21

Calcolo in BaBar Stato e richieste al CSN1 per il 2004

Calcolo in BaBar Stato e richieste al CSN1 per il 2004 presentato da F. Galeazzi (http://www.pd.infn.it/~fgaleazz/Gruppo1/richiesteCalcolo2004_pres.sxi.pdf ). Novita' rispetto all'attuale modello di calcolo.

solomon-ballard
Download Presentation

Calcolo in BaBar Stato e richieste al CSN1 per il 2004

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Calcolo in BaBarStato e richieste al CSN1 per il 2004 presentato da F. Galeazzi(http://www.pd.infn.it/~fgaleazz/Gruppo1/richiesteCalcolo2004_pres.sxi.pdf)

  2. Novita' rispetto all'attuale modello di calcolo • Dalla definizione del modello di calcolo nel 2000, parecchie novita' sono state introdotte: • Abbandono del formato “raw” e “rec” • Introduzione del formato “mini” Event display dai mini 

  3. Il nuovo modello di calcolo • Incremento di luminosita' integrata previsto: nel 2003 160 fb-1, nel 2004 250 fb-1 • La soluzione: il nuovo modello di calcolo (CM2)! • Introduzione del formato “reduced mini”, che sostituisce il “micro” estendendone la funzionalita' ma mantenendone l'interfaccia • Inizio dello sviluppo del CM2 a Ottobre 2002, implementazione a Gennaio 2003, la transizione avverra' entro Ottobre 2003: molti test gia' fatti o in corso, altri attesi durante l'estate (su vasta scala, praticamente tutte le funzionalita' disponibili)

  4. Il nuovo modello di calcolo: implicazioni • Novita' nell'analisi (italiani impegnati: M.Bondioli, G.DeNardo, L.Lista): nuovo formato “reduced-mini” • accesso ai dati a 1 kHz (sia interattivo che via Framework), • possibilita' di aggiungere informazioni (es. sui compositi), • reskimming ogni 3 mesi a partire dai mini • Migrazione Event Store • Conversione Objy – Kanga • Sviluppo server avanzato Xrootd per accesso ai dati (A.Dorigo, F.Furano) • Test modifiche sistema controllo PR (Padova) • Bookkeeping (italiani impegnati: A. Ceseracciu) • Sviluppo strumenti per gestione grandi dataset (collezioni, tcl, ntuple, istogrammi,...)

  5. Farm di reprocessing • In breve: un successo! :-) • 4 farm, 30 dual-CPU ciascuna (PIII, 1.26 Ghz) • 62 fb-1 processati tra Ottobre 2002 e meta' Maggio 2003 • Shifters forniti da Ferrara, Genova, Milano, Padova, Torino e Trieste (e Napoli) per turni in orario 7-23, 7/7 • Produzione complessiva a regime: 4 fb-1/settimana • Tutti i dati riprocessati di Run1/Run2 disponibili in event-store per analisi (milestone) • Ad Aprile evoluzione al nuovo sistema di controllo (sviluppato da F. Safai Tehrani, A. Ceseracciu, M. Piemontese) • Nuove funzionalita', scalabilita', semplicita' gestione

  6. Perche' questo reprocessing? Ad esempio: • molti miglioramenti nel codice di ricostruzione (es. Tracking) • “mini” con piene funzionalita' Migliore efficienza ricostruzione:(soft , e quindi D*)

  7. Farm di reprocessing (2) Fine Run3 Da settembre, il processing (non le Prompt Calibration) sara' esclusivamente a PD! • Saranno inoltre disponibili risorse aggiuntive per produzione MonteCarlo “parassita” (15 Meventi/mese con una farm) • Produzione MonteCarlo (SP5) iniziata il 19 Giugno! Fine Run1/2 Il prossimo futuro: • Giugno: Test PR per CM2 • Settembre: Inizio processing Run4 • Ottobre: Inizio skimming Run4 • Dicembre: Reprocessing Run4?

  8. Farm di analisi Impegnati: C. Bulfon, F. Safai Tehrani Disponibili dati Kanga e MC fino Ottobre 2002 Numero di job e percentuale uso CPU

  9. Farm di analisi (2) Attivita': • L'analisi completa (inclusa selezione eventi) che ha portato alla scoperta del Ds(2317) è stata fatta usando questa farm di analisi • Produzione MonteCarlo “parassita” • Da Novembre 2002 la farm e' ospitata dal Dipartimento di Roma1 nei locali ex-CASPUR.Conseguenze interruzione contratto CASPUR: • Allungamento tempi risoluzione problemi e aggiornamenti Disagi per gli utenti! Spostamento al CNAF previsto per Settembre: • supporto CNAF analogo a CASPUR (1 FTE) • disponibilita' dati in formato reduced-mini (consistente frazione di AllEvents + qualche deep-skim)

  10. Farm di MonteCarlo Impegnati: C. Bozzi, C. Bulfon, G. Della Ricca, F. Safai Tehrani • 1 server Linux, dual CPU, Xeon 2 GHz, 2 GB (NFS and Objy lock servers, batch queues) • 8 (+2) Linux clients, dual CPU, PIII 800 MHz, 1 GB • 17 Linux clients, dual CPU, PIII 1.27 GHz, 1 GB • 1 Linux client, dual CPU, PIII 800 MHz, 1 GB (DBs and LOGs export) • 2 Array RAID EIDE : 2x0,5 = 1 TB Produzione articolata in due fasi: • 15/08/01 - 06/03/03 : SP4 (Objy 6.0, RedHat 6.2) • 06/03/03 - ….…oggi.… : SP5 (Objy 7.1, RedHat 7.2)

  11. Farm di MonteCarlo (2) ProduzioneSP4 3.9 % we are here ! 0.6 % 58.5 + 9.6 Meventi SP4 dal 15 agosto 2001 al 24 marzo 2003 MEDIA: 42.6 Meventi/anno, 3.6 Meventi/mese

  12. Farm di MonteCarlo (3) ProduzioneSP5 5.8 % 17.7 + 1.0 Meventi SP5 dal 9 marzo 2003 al 25 maggio 2003 (efficienza ~90%) estrapolazione: 88.3 Meventi/anno, 7.2 Meventi/mese we are here ! Per raggiungere 20 Meventi/mese (milestone): • produzione parassita su farm reprocessing (15 Meventi/mese) • Installazione macchine gara 2003 (12 Meventi/mese)

  13. MonteCarlo: sviluppi legati a GRID Sezioni impegnate: Ferrara, Napoli • BaBar necessita di ~1.5 Geventi adronici simulati per 100 fb-1 di luminosità integrata • La produzione di un numero così elevato di eventi simulati necessita di risorse di calcolo ingenti, non disponibili a SLAC o in qualsiasi altro sito singolo • La produzione è quindi distribuita in una “Grid” di circa 25 siti, ognuno dei quali è amministrato e gestito localmente • Situazione ideale per l’utilizzo della Grid vera e propria. La gestione e la produzione di eventi simulati sarebbe molto più semplice ed efficiente.

  14. MonteCarlo: sviluppi legati a GRID (2) E a breve... • Stress test (giugno) • Integrazione del software in EDG (estate) e LCG (fine anno) • Integrazione nel CM2 (autunno) • Farm di testbed INFN-Grid di Ferrara (1 Computing Element, 1 Storage Element, 6 Worker Nodes, EDG 1.4.11) • La farm è visibile dal RB utilizzato da Babar (Imperial College) • I membri della VO BaBar possono sottomettere job sulla farm anche dal RB del CNAF (Bologna)

  15. Prospettive 2003-2004 • Farm reprocessing • Upgrade secondo luminosita' integrata • processing dati appena acquisiti + (reprocessing, skimming, MC,...) • Farm analisi • Notevole upgrade risorse disponibili (inclusi disk-server temporaneamente installati a PD) • Graduale apertura ad utenti della collaborazione • Farm MonteCarlo • Upgrade secondo luminosita' integrata • Obiettivo: mantenere quota produzione del 18% (anche grazie a contributo farm di analisi e di reprocessing)

  16. Gara 2003 • Gara 2003 (dettagli nelle prossime trasparenze): • Maggior risparmio su acquisto server, disco, nastro (LTO2) • Costo della CPU superiore al previsto, causa prestazioni processori Xeon • Nessun margine per acquisto nastri • La transizione al CM2 (eliminazione server Objy) ha permesso di non penalizzare troppo la farm di MonteCarlo • ma ha comportato l'acquisto di disco aggiuntivo (per buffer) Lotto 1: clienti Lotto 2: server Lotto 3: dischi Lotto 4: nastri

  17. Gara 2003 (2) • Parte dell'hardware e' in installazione... Nuova libreria Nuovi Server • ...ma per il lotto 1 e 3 ci sono difficolta'...

  18. Gara 2003 (3) Tempi di esecuzione della gara: • fine Luglio 2002: sblocco soldi • 9 Ottobre 2002: indizione gara • 25 Ottobre 2002: nomina commissione • 20 Novembre 2002: lettera di invito • 15 Gennaio 2003: termine presentazione offerte • 10 Febbraio 2003: termine lavori commissione • Direttivo • 20 Marzo 2003: richiesto parere su cessione contratto NAOS • 17 Giugno 2003: risposta (negativa) dall'Amministrazione Centrale su cessione contratto Tutto da rifare per i lotti 1 e 3?

  19. Gara 2003 e previsioni 2004 • Gara 2004: prevista diminuzione costo CPU (30%) e disco (33%) estrapolando secondo diminuzione osservata tra le gare 2002 e 2003. Introdotta contingency=10% dovuta a: • Introduzione nuove tecnologie? • Affermazione nuove tecnologie? • Oscillazioni di cambio?

  20. Confronto con MoU • Impegni soddisfatti, con margine per significativi ampliamenti farm MonteCarlo ...anche grazie a CM2! • Anche le stime del budget per computing 2004 che verranno presentate all'IFC di Giugno 2003 saranno basate sul vecchio modello di calcolo: • Fino all'approvazione (Gennaio 2004) ci sara' tempo per verificare i risparmi portati dal CM2

  21. Richieste: sblocco completo del s.j. a Padova (650 k€) per acquisti gara 2004 sblocco di 19 k€ dal s.j. per consumo a Padova Testo completo del documento per il CSN1: http://www.pd.infn.it/~fgaleazz/Gruppo1/richiesteCalcolo2004.pdf Conclusioni

More Related