A. Fernández, S. González, L.March, J. Salt, R. Vives , F. Fassi, A. Lamas, J. Sánchez

1. A. Fernández, S. González, L.March, J. Salt, R. Vives, F. Fassi, A. Lamas, J. Sánchez Infraestructura de e-Ciencia para ATLAS en el IFIC Jornadas Técnicas de RedIRIS Oviedo, 22 de Noviembre de 2007 1/17

2. Contenido 1.- Introducción: Contexto y Objetivos 2.- Recursos y Servicios del IFIC 3.- Transferencia y Gestión de datos 4.- Producción Masiva de datos Simulados 5.- Aplicaciones desplegadas en la infraestructura 6.- Conclusiones 2/17

3. 1.- Introducción: Contexto y Objetivos El Problema de los Datos en ATLAS • Programa Científco del LHC: 4 experimentos (ATLAS, CMS, LHCb y ALICE) • ATLAS: Detector de propósito general para el estudio de colisiones protón-protónde Altas Energías. • La computación off-line tendrá que tratar con una tasa de producción media de sucesos de ~ 100 Hz, esto es, ~2x109 sucesos por año*, con un tamaño promedio por suceso de ~ 1 Mbyte. (Actualmente entre 1.3 y 1.6). • Los investigadores están distribuidos por todo el mundo online ~2 Petabytes/año en ATLAS* 3/17 *Días hábiles (runs) ~40% del año (~140 días); normalmente de abril a octubre incluyendo algunas paradas técnicas.

4. ss Tier-1 Tier-0 MSU CIEMAT IFCA UB Cambridge Budapest Prague Taipei TRIUMF UAM IFIC IFAE Legnaro USC Krakow NIKHEF Tier-2 small centres desktops portables RAL IN2P3 FNAL Funciones de un TIER-2 CNAF • Servicios de almacenamiento en disco permanente y temporal para ficheros de datos y bases de datos • Suministrar capacidades de análisis para grupos de trabajo de Física. Posibilitar la operación de una instalación de un Sistema de Análisis de Datos para ‘Usuarios Finales’ que dé servicio a unas 20 líneas de análisis • Suministrar datos de simulación de acuerdo con los requisitos de los experimentos. • Dar acceso a los Servicios de Red para el intercambio de datos con los TIER-1 FZK PIC ICEPP CPU Software específico UserSuport, … BNL TIER-2 Español para ATLAS: Fase I: dos años, 2005-2007 Fase II: 3 años , 2008-2010 (en todo el TIER2 español) 4/17

5. Evolución del TIER2 español A partir de la evolución prevista de los recursos para todos los Tier-2 de ATLAS y suponiendo una contribución del 5% para el Tier-2 Español los recursos serían: • -se observa un fuerte incremento 2007-2008 • la contribución del IFIC sería la mitad de estas cantidades 5/17

6. Los físicos de ATLAS pueden acceder a los recursos de computación mediante los componentes Middleware y Servicios GRID Sobre los recursos de computación se han desplegado 3 ‘sabores GRID’ GRID3/OSG USA NDG/ARC países escandinavos + otros países LCG-2/EGEE la mayoría de los países europeos + Canadá + Extremo Oriente Nuestro Tier-2 está en este sabor de GRID Los sistemas de producción y de análisis están diseñados para ser independientes del ‘sabor’ GRID, garantizando el mayor grado posible de interoperabilidad al servicio y a nivel de API El TIER-2 es un ejemplo de infraestructura GRID que se encuentra inmersa en un ámbito de e-Ciencia ( Proyecto EGEE-II del VI Programa Marco UE) Los GRIDs de ATLAS y el marco de e-ciencia 6/17

7. 132 KSi2k 34TB Disco 4.7TB Cinta (Tape front-end) Actualmente se utiliza LUSTRE (sistema de ficheros) como sistema de almacenamiento masivo en disco Conectividad: 1Gbps hasta punto de acceso RedIRIS y 10 Gbps entre puntos acceso Personal: 7 FTEs 2.- Recursos y Servicios del IFIC 7/17

8. Conectividad • A nivel global, mas de 9 petabytes transferidos en los últimos 6 meses (> 10 millones ficheros), en EGEE usando FTS (incluye VOs de LHC+BioMed+...) • Demostrado sobre 1 GB/s sostenido entre Tier0 y Tier1 (red dedicada sobre soporte de fibra óptica) • Según el Atlas computing technical design report el enlace entre Tier1 y Tiers2 debe ser de 50 MBytes/s en toma de datos. Esto no cuenta el tráfico que pueda haber entre los distintos centros del T2 al ser este distribuído. • Datos registrados entre el lunes 22 al martes 30 de octubre * en IFIC Coincidiendo con el ejercicio M5 de toma de datos (22 octubre – 05 de noviembre 2007) (*) Todavía no estamos en toma de datos, así que los números que salen aquí no son extrapolables. Además, los continuos retrasos de LHC han hecho que, evidentemente, el uso actual no sea el esperado. 8/17

9. Job Accounting • Existe un servicio de accounting, basado en el uso de ‘sensores’ que permite contar el número de usuarios que están utilizando los servicios Grid de un determinado TIER. • El acceso a los datos sólo se permite a usuarios autorizados: provider, user, VO manager, … (privacidad) • La informaciónesrecogida en el Grid Operations Centre (GOC). • Para estafuncionalidadbásica se ha utilizadoprincipalmente APEL (DGAS experimental) PORTAL DE ACCOUNTING DEL CESGA 9/17

10. 3.- Transferencia y Gestión de Datos • El IFIC ha participado en los diferentes ejercicios de transferencia masiva de datos promovidos desde el CERN: • DC1 (Data Challenge 1): aun no había Grid. Todos los datos se transferían punto a punto al CERN (2001) • DC2 : Se empieza a usar el Grid. • Roma Production: participación del IFIC ~ 6 % (2004) • CSC (antiguo DC3): primer ejercicio real con DDM (2006) • Una vez constituído como TIER2 (2004/2005): • SC4 (Service Challenge 4; Octubre 2006) • Funtional Tests (Agosto 2007) • M4 y M5 (toma de datos de rayos cósmicos, entre septiembre y noviembre 2007) Septiembre 2007 GB 10/17

11. El IFIC ha creado una página web, donde se listan todos los datos almacenados para el experimento ATLAS (datasets) en los centros del Tier-2 español, para información de sus usuarios, correspondientes a todos estos ejercicios: http://ific.uv.es/atlas-t2-es • Estos datos deben estar almacenados en los diversos SE del TIER2-ES y estar registrados en los respectivos catálogos del TIER1(PIC): • catálogo Grid general de LCG/EGEE (LFC) y • catálogo del experimento ATLAS (DDM/DQ2) 11/17

12. Es una de las actividades principales de la infraestructura de e-Ciencia en el IFIC. Datos producidos utilizando el middleware Grid (EGEE/LCG) para el experimento ATLAS. 62910 trabajos fueron mandados por el ejecutor LEXOR del IFIC a los diferentes centros de la colaboración con el middleware EGEE entre 25/01/06 y 07/08/06, que frente a los 393714 que se mandaron en total, supone una contribución a ese nivel del 16%. 4.- Producción Masiva de Datos Simulados 12/17

13. Desde Enero de 2006 hasta hoy en día el Computing Element (CE) del IFIC procesa diariamente trabajos de Monte Carlo procedentes de varios laboratorios de la colaboración ATLAS/LCG-EGEE Estadística acumulada desde Enero 06 hasta Agosto 07: Número de trabajos procesados TIER2 español: 84833 Total colaboración: 3324087 CPU Wall time TIER2 español: 22670 días Total colaboración: 818282días Contribución TIER2 Español referente a LCG-EGEE: 2.7% (Añadiendo sept. y oct.) 12/17

14. 5.- Aplicacionesdesplegadas en la infraestructura Prioridad de Trabajos En el TIER2 del IFIC, dependiendo de los roles y grupos pertenecientes de cada usuario dentro de la VOMS, el Fair-Share (FS) asignado es de: 50 % 50 % Sólo mandan un job esporádicamente, pero en ese caso tienen máxima prioridad. NEW VOView: es usado por el WMS para asignar los trabajos en función de los shares de los diferentes sites. Actualmente, la asignación de varios VOViews a diferentes grupos/roles puede ser realizado. Pero aún se dan incorrecciones para usuarios que tienen varios roles asignados o pertenecen a varias VOs. 14/17

15. La aplicación elegida por ATLAS para que sus usuarios envíen trabajos al Grid dentro de EGEE/LCG es GANGA. Herramienta “fácil” (userfriendly) desde el punto de vista del usuario Línea de comandos GUI (Graphical User Interface) Extensible (sistema plugin) Puedes incluir cualquier tipo de aplicación: programas de simulación de datos por Monte Carlo: ej. athena, athenaMC (ATLAS), algoritmos de análisis Incluye diferentes backends: Enviar un trabajo al Grid: ej. EGEE/LCG Enviar un trabajo de forma local Para su gestión, actualmente estudiando performance de: LCG Resource Broker (RB) y gLite Workload Management System (WMS) Análisis Distribuido CE WMS GANGA Usuario CE … 15/17

16. Análisis Distribuido GANGA Otros LHCb ATLAS - En total 968 personas desde Enero, 579 en ATLAS, 10 en el IFIC - Por mes ~275 usuarios, 150 en ATLAS, 10 en el IFIC 16/17

17. El IFIC dispone de una infraestructura de e-ciencia que atiende las necesidades que se derivan de su papel como ‘TIER-2’ dentro del contexto del Modelo de Computación de ATLAS Recursos de equipamiento: cumplimiento de objetivos año a año (conseguido para 2007); con un ritmo de crecimiento considerable y sostenido Transferencia y Gestión de datos: ejercicios de transferencias de datos (T1-T2) completados con éxito y sistema de gestión de datos eficiente en el IFIC Producción masiva de datos simulados en el IFIC Análisis distribuido funcionando sobre una infraestructura EGEE/LCG y utilizando GANGA para enviar trabajos 6.- Conclusiones 17/17