1 / 34

Текущее состояние и перспективы развития ЦИВК ОИЯИ

Текущее состояние и перспективы развития ЦИВК ОИЯИ. Кореньков В.В. Конференция пользователей ЦИВК ОИЯИ 6 февраля , 2008. Статус внешних коомуникаций ОИЯИ. Проект развития канала связи Дубна-Москва. Upgrade of Dubna-Moscow data link up to 10 Gbps in 200 8 and up to 40 Gbps in 2010.

zachary-mccoy
Download Presentation

Текущее состояние и перспективы развития ЦИВК ОИЯИ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Текущее состояние и перспективы развития ЦИВК ОИЯИ Кореньков В.В Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008

  2. Статус внешних коомуникаций ОИЯИ

  3. Проект развития канала связи Дубна-Москва Upgrade of Dubna-Moscow data link up to 10 Gbps in 2008 and up to 40 Gbps in 2010.

  4. Incoming Outgoing Внешний сетевой трафик ОИЯИ • Total: • incoming in 2007 – 241.9 TB, outgoing -227.8; • Most of traffic: • CERN (88.8%), • DESY, INFN, SARA, IN2P3 • 47 local sub-networks; • Local traffic – 77.6 TB • Created in 2007: • direct point-to-point data channel between JINR LAN and CERN as part of the JINR program of participating in LCG in CERN; • Dubna-City Internet eXchange.

  5. Структура опорной сети ОИЯИ • Comprises 5880 computers and nodes, • Users - 3322 • Modem pool users - 689 • Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500; • High-speed transport (1Gbps) (Min. 100 Mbps toeach PC); • Controlled-access (Cisco PIX-525 firewall) at network entrance; • Partially isolated local traffic (8 divisions have own • subnetworks with Cisco Catalyst 3550 as gateways); • General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc. • Plans: • Step-by-step modernization of the JINR Backbone – transfer to 10 Gbps • Development and modernization of the control system of the JINR highway network

  6. Структура ЦИВК ОИЯИ 670 kSi2K 100 TB Disk Contract prepared in Dec 2007: SuperBlade – 2 BOX 40 CPU Xenon 5430 2.66 GHz Quad Core ~400 kSi2K Total expected in March, 2008 - 1070 kSi2K

  7. Состав ЦИВК ОИЯИ • 53 servers • 7 interactive nodes • 60 4-core computing nodes, Xeon 5150, 8GB RAM. • 6 2-core computing nodes, Athlon , 2GB RAM, Mirynet. • Site name: JINR-LCG2 • Internal CICC network – 1Gbit/sec • Operating system - Scientific Linux 4.4, • Scientific Linux CERN 4.5; • Middleware versionGLITE-3.1 • File Systems – AFS(the Andrew File System) for user Software and home directories is a world-wide distributed file system. AFS permits to share easily files in an heterogeneous distributed environment (UNIXes, NT) with a unique authentication scheme (Kerberos). • dCache- for data. • User registration system – Kerberos 5 ( AFS use Kerberos 5 for authentication)

  8. Интегрированная схема функционирования ЦИВК ОИЯИ

  9. ЦИВК ОИЯИ в качестве Грид-сайта глобальной инфраструктуры WLCG/EGEE JINR provides the following services in the WLCG environment: Basic services - Berkley DB Information Index (top level BDII); site BDII; Computing Element (CE); Proxy Server (PX); Resource Broker (RB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); RGMA-based monitoring system collector server (MON-box); LCG File Catalog (LFC); Storage Element (SE), dCache 82 TB; Special Services - VO boxes for ALICE and for CMS; ROCMON; PPS and testing infrastructure - Pre-production gLite version; Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss packages for LHCb.

  10. BATCH jobs at CICC2007 year: June - December

  11. Grid Virtual Organizations at JINR CICC: June-December 2007

  12. lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 rda02 wn… lxfs71 lxpub01 dCache in JINR Internet / GRID JINR Backbone Protocols gFTP, SRM, XROOT local lxfs07 82 TB Admin RAID DCAP PNFS WNs Doors Pools

  13. dCache: Files, VO, Discs CMS ATLAS other FREE! Total 82 ТВ Files

  14. Проекты в области развития grid-технологий • проект EU DataGRID • WLCG: проектгриддляБольшого Адронного Коллайдера (Worldwide LHC Computing GRID) • EGEE: развертываниегрид-системдля e-науки (The Enabling Grids for E-sciencE) • RDIG: Российский грид для интенсивных операций с данными • ЦБГС: Создание прототипа центра базовых grid-сервисов нового поколениядля интенсивных операций с распределенными данными в федеральном масштабе • Проект СКИФ-ГРИД • Грид мониторинг для эффективного функционирования виртуальных организаций (совместный с ЦЕРН) • Проект Наногрид • Дубна-Грид: создание городской грид-инфраструктуры ЦБГС

  15. EGEE (Enabling Grids for E-sciencE) Проект EGEE - Enabling Grids for E-sciencE направлен на создание международной инфраструктуры, основанной на технологиях грид. Проект выполняется консорциумом из 70 институтов в 27 странах, объединенных в региональные гриды.

  16. Russian Data Intensive GRID (RDIG) Consortium EGEE Federation • ИФВЭ (Институт физики высоких энергий, Протвино) • ИМПБ (Институт математических проблем биологии, Пущино) . • ИТЭФ (Институт теоретической и экспериментальной физики) • ОИЯИ (Объединенный институт ядерных исследований, Дубна) • ИПМ (Институт прикладной математики) • ПИЯФ (Петербургский институт ядерной физики, Гатчина) • РНЦ «Курчатовский институт» • НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ)

  17. Структурные элементы ROC – региональный операционный центр в России • Обеспечение функционирования базовых грид сервисов 24х7 • Мониторинг и реагирование на черезвычайные ситуации • Ведение учета ресурсов и выполненных работ (accounting) • Управление и поддержка виртуальных организаций • Поддержка безопасности инфраструктуры, CA • Сертификация (валидация) грид ПО • Поддержка пользователей • Операционная поддержка ресурсных центров RC – ресурсные центры (CPU, Disk, Tape)‏ VO – виртуальные организации: • физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE … • биомед • Fusion • российские VOs: e-Earth (геофизика), • химфизика (Черноголовка, МГУ ++), нанотехнологии и наноиндустрия

  18. EGEE-II

  19. 98k заданий/день Основные направления EGEE-II >200 ВО из различных областей науки • Астрономия и астрофизика • Безопасность населения • Вычислительная химия • Вычислительные науки/Программирование • Физика конденсированного состояния • Науки о Земле • Синтез • Физика высоких энергий • Науки о жизни • .... Приложения перешли со стадии тестирования на стадию рутинного и ежедневного использования с эффективностью ~80-90%

  20. Collaborating e-Infrastructures Potential for linking ~80 countries by 2008

  21. LCG/EGEE Grid infrastructure GridMonitoring

  22. RDIG инфраструктура В настоящее время RDIG –инфраструктура состоит из 15 ресурсных центров, в которых доступно около 1500 CPU и500 TB дискового пространства.. RDIG Resource Centres: – ITEP – JINR-LCG2 – Kharkov-KIPT – RRC-KI – RU-Moscow-KIAM – RU-Phys-SPbSU – RU-Protvino-IHEP – RU-SPbSU – Ru-Troitsk-INR – ru-IMPB-LCG2 – ru-Moscow-FIAN – ru-Moscow-GCRAS – ru-Moscow-MEPHI – ru-PNPI-LCG2 – ru-Moscow-SINP

  23. RDIGmonitoring&accountinghttp://rocmon.jinr.ru:8080 • Monitored values • CPUs - total /working / down/ free / busy • Jobs - running / waiting • Storage space - used / available • Network - Available bandwidth • Accounting values • Number of submitted jobs • Used CPU time • Totally sum in seconds • Normalized (with WNs productivity) • Average time per job • Waiting time • Totally sum in seconds • Average ratio waiting/used CPU time per job • Physical memory • Average per job

  24. Russia and JINR Normalized CPU time per SITE (June 2007 - December 2007) Jun 07Jul 07Aug 07Sep 07Oct 07Nov 07Dec07 Total JINR103,238244,393136,615320,041365,456341,876322,8501,834,46947.3%

  25. Network bandwidth and reliability of data transfers The following LHC computing centers serve as Tier1 centers for RDIG: FZK (Karlsruhe) –for ALICE, SARA (Amsterdam) – for ATLAS, CERN – for CMS (CERN-PROD) and LHCb. The quality of the JINR – Tier1s connectivity is under close monitoring

  26. FTS Monitoring: CERN-JINR transfers Best transfer-test results for CERN - JINR 01.08.2007-04.08.2007 Average throughput 20 MB/s during the whole 04.08 Average data movement from CERN to JINR 01.2007-11.2007

  27. Эффективность RDIG-сайтов

  28. EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE June 2007 - December 2007 • IN2P3-CC 4 731 732 • CERN-PROD 4 393 875 • FZK-LCG2 3 432 919 • TRIUMF-LCG2 3 358 117 • INFN-T1 2 244 936 • IN2P3-LPC 1 705 242 • INFN-PISA 1 438 029 • UKI-NORTHGRID-MAN-HEP 1 369 207 • GRIF 1 368 942 • RAL-LCG2 1 306 579 • JINR-LCG2 1 217 267 Statistics obtained from the EGEE Accounting Portal: http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.html

  29. EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE November 2007 - January 2007

  30. Планы развития ЦИВК ОИЯИ

  31. Тор 500 • Site Computer Processors Year Rmax Rpeak1 • DOE/NNSA/LLNLBlueGene/L United States IBM 212992 2007 478200 5963782 • Juelich (FZJ)Blue Gene/P Germany IBM 65536 2007 167300 2228223 • New Mexico (NMCAC)United States SGI 14336 2007 126900 1720324 • CRLIndia Hewlett-Packard 14240 2007 117900 1708805 • Government AgencySweden Hewlett-Packard 13728 2007 102800 1464306 • NNSA/Sandia United States Cray Inc. 26569 2007 102200 1275317 • Oak Ridge National LaboratoryUnited States Cray XT4/XT3 23016 2006 101700 1193508 • IBM Thomas J. Watson Research CenterUnited States Blue Gene/L IBM409602005912901146889 • NERSC/LBNLUnited States Cray XT4193202007853681004641 • Stony Brook/BNL, United States Blue Gene/LIBM36864200782161103219

  32. Россия в TOP 500 В данной редакции списка Россия представлена 7 системами, что является максимальным количеством за время существования Top500.На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском государственном авиационном техническом университете, 9.287 TFlop/s. IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, установленный в Сибирском федеральном университете (Красноярск), оказался на 183 месте.На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный в Томском Государственном Университете, с производительностью 9.01 TFlop/s.На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.Со 187 на 408 место в новой редакции списка опустился российский суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.

  33. Blue Gene/P в MГУ Объявление о начале выпуска системы – 26 июня 2007 г. Поставка в МГУ – 24 декабря 2007 г. (запуск-апрель 2008 г) Уникальные характеристики: масштабируемость, высокая надежность, низкое энергопотребление • Blue Gene/P @ MSU • 2 стойки, • 2048 4-ех ядерных узлов, • общая пиковая производительность 27.2 Tflop/s (43 место в текущем списке TOP500) • 4 TB общий объем ОЗУ

  34. Полезные ссылки и информация • LCG: //lcg.web.cern.ch/LCG/ • EGEE: //www.eu-egee.org • EGEE-RDIG: //www.egee-rdig.ru • GRIDCLUB: //www.gridclub.ru • Параллельные вычисления //parallel.ru • Инструкции, документация, сайты, информационные бюллетени, публикации, обзоры, курсы и т.д. Новые возможности для проектов и групп пользователей: • Новые возможности для пользователей ЦИВК ОИЯИ • Использование ГРИД-инфраструктуры для различных ВО • Развитие системы суперкомпьютеров в России

More Related