О технологии Грид и ее использовании

1. О технологии Грид и ее использовании Ю.Ф.Рябов

2. Содержание • Предпосылки создания и концепции технологии Грид • Проект EGEE • Национальные Грид инициативы • Российский Грид • Опорная сеть СПбНЦ (РОКСОН) • Информация для контактов

3. Эволюция интернета Совместно используемыересурсы - Grid Совместно используемая информация - World Wide Web Совместно используемые сети Сети соединяющие локальные ресурсы

4. Что такое Grid? “GRID” - некоторая аналогия с электрическими сетями (power grid), предоставляющими всеобщий доступ к электрической мощности.

5. Предпосылки создания Гридобусловлены • Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных. • Наличием во многих организацияхвычислительных ресурсов (часто кластеров) • Необходимостью решения сложныхнаучных, инженерных и бизнес-задач

6. Компьютерные сети • Производительность • Вычислительные скорости удваиваются каждые 18 месяцев • Скорости сетей удваиваются каждые 9 месяцев • Разницана целый порядок за 5 лет • 1986 - 2000 • компьютеры: x 500 • сети: x 340000 • 2001 - 2010 • компьютеры: x 60 • сети: x 4000

7. Цели создания Грид-инфраструктуры Среди основных целей создания Грид на данный момент можно выделить: • организация эффективного использования ресурсов • решение крупных задач, требующих огромных процессорных ресурсов, памяти; • вычисления с привлечением больших объемов географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий,медицине,химии и т.д. • коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций. .

8. Концепция Грид • Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций. • Сделать возможным для различных групп пользователей (‘виртуальных организаций’) совместное использование географически удалённых ресурсов при совместной работе,подразумевая отсутствие централизованного расположения вычислительных ресурсов, централизированного управления ресурсными центрами Виртуальная организация- объединение(коллаборация) специалистов из некоторой прикладной области,которые объединяются для достижения общей цели

9. О технологии Грид Грид • Распределенная программно-аппаратная компьютерная среда с принципиально новой организацией вычислений и управления потоками заданий и данных. • Компьютерная инфраструктура,предназначенная для объединения вычислительных мощностей различных организаций. На основе технологии Грид • Предполагается формирование региональных, национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач. • В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.

10. О технологии Грид • виртуализация ресурсов — концепция разделения и совместного использования логических и физических устройств в сети. • среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы • технология распределенных вычислений в Интернете • впервые серьезно ставится вопрос о гарантированном качестве обслуживания. • новое поколение Интернета.

11. Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях Пользователи из многих центров нуждаются в распределённых ресурсах. Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных До Grid

12. Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных Вместе с Grid Объединенные сетью центры обработки данных и соответствующее программное обеспечение (”middleware”)- как элемент, “склеивающий” ресурсы

13. Мобильный доступ G R I D M I D D L E W A R E Суперкомпьютеры,PC-кластеры Рабочие станции Хранилища данных, эксперименты, … Визуализация Internet, сети ППО Грид (middleware)

14. Службы Грид (gLite) Доступ в Грид Интерфейс Пользователя Безопасность Информационная служба и мониторинг Авторизация Информация и мониторинг Служба регистрации сервисов Аутентификация Управление данными Управление заданиями Вычислительный элемент Каталог метаданных Каталог файлов и реплик Выбор ресурса и загрузказаданий Элемент хранения Передача данных

15. Ресурсы брокер ресурсов Выбор ресурса • принимает задание от пользователя • согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и • направляет задание на подходящий сайт. 25

16. Типы грид-систем с позиций решаемых задач • Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid); • Грид для интенсивной обработки огромных массивов данныхданных (Data Grid); • Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);

17. Разномасштабные Гриды Международные проекты,.. Международный грид (EGEE) Региональный грид (напр. BalticGrid) Шире сотрудничество,больше ресурсов Национальные центры данных, МВЦ, экспериментальные установки Национальный грид Интситутские данные; кластеры Грид “кампуса”

18. EGEE проект EGEE-Enable Grid for E-sciencE = Развертывание Грид-инфраструктуры для науки

19. Основные цели и задачи проекта EGEE • Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры,ее поддержку и развитие • Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения • Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований • Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки

20. 98k зад./день Участники и ресурсы EGEE • 237 центров в 45 странах • ~36 000 CPU • ~ 5 PB дисковой памяти, + tape • распределённое управление • >200 ВО из различных областей науки

21. Мониторинг узлов EGEE

22. Приложения в EGEE • для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG • биомедицина и биоинформатика • GATE- медицинская томография и планирование процедур радиотерапии • gPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов, • Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм • GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков • CDSS - клиническая система поддержки принятия решений • моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )

23. Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Конкорд (15 Км) Монблан (4.8 Км) Необходимость ГРИД для БАК • Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить? • Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров.Где их взять? • РесурсыЦЕРН уже сейчас составляют более 3000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!!

24. Топология сети для обработки данных с БАК

25. Проект WISDOM • Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным • лекарством и белком-мишенью • Первый в истории биомедицины сеанс массовой обработки данных • Исследовано 46 миллионов посадочных лиганд • Получено более 1 Тб данных • Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет • Средний фактор ускорения - 600

26. Другие области,использующие инфраструктуру EGEE • Науки о Земле: • наблюдения за поверхностью Землисо спутников, • гидрология – проникновение морской воды в прибрежный водоносный слой, • климатология – прогнозирование наводнений, • физика Земли - численное моделирование землетрясений. • Геофизика (промышленное приложение Geocluster) • Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO) • Термоядерный синтез (проект ITER) • Вычислительная химия (проекты CHARON, CompChem) • Археология • Финансовые приложения (проект EGRID) • …………………………………………………………………………….. • (Всего свыше 200 виртуальных организаций)

27. EGEE EGEE-II EGEE-III Проекты с EGEE Проекты,представленные на конференции EGEE’07

28. Взаимодействие проекта EGEE с Грид проектамипо бизнесу • EGEE Business Associates Program

29. Национальные ГРИД инициативы • Англия  UK National Grid Service http://www.ngs.ac.uk • Австрия  Austrian Grid Initiative http://www.austriangrid.at • Бельгия   BEgrid  http://www.begrid.be/ • Болгария  Bulgarian Grid Consortium, BGGC, http://www.grid.bas.bg/consortium.htm • Хорватия  CRO-GRID http://www.srce.hr/crogrid/ • Чехия  METACentrum http://meta.cesnet.cz • Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet) http://grid.eenet.ee • Финляндия  CSC – Scientific Computing Ltd., http:// www.csc.fi • Франция  EGEE-FranceGermanyD-Grid, https://www.d-grid.de/index.php?id=1&L=1 • Греция   HellasGrid, HG, http:// www.hellasgrid.gr • Ирландия  Grid-Ireland http://www.grid.ie/ • Израиль  Israel Academic Grid  (IAG) http://iag.iucc.ac.il • Италия Italian Grid Infrastructure, IGI, http://www.italiangrid.org • Литва   Lithuanian Grid LitGrid http://www.litgrid.lt • Голландия  Netherlands National Science Grid, internally known as BIGGRID project • Норвегия  Norwegian Grid (NorGrid), http:// www.norgrid.no • Польша  PL-Grid,  http://plgrid.cyfronet.pl    (public part in preparation) • Португалия Iniciativa Nacional Grid – INGRID http://www.gridcomputing.pt/ • Румыния  RoGrid URL: http:// www.rogrid.ro   (old version) • Россия  Russian Data Intensive Grid (RDIG): http:// www.egee-rdig.ru (?????) • Сербия SerbiaAcademic and Educational Grid Initiative of Serbia AEGIS http://aegis.phy.bg.ac.yu • Украина Ukrainian Grid, UGrid http://grid.ntu-kpi.kiev.ua/ • Швеция  Swedish Grid, SweGrid, http://www.swegrid.se/ and http://www.snic.vr.se/ • Турция  TR-Grid National Grid Initiative, TR-Grid NGI http://www.grid.org.tr • Германия(D-initiative)

30. D-GRID Initiative(Germany)D-Grid1(2005-2008)D-Grid2(2007-2010) Проекты в рамках D-grid Consortium: • DGI-интеграционный проект; • AeroGrid-аэрокосмическая инженерия; • BauVOGrid-строительная индустрия; • Biz2Grid- для учреждений; • FinGrid- финансы; • PartnerGrid-для промышленности(>40фирм); -- MediGRID -для медицины ……………………………………………… (Всего > 20 проектов).

31. RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными) • Цели: • создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности • предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике • обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры • консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

32. Участники РДИГ Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2003 году - 8)

33. Распределение CPU time по регионам

34. Распределение процессорного времени по российским организациям(сайтам)

35. Распределенный инженерный R&D центр ДМЗ-Камов Предпосылки: • Необходимость проведения больших и сложных проектных работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих. • Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса . • Территориальная разбросанность ОКБ. (из доклада на совещании в Дубне)

36. Распределенный инженерный R&D центр ДМЗ-Камов Постановка задачи: • Возможность распределения из одного центра работ по исполнителям. • Возможность постоянного контроля над ходом выполняемых работ. • Возможность распределенной работы с современными CAD/CAM/CAE-системами. • Единая база данных. • Доступность данных в любой момент времени. • Защищенность от несанкционированного доступа. • Уникальность и сохранность данных и стадий их разработки (протоколирование процесса разработки, архивация промежуточных данных). • Минимальные капиталовложения. • Возможность рекрутинга через привлечение в виртуальные коллективы студентов и аспирантов. (из доклада на совещании в Дубне)

37. О внедрении технологии гридв промышленном масштабе -Обучение основам технологии (ознакомление руководства,изучение и тренинг для пользователей); -Создание ГРИД инфраструктуры как распределенного центра коллективного пользования) - Подготовка приложений для использования технологии в конкретных областях науки,промышленности,бизнеса

38. Карта сети

39. РОКСОН в цифрах 1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ- 22. 2. Протяженность ВОК составляет: - общая- >80 км - собственность СПбНЦ РАН – ~50км - аренда - ~30км. 3. Количество опорных узлов – 7. 4. Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей - 100 MBps

40. Академический Грид в Санкт-Петербурге Пользователи ГРИД Интернет 1000 Mbps Пользователи ГРИД Опорная сеть СПБНЦ 1000 Mbps 1000 Mbps 1000 Mbps ПИЯФ РАН МСЦ РАН СПИИРАН

41. Обучение • Введение в Грид технологию • Практические занятия с пользователями • Обучение администраторов вычислительных ресурсов организаций Место проведения: в организациях (по запросу)

42. Контакты • Рябов Юрий Федорович ryabov@pnpi.nw.ru тел. 88137146076 • Новодворский Евгений Григорьевич nevg@pnpi.nw.ru • Олешко Сергей Борисович oleshko@pnpi.nw.ru

43. Полезные ссылки • http://www.gridclub.ru/ - GRIDCLUB.RU :: Интернет-портал по грид-технологиям • http://grid.jinr.ru/ - грид-портал ОИЯИ • http://www.eu-egee.org - проект EGEE-II • http://www.egee-rdig.ru/ - RDIG консорциум • http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG • http://egee.sinp.msu.ru- НИИЯФ МГУ • http://egee.pnpi.nw.ru/ - ПИЯФ РАН

44. Добро пожаловатьработать в ГРИД!Спасибо за внимание