1 / 43

Грид технологии

Грид технологии. Лекция 6 Архитектура Globus Toolkit. Радченко Глеб Игоревич, каф. СП, ЮУрГУ. http://dom.susu.ru/grid.htm. Содержание. Предпосылки возникновения Globus Toolkit Роль GT в создании грид-приложений Globus Toolkit 4 и WSRF Компоненты Globus Toolkit

niabi
Download Presentation

Грид технологии

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Грид технологии Лекция 6 Архитектура Globus Toolkit Радченко Глеб Игоревич, каф. СП, ЮУрГУ http://dom.susu.ru/grid.htm

  2. Содержание • Предпосылки возникновения Globus Toolkit • Роль GT в создании грид-приложений • Globus Toolkit 4 и WSRF • Компоненты Globus Toolkit • GT4 Common Runtime

  3. Предпосылки возникновения Globus Toolkit

  4. Образование GT Предпосылка к разработке GT: • проект I-WAY, стартовавший в 1995 г. В ходе данного проекта были разработаны и апробированы: • процедуры аутентификации; • процедуры резервирования ресурсов; • планировщик ресурсов; • специальное клиентское обеспечение (I-POP).

  5. Основные приложения грид • Интенсивные вычисления • Интерактивное моделирование (моделирование климата); • Задачи широкомасштабного анализа (формирование галактик, гравитационные волны); • Инженерные задачи (параметрические задачи; связанные модели). • Большой объем данных • Анализ экспериментальных данных; • Анализ изображений и сенсоров (астрономия, климат). • Распределенные взаимодействия • Задачи удаленной визуализации, онлайн-инструментов; • Инженерные задачи.

  6. Предпосылки к созданию GT В процессе разработки проекта I-WAY были выявлены следующие проблемы разработки распределенных систем: • слишком много различных систем обеспечения безопасности; • слишком много различных систем планирования/исполнения заданий; • слишком много различных систем хранения данных; • слишком много различных систем мониторинга/обмена сообщениями и т.п.

  7. Основатели GT Ian Foster – Associate Division Director in the Mathematics and Computer Science Division at Argonne National Laboratory; Professor in the Department of Computer Science at the University of Chicago Carl Kesselman – Director of Center for Grid Technologies (Information Sciences Institute of University of Southern California);

  8. Роль GT в создании грид-приложений

  9. Роль GT в создании грид-приложений • Набор решений для проблем, которые часто возникают при создании распределенного приложения • Гетерогенность • Задача GT – помочь разработчикам преодолеть проблемы, возникающие из-за гетерогенности вычислительной среды. • Стандарты • GT основывается на существующих стандартах, принятых IETF, W3C, OASIS, GGF;

  10. Разработка грид-приложения без GT A Выч.сервер Программа моделирования B Выч.сервер Webбаузер Webпортал Служба регистрации Камера Просмотр данных Удаленный монитор Камера Чат C Служба б/д Каталог данных Реестр Сертификатов D • Служба • б/д Авторизация E • Служба • б/д Пользователи работают с клиентскими приложениями Коллективные службыобъединяют или виртуализуют ресурсы • Ресурсы реализуют стандартный интерфейс доступа и управления Службы приложений организуют ВО и обеспечивают доступ к другим службам

  11. Разработка грид-приложенияс использованием GT • Globus • GRAM Выч.сервер Программа моделирования • Globus • GRAM Выч.сервер Webбаузер CHEF Globus Index Service Камера Просмотр данных Удаленный монитор Камера CHEF Сhat Teamlet Globus DAI Служба б/д Globus MCS/RLS MyProxy • Globus • DAI • Служба • б/д Авторизация • Globus • DAI • Служба • б/д Пользователи работают с клиентскими приложениями Коллективные службыобъединяют или виртуализуют ресурсы • Ресурсы реализуют стандартный интерфейс доступа и управления Службы приложений организуют ВО и обеспечивают доступ к другим службам

  12. GT – стандартная инфраструктура для Грид • НЕ готовые решения, а строительные блоки и инструментарий для разработчиков • Зачем изобретать, если можно использовать? • Совместимость с другими Грид-системами бесплатно • На сегодняшний день, интерфейсы GT используются разработчиками • Относительно немного интерфейсов для конечных пользователей; • Не предназначены для прямого использования кончеными пользователями (учеными, инженерами и т.п.)

  13. Брешь между приложениями и инфраструктурой Динамические и/или распределенные приложения Распределенная вычислительная среда

  14. Грид-инфраструктура Пользователи • Сервис-ориентированные приложения • Приложения как службы • Объединение служб в потоки заданий • Сервис-ориентированная инфраструктура Грид • Поддержка физических ресурсов для обеспечения рабочей нагрузки Композиция Потоки задач Вызов Служба Служба Поддержка

  15. Грид-инфраструктура • Распределенное управление • Физическими ресурсами • Службами ПО • Сообществами и политиками • Универсальное средство связи • Основано насистеме Web-служб; • Использует WSRF, WS-Notification для обеспечения состояния WS-ресурсов; • Стандартные абстракции и интерфейсы управления.

  16. Globus Toolkit 4 и WSRF

  17. Состояния службы • Как клиент: • узнает, удачно ли перемещение? • узнает количество переданных файлов? • получит извещения об произошедших событиях? • отменит запрос? FileTransferService Client move (A to B) move

  18. FileTransferServiceбез WSRF • Разработчик изобретает велосипед для каждой новой службы: • Собственные механизмы управления и идентификации состояния (transferID). • Собственная реализация для синхронных (whatHappen) и асинхронных (tellMeWhen) операций. • Собственная реализация управления временем жизни (cancel). FileTransferService Client move (A to B) : transferID move whatHappen state tellMeWhen cancel

  19. Resource RPs Пара слов о WSRF • Служба • Представление состояния • Resource • Resource Property • Идентификация • Endpoint Reference • Интерфейсы состояния • GetRP, QueryRPs, GetMultipleRPs, SetRP • Интерфейсы времени жизни • SetTerminationTime • ImmediateDestruction • Извещения • Subscribe • Notify Service GetRP GetMultRPs EPR EPR EPR SetRP QueryRPs Subscribe SetTermTime Destroy

  20. Transfer RPs FileTransferServiceна основеWSRF • Разработчик специфицирует метод createResource. За все остальное отвечает WSRF: • Идентификация ресурса посредством ссылки на конечную точку (EPR); • Состояние может быть получено посредством стандартных интерфейсов (GetRP, QueryRPs) • Стандартное управление временем жизни (Destroy) FileTransferService Client createResource createResource (A to B) : EPR getRP queryRPs destroy

  21. OGSA, GT4, WSRF и WS

  22. Компоненты Globus Toolkit

  23. GT как коллекция компонентов • Набор слабосвязанных компонентов включающий: • службы и клиентов; • библиотеки; • средства разработки. • Компоненты GT используются для построения грид-приложений и служб • можно рассматривать GT как SDK для Грид • Компоненты GT можно разбить на категории по двум различным направлениям: • по базовой проблемной области; • по поддерживаемым протоколам.

  24. Протоколы GT • Протоколы Web-служб • WSDL, SOAP • WS-Addressing, WSRF, WS-Notification • WS-Security, SAML, XACML • WS-Interoperability • Протоколы НЕ Web-служб • Стандартизованные протоколы (GridFTP) • Другие протоколы

  25. Globus Toolkit 2 (1997) Компоненты на базе Web-служб Pre-WS Authentication Authorization GridFTP Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) C Common Libraries Компоненты не-WS Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  26. Globus Toolkit 3 (2003) CommunityAuthorization Data Access & Integration Компоненты на базе Web-служб WS Authentication Authorization Reliable File Transfer Grid Resource Alloc. Mgmt (WS GRAM) MDS3 Java WS Core Pre-WS Authentication Authorization GridFTP Grid Resource Alloc. Mgmt (GRAM) Monitoring & Discovery (MDS) C Common Libraries Replica Location eXtensible IO (XIO) Компоненты не-WS Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  27. Globus Toolkit 4 (2005) Core Contrib/Preview Grid Telecontrol Protocol Depre-cated Delegation Data Replication Community Scheduling Framework WebMDS Python WS Core CommunityAuthorization Data Access & Integration Workspace Management Trigger C WS Core Компоненты на базе Web-служб Authentication Authorization Reliable File Transfer Grid Resource Allocation & Management Index Java WS Core Pre-WS Authentication Authorization GridFTP Pre-WS Grid Resource Alloc. & Mgmt Pre-WSMonitoring & Discovery C Common Libraries Компоненты не-WS Credential Mgmt Replica Location eXtensible IO (XIO) Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  28. Компоненты GT 4 Your Python Client Your C Client КЛИЕНТ Your Java Client Ваш клиент (Python) Ваш клиент (С) Ваш клиент (Java) Your Python Client Your C Client Your Java Client Ваш клиент (Python) Ваш клиент (С) Ваш клиент (Java) Совместимые с WS-I сообщения SOAP X.509 сертификаты= общая аутентификация Trigger Archiver Ваша служба (С) GRAM RFT Delegation Index CAS OGSA-DAI GTCP Ваша служба (Python) Your Java Service Ваша служба (Java) Pre-WS MDS RLS GridFTP SimpleCA MyProxy Pre-WS GRAM C WS Core pyGlobus WS Core Службы Java наApache Axis плюсбиблиотеки и обработчики GT Хостинг на Python, библиотеки GT Службы на C, использующие библиотеки GT СЕРВЕР

  29. GT4 Common Runtime

  30. Data Replication CredentialMgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Runtime Reliable File Transfer CommunityAuthorization Workspace Management Trigger C Runtime Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Runtime Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  31. Среда исполнения Web-службGT4 (GT4 Web Services Runtime) • Поддерживаеткак службы GT (Grid Resource Allocation and Management, Delegation и др.) и пользовательские службы • Основывается на существующих стандартах WS: • WS-Interoperability: WSDL, SOAP • WS-Security, WS-Addressing • Поддерживает новые стандарты WS • WS-Resource Framework, WS-Notification • Хостинг на Java, Python, C • Java – стандартный Apache

  32. Resource RPs Кратко о GT4 WS Core Реализация WSRF: Resources, EndpointReferences, ResourceProperties Service Поставщик операций: подготовленная реализация операций WSRF GetRP GetMultRPs EPR EPR EPR SetRP Реализация оповещений: Topics, TopicSet, Embedded Notification Consumer service QueryRPs Subscribe SetTermTime Реализация ресурсов (ReflectionResource, PersistentReflectionResource) и свойств ресурсов (SimpleResourceProperty, ReflectionResourceProperty) Destroy

  33. Service Container Service Service Service GetRP GetRP GetRP GetMultRPs GetMultRPs GetMultRPs EPR EPR EPR EPR EPR EPR EPR EPR EPR SetRP SetRP SetRP Resource Resource Resource QueryRPs QueryRPs QueryRPs RPs RPs RPs Subscribe Subscribe Subscribe SetTermTime SetTermTime SetTermTime ResourceHome ResourceHome ResourceHome Destroy Destroy Destroy Кратко о GT4 WS Core Контейнер служб: набор служб хранится в едином контейнере внутри одного процесса JVM Хост основан на контейнере служб ApacheAXIS, и позволяет обрабатывать SOAP-сообщения

  34. Service Container Service Service Service GetRP GetRP GetRP GetMultRPs GetMultRPs GetMultRPs EPR EPR EPR EPR EPR EPR EPR EPR EPR SetRP SetRP SetRP Resource Resource Resource QueryRPs QueryRPs QueryRPs RPs RPs RPs Subscribe Subscribe Subscribe SetTermTime SetTermTime SetTermTime ResourceHome ResourceHome ResourceHome Destroy Destroy Destroy Кратко о GT4 WS Core Безопасное взаимодействие: Уровень транспорта, сообщений, диалога (Транспортный уровень – лучшая производительность) PIP PDP Настраиваемые политики безопасности: Policy Information Points (PIPs), Policy Decision Points (PDP) Примеры PDP авторизации: GridMap, SAML,XACML

  35. Service Container Service Service Service GetRP GetRP GetRP GetMultRPs GetMultRPs GetMultRPs EPR EPR EPR EPR EPR EPR EPR EPR EPR SetRP SetRP SetRP Resource Resource Resource QueryRPs QueryRPs QueryRPs RPs RPs RPs Subscribe Subscribe Subscribe SetTermTime SetTermTime SetTermTime ResourceHome ResourceHome ResourceHome Destroy Destroy Destroy Кратко о GT4 WS Core WorkManager: “пул потоков”, независимый менеджер задач PIP PDP Apache Database Connection Pool library (Реализация JDBC “DataSource”) JNDI Directory: управление внутренними разделенными объектами(ResourceHomes, WorkManager, Configuration objects,…) WorkManager DB Conn Pool JNDI Directory

  36. Apache Tomcat Service Container Service Service Service GetRP GetRP GetRP GetMultRPs GetMultRPs GetMultRPs EPR EPR EPR EPR EPR EPR EPR EPR EPR SetRP SetRP SetRP Resource Resource Resource QueryRPs QueryRPs QueryRPs RPs RPs RPs Subscribe Subscribe Subscribe SetTermTime SetTermTime SetTermTime ResourceHome ResourceHome ResourceHome Destroy Destroy Destroy Кратко о GT4 WS Core Контейнер предоставляющий службы (“отдельный” или внутри Apache Tomcat) PIP PDP WorkManager DB Conn Pool JNDI Directory

  37. Пользовательские приложения Пользова- тельские Web-службы WSRF Пользова- тельские Web-службы GT4Web-службы WSRF Управление регистром GT4 Container WS-Addressing, WSRF, WS-Notification WSDL, SOAP, WS-Security GT4 Web Services Runtime

  38. Моделирование состояния в Web-службах Выделение ресурсов Создать WS-ресурс Адрес ресурса • Инспекция состояния • Управление временем жизни • Оповещения Поиск WS-ресурсы Зарегистрировать WS-ресурс Аутентификация и авторизация применяются ко всем запросам Служба фабрики Запрос службы (например, пользовательское приложение) Регистр Взаимодействия стандартизованы посредством WSDL и SOAP

  39. WSRF иWS-Notification • Именование и связывание (основа виртуализации) • На каждый ресурс может быть получена уникальная ссылка • Жизненный цикл (основа устойчивого к ошибкам управления) • Ресурсы создаются службами посредством патерна «Фабрика» • Ресурсы удаляются незамедлительно или резервируются • Информационная модель (основа мониторинга и поиска) • Свойства ресурсов связаны с ресурсами • Есть операции запроса и установки свойств • Асинхронное оповещение об изменении свойств • Группы служб (основа регистров, коллективных служб) • Правила групп и управление группами • Базовые типы ошибок

  40. Сравнение платформ WSRF/WS-N (HPDC 2005)

  41. Ссылки и литература • Я. Фостер, К. Кессельман, Д.М. Ник, С. Тьюке “ФИЗИОЛОГИЯ ГРИД”. Открытая архитектура грид-служб для интеграции распределённых систем. [http://www.gridclub.ru/library/publication.2004-11-29.8307957187/publ_file/] • BorjaSotomayor. The Globus Toolkit 4 Programmer’s Tutorial. November 2005. http://gdp.globus.org/gt4-tutorial/download/progtutorial-pdf_0.2.1.tar.gz]

  42. Презентации

  43. Спасибо за внимание! Ваши вопросы? Страница курса: http://dom.susu.ru/grid.htm Радченко Глеб Игоревич, каф. СП, ЮУрГУ

More Related