1 / 45

Грид технологии

Грид технологии. Лекция 7 Архитектура Globus Toolkit. Радченко Глеб Игоревич, каф. СП, ЮУрГУ. http://dom.susu.ru/grid.htm. Содержание. Обеспечение безопасности в GT4 Компоненты управления данными Управление выполнением задач Информационные службы. Обеспечение безопасности в GT4.

marcel
Download Presentation

Грид технологии

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Грид технологии Лекция 7 Архитектура Globus Toolkit Радченко Глеб Игоревич, каф. СП, ЮУрГУ http://dom.susu.ru/grid.htm

  2. Содержание • Обеспечение безопасности в GT4 • Компоненты управления данными • Управление выполнением задач • Информационные службы

  3. Обеспечение безопасности в GT4

  4. Globus Toolkit v4 www.globus.org Data Replication CredentialMgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Runtime Reliable File Transfer CommunityAuthorization Workspace Management Trigger C Runtime Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Runtime Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  5. Безопасность GT • Контроль доступа к разделенным ресурсам • Обеспечение управления доступом, например разделение политик доступа для рабочих групп • Поддержка многопользовательских объединений • Объединение посредством взаимно-доверяемых служб • Поддержка динамического определения доверяемых областей пользователями и ВО • Персональная (или ВО) коллекция ресурсов, которые работают вместе на базе доверия пользователя (ВО).

  6. Безопасность GT4 SSL/WS-Security c сертификатами доступа Authz Callout: SAML, XACML Службы (работают на стороне пользователя) Доступ Вычислительный центр Права CAs или VOMs выпускают сертификаты SAML или X.509 Права ВО MyProxy Local policy on VO identity or attribute authority Права KCA Пользователи

  7. Безопасность GT4 • Аутентификация на основе открытого ключа • Расширяемая инфраструктура авторизации на основе стандартов Web-служб • Идентификатор авторизации SAML • Интегрированный механизм обработки политик • язык XACML и т.п. • Службы управления сертификатами • MyProxy • Служба Групповой Авторизации • Отдельная служба делегирования

  8. Использование стандартов безопасности GT4 Поддерживается но медленный Самый быстрый по умолчанию Поддерживается но не безопасный

  9. Интеграция GT и XACML • eXtensible Access Control Markup Language — расширяемый язык разметки контроля доступа • стандарт OASIS, открытая реализация • XACML: сложный язык работы с политиками • GT предоставляет среду исполнения XACML • Включена в каждом клиенте и сервере GT • … которая может быть прозрачно вызвана из среды исполнения или пользовательского приложения.

  10. Инфраструктура авторизации GT 10

  11. Другие службы безопасности 11 • MyProxy • Упрощенное управление сертификатами • Интеграция с Web-порталами (Tomcat) • Поддержка единого входа • KCA & kx.509 • Интеграция с доменами Kerberos • SimpleCA • Генерация сертификатов Online

  12. Компоненты управления данными

  13. Globus Toolkit v4 www.globus.org Data Replication CredentialMgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Runtime Reliable File Transfer CommunityAuthorization Workspace Management Trigger C Runtime Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Runtime Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  14. GT4 Data Management • Хранение/перемещениебольших объемов данных с/наузлы • GridFTP, Reliable File Transfer (RFT) • Отдельно, и интегрировано с GRAM • Определение местонахождениянеобходимой информации • Replica Location Service (RLS) • Репликиданных для увеличения производительности • Distributed Replication Service (DRS) • Обеспечение доступак различным источникам данных • Файловые системыпараллельные файловые системы, иерархические системы хранения: GridFTP • Базы данных: OGSA DAI

  15. GridFTP в GT4 • Поддержка IPv6 • Расширенный ввод/вывод (XIO) для различных транспортных протоколов • Разделение на полосы (Striping) скорости передачи данных порядка мульти-Gb/sec • 27 Gbit/s на 30 Gbit/s канале • Подключаемый • Front-end: канал, контролируемый WS • Back-end: HPSS, кластерная файловая система • Передача: UDP, NetBLTtransport

  16. IPCReceiver DataChannel DataChannel MasterDSI SlaveDSI Protocol Interpreter SlaveDSI Protocol Interpreter IPCReceiver Data Channel Data Channel MasterDSI IPC Link IPC Link Reliable File Transfer:надежный протокол передачи 16 • Передача: запустил и забыл • Интерфейс Web-служб • Интегрированная система • восстановления RFT Client SOAP Messages Notifications(Optional) RFT Service GridFTP Server GridFTP Server

  17. Replica Location Service • Позволяет определить положение файлов посредством карты имен: логических в физические • Распределенный индекс имен • Управление ~40 миллионами файлов на ~10 сайтах Index Index

  18. OGSA-DAI • Предоставляет сервисно-ориентированный доступ к структурированным ресурсам данных как часть системы Globus • Определяет интерфейсы доступа к различным типам хранилищ данных (начиная с реляционных и XML)

  19. OGSA-DAI: инфраструктура для разработки приложений • Поддерживает доступ к данным • Реляционные: MySQL, Oracle, DB2, SQL Server, Postgres • XML: Xindice, eXist • Файлы– CSV, BinX, EMBL, OMIM, SWISSPROT,… • Поддерживает передачу данных • SOAP надHTTP • FTP; GridFTP • E-mail • Inter-service • Поддерживает трансформацию данных • XSLT • ZIP; GZIP • Поддерживает безопасность • X.509 certificate based security

  20. Инфраструктура OGSA-DAI Application Client Toolkit 20 OGSA-DAI service Engine XPath readFile SQLQuery GZip XSLT GridFTP Действия JDBC XMLDB File Ресурсы данных DB2 SQL Server MySQL XIndice SWISS PROT Базы данных

  21. SQL SQL SQL SQL JDBC JDBC JDBC JDBC Пример расширения OGSA-DAI service Engine SQLQuery SQLQuery Multiple SQL GDS JDBC MySQL

  22. OGSA-DAI: другие свойства • Инфраструктура для создания клиентов • Библиотека Client Toolkit library • Инфраструктура для разработки функциональности • Возможность расширения существующих или создания собственных действий • Возможность объединения действий • Высоко-расширяемая • Возможность «затачивать» продукт • Разработка собственных служб, клиентских приложений и собственной функциональности (в зависимости от данных)

  23. Управление выполнением задач

  24. Data Replication CredentialMgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Runtime Reliable File Transfer CommunityAuthorization Workspace Management Trigger C Runtime Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Runtime Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  25. Управление исполнением (GRAM) 25 • Общий интерфейс для планировщиков на основе WS • Unix, Condor, LSF, PBS, SGE, … • Обобщенно: интерфейс для управления процессами • Формирование среды исполнения • Загрузка данных • Мониторинг и управление жизненным циклом • Завершение работы, очистка

  26. Архитектура GT4 WS GRAM Service host(s) and compute element(s) 26 Job events SEG GT4 Java Container Compute element GRAM services Local job control GRAM services Local scheduler Job functions sudo GRAM adapter Delegate Transfer request Client Delegation Delegate GridFTP User job RFT File Transfer FTP control FTP data Remote storage element(s) GridFTP

  27. Архитектура GT4 WS GRAM Service host(s) and compute element(s) 27 Job events SEG GT4 Java Container Compute element GRAM services Local job control GRAM services Local scheduler Job functions sudo GRAM adapter Delegate Transfer request Client Delegation Delegate GridFTP User job RFT File Transfer FTP control FTP data Remote storage element(s) GridFTP Сертификат может быть передан приложению

  28. Архитектура GT4 WS GRAM Service host(s) and compute element(s) 28 Job events SEG GT4 Java Container Compute element GRAM services Local job control GRAM services Local scheduler Job functions sudo GRAM adapter Delegate Transfer request Client Delegation Delegate GridFTP User job RFT File Transfer FTP control FTP data Remote storage element(s) GridFTP Сертификат может быть передан для авторизации в RFT

  29. Архитектура GT4 WS GRAM Service host(s) and compute element(s) 29 Job events SEG GT4 Java Container Compute element GRAM services Local job control GRAM services Local scheduler Job functions sudo GRAM adapter Delegate Transfer request Client Delegation Delegate GridFTP User job RFT File Transfer FTP control FTP data Remote storage element(s) GridFTP Сертификат может быть использован для аутентификации В GridFTP

  30. Производительность WS GRAM 30 • Время постановки базового задания GRAM • Pre-WS GRAM: < 1 секунды • WS GRAM: 2 секунды • Максимальное количество заданий • Pre-WS GRAM: 300 заданий • WS GRAM: 32,000 заданий (максимум папок в директории)

  31. Workspace Service: Службарабочего пространства 31 Политика Задача Согласование доступа Инициация задачи Мониторинг задачи Контроль задачи Клиент Окружение Поставщик ресурса Интерфейс

  32. Задачи могут быть вложенные 32 Клиент Политика Клиент Клиент Среда Поставщик ресурсов Интерфейс

  33. Установить службу JVM Установить контейнер JVM Установить виртуальную машину VM VM Установить гипервизор/OS Гипервизор/OS Обеспечить аппаратные ресурсы Физическая машина Например 33 Инициация, управление имониторинг на всех уровнях

  34. Динамическое развертывание служб 34 Сообщество А Сообщество Z … • Групповые механизмы планирования • Распределение данных • Групповой менеджмент • Научные службы • ... • Требования: • Управление • группами • Устойчивость • Гарантированные • ресурсы • Изолированность • (принцип • «невмешательства»)

  35. Затраты на использование виртуальных машин 35 Job in booted VM GRAM job in paused VM GRAM job

  36. Информационные службы

  37. Data Replication CredentialMgmt Replica Location Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework WebMDS Python Runtime Reliable File Transfer CommunityAuthorization Workspace Management Trigger C Runtime Authentication Authorization GridFTP Grid Resource Allocation & Management Index Java Runtime Security Data Mgmt Execution Mgmt Info Services CommonRuntime

  38. Мониторинг и обнаружение 38 • Должны поддерживаться стандартные механизмы мониторинга и обнаружения служб • WSRF/WSN предоставляют такие механизмы • Общая инфраструктура для сбора информации: • MDS-Index: кешируемые Xpath запросы • MDS-Trigger: выполнение действия по условию • Глубокая интеграция с контейнерами и службами Globus: каждая служба GT4 может быть обнаружена • GRAM, RFT, GridFTP, CAS, …

  39. Мониторинг и обнаружениеслужб GT4 Клиенты (WebMDS) 39 GT4 Container WS-ServiceGroup MDS-Index Регистрация и доступ WSRF/WSN adapter GT4 Cont. GT4 Container MDS-Index MDS-Index Особые протоколы для не-WS сущностей Автомат. регистрация в контейнере GridFTP RFT GRAM User

  40. Производительность сервера индекса 40 • По мере роста индекса MDS4, замедляется время обработки запроса, хотя и менее чем линейно • Время ответа увеличивается в связи с увеличивающимся объемом передаваемых данных • Ответ перестраивается под каждый запрос

  41. Поставщики информации 41 • Поставщики информации (information providers) GT4 собирают информацию с определенной системы и предоставляют в виде свойств ресурса WSRF • Количество поставщиков информации постоянно растет • Ganglia, CluMon, Nagios • SGE, LSF, OpenPBS, PBSPro, Torque • Множество попыток разработки новых поставщиков • Например мониторинг сетей, систем хранения, сенсоров

  42. Выводы GT4 42 Your Python Client Your C Client КЛИЕНТ Your Java Client Ваш клиент (Python) Ваш клиент (С) Ваш клиент (Java) Your Python Client Your C Client Your Java Client Ваш клиент (Python) Ваш клиент (С) Ваш клиент (Java) Совместимые с WS-I сообщения SOAP X.509 сертификаты = общая аутентификация Trigger Archiver Ваша служба (С) GRAM RFT Delegation Index CAS OGSA-DAI GTCP Ваша служба (Python) Your Java Service Ваша служба (Java) Pre-WS MDS RLS GridFTP SimpleCA MyProxy Pre-WS GRAM C WS Core pyGlobus WS Core Службы Java на Apache Axis плюсбиблиотеки и обработчики GT Хостинг на Python, библиотеки GT Службы на C, использующие библиотеки GT СЕРВЕР

  43. Ссылки и литература • Я. Фостер, К. Кессельман, Д.М. Ник, С. Тьюке “ФИЗИОЛОГИЯ ГРИД”. Открытая архитектура грид-служб для интеграции распределённых систем. [http://www.gridclub.ru/library/publication.2004-11-29.8307957187/publ_file/] • BorjaSotomayor. The Globus Toolkit 4 Programmer’s Tutorial. November 2005. http://gdp.globus.org/gt4-tutorial/download/progtutorial-pdf_0.2.1.tar.gz] • Globus Toolkit 4.2.1 Release Manuals [http://www-unix.globus.org/toolkit/docs/4.2/4.2.1/]

  44. Презентации

  45. Спасибо за внимание! Ваши вопросы? Страница курса: http://dom.susu.ru/grid.htm Радченко Глеб Игоревич, каф. СП, ЮУрГУ

More Related