1 / 14

Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid

Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid. Власов Всеволод, 544 группа Научный руководитель : Краснощеков В.Е. Рецензент : Граничин О.Н. . . 14 июня 2007 года. Введение. SPMD – Single Program Multi Data

macon-fletcher
Download Presentation

Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Разработка методологии переноса вычислительно сложных SPMD задач на GPE Grid Власов Всеволод, 544 группа Научный руководитель: Краснощеков В.Е. Рецензент: Граничин О.Н. . . 14 июня 2007 года

  2. Введение • SPMD – Single Program Multi Data • Фиксированное число одинаковых заданий • Создание/удаление заданий не допускается • Грид - географически распределенная инфраструктура, объединяющая множество ресурсов разных типов • Децентрализованное управление ресурсами • Стандартные открытые протоколы • Высококачественное обслуживание • GPE – Grid Programming Environment

  3. Контекст работы • Студенческий проект “Grid Deploy & Development” • Студенты 3-5 курсов • Аспиранты • Поддержка компанией Intel • Исследование и разработка на базе грид • Лаборатория Intel • Контакты с учеными использующими грид в России

  4. Цель работы • В широком смысле – обеспечить минимальное время выполнения SPMD приложения • В узком смысле – разработать методологию переноса на грид-систему GPE имеющихся приложения вида: • Разделение (Split) • Вычисление (Calculate) • Объединение (Combine)

  5. Актуальность работы • Грид – перспективная технология • SETI@home – BOINC приблизительно в 1.5 раза производительнее чем самый мощный суперкомпьютер • CERN: EGEE; NorduGrid • SPMD – существенная часть задачрешаемых на гриде • GPE – особенности: • Кроссплатформенность • Запуск любых приложений (совместимых с целевой системой) • Возможность программирования workflow

  6. Основные компоненты GPE • Клиентскиеприложения • Контейнер • Управление и администрирование системы • Брокер • Распределение работ по целевым системам • Целевыесистемы • Workflow Target System • Управление рабочим потоком • Atomic Target System • Выполнение работ, запуск приложений

  7. Реализация: workflow • Разделение • Создание набора подзадач • Вычисление • Распределение подзадач • Решение подзадач • Пересылка результатов • Объединение • Соединение результатов • Пересылка решения

  8. Реализация: среда запуска • Интерфейс JobBean • Описание приложений на целевой системе • Параметры запуска • Набор входящих файлов • Набор файлов с результатами • Интерфейс TaskBean • Описание все видов работ (split, calculate, combine) • Количество параллельных подзадач

  9. Реализация: рабочий пример • Quaternions – приложение для построения инвариантных множеств рациональных отображений • Подготовка к переносу • Работа из командной строки • Разделение на три программы • QSplit • QCalculate • QCombine

  10. Реализация: приемы программирования • Пересылка файлов • Отправка работы на целевую систему • Запуск работы • Получение статуса работы • Операторы рабочего потока • Циклы • Условный оператор

  11. Результаты • Анализ GPE • Неудобство API • Проблема запуска нескольких работ с разными параметрами • Удобство созданной среды • Позволяет перенести на GPE приложение без глубокого понимания внутреннего устройства грид-системы

  12. Результаты • Запуск рабочего примера • Условия запуска • Лаборатория Intel, 6 целевых систем (atomic) • Измерения скорости работы • Двукратный выигрыш во времени по сравнению с последовательным запуском • Проблемы в работе брокера • Некоторые целевые системы выполняют несколько задач, в то время, как другие простаивают

  13. Перспективы • Работы над созданием брокера • Адаптивный брокер • Интерфейс GPE для подключения брокера • Использование созданной системы как тестовой средыпри моделировании различных брокеров • Внедрение системы расчетов на грид в практику работы отделения механики • Генерация описанийболее сложных workflow • Институт Высокопроизводительных Вычислений

  14. Вопросы

More Related