Гибридный суперкомпьютер «МВС-экспресс» и его применение

1. Гибридный суперкомпьютер«МВС-экспресс» и его применение ЧетверушкинБ.Н. ИПМ им. М.В.КелдышаРАН

2. ИПМ им. М.В.Келдыша РАН традиционно занимается разработками в области вычислительной техники: ЭВМ-”Стрела”, тема-”Лазурь”, МВС-100 и МВС-1000. Активизация нынешнего этапа работ связана с появлением в 2007 г. четырехядерных процессоров. Первые расчеты показали принципиальное отличие в использовании многоядерных процессоров от одноядерных MPI+OPEN MP особые требования к вычислительным алгоритмам – логически простые и эффективные.

3. Существующие типы вычислительных систем на базе четырехядерных процессоров имеют естественное ограничение по производительности ~1PFLOPS, вызванное стоимостью системы и ее энергопотреблением. Современные тенденции будут связаны с появлением процессоров со все большим количеством ядер. Вычислительные системы основанные на них обладают существенно меньшей стоимостью и энергопотреблением. Графические платы – пример существенно многоядреных процессоров.

4. Расчеты на суперкомпьютере Ломоносов с использованием до 12800 ядер ●Задача “струя, набегающая на цилиндр”. Совместные с ЦАГИ исследования по локализации источников шума в турбулентном следе (обтекание стоек шасси самолета) Вид сверху, поле модуля скорости ●Параметры задачи Re=14000, M=0.2 Сетка 16M узлов, 100M тетраэдров, 4-шаговый метод Runge-Kutta 4-го порядка по времени, Схема повышенного порядка с центром в узлах. ●Характерное время вычислений: 26.8 сек. на шаг по времени на 64 ядрах, 0.175 сек. на 12800 ядрах, нормализованное ускорение 152.6. Вид сбоку, поле модуля скорости Адаптированная неструктурированная тетраэдральная сетка Вид сбоку, поле завихренности Ускорение MPI, 8 OpenMP нитей (логарифмическая шкала) Изоповерхности модуля скорости

5. Трудности программирования и особо жесткие требования к вычислительным алгоритмам и, как следствие, заметное ограничение области применения. Цель работы – создание относительно недорогого вычислительного комплекса для нахождения архитектурных, программных и алгоритмических решений для вычислительных систем на базе существенно многоядреных процессоров. Экзафлопсная инициатива.

6. Структурная схема опытного образца суперкомпьютера «МВС – экспресс». Пиковая производительность около ~6 TFLOPS.

7. Гибридная архитектура основана на традиционном вычислительном кластере, каждый узел которого снабжен сопроцессором (ускорителем) нетрадиционной архитектуры. При гибридном подходе, часть работы программист может выполнить в привычных старых терминах, отдельно от изучения собственно новых архитектур. Межузловую сеть следует усилить, оптимизировать по задержкам и упростить с точки зрения программирования.

8. В качестве ускорителей были выбраны готовые серийно выпускаемые GP GPU. В качестве сети – сеть собственной (совместно с ФГУП «Квант») разработки. Сеть оптимизирована под модель программирования PGAS (разделенное глобальное адресное пространство), -простейший вариант библиотека shmem, что не исключает использование MPI.

9. Задача оптимизации алгоритма – поиск подлежащих ускорению фрагментов обработки с максимальной локальностью обращений к памяти и максимальной простотой работы с памятью. Пути решения этой задачи почти инвариантны к конкретной используемой архитектуре специального вычислителя – это общая проблема многоядерности.

10. Какие задачи хорошо адаптируются к предлагаемой архитектуре - для которых можно построить логически простые и в то же время эффективные алгоритмы. Задачи, описывающие перенос излучений, молекулярная динамика. Алгоритмы, основанные на явных схемах для решения задач математической физики. Для явных разностных схем при решении параболических уравнений существует проблема жесткого ограничения на шаг по времени для устойчивости счета.

11. Q3 O Q2 Q1 Моделирование поглощения гамма-излучения. Описание многокомпонентного объекта и его трассировка. Траектории фотонов в цилиндре

12. Схема многоядерной реализации алгоритма

13. Структура распределения поглощенной энергии по энергетическим ячейкам. Полученное ускорение расчета: с использованием одного видеоадаптера nVidia GeForce GTX 275 ~80 раз, при использовании ускорителя nVidia Tesla ~320 раз, при использовании четырёх узлов гибридного кластера ~570 раз.

14. Численное моделирование трансзвукового обтекания головных частей ракет-носителей Трансзвуковая перестройка течения.

15. Ускорение счета с использованием GPU Сравнение расчетных и экспериментальных данных

16. Расчет обтекания препятствия. Уравнения Эйлера. Разностная схема С.К.Годунова.

17. Квазигазодинамическая система уравнений

18. Введение дополнительного релаксационного параметра для увеличения допустимого шага по времени.

19. Расчет течения несжимаемой жидкости в полости. Алгоритм на основе квазигазодинамической системы уравнений. Расчет с 2-й точностью

20. Задача о вытекании жидкости из контейнера

21. Мгновенные линии тока

22. Линии тока в диагональном сечении

23. Кинетический подход к моделированию течений в пористых средах • Тестовые расчеты притока жидкости к нефтедобывающей скважине Классическая модель Модифицированная модель

24. Расчет на GPUs задачи о двухфазном просачивании загрязняющих веществ в почву Постановка задачи и поле насыщенности загрязняющего вещества (тетрахлорэтилен) Ускорение расчетов на GPU по сравнению с 1 ядром CPU

25. Предполагаемый Супер-компьютер ИПМ им. М.В.Келдыша РАН производительностью 100 TFLOPS, энергопотребление комплекса до 70 кВт, стоимость проекта 65 млн.р. Моделирование задач гидро- и газовой динамики. Прогнозирование аварийных ситуаций в космическом пространстве. Моделирование процессов неразрущающего контроля. Решение задач молекулярной динамики. Моделирование добычи углеводородного сырья.

26. Опытный образец супер-компьютера «МВС-ЭКСПРЕСС»

27. CPU AMDOpteron 2382 CPU AMDOpteron 2382 Media and Communications Processor nVidia MCP55 PRO Адаптер МВС-Экспресс GPU Nvidia GeForce 295GTX Сетевая карта HDD 320ГБ Структурная схема вычислительного узла SDRAM 8ГБ Аппаратура: • Процессор 2 x Opteron 2382Частота 2600MГц 7 доступных задаче пользователя ядер. • Двухканальная оперативная память PC5400 16 ГБайт • Диск SATA 320Gb • Сетевая карта Gigabit Ethernet. • Видеокарта nVidia GeForce 295GTX 2 x 240 GPU с частотой 1242 МГц 1 ГБайт SDRAM • Коммуникационный адаптер МВС-экспрессCкорость до 700 Мбайт/с • Латентность ~1,2 мкс • Время выдачи слова ~ 70 нс • Время чтения слова ~ 2,5 нс • Программное обеспечение: • Операционная система SuSE Linux Enterprise Server • Распараллеливание вычислений shmem-экспресс. SDRAM 8ГБ 2 х DDR2 2 х 5,4 ГБайт/c 2 х DDR2 2 х 5,4 ГБайт/c HyperTransport ~ до 16 ГБайт/с HyperTransport ~ до 16 ГБайт/с Gigabit Eternet 1Гбит/c Serial ATA 3 Гбит/с PCI-Express x16 4 ГБайт/c PCI-Express x4 1 ГБайт/c

28. Коммутатор PCI-Express Сумм. пропускная способность - 160 Гбит/с Максимальный размер пакета - 256 байт Количество каналов LAN-4х- 8 шт. Изготовитель - Квант, 2009 год Измеренные значения: Скорость записи массива (500000 слов) - 681 Мбайт/с Скорость чтения массива (500000 слов)-476 Мбайт/с Латентность обменов - 2,1 мкс

29. Адаптер PCI-Express • Интерфейс PCI-Express x4 • Cкорость до 700 Мбайт/с • Латентность ~1,2 мкс • Время выдачи слова ~ 70 нс • Время чтения слова ~ 2,5 нс