Krajowy Klaster Linuxowy CLUSTERIX jako platforma gridowa do obliczeń wielkiej skali

1. Krajowy Klaster Linuxowy CLUSTERIX jako platforma gridowa do obliczeń wielkiej skali Roman Wyrzykowski Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska

2. Plan • Geneza, status, główne założenia projektu i architektura • Instalacja pilotowa • Oprogramowanie zarządzające (middleware) - technologie i architektura - integracja klastrów dynamicznych - system zarządzania zasobami i zadaniami - zarządzanie kontami użytkowników - intefejs dostępowy – portale gridowe • Aplikacje pilotowe • Uruchamianie aplikacji numerycznych na przykładzie systemu NuscaS • Podsumowanie

3. Klastry komputerów PC-Linux • Klastry komputerów PC stanowią obecnie dominujący typ systemów równoległych, przede wszystkim ze względu na ich niższy koszt niż tradycyjne superkomputery • Kluczowa rola oprogramowania Open Source, takiego jak system operacyjny LINUX • Klastry komputerów PC w Polsce - pierwszy w TASK - październik 2000 r. • drugi w Politechnice Częstochowskiej - styczeń 2001 r. • od 2003 roku dynamiczny rozwój na terenie całej Polski • Różnorodne architektury procesorów - Intel, AMD, 32- i 64-bitowe

4. Klaster ACCORD w PCz

5. ACCORD: Architektura

6. Narzędzia do zarządzania i monitorowania klastra Web Condor Interface Kompletny system do zarządzania i monitorowania klastra zintegrowany z www

7. SIECI NOWEJ GENERACJI POLSKIE PROJEKTY SIECIOWE – PIONIER (1Q05) Podobne rozwiązanie USA: National Lambda Rail

8. SIECI NOWEJ GENERACJI - PORÓWNANIE National Lambda Rail PIONIER • Docelowo 16 000 mil światłowodu • Transport: Cisco 15808 (max. 40 kanałów @ 10Gbit/s) • 4 lambdy (10G Ethernet LAN PHY): • sieć przełączanego Ethernetu 10Gbit/s (usługi typu LAN i połączenia na poziomie 1Gbit/s) • krajowa sieć IP • połączenie dla projektów badawczych (projekty obliczeniowe, teleprezencja itp.), • Internet2 – eksperymentalna dla badań nad nowymi usługami sieciowymi • 3000 km (docelowo 6000 km) • ADVA (max 32 kanały @ 10 Gb/s) • 1 lambda (10GEth LAN PHY ) • TAK • TAK • TAK • TAK kanały wirtualne, 2 lambdy – 3Q06

9. Status projektu CLUSTERIX • Projekt celowy MNiI „CLUSTERIX - Krajowy Klaster Linuxowy (National Cluster of Linux Systems)” • Uczestniczy 12 jednostek z całej Polski (MAN-y i KDM-y) • Politechnika Częstochowska jako koordynator • Faza badawczo-rozwojowa: 01.01.2004 - 30.09.2005 • Faza wdrożeniowa: 01.10.2005 – 30.06.2006 • Ogólny koszt – 5 340 000 zł, w tym dotacja MNiI - 2 500 000 zł, reszta to wkład własny uczestników projektu

10. Partnerzy • Politechnika Częstochowska (koordynator) • Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) • Akademickie Centrum Komputerowe CYFRONET AGH, Kraków • Trójmiejska Akademicka Sieć Komputerowa w Gdańsku (TASK) • Wrocławskie Centrum Sieciowo-Superkomputerowe (WCSS) • Politechnika Białostocka • Politechnika Łódzka • UMCS w Lublinie • Politechnika Warszawska • Politechnika Szczecińska • Uniwersytet Opolski • Uniwersytet w Zielonej Górze

11. Założenia projektu • Głównym celem realizacji projektu jest opracowanie narzędzi oraz mechanizmów umożliwiających wdrożenie produkcyjnego środowiska gridowego, • W konfiguracji bazowej udostępnia ono infrastrukturę lokalnych klastrów PC-Linux o architekturze 64-bitowej, połączonych szybką siecią kręgosłupową zapewnianą przez sieci PIONIER • Do infrastruktury bazowej podłączone zostaną zarówno istniejące, jak i nowe klastry, o zróżnicowanej architekturze 32- i 64-bitowej • W wyniku powstanie rozproszony klaster PC nowej generacji o dynamicznie zmieniającej się wielkości, w pełni operacyjny i zintegrowany z istniejącymi usługami, udostępnionymi przez inne projekty powstałe w ramach programu PIONIER

12. Realizowane zadania • Utworzenie środowiska produkcyjnego • Dostarczenie narzędzi i mechanizmów pozwalających na dynamiczną i automatyczną rekonfigurację infrastruktury • Umożliwi dołączanie kolejnych klastrów lokalnych 32- lub 64-bitowych • Instalacja pilotowa stanowi bazową infrastrukturę szkieletową połączoną siecią PIONIER • Rozwój oprogramowania narzędziowego • Zarządzanie danymi • System rozdziału zasobów z predykcją, monitorowanie • Zarządzanie kontami użytkowników i organizacjami wirtualnymi • Bezpieczeństwo • Zarządzanie zasobami sieciowymi, IPv6 • Interfejs użytkownika oraz administratora • Dynamiczne równoważenie obciążenia, mechanizm punktów kontrolnych • Rozwój aplikacji gridowych • Modelowanie zjawisk termomechanicznych w krzepnących odlewach • Symulacja przepływów transonicznych wokół skrzydła samolotu • Symulacje wielkiej skali przepływu krwi w mikrokapilarach metodą cząstek • Modelowanie molekularne • Dynamiczna wizualizacja terenu 3D z danych przestrzennych ·

13. CLUSTERIX:Architektura

14. Instalacja pilotowa (1) • 12 klastrów lokalnych stanowi szkielet systemu • Klastry lokalne budowane w oparciu o 64-bitowe procesory Intel Itanium2 1,4 GHz wyposażone w pamięci podręczne o wielkości 3 MB • 2 lub 4 GB pamięci operacyjnej RAM na procesor • Komunikacja wewnątrz klastrów lokalnych oparta o Gigabit Ethernet i InfiniBand (lub Myrinet) • Komunikacja pomiędzy klastrami lokalnymi odbywa się za pomocą dedykowanych kanałów 1 Gb/s udostępnianych przez sieć PIONIER

15. Instalacja pilotowa (2) • 252 x IA-64 w szkielecie • 800 x IA-64 w konfiguracji testowej - 4,5 TFLOPS • 3000+ km włókien optycznych o przepustowości 10Gbps (technologia DWDM) • w pełni wdrożone protokoły IPv4 oraz IPv6 Gdańsk Szczecin Białystok Poznań Warszawa Zielona Góra Łódź Lublin Wrocław Częstochowa Opole Kraków

16. CLUSTERIX:Architektura sieci Local Cluster Switch Clusterix Storage Element PIONIER Core Switch • Bezpieczny dostęp do sieci zapewniają routery ze zintegrowaną funkcjonalnością firewalla • Użycie dwóch VLAN-ów umożliwia separację zasobów obliczeniowych od szkieletu sieci • Wykorzystanie dwóchsieci z dedykowaną przepustowością 1 Gbps pozwala poprawić efektywność zarządzania ruchem w klastrach lokalnych Access Node 1 Gbps Backbone Traffic Computing Nodes Internet Network Communication &NFS VLANs Internet Network Access Router Firewall

17. Oprogramowanie zarządzające systemem CLUSTERIX- technologie • Tworzone oprogramowanie bazuje na Globus Toolkit 2.4 orazWEB serwisach • - możliwość powtórnego wykorzystania tworzonego oprogramowania • - zapewnia interoperacyjność z innymi systemami gridowymi na poziomie serwisów • TechnologiaOpen Source, w tym LINUX (Debian, jadro 2.6.x) orazsystemy kolejkowe (Open PBS, SGE) • - oprogramowanie Open Source jest bardziej podatne na integrację zarówno z istniejącymi, jak i z nowymi produktami • - dostęp do kodu źródłowego projektu ułatwia dokonywania zmian i ich publikację • - większa niezawodność i bezpieczeństwo • Szerokie wykorzystanie istniejących modułów programowych, np.brokera zadań z projektu GridLab,po dokonaniu niezbędnych adaptacji i rozszerzeń

19. Integracja klastrów dynamicznych:Założenia • Klastry dynamiczne (zewnętrzne) mogą być w prosty sposób (automatycznie) dołączane do szkieletu systemu CLUSTERIXaby: • zwiększyć dostępną moc obliczeniową • wykorzystać zasoby klastrów zewnętrznych w momentach, gdy są one nieobciążone (noce, weekendy …) • zapewnić skalowalność infrastruktury systemu

20. Integracja klastrów dynamicznych: Architektura • Nowe klastry weryfikowane pod względem: • zainstalowanego oprogramowania • certyfikatów SSL • Komunikacja za pośrednictwem routera/firewalla • System Monitorujący automatycznie wykrywa nowe zasoby • Nowe klastry udostępniają moc obliczeniową dla użytkowników PIONIER Backbone Switch Local Switch Internet Clusterix Core Router Firewall Dynamic Resources

21. Access node Access node Nodes Nodes Local switch Internet DYNAMIC CLUSTER Firewall/ router • Struktura wewnętrzna klastra dynamicznego – nieistotna z punktu widzenia procesudołączania Switch • Istotny – publiczny węzeł dostępowy • Klaster dynamiczny powinien utworzyć połączenie ze szkieletem za pośrednictwem sieci Internet Monitoring system • Połączenie via firewall z węzłem dostep. szkieletu Backbone network • Cały proces zarządzany przez system monitorujący Clusterix-a JIMS Dołączenie klastra dynamicznego

22. Podsumowanie: • Instalacja szkieletowa: • - 250+ procesów Itanium2 rozproszonych pomiędzy 12 klastrami lokalnymi na terenie Polski • Możliwość dołączenia klastrów dynamicznych z zewnątrz (klastry na Uczelniach, w kampusach) • - maksymalna instalacja zawierająca 800+ procesorów Itanium2 (4,5 Tflops) – jeszcze bez wykorzystania procedury automatycznego dołączenia

23. Wykonaniezadania w systemie CLUSTERIX Virtual User Account System User Interface Broker - GRMS CDMS Portal Globus SSH Session Server SSHSession Server PBS/Torque, SGE Checkpoint restart USER Grid

24. GRMS (1) • GRMS (Grid Resource Management System) jest systemem zarządzania zasobami i zadaniami w projekcie CLUSTERIX • Został stworzony w ramach projektu GridLab • Głównym zadaniem systemu GRMS jest zarządzanie całym procesem zdalnego zlecania zadań obliczeniowych do różnych systemów kolejkowych obsługujących klastry lokalne • GRMS został zaprojektowany jako zbiór niezależnych komponentów zajmujących się różnymi aspektami procesu zarządzania zasobami, wykorzystujących serwisy niskiego poziomu

25. GRMS (2) • GRMS bazuje na serwisach dostępnych w pakiecie Globus (GRAM, GridFTP) oraz w systemie zarządzania danymi CDMS i systemie monitorującym JIMS • GRMS udostępnia interfejs w formie web-serwisu (GSI-enabled), przez który mogą się do niego odwoływać wszyscy klienci (portale, klienci linii komend lub aplikacje) • Wszystkie wymagania użytkowników są specyfikowane przy pomocy specjalnych dokumentów XML, nazywanych opisami zadań GJD (GRMS Job Description), przy czym są one wysyłane do GRMS’a jako komunikaty SOAP poprzez połączenia GSI

26. Funkcjonalność systemu GRMS Z punktu widzenia końcowego użytkownika funkcjonalność systemu GRMS można podzielić na: • zlecanie zadań użytkownika i ich kontrolowanie • listowanie zadań użytkownika z uwzględnieniem zadanych kryteriów • zarządzanie zadaniami – migracja, zatrzymywanie, wznowienie, usuniecie • pobieranie informacji o zadaniach • znajdowanie zasobów spełniających wymagania użytkownika • zarządzanie powiadamianiem (notyfikacja)

27. <grmsjob appid="psolidify"> <simplejob> <resource> <localrmname>pbs</localrmname> <hostname>access.pcss.clusterix.pl</hostname> </resource> <executable type="mpi" count="6"> <file name="exec" type="in"> <url>file:////home/users/olas/opt/bin/psolidify</url> </file> <arguments> <value>/home/users/olas/calc/solid/large/40000/40000</value> </arguments> <stdout> <url>gsiftp://access.pcz.clusterix.pl/~/tmp/zad/out</url> </stdout> <stderr> <url>gsiftp://access.pcz.clusterix.pl/~/tmp/zad/err</url> </stderr> </executable> </simplejob> </grmsjob >

28. Zarządzanie kontami użytkowników w Gridach Klaster lokalny Grid !!! Główne (z naszej perspektywy) problemyto: • Problemy z zarządzaniem kontami użytkowników • Kwestia rozliczenia wykorzystanych zasobów • Niekompatybilność systemów kolejkowych • Problemy z transferem plików Integracja użytkowników z systemem w sposób przezroczysty i wygodny jest niezbędna w celu osiągnięcia maksymalnych korzyści.

29. System zarządzania zasobami + System Wirtualnych Użytkowników jsmith jsmith foo john js acc01 smith System Wirtualnych Użytkowników (VUS) Dotychczas użytkownik musiał posiadać oddzielne konto fizyczne na każdej maszynie

30. Globus PBS VUS dla Gridu

31. VUS dla Gridu • Zbiór ogólnodostępnych kont, które mogą być przyporządkowane kolejnym zadaniom • Możliwość zgłaszania zadań do innych maszyn i klastrów lokalnych • Automatyczny transfer plików • Uproszczona administracja kontami użytkowników • Pełna informacja rozliczeniowa o wykorzystaniu kont

32. Architektura systemu

33. Clusterix Clusterix TUC Cyfronet PSNC TUC Cyfronet PSNC scientists operators programmers staff Lab_users Scientists operators programmers staff Lab_users Grid Node guests common power login: login: login: login: login: login: login: login: login: login: login: Autoryzacja - przykład VO hierarchy VO admins security policy Account groups Node admin security policy

34. VUS:Podsumowanie • Pozwala stworzyć produkcyjne środowisko gridowe • Łączy lokalne i globalne polityki zarządzania kontami • Redukuje narzuty na administrację • Udostępnia pełną informację na temat wykorzystania zasobów • Wspiera różnorodne scenariusze dostępu do Gridu –dla użytkownika końcowego, właściciela zasobów, managera organizacji

35. Wykonaniezadania w systemie CLUSTERIX Virtual User Account System User Interface Broker - GRMS CDMS Portal Globus SSH Session Server SSHSession Server PBS/Torque, SGE Checkpoint restart USER Grid

36. Bazowy scenariusz wykonywania zadań w systemie CLUSTERIX • Użytkownik zleca zadanie do systemu GRMS za pośrednictwem np. portalu, przekazując opis zadania GJD • GRMS wybiera optymalny zasób do uruchomienia zadania, zgodnie z opisem zadania (hardware/software) • VUS odpowiada za mapowanie uprawnień użytkownika (user credentials) na konta fizyczne w klastrach lokalnych • Transfer danych wejściowych i plików wykonywalnych (staging): a) dane wejściowe opisywane przy pomocy logicznego lub fizycznego pobierane są z systemu CDMS ( CLUSTERIX Data Management System) b) pliki wykonywalne, w tym również skrypty (GRMS + CDMS) • Wykonanie zadania • Po zakończeniu zadania wyniki przekazywane są do CDMS; wykorzystywane konta fizyczne są „czyszczone” przez VUS

37. Interfejs dostępowy:Portale gridowe • Wymagania w stosunku do interfejsu dostępowego : - możliwość łatwego dostosowania do potrzeb użytkowników - wydajność - bezpieczeństwo • Opracowano SSH Session Framework z następującymi właściwościami: - oparcie interfejsu GUI o interfejs „command-line” - wykorzystanie portletów GridSphere oraz parserów zdefiniowanych w języku XML - architektura rozproszona - łatwa adaptacja istniejących aplikacji do wykonywania w Gridzie - instalacja przezroczysta dla systemu gridowego (run-time) - niezawodność - wsparcie dla VRML, X3D, SVG, formatów graficznych (jpeg, png)

42. Aplikacje pilotowe • Ponad 20 aplikacji użytkownika końcowego • Wśród zaproponowanych aplikacji można wyróżnić następujące typy zadań: • zadania jednoprocesowe • sekwencja zadań jednoprocesowych • zadania równoległe uruchamiane na jednym klastrze lokalnym • sekwencja zadań równoległych uruchamianych na jednym klastrze lokalnym • meta-aplikacje rozproszone uruchamiane na więcej niż jednym klastrze lokalnym - MPICH-G2

43. Symulacje wielkiej skali przepływów krwi w mikrokapilarach (dyskretne modele cząstkowe) W.Dzwinel, K.Boryczko AGH, Institute of Computer Science

44. Powstawanie skrzepów krwi (5x106cząstek, 16 procesorów)

45. Przewidywanie struktur białek Adam Liwo, Cezary Czaplewski, Stanisław Ołdziej Department of Chemistry, University of Gdansk

46. Selected UNRES/CSA results from 6th Community Wide Experiment on the Critical Assessment of Techniques for Protein Structure Prediction December 4-8, 2004 left - experimental structure, right - predicted structure

47. Symulacjeprzepływóww aeronautyce -autorskie oprogramowanie HADRON Prof. Jacek Rokicki Politechnika Warszawska

48. Symulacje wielkiej skali zagadnień 3D mechaniki płynów Projekt HiReTT (1999-2003) 36x106węzłów 3060 x106 równań nielin.

49. Nano-Technologie Michał Wróbel, Aleksander Herman TASK & Politechnika Gdańska

50. XMD testing target: a planetary gear device containing 8297 atoms (C, F, H, N, O, P, S and Si) designed by K. E. Drexler and R. Merkle • XMD - pakiet oprogramowaniaOpen Sourcedosymulacji zagadnień dynamiki molekularnej dla nano-urządzeńoraz nano-systemów