1 / 31

Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space

Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space. Jacek Kitowski and Łukasz Dutka ACK CYFRONET AGH, Cracow Institute of Computer Science AGH-UST in collaboration with Partners of PL-Grid Consortium.

cleta
Download Presentation

Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space Jacek Kitowski and Łukasz DutkaACK CYFRONET AGH, Cracow Institute of Computer Science AGH-UST incollaborationwithPartners of PL-GridConsortium Konferencja Użytkowników Komputerów Dużej Mocy, ACK CYFRONET-AGHZakopane 18-19.03.2010

  2. Plan wystąpienia • Narodowa Inicjatywa Gridowa w Polsce • Motywacja – e-Science, Science 2.0 • Uzasadnienie i Podstawy • Stan Zaawansowania • Projekt PL-Grid – Rezultaty • Podsumowanie • Działania integracyjne zachodzące w Europie w ramach EuropeanGridInitiative

  3. Podejście e-Science: Science 2.0 • Badania naukowe: • Teoretyczne • Doświadczalne • W komputerze • W komputerze (in silico) • Zaawansowane, rozproszone obliczenia • Wieloskalowe i wielodyscyplinarne • Odnoszą się do zjawisk o ekstremalnych skalach czasowo-przestrzennych • Wymagające postępów w zakresie informatyki i nauk obliczeniowych • Realizowane przez międzynarodowe zespoły badawcze we współpracy ACK:David de Roure, http://www.soton.ac.uk/~dder/talks.html

  4. Oczekiwania ze strony środowisk naukowych • Zasoby – Usługi • Obliczeniowe • Dane • Infrastruktura ACK: F. Gagliardi

  5. Konsorcjum PL-Grid • Konsorcjum utworzone w styczniu 2007 jako odpowiedź na potrzeby polskiej społeczności naukowej i bieżących aktywności gridowych w Europie w ramach EGI_DS. • Konsorcjum składa się z pięciu polskich centrówobliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH • Cele dzialalności Konsorcjum: • Dostarczenie polskiej społeczności naukowej usług informatycznych, służących e-Science .Utworzenie stabilnej infrastruktury obliczeniowej kompatybilnej z gridem europejskim i światowym. • Rozwój specjalizowanych narzędzi i usług dla różnych dziedzin nauki i aplikacji • Wchodzi w skład EGI (European Grid Initiative) jako Polish NGI (NGI_PL) • Członkowie EGI Council nominowani przez MNiSW: • Prof. K. Wiatr, Prof. M. Turała • Członkowie EGI Executive Board z wyboru: • Prof. M. Turała • Członkowie grona ekspertów w F3 EU„Research Infrastructure” nominowani przez MNiSW: • Prof. J. Kitowski • Uczestnictwo w projektach: • EU (FP6, FP7, EGI InSPIRE….), PO IG

  6. Projekt PL-Grid • Konsorcjum realizuje Projekt PL-Grid: „Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej” – PL-Grid • Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka. • Czas trwania Projektu: 01.01.2009 – 31.12.2012 • Beneficjent: Akademickie Centrum Komputerowe CYFRONET AGH • Numer umowy: POIG.02.03.00-00-007/08 • Project website: www.plgrid.pl

  7. Planowana realizacja celów Projekt PL-Grid jest podzielony na kilka zadań • Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB

  8. Pakiet2: InfrastrukturaGłówneosiągnięciaPakietu2 Rafał Tylman TASK

  9. WP 2 - Infrastruktura • CYFRONET, ICM, PCSS • infrastruktury zasilająca i chłodząca gotowe na przyjęcie serwerów i pamięci masowych • WCSS • końcowy etap instalacji infrastruktury zasilającej i chłodzącej • TASK • faza końcowa procedur przetargowych infrastruktury zasilającej i chłodzącej • Serwery i Pamięć Masowa • Systemy do wdrożenia w I połowie roku: • CYFRONET – zakończony arbitraż • ICM – zakończony arbitraż • PCSS – dostawa w trakcie realizacji • Systemy do wdrożenia w II połowie roku: • WCSS – właśnie startuje procedura przetargowa • TASK – przygotowanie procedury przetargowej (start maj) • Trwają przygotowania do instalacji systemów oraz uzgadniane są pakiety aplikacji do instalacji w pierwszym etapie. Pierwsze serwery PL-Grid gotowe na przyjęcie użytkowników już wkrótce.

  10. Pakiet3: Centrum OperacyjneGłówneosiągnięciaPakietu3Centrum Operacyjne PL-Grid a Użytkownicy Marcin Radecki ACK Cyfronet AGH

  11. Usługi Centrum Operacyjnego dla Użytkowników Centrum Operacyjne dąży do ułatwienia dostępu do infrastruktury poprzez prostsze procedury oraz wdrożenie przydatnych narzędzi: System rejestracji i zarządzania kontem użytkownika PL-Grid dostępny pod adresem https://konto.plgrid.pl/ wymagany wpis w bazie OPI bądź potwierdzenie opiekuna naukowego gridowy dostęp do zasobów PL-Grid 5 ośrodków – gLite 1 ośrodek - UNICORE lokalny dostęp do sytemu kolejkowego klaster „zeus” w ACK CYFRONET AGH możliwość aplikowania o certyfikat gridowy on-line (wkrótce) aplikowanie o dostęp do usług obliczeniowych w innych ośrodkach (wkrótce) System pomocy „Helpdesk PL-Grid” umożliwia zgłaszanie i śledzenie usterek dostępny pod adresem https://helpdesk.plgrid.pl dostęp również poprzez interfejs e-mail: helpdesk@plgrid.pl dokumentacja: https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid→ System Pomocy Helpdesk

  12. Centrum Operacyjnego dla Użytkowników Centrum Operacyjne dba o poprawne działanie infrastruktury dla użytkowników PL-Grid poprzez pro-aktywne monitorowanie elementów infrastruktury dostępności usług infrastrukturalnych aplikacji obliczeniowych wspieranych przez PL-Grid Zapewnienie zgodności infrastruktury PL-Grid z europejską (EGI) oprogramowanie procedury operacyjne procedury bezpieczeństwa Zaawansowane prace nad koncepcją „grantów PL-Grid” Integracja prezentacji danych dotyczących wykorzystania zasobów dla użytkownika Prace nad wprowadzeniem zintegrowanego portalu użytkownika

  13. Pakiet 4: Rozwójoprogramowania e-infrastruktury i narzędzi użytkownikaGłówne osiągnięcia Pakietu 4 Krzysztof Kurowski Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)

  14. Główne osiągnięcia Pakietu 4go - Nowa infrastruktura • Stworzenie infrastruktury rozwojowej łączącej zasoby obliczeniowe wszystkich 5 ośrodków superkomputerowych w kraju • Bliska współpraca 8 grup programistyczno-testowych, około 20 osób • Instalacja oraz udostępnienie do celów testowych środowiska warstwy pośredniej gLlite, Unicore oraz QosCosGrid - zakończonie około 70 zadań • Około 30 różnych konfiguracji wirtualnych maszyn z zainstalowanym oprogramowaniem wykorzystywanych do celów rozwojowych i testowych nowych narzędzi dla użytkowników - zakończony wybór technologii • Testy funkcjonalne, zgodności oraz wydajnościowe wybranych pakietów oprogramowania badawczego celem przeprowadzenia wdrożenia oraz wsparcia na poziomie produkcyjnym nowych narzędzi i usług

  15. Główne osiągnięcia Pakietu 4go - Nowe narzędzia i usługi • Rozbudowa śrdowiska GridSpace o zestaw nowych funkcji, wsparcie dla nowych skryptów oraz integracja z nowymi usługami gridowymi • Implementacja i udostępnienie zaawansowanych interfejsów graficznych, wizualizacji oraz zarządzania zadań i danych dla wybranych aplikacji nowych użytkowników z wykorzystaniem Vine Toolkit • Testy wydajnościowe i funkcjonalne usług warstwy pośredniej QosCosGrid oraz integracja na poziomie systemów kolejkowych z infrastrukturą gLilte i Unicore • Integracja narzędzi Migrating Desktop oraz gEclipse z różnymi usługami warstwy pośredniej w PL-GRID • Plan rozbudowy oraz wdrożenia nowych narzędzi FiVO do zarządzania i monitorowania wirtualnych organizacji • Testowe wersje narzędzi dla użytkowników oraz administratorów systemów: Bazzar, mobilny dostęp do infrastruktury, nowe aplikacje bezpieczeństwa • Integracja wybranych narzędzi oraz aplikacji web’owych ze środowiskiem portalowym Liferay i systemem monitorowania Nagios

  16. Główne osiągnięcia Pakietu 4go - nowi użytkownicy • Bezpośredni kontakt z nowymi użytkownikami na podstawie ogólnopolskiej ankiety dostępnej pod adresem: www.plgrid.pl/ankieta • Wymagania polskich użytkowników (wyniki ~100 ankiet) uwzględniane w nowych aplikacjach, narzędziach oraz usługach rozwijanych i testowanych w ramach Pakietu 4go • Liczna grupa użytkowników współpracująca z zespołami Pakietu 4go • Wydziału Chemii Uniwersytetu Jagiellońskiego • Zakład Bioinformatyki i Telemedycyny CMUJ • Uniwersytet Adama Mickiewicza • Politechnicka Poznańska • Politechnika Wrocławska • Administratorzy centrów obliczeniowych • …

  17. Pakiet5: Szkolenia i Wsparcie UżytkownikówGłówneosiągnięciaPakietu5 Mariusz Sterzel ACK Cyfronet AGH Maciej Filocha ICM

  18. Szkolenia i wsparcie użytkowników • Przeprowadziliśmy pierwszą serię szkoleń podstawowych z dostępu do infrastruktury poprzez środowiska gLite i UNICORE we wszystkich ośrodkach uczestniczących w projekcie – Gdańsk/Kraków/Poznań/Warszawa/Wrocław • Rozpoczęliśmy drugą serię szkoleń. • Jeśli pojawi się zapotrzebowanie, podobne szkolenia możemy przeprowadzić w innych ośrodkach (bezpłatnie!) • W najbliższych dniach poprzez stronę projektu udostępnione zostaną pierwsze szkolenia zdalne – dla każdego, bez ruszania się z domu (w technologii Blackboard). • Wsparcie użytkowników odbywać się będzie poprzez specjalizowany interfejs – tak, aby każde zgłoszenie było sprawnie obsłużone i trafiło do osób kompetentnych. • Pytania i uwagi: szkolenia@plgrid.pl oraz helpdesk@plgrid.pl

  19. Aplikacje obliczeniowe • Dostęp do aplikacji obliczeniowych zapewniony będzie w miarę możliwości na dwa sposoby: • poprzez środowisko gLite, znane z EGEE i starszych projektów gridowych, • poprzez UNICORE – w środowisku graficznym. • Udostępniamy aplikacje licencjonowane bezpłatnie, a także niektóre płatne, m.in. Dalton, CPMD, NWChem, Cfour, Gaussian, GAMESS, Turbomole, ANSYS/Fluent, • kolejne pakiety w trakcie udostępniania. • W razie zapotrzebowania udostępnimy większość aplikacji uruchamianych na dotychczasowej infrastrukturze obliczeniowej ośrodków KDM, jak również nowe oprogramowanie zaproponowane przez użytkowników. • Zachęcamy do zgłoszenia nam swoich oczekiwań – przygotowana jest specjalna ankieta:http://www.plgrid.pl/news/ankieta_projektu

  20. Oprogramowanie Specjalistyczne Przykłady oprogramowania udostępnianego na infrastrukturze PL-Grid • Biologia AutoDock, BLAST, ClustalW2, CPMD, Gromacs, NAMD • Chemia kwantowa ACES II, ADF, CFOUR, CHARMM, Dalton, GAMESS, Gaussian, MacroModel, Molcas, Molpro, MOPAC, NWChem, OpenBabel, Siesta, TURBOMOLE • Fizyka: Meep • Metody numeryczne i symulacja Mathematica, MATLAB

  21. Oprogramowanie naukowe • Oprogramowanie naukowe • Wprowadzenie zunifikowanego systemu dostępu do aplikacji w środowisku gridowym opartym o pakiet Modules • Opracowanie i wdrożenie (wspólnie z WP3) systemu testowania aplikacji w środowisku gridowym • Poprawność działania aplikacji naukowych monitorowana jest automatycznie w każdym z ośrodków na bieżąco. • Wdrożenie szeregu aplikacji komercyjnych i ogólnie dostępnych na architekturze obliczeniowej PL-Grid • Dostępne pakiety • ADF, Blender, CFOUR, GAMESS, Gaussian, NAMD, Root, Turbomole • W najbliższym czasie planowane jest udostępnienie kolejnych pakietów oprogramowania naukowego

  22. System szkoleń • Pakiet 5 opracował zbiór szkoleń (zarówno tradycyjnych jak i on-line w systemie Blackboard) • Szkolenia dostępne są nieodpłatnie dla wszystkich użytkowników platformy PL-Grid • System Blackboard będzie udostępniał szkolenia na poziomie podstawowym jak i zaawansowanym • Obecnie dostępne szkolenia to: • ABC użytkownika PL-Grid • Po ukończeniu kursu danego poziomu użytkownik otrzymuje certyfikat.

  23. Pakiet6: Bezpieczeństwo InfrastrukturyGłówneosiągnięciaPakietu6 Bartłomiej Balcerek WCSS

  24. WP6 Osiągnięcia • Udostępnienie dwóch CA - centrów certyfikacji PKI użytkownikom gridu, • Projekt systemu SimpleCA ułatwiającego użytkownikom otrzymywanie certyfikatów PKI i ich użytkowanie - system zostanie udostępniony w marcu, • Projekt i wdrożenie bezpiecznej konfiguracji infrastruktury, zgodnej z najnowszymi standardami bezpieczeństwa, • Projekt systemu monitorowania zgodności konfiguracji wdrożonej w ośrodkach z polityką bezpieczeństwa, • Powołanie zespołu specjalistów z dziedziny bezpieczeństwa w celu ciągłego monitorowania środowiska, natychmiastowej reakcji na incydenty oraz wsparcia użytkowników i administratorów, • Prototypowa wersja systemu korelacji informacji o atakach na infrastrukturę (ACARM-ng) • Audyty kluczowych dla bezpieczeństwa gridu aplikacji.

  25. Oprogramowanie – problemy użytkownika • Jaka aplikacja może być przystosowana do użytkowania w PL-Grid? Każda! (niektóre po lekkich modyfikacjach) • Programy sekwencyjne – bez zmian • Aplikacje równoległe (MPI) – bez zmian • Programy interaktywne – wymagana zmiana w komunikacji z użytkownikiem • Operacje na wielkich zbiorach danych – zmiana dostępu do danych Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu ACK: M. Sterzel

  26. Jak zostać użytkownikiem ? • Każda osoba związana z polską nauką może korzystać z zasobów PL-Grid • Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat • Procedura rejestracji oraz dalsze informacje dostępne są na stronie: http://www.plgrid.pl • Z chęcią odpowiemy na pytania: m.sterzel@cyfronet.pl • Procedura rejestracji: email: plgrid-rejestracja@rt.grid.cyfronet.pl ACK: M. Sterzel

  27. Podsumowanie: Działania Konsorcjum • Krótkoterminowe • Rozwój udostępnianych usług • Zapewnienie środków dla pokrycia kosztów działania i współpracy międzynarodowej • Nawiązanie współpracy z D-Grid (wstępne ustalenia poczynione) • Zgłoszone zainteresowanie współpracy ze strony BE-Grid • Długoterminowe – realizowane w sposób ciągły • Wdrożenie oprogramowania i narzędzi • Wsparcie użytkownika i szkolenia • Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury • Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk • Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, PaaS, SaaS….) • National Cloud Initiative (chmury obliczeniowe, chmury danych) • paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym • Strategiczne • Rozwój środowisk domenowo specyficznych

  28. Podziękowania • ACK Cyfronet AGH • Kazimierz Wiatr • Michał Turała • Krzysztof Zieliński • Marian Bubak • Tomasz Szepieniec • Marcin Radecki • Mariusz Sterzel • Karol Krawentek • Agnieszka Szymańska • Andrzej Oziębło • Tadeusz Szymocha • Alex Kusznir • Zofia Mosurska • Teresa Ozga • Aleksandra Mazur • ICM • Piotr Bała • Maciej Filocha • PCSS • Norbert Meyer • Krzysztof Kurowski • Mirosław Kupczyk • WCSS • Józef Janyszek • Bartłomiej Balcerek • Paweł Dziekoński • TASK • Mścisław Nakonieczny • Jarosław Rybicki • Rafał Tylman

  29. http://plgrid.pl Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid

  30. Backup slides

  31. Oczekiwania ze strony Środowisk Naukowych • E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych • Wielodyscyplinarne i międzynarodowe • Wymagające postępów w zakresie informatyki i nauk obliczeniowych • Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach • Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico • Aby generować, interpretować i analizować obszerne zasoby danych • Pochodzące z eksperymentów, obserwacji i symulacji • Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania • Aby tworzyć i badać modele symulacyjne • Obliczenia i dane wieloskalowe • Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu • Aby umożliwić dynamiczną, rozproszoną współpracęśrodowisk naukowych • Przez współdzielenie wiedzy i zasobów • Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

More Related