Polski Grid: Ogólnopolska Infrastruktura Gridowa dla Nauki

1. Polski Grid:Ogólnopolska Infrastruktura Gridowa  dla Nauki Jacek Kitowski Instytut Informatyki AGH-USTACK CYFRONET AGH

2. Spis treści • Wprowadzenie • Polski Grid (PL-Grid) • Inicjatywa PL-Gridu – motywacja • Infrastruktura • Architektura • Struktura Gridowa • Projekt PL-Grid • Cele • Pakiety Robocze • Przykłady wykorzystania Gridu • Współpraca z Inicjatywą Europejską

3. Co to jest Grid ? • W Stanach Zjednoczonych jest to popularne określenie sieci elektrycznej • Rozległa sieć maszyn obliczeniowych i innych zasobów zarządzanych w sposób rozproszony i niezależny – • szybki, niezawodny i bezpieczny system połączonych komputerów i innych urządzeń, który umożliwia łatwy dostęp do dużych, rozproszonych mocy obliczeniowych, zasobów danych i usług, bez względu na to, gdzie te zasoby są zlokalizowane. • Po co się to robi? – • Dlatego że sieć połączonych komputerów, nawet niewielkich, może zastąpić jeden wielki (i drogi) komputer, konieczny do wykonania skomplikowanych obliczeń • Grid to nowy paradygmat usług informatycznych realizowany przez zbiory nowych technologii informatycznych – • z takich sieci korzystają już fizycy, chemicy, biologowie, inżynierowie, lekarze, przedsiębiorcy – ci, którzy dla swych obliczeń sporadycznie potrzebują setek komputerów… • Europa traktuje grid jako na nowe, bardzo przydatne narzędzie, a Unia Europejska planuje utworzenie europejskiej infrastruktury gridowej. ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007

4. Przykłady Europejska Sieć Naukowa GEANT ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007

5. Inicjatywa PL-Grid National European e-Infrastructure International Routine Usage 2000 Testbeds 2010 Utility Service Odpowiedź na potrzeby polskich naukowcówi bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie, podjęta przez Polskie Centra z inicjatywy Cyfronetu SGI Grid, Progress (Clusterix, National Data Store ...) Crossgrid, Chemomomentum, Virolab, CoreGrid, Gredia, int.eu.grid, BalticGrid, GridLab, Porta Optica, RINGRid, Phosphorus, EUChinaGRID, QoSCoSGrid, Intelligrid, K-WfGrid, Unicore... Ewolucja rozwoju europejskiej infrastruktury gridowej w skali lat

6. Inicjatywa PL-Grid

7. Inicjatywa PL-Grid Głównym celem inicjatywy budowy ogólnopolskiej infrastruktury gridowej jest rozwój i stworzenie w Polsce, stabilnej infrastruktury zasobów obliczeniowych i gromadzenia danych, a także podstawowych usług dla nauki - w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym.

8. Obecne Zasoby

9. Utworzenie Konsorcjum Polskiego Gridu (PL-Grid) Porozumienie podpisane w styczniu 2007 Początkowa działalność PL-Grid GEANT2 • Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie (ACK CYFRONET AGH) – koordynator Programu PL-Grid • Poznańskie Centrum Superkomputerowo-Sieciowe w Poznaniu (PCSS) • Wrocławskie Centrum Sieciowo - Superkomputerowe we Wrocławiu (WCSS) • Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej w Gdańsku (TASK) • Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie (ICM) • Konsorcjum utworzone z pięciu największych polskich centrów superkomputerowo-sieciowych (założyciele) • Przygotowanie projektu PL-Grid (2008-2010, 2011-2013)

10. Podejście e-Science do badań naukowych Eksperymenty komputerowe Olbrzymie, rozproszone i różnorodne w strukturze dane Narzędzia dostępu do danych, ich integracji i przetwarzania Różnorodność dziedzin i dyscyplin: fizyka, astronomia, astrofizyka, chemia, biologia, bioinformatyka, meteorologia, klimatologia, medycyna, nauki o Ziemi, zaawansowane przetwarzanie tekstu, przetwarzanie i zarządzanie wiedzą, e-learning. Uzasadnienie i cele projektu PL-Grid

11. Uzasadnienie i cele projektu PL-Grid Wizja PL-Grid: • Umożliwienie realizacji modelu e-Science w poszczególnych dziedzinach naukowych poprzez: • Budowę infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym dzięki współpracy z zespołami rozwijającymi grid europejski (EGEE, DEISA, OMII, C-OMEGA, ESFRI), • Zapewnienie działania tej infrastruktury w trybie produkcyjnym, • Umożliwienie działania gridów dziedzinowych, • Stosowanie i propagowanie standardów w odniesieniu do usług gridowych, • Dostosowywanie PL-Gridu do wymagań użytkowników, • Integrację, testowanie, składanie i instalowanie w PL-Gridzie oprogramowania pochodzącego z wiodących projektów gridowych (polskich i zagranicznych), • Organizowanie wsparcia dla użytkowników PL-Gridu (szkolenia, helpdesk i doradztwo), • Bieżące zarządzanie.

12. Infrastruktura PL-Grid • Założenia • Polski Grid będzie miał wspólną bazową infrastrukturę – podobnie do rozwiązań zastosowanych w innych krajach • Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.

13. Infrastruktura PL-Grid Dziedzinowe systemy gridowe mogą być rozwijane i utrzymywane w ramach odrębnych projektów. Takie podejście powinno umożliwić efektywne wykorzystanie dostępnych środków finansowych. Zaawansowane Platformy Usługowe Aplikacja Aplikacja Aplikacja Aplikacja Grid Dziedzinowy Grid Dziedzinowy Grid Dziedzinowy Grid Dziedzinowy Infrastruktura gridowa (usługi gridowe) PL-Grid Klastry Komputery dużej mocy Repozytoria danych Krajowa sieć komputerowa PIONIER

14. Struktura PL-Grid Infrastruktura PL-Grid będzie bazą dla Gridów dziedzinowych, obejmujących usługi i narzędzia zorientowane na specyficzne typy aplikacji Użytkownicy Warstwa dostępowa/ tworzenia aplikacji Portale gridowe, narzędzia programistyczne System Wirtualnych organizacji i bezpieczeństwa Other Systemy gridowe Usługi gridowe UNICORE (DEISA) LCG/gLite (EGEE) Podstawowe usługi gridowe Rozproszone zasoby obliczeniowe Rozproszone repozytoria danych Krajowa sieć komputerowa Zasoby gridowe

15. Struktura PL-Grid Oprogramowanie PL-Gridu obejmuje: • narzędzia użytkownika, takie jak: portale, systemy zarządzania i monitorowania aplikacji, wizualizacji wyników i innych zgodnych z używanym w PL-Grid oprogramowaniem niższych warstw; • biblioteki programistyczne; • system wirtualnych organizacji: podsystemy certyfikatów i kont, system zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; • system zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami.

16. Planowana realizacja celów: Projekt PL-Grid ZARZĄDZANIE P1 Koordynacja Architektura Rozpowszechnianie informacji P3 CENTRUM OPERACYJNE P6 P4 CENTRUM BEZPIECZEŃSTWA ROZWÓJ OPROGRAMOWANIA DZIEDZINOWEGO I NARZĘDZI UŻYTKOWNIKA … . EGEE DEISA Projekt PL-Grid jest podzielony na kilka pakietów roboczych P2 PLANOWANIE I ROZWÓJ INFRASTRUKTURY SPRZĘTOWEJ P5 WSPARCIE DLA GRIDÓW DZIEDZINOWYCH Szkolenia

17. Pakiety Robocze PL-Grid • Pakiet 1 Zarządzanie (włącznie z architekturą PL-Grid i rozpowszechnianiem informacji) – koordynowany przez ACK CYFRONET AGH (Kraków), • Pakiet 2 Planowanie i rozwój infrastruktury sprzętowej– TASK (Gdańsk), • Pakiet 3 Centrum operacyjne– ACK CYFRONET AGH, • Pakiet 4 Rozwój oprogramowania gridowego i narzędzi użytkownika– PCSS (Poznań), • Pakiet 5 Wsparcie dla gridów dziedzinowych– ICM (Warszawa), • Pakiet 6 Centrum bezpieczeństwa–WCSS (Wrocław)

18. Pakiety Robocze PL-Grid Ogólne założenia funkcjonowania PL-Gridu, które będą realizowane w ramach poszczególnych pakietów: • Wsparcie dla systemów produkcyjnych EGEE i DEISA; • Współpraca systemów produkcyjnych gLite i UNICORE - symetryczna; • Otwarcie na nowe systemy gridowe; • Wyodrębnianie zasobów do celów badawczych; • Efektywne zarządzanie zasobami (system monitorowania oraz zarządzania zasobami); • Współpraca z dostawcą sieci (PIONIER); • Wspieranie adaptacji aplikacji – usługi techniczne i adaptacyjne; • Rozwój oprogramowania PL-Gridu (użytecznego dla PL-Gridu i użytkowników).

19. P1 - Zarządzanie • Zadania • Koordynacja • Architektura PL-Grid • Rozpowszechnianie informacji

20. P2 - Planowanie i rozwój infrastruktury sprzętowej • Zadania: • przygotowanie technicznej specyfikacji dotyczącej sprzętu zgodnie z kierunkiem rozwoju PL-Gridu, • informowanie o możliwościach technicznych instalacji w poszczególnych ośrodkach, • koordynowanie zakupów sprzętowych, • koordynacja instalacji sprzętu i „lokalnego” oprogramowania, • utrzymania zainstalowanej infrastruktury.

21. P3: Centrum Operacyjne PL-Grid • Zadania • ustanowienie i utrzymywanie stabilnej infrastruktury gridowej produkcyjnej; • dostarczanie oprogramowania systemowego; • dostarczanie oprogramowania dla gridu produkcyjnego typu EGEE i DEISA • zarządzanie wdrażaniem oprogramowania – certyfikacja; • monitorowanie infrastruktury i usług; • rozliczania z wykorzystania zasobów; • pomoc techniczna dla użytkowników i administratorów.

22. P4: Rozwój oprogramowania gridowego i narzędzi użytkownika • Zadania • analiza wymagań użytkowników i określenie niezbędnych narzędzi i usług w ramach PL-Grid, • analiza dostępnych narzędzi i wybór narzędzi do repozytorium; • reinżynieria oprogramowania oraz integracja z platformami w PL-Grid, • budowa repozytorium oprogramowania pośredniego oraz wspomagającego użytkowników i twórców aplikacji, • rozwój i integracja nowych narzędzi i usług.

23. P5 - Wsparcie dla gridów dziedzinowych • Zadania • zorganizowanie trwałego i wszechstronnego wsparcia dla użytkowników Gridu, zespołów rozwijających aplikacje i serwisy gridowe dla aplikacji, w zakresie użytkowania gridu, rozwoju aplikacji, przydziałów zasobów, współpracy gridów i VO z różnych dziedzin nauki, techniki, administracji i biznesu, • organizacja działalności szkoleniowej, dydaktycznej i upowszechniającej wiedzę w zakresie technologii przetwarzania danych na Gridzie, • opracowanie i wdrożenie procedur udostępniania oprogramowania komercyjnego na Gridzie.

24. P6 - Centrum bezpieczeństwa • Zadania • opracowanie wymagań bezpieczeństwa dla ośrodków PL-Gridu, • opracowanie procedur reagowania na incydenty dotyczące bezpieczeństwa, • cykliczne przeprowadzanie audytu bezpieczeństwa. • utrzymywanie struktury CA/RA w Polsce dla PL-Gridu, • zapewnienie istnienia spójnego mechanizmu autentykacji i autoryzacji w gridzie PL-Grid, • pro-aktywne monitorowanie infrastruktury gridu.

25. Przykłady wykorzystania Gridu • HEP – WLCG • Chemia obliczeniowa – Gaussian, Turbomole .....(Charmm, Amber, DL_POLY..) • Biologia/Farmacja – białka ... • Meteorologia • Systemy złożone (gry wieloagentowe...)

26. Infrastruktura sieciowo-obliczeniowa polskiego Tier2 dla WLCG

27. Atlas Experiment PF PF PF PF SFI SFI SFI PF SFOs Switch PF Copenhagen Edmonton Kraków Manchester Packet Switched WAN: GEANT lightpath Back End Network Local Event Processing Farms mass storage CERN CERN Computing Center

28. t.szepieniec@cyfronet.pl GAUSSIAN w Gridzie • Gaussian VO - utworzona i wspierana przez 2 Partnerów (działalność EGEE ) • Zaakceptowane przez dostawcę oprogramowania • Rejestracja:https://voms.cyf-kr.edu.pl:8443/vo/gaussian/vomrs • Kierownik VO: Mariusz Sterzel (CYFRONET), koordynator ds.Chemii Obliczeniowej (EGEE II) m.sterzel@cyfronet.pl ACK: Tomasz Szepieniec

29. Never Born Protein Folding t.szepieniec@cyfronet.pl Prof. Irena Roterman (CM UJ)i projekt EUChinagrid ACK: Tomasz Szepieniec

30. Współpraca z EGI-DS Identifikacja przypadków użycia (use-cases) 1.ZORIENTOWANE NA INFRASTRUKTURĘ 1.1. Opublikowanie nowego Middleware gridowego 1.2. Dodanie nowego site’u NGI/EGI 1.3. Alarm funkcjonalności na danym site’cie NGI 1.4. Negocjacja zasobów dla VO 2.ZORIENTOWANE NA APLIKACJE 2.1. Żądanie przepustowości QoS 2.2. Filtrowanie LHC na bieżąco 2.3. Aplikacja komercyjna z serwerem licencji 2.4. Aplikacja rownoległa 3.ZORIENTOWANE NA UŻYTKOWNIKÓW KOŃCOWYCH 3.1. Prywatnie sfinansowany sprzęt 3.2. Pojedynczy użytkownik bez przynależności do VO potrzebuje użyć Gridu Aktywne uczestnictwo w warsztatach EGI w Budapeszcie (2.10.07)

31. Wnioski • Etap wstępny zakończony • Porozumienie zostało podpisane • Rada Naukowa została utworzona • Zarząd został utworzony • Wniosek o finansowanie Projektu PL-Grid