Project EGEE-II / VOCE

1. Project EGEE-II / VOCE Jan Kmuníček CESNET

2. Obsah • Celosvětová gridová infrastruktura • Koncept virtuální organizace • VOCE infrastruktura a její vlastnosti • Aktuální stav VOCE • Závěrečné poznámky Seminář projektu EGEE-II, 12. prosinec, 2006

3. Celosvětová gridová infrastruktura • Projekt EGEE– panevropská gridová platforma • sdružuje 90 institucí z 27 zemí • aktuální stav • počet procesorů ~16 000 • počet poskytovatelů zdrojů 170 • aplikace 20 ‘velkých’ • struktura projektu • regionální členění do federací (geografické členění) • specifické aktivity • servisní (SA) provoz, podpora a monitorování • síťové (NA) podpora aplikací, diseminace • společné výzkumné (JRA) vývoj a integrace middleware Seminář projektu EGEE-II, 12. prosinec, 2006

4. Celosvětová gridová infrastruktura • Project EGEE-II • celosvětová gridová platforma • projekt EGEE- II je aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu • představa dlouhodobě udržovaného prostředí pro vědeckévýpočty (gridové prostředí jako standardní součást servisuposkytovaného v rámci ERA – European Research Area) Seminář projektu EGEE-II, 12. prosinec, 2006

5. Koncept virtuální organizace • Grid – heterogenní sada zdrojů a uživatelů • různé požadavky a různá očekávání • potřeba určité interní organizace • Virtuální Organizace (VO) • sadazdrojů • výpočetní elementy, úložné elementy • sada koncových uživatelů • služby • politiky • kdo je oprávněn se připojit • jaké výpočetní zdroje by měla VO nabízet / garantovat Seminář projektu EGEE-II, 12. prosinec, 2006

6. Koncept virtuální organizace • Definice virtuální organizace VOje dynamický rezervoár zdrojů & uživatelů zrůzných domén sdružených za specifickým cílem. • EGEE VO koncept • EGEE prostředí dostupné pouze pomocí VO • původní myšlenka – aplikačně specifické VO • vyžadován komplexní schvalovací proces • těžkopádný proces ustavení VO • politiky • technická řešení • obzvlášť složité pro malé výzkumné komunity Seminář projektu EGEE-II, 12. prosinec, 2006

7. Koncept virtuální organizace • Potíže s ustavením VO • VO reprezentuje způsob přístupu do gridového prostředí • ustavení VOje poměrně netriviální záležitost • garance každodenní funkčnosti • využití VOje také obdobně komplikovaná záležitost • pomalá učící křivka díky vysoké komplexnosti • extrémní bariéra pro nové uživatele Gridu • nutnost se učit řadu věcí – brání rutinnímu využití ==> pouze velké komunity mají zdroje (čas, peníze, …) na překonání takové bariéry ==> potřeba oslovit malé výzkumné skupiny mohou být vyřešeny pomocíobecné VO (catch-all přístup) Seminář projektu EGEE-II, 12. prosinec, 2006

8. VOCE infrastruktura • Virtuální Organizacepro Střední Evropu (VOCE) • otevřené gridové prostředí • obecná virtuální organizace • VOCE odstraňuje potřebu vystavět VO ‘from scratch’ • outsourcing služeb souvisejících s VO • rutinní VO management & administrace prováděna dedikovanými administrátory • maximální zjednodušení každodenní vědecké práce pomocí nástrojů zjednodušujících práci s nativním middleware • CHARON Extension Layer, GUI portály Seminář projektu EGEE-II, 12. prosinec, 2006

9. VOCE infrastruktura • Virtuální Organizacepro Střední Evropu (VOCE) • poskytuje kompletní gridovou infrastrukturuv rámci projektu EGEE resp. EGEE-II • oficiálně registrována v seznamu EGEE VO • první regionální VO v EGEE • VOCE modelem pro ostatní regiony • založena na regionálním principu • VOCE zahrnuje celou středoevropskou EGEE federaci (CE) • klíčové služby provozovány sdružením CESNET • zdroje poskytovány několika institucemi v celém CE regionu (tyto zdroje jsou následně dostupné všem uživatelům registrovaným ve VOCE) Seminář projektu EGEE-II, 12. prosinec, 2006

10. VOCE infrastruktura • VOCE - Popis • plně produkční prostředí • prostředí VOCE umožňuje novým uživatelům rychle získat první zkušenost s gridovým počítáním • ‘inkubátor’pro nové uživatele / aplikace / aplikační oblasti • pomoc při adaptaci software pro použití na Gridu • dokonce pro aplikace bez zkušenosti s gridovým / clusterovým / vzdáleným počítáním • plynulý přechod k produkčnímu použití • podpora přípravy specifických VO • jakmile uživatelé získají více zkušeností Seminář projektu EGEE-II, 12. prosinec, 2006

11. VOCE infrastruktura • VOCE - Popis • samostatná infrastruktura • všechny relevantní služby spravovány VOCE administrátory • klíčové služby založeny na gLite-3.0 a gLite-3.1 middleware • CE & SE zdroje sdíleny s LCG • uživatelská podpora pomocí RT helpdesku • Perun – nástroj pro správu uživatelských identit podporujícíc LDAP and VOMS Seminář projektu EGEE-II, 12. prosinec, 2006

12. VOCE infrastruktura • VOCE - Cíle • poskytovataplikačně neutrálníprostředí • není vázano k žádné konkrétní aplikaci • zájem o široké spektrum aplikačních oblastí • i malé výzkumné skupiny mohou využívat produkční EGEE Grid • není třeba investovat do ustavení specifické VO před testováním a použitím gridového prostředí EGEE/gLite • dostupná produkční i tréninková infrastruktura Seminář projektu EGEE-II, 12. prosinec, 2006

13. VOCE infrastruktura • VOCE - Cíle • poskytovatkompletní a samostatnou gridovou infrastrukturu založenou na EGEE/gLite middleware • převzít zátěž fungování gridové infrastruktury • umožnit uživatelům produkční práci, možnost tréninku a sloužit pro zpětnou vazbu vývojářům middleware • významnápřidaná hodnota • VOCE vystavěna jako obecná VO • oficiálně doporučený postup pro ustavení VO v rámci EGEE Seminář projektu EGEE-II, 12. prosinec, 2006

14. VOCE infrastruktura • VOCE – Registrační procedury • Registrace uživatelů • požadována registrace na http://voce-register.farm.particle.cz/ • požadováno vlastnictví platného certifikátu od certifikační autority uznané sdružením IGTF • požadován souhlas s VOCE politikami • požadována příslušnost k CE instituci • žádné další požadavky • Registrace zdrojů • na základě dohody • jednoduché, pokud zdroje již certifikovány v rámci EGEE Seminář projektu EGEE-II, 12. prosinec, 2006

15. Aktuální stav VOCE • Přehled infrastrukturních elementů • klíčová infrastruktura (WMS, CE, WNs, SE) plně funkční a konfigurována na přijetí uživatelů z CE • konfigurace podporující práci s LCG/gLite-3.0 middleware UI skurut4.cesnet.cz RB skurut3.cesnet.cz WMS skurut2.cesnet.cz (skurut67-6.cesnet.cz, XENed service) VOCE LDAP meta-ldap.cesnet.cz VOCE VOMS skurut19.cesnet.cz • přístup na UI pomocí GSISSH, účet na UI je vytvořen automaticky po registraci do VOCE • dostupné také některé služby gLite-3.1 (JP, WMS, …) Seminář projektu EGEE-II, 12. prosinec, 2006

16. Aktuální stav VOCE • Středoevropská federace (CE) • regionální znakheterogenita (zapojení partneři & organizace) Česká republika Chorvatsko Maďarsko Polsko Rakousko Slovensko Slovinsko Seminář projektu EGEE-II, 12. prosinec, 2006

17. Aktuální stav VOCE • VOCE – Virtuální Organizacepro Střední Evropu zdroje zCESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko) SRCE, IRB, FESB (Chorvatsko) BME, KFKI, ELTE, NIIF (Maďarsko) GUP, HEPHY (Rakousko) více než178 registrovaných uživatelů ze 14 institucí a 6 zemí celkově1262 CPUs cca 27.3 TB disk space Seminář projektu EGEE-II, 12. prosinec, 2006

18. Aktuální stav VOCE • VOCE - Virtuální Organizacepro Střední Evropu • CHARON Extension Layer (CEL) • uniformní a modulární přístup pro zasílání a správu (komplexních) výpočetních úloh • obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, …) • správa aplikací • single/paralelníspouštění bez nutnosti modifikace skriptu úlohy • správa úloh • jednoduché zadání, monitorování běhu a získání výsledků • přístup založený na rozhraní příkazové řádky (CLI) Seminář projektu EGEE-II, 12. prosinec, 2006

19. Aktuální stav VOCE • VOCE - Virtuální Organizacepro Střední Evropu • další dostupná řešení • VOCE propojenosportálem P-GRADE • VOCE propojeno sportálem GENIUS • výpočetní prostředí podporující paralelní spouštění výpočetních úloh pomocí MPI Seminář projektu EGEE-II, 12. prosinec, 2006

20. Aktuální stav VOCE • VOCE - Virtuální Organizacepro Střední Evropu • portál P-GRADE • umožňuje pokročilou správu workflows • komfortní spouštění paralelních úloh • podpora ‘legacy’ aplikací • přístup do více různých Gridů Seminář projektu EGEE-II, 12. prosinec, 2006

21. Aktuální stav VOCE Seminář projektu EGEE-II, 12. prosinec, 2006

22. Aktuální stav VOCE • VOCE - Virtuální Organizacepro Střední Evropu • portál GENIUS • podpora výuky použití gridového prostředí • standardní nástroj pro trénink využitíEGEE Gridu • předdefinovaná sada ukázkových aplikací Seminář projektu EGEE-II, 12. prosinec, 2006

23. Aktuální stav VOCE Seminář projektu EGEE-II, 12. prosinec, 2006

24. Závěrečné poznámky • VOCE - Shrnutí • registrace uživatelů • registrace do VOCE http://voce-register.farm.particle.cz/ • dokumentace • VOCE portál http://egee.cesnet.cz/en/voce/ • uživatelská podpora • zašlete požadavky na voce@cesnet.cz Seminář projektu EGEE-II, 12. prosinec, 2006

25. Závěr • VOCE – Shrnutí • produkční gridová infrastruktura • obecná VO podporující nové gridové uživatele • dedikované prostředí pro trénink uživatelů Seminář projektu EGEE-II, 12. prosinec, 2006