Tehnologija GRID kot standardna komunikacijsko-računska infrastruktura

1. Tehnologija GRID kot standardna komunikacijsko-računska infrastruktura Igor Ozimek Institut “Jožef Stefan”, Ljubljana, Slovenija E-mail: igor.ozimek@ijs.si Tehnologije grid - infrastruktura in aplikacije

2. Izvajalci & financerji • Izvajalci • IJS, Odsek za komunikacijske sisteme • FRI, Univerza v Ljubljani, Lab. za algoritme in podatkovne strukture • XLAB d.o.o. • Financerji • Javna agencija za raziskovalno dejavnost RS (ARRS)(prej Ministrstvo za šolstvo, znanost in šport) • Ministrstva za visoko šolstvo, znanost in tehnologijo (MVZT) - Direktorat za informacijsko družbo(prej Ministrstvo za informacijsko družbo) Tehnologije grid - infrastruktura in aplikacije

3. Vsebina projekta • Postavitev testnega grid sistema • gFIX - Globus Toolkit, 3 računalniki sodelujočih organizacij • Testna aplikacija • medicinska aplikacija: optimalna postavitev EKG elektrod • Izboljšava srednje plasti • študij/simulacija podvajanja podatkov • xIndex - storitev, decentalizirana P2P struktura indeksov Tehnologije grid - infrastruktura in aplikacije

4. Grid sistemi • Značilnosti: • povezani računalniki • prostorsko ločeni • različne komunikacijske povezave • različna strojna oprema • različna programska oprema • naključno razpoložljivi Tehnologije grid - infrastruktura in aplikacije

5. Grid sistemi (nadalj.) • Prednost: že obstoječa oprema - ni vlaganja v drago namensko opremo Tehnologije grid - infrastruktura in aplikacije

6. Grid - orodja • Plast med OS in aplikacijami - “middleware” • Globus, Unicore, Condor, NetSolve, Legion, ... • Globus Toolkit • organizacije: • Argonne National Laboratory, University of Southern California, University of Chicago, University of Edinburgh, Center for parallel computers (Stockholm), ... • projekti: • EU DataGrid, NASA Information Power Grid, National Technology Grid, ... Tehnologije grid - infrastruktura in aplikacije

7. Grid - orodja (nadalj.) • Unicore • organizacije: • Bundesanstalt für Wasserbau (Kiel), Cray Computers (München), Fujitsu Siemens Computers, IBM Deutschland, NEC High Performance Europe, ... • projekti: • EuroGrid, ... Tehnologije grid - infrastruktura in aplikacije

8. Globus Toolkit • Funkcije: • iskanje in dodeljevanje virov • komunikacija • poenoten informacijski servis za vire • vmesnik za avtentikacijo • kreiranje procesov • dostop do podatkov Tehnologije grid - infrastruktura in aplikacije

9. Postavitev testnega sistema • FRI • IJS • XLAB Tehnologije grid - infrastruktura in aplikacije

10. Testna aplikacija - ogrodje • Orodja: • Globus Toolkit, Java CoG (Commodity Grid), • strežnika GridFTP, GRAM (Grid Resource Allocation Manager), • Apache Ant (“make” tool) • Delovanje: • razdelitev vhodnih podatkov na več delov • procesiranje delov podatkov na različnih računalnikih v gridu • zbiranje rezultatov • združevanje rezultatov Tehnologije grid - infrastruktura in aplikacije

11. Testna aplikacija • Medicinska aplikacija: • iskanje optimalnega položaja elektrod za meritev EKG(36 možnih položajev) Električni dipol srca potencial na elektrodi i: korelacijski koeficient: kriterijska funkcija: Tehnologije grid - infrastruktura in aplikacije

12. Testna aplikacija • Časi izvajanja Tehnologije grid - infrastruktura in aplikacije

13. Izboljšave srednje plasti • Študij statičnega podvajanja podatkov v podatkovnih omrežjih • xIndex - storitev distribuiranega indeksa tip peer-to-peer (P2P) Tehnologije grid - infrastruktura in aplikacije

14. Podvajanje podatkov • Selitev kopije podatkov v bližino obdelave • Način: • statično podvajanje • vnaprejšnje podvajanje • hitrejše razporejanje aplikacij po omrežju • večja odpornost na napake v omrežju • dinamično podvajanje • sprotno podvajanje glede na trenutne zahteve posamezne aplikacije - problem optimizacije • večinoma ad-hoc rešitve brez teoretične podlage • težko sestaviti reprezentativne teste za oceno metod Tehnologije grid - infrastruktura in aplikacije

15. Podvajanje podatkov (nadalj.) • Model statičnega podvajanja • opis problema • neusmerjen graf G=<V,E> • množica podatkov A • kapaciteta vozlišč c: V Z+ • kapaciteta povezav d: E Z+ • velikost podatkov s: A Z+ • opis rešitve • f: A 2V • kriterij dopustne rešitve • cena prenosa podatka cost(v,a) • ciljna funkcija Tehnologije grid - infrastruktura in aplikacije

16. Podvajanje podatkov (nadalj.) (2) • Simulatorji • SimGrid, OptorSim, ChicSim, GridSim • GridSim • napisan v Javi - prenosljiv • dobra arhitektura in modularnost - omogoča nadaljnji razvoj in razširitve • dopolnili smo ga z entitetami in operacijami za simulacijo podatkovnih omrežij Tehnologije grid - infrastruktura in aplikacije

17. Podvajanje podatkov (nadalj.) (3) • Entitete • Katalog kopij (hierarhični model) • Podatkovno vozlišče • podatkovna shramba • upravljalec kopij • lokalni katalog kopij • strategija dodeljevanja • Uporabnik Tehnologije grid - infrastruktura in aplikacije

18. Podvajanje podatkov (nadalj.) (4) • Operacije • dodajanje in brisanje glavne datoteke • dodajanje in brisanje kopij • poizvedba o lokaciji datoteke • filtriranje datotek Tehnologije grid - infrastruktura in aplikacije

19. Podvajanje podatkov (nadalj.) (5) • Primer simulacije • EU DataGrid TestBed 1, povprečni čas izvajanja opravila Tehnologije grid - infrastruktura in aplikacije

20. Podvajanje podatkov (nadalj.) (6) • Nekateri podatki za EU DataGrid TestBed 1 Tehnologije grid - infrastruktura in aplikacije

21. xIndex • Decentralizacija podatkov in iskanja • Globus Toolkit • MDS (Monitor-and-Discovery Service) • Index service • Trigger service • hierarhična struktura indeksov - problemi na višjih nivojih: • količina podatkov • komunikacijsko ozko grlo • zanesljivost in dosegljivost podatkov Tehnologije grid - infrastruktura in aplikacije

22. xIndex (nadalj.) • xIndex service • peer-to-peer (P2P) struktura indeksov • dodatna storitev v sistemu Globus Toolkit (V4) • model po vzoru protokola Gnutella Tehnologije grid - infrastruktura in aplikacije

23. Zaključek • Začetek intenzivnih raziskav skupin iz IJS, FRI in XLAB na področju grid omrežij • Rezultati: • testna postavitev omrežja grid (gFIX) • priprava ogrodja za izdelavo testne aplikacije, testna aplikacija • raziskave in izboljšave na področju srednje plasti (“middleware”): podvajanje podatkov, xIndex • Raziskave se nadaljujejo v okviru naslednjega CRP projekta, »RS-GRID: Računski servisi na GRID infrastrukturi« Tehnologije grid - infrastruktura in aplikacije

24. Zaključek (nadalj.) • GRID omrežja bodo v prihodnosti omogočala učinkovito obdelavo računsko in podatkovno zahtevnih problemov na cenovno ugoden način - brez vlaganja v drago visokozmogljivo računalniško opremo - “računalniška moč iz vtičnice v zidu”. Tehnologije grid - infrastruktura in aplikacije