SZTAKI Desktop Grid

1. SZTAKI Desktop Grid Kacsuk Péter MTA SZTAKI www.lpds.sztaki.hu

2. Előadásvázlat • Mi az a desktopgrid? • A desktopgridek fajtái • Kinek és miért jó? • Hogyan lehet használni? • Magyar és európai projektek • Összefoglalás

3. Szabad kapacitás kiajánlása dinamikusan Munkacsomagok kiosztása Desktop Grid (DG) modell Vállalati/egyetemi szerver Donor: Vállalati/egyetemi v. magán PC Megoldandó feladat Hálózat Donor: Vállalati/egyetemi v. magán PC Donor: Vállalati/egyetemiv. magán PC

4. Desktop Grid modell – Mester/szolgapárhuzamosság DG Szerver Hálózat

5. Desktop Grid fajtái • Globális (önkéntes) DG • Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni • Lokális DG • Célja, hogy a DG koncepciót bármilyen közösség (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

6. Globális Desktop Grid jellemzői • A nagy számítási kapacitás kiépítésének legolcsóbb módja • Ok: • az asztali számitógépek kapacitásának kb. 5%-a van kihasználva • A fennmaradó 95%-ot használják ki • Bárki felajánlhat erőforrást • Heterogén erőforrások, amik dinamikusan jönnek, mennek • A megbízhatóság sokkal kisebb, növelése speciális megoldásokat igényel

7. SETI@home: egy globális DG • SETI@home • 1 projekt: a világűrből érkező rádiójelek vizsgálata, van-e bennük mesterséges jelsorozat • 3.8M önkéntes 226 országból • 1200 CPU év/nap • Legnagyobb szuperszámítógépekkel összemérhető teljesítmény

8. SZTAKI Desktop Grid(SZDG) 2005. júniusában lett felállítva a SZTAKI-ban http://www.desktopgrid.hu/

9. SZTAKI Desktop Gridglobális verzió

10. SZTAKI Desktop Gridglobális verzió

11. Miért fontosak az önkéntes DG-k? önkéntes DG-k nagyon nagyszámú erőforrást képesek gyüjteni http://knowledgebase.e-irg.eu 11 Introduction Author: Robert Lovas, Ad Emmen RI-261561 WP4 version: 1.0

12. SZDG: mint lokális DG mintarendszer • Legfontosabb célja: • Társadalmasítani a Grid rendszerek építését • Hogyan? • Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: • Egyetlen PC szervert kell beruháznia • SZTAKI vállalja, hogy • egyetlen nap alatt felállítja a DG-t • segít a szervezet alkalmazásait adaptálni és telepíteni a DG-re

13. SZDG: Lokális DG aWestminsteri Egyetemen 6 1 2 5 4 • New Cavendish Street 576 nodes • Marylebone Campus 559 nodes • Regent Street 395 nodes • Wells Street 31 nodes • Little Tichfield Street 66 nodes • Harrow Campus 254 nodes • Total: 1881 nodes 3 13

14. WminLokális DG használata gUSE/WS P-GRADE portal Wmin LokálisDG G-USE:feladat beküldés a DG-re BOINC Szerver Alkalmazás és input paraméterek definiálása Kliensek: alkalmazás és inputok letöltése, eredmény feltöltése BOINC kliensek Felhasználó

15. Tamas Kiss – kisst@wmin.ac.uk INGRID 2009 WminLokális DG és alkalmazás monitorozása UoW Local DG WS-PGRADE portal

16. Új program: DG rendszerek felállitása a magyar egyetemek számára • Cél: a Wmin DG tapasztalatai alapján minden magyar egyetem számára felállitani egy DG-t • 3 lehetséges opció: • Dedikált DG (PC labor gépek használata) • Önkéntes DG (hallgatók és oktatók gépeinek használata) • Vegyes DG (Dedikált DG + Önkéntes DG) • SZTAKI biztositja • a DG szervert • a gUSE/WS-PGRADE DG portált, amin keresztül a feladatok beküldhetők • Kezdeti kisérletben résztvevő egyetemek: • OE, ELTE, ME, SZE

17. SZTAKI Desktop Grid alkalmazásai magyar projektekben • ADMEToxGrid (gyógyszerkutatás) • Adatbányászat és gépi tanulás • Meteorológia, klíma modellezés • Fotók vízjelzése a Facebook közösségek számára (Web2Grid projekt)

18. Desktop Grid és WEB2 előnyeinek ötvözése…

19. SZTAKI Desktop Grid alkalmazásai Európai projektekben • CancerGrid • EDGeS(Enabling Desktop Grids for e-Science) • EDGI (European Desktop Grid Initiative) • DEGISCO (Desktop Grids for International Scientific Collaboration) • Az utóbbi 3 projektet a SZTAKI koordinálja • Mind a 4 projekt az SZDG-t használja

20. A CancerGrid infrastruktúra WS-PGRADE Portal Local jobs DG jobs 3GBridge LocalResource workflow végrehajtás Job 1 Job 2 Molekulák vizsgálata Job N BOINCserver PortalStorage WU 1 WU 2 WU N BOINC client GenWrapper forbatch execution WU X LegacyApplication WU Y moleculedatabase LegacyApplication Portál ésDesktop Grid szerver (4 workflow alkalmazás) DG klienseka partnerektől Molekulaadatbázis szerver

21. EDGeS és EDGI infrastruktúrák EDGI: gLite, ARC, Unicore, Cloud rendszerek és DG-k együtt-működése EDGeS: gLite és DG-k együtt-működése

22. International desktop Grid Federation Cél: DG közösség építése, ld. http://desktopgridfederation.org/

23. Összefoglalás • Az SZDG lehetővé teszi: • a Grid rendszerek építésének társadalmasítását • Grid építését olyan intézmények számára is, ahol • nincs klaszter • nincs Grid építési tapasztalat • nincs elég anyagi forrás drága nagyteljesítményű rendszerek vételére • a Grid magyarországi elterjedését a különböző közösségek számára (pl. városok, egyetemek, vállalatok) • A SZTAKI segít • DG rendszerek telepítésében a különböző közösségek számára • DG alkalmazások létrehozásában http://www.desktopgrid.hu/

24. Csatlakozz az önkéntes DG közösséghez és ajánld fel asztali számitógéped szabad kapacitását! Source: http://europa.eu/volunteering