Abiadura handiko konputazioa Superkonputagailuak, Cluster -rak, The Grid. (laburpena)

1. Abiadura handiko konputazioa Superkonputagailuak, Cluster-rak, The Grid. (laburpena) Agustin Arruabarrena EHU - KAT IEB05 - UEU Abiadura handikokonputazioa

2. 1 Sarrera 2 Konputagailuen eboluzioa Superkonputagailuak / Cluster-rak / Top500 Programazio-ereduak 3The Grid Abiadura handikokonputazioa

3. Sarrera 1 ARAZOA Konputagailuak gero eta azkarragoak dira. Baina kalkuluaren eta datuak prozesatzeko beharrak are azkarrago hazten dira. Abiadura handikokonputazioa

4. ARAZOA Hainbat aplikazio zientifikotan (astronomia, biologia, energia altuak, ...)datu kopuru itzelak prozesatu behar dira: Petabyte → 1015 byte (106 GB) 102 eragiketa → 1017 flop (108 Gflop / 105 Tflop) 1 Gf/s → 108 s → 3 urte! Sarrera 1 Gainera, exekutatu behar diren atazen tamaina nahi adina luza daiteke. Abiadura handikokonputazioa

5. Sarrera 1 IRTENBIDEA Prozesadore / konputagailu / sistema asko erabiltzea problema konplexu bati ekiteko. Paralelismoa: hainbat prozesu exekutatzen dira, batera, hainbat prozesadoretan. Egitura, prozesu- eta datu-banaketa, eta abar oso desberdinak izan daitezke. Abiadura handikokonputazioa

6. Sarrera 1 Aplikazioak (kalkulua): 1. High Throughput prozesuak (ia) independenteak dira genetika, astronomia, irudi-bankuak... 2. High Performance prozesuen arteko komunikazioa behar da meteorologia... 3. Segurtasuna (errepikapena) Abiadura handikokonputazioa

7. Paralelismoa: kalkulua + Komunikazioa T_guzt T_kom T_ex prozesadore kop. Sarrera 1 Abiadura handikokonputazioa

8. Itanium / Pentium IBM 360, PDP-11, VAX grid ASCI Red superkonputagailua cluster Konputagailuen eboluzioa 2 multiprozesadoreak (servers) Abiadura handikokonputazioa

9. Diseinu bereziko konputagailu paraleloak Superkonputagailuak 2 Teknologia aurreratuenak prozesadorea konexio-sarea (3D toroak / mezu-bideragailuak) sistema-softwarea (komunikazio-protokoloak) Oso azkarrak / oso garestiak ASCI Red, Earth Simulator, Blue Gene Abiadura handikokonputazioa

10. Earth Simulator 2 Abiadura handikokonputazioa

11. Earth Simulator 2 Abiadura handikokonputazioa

12. Sistema paraleloa osatzeko, helburu orokorreko P makina lotzen dira, komunikazio-sare “estandar” bat erabiliz. prozesadorea (pentium / itanium) konexio-sarea (gigabit / myrinet) Cluster-rak 2 ”Eraginkortasuna/kostua” parametroa oso ona. Abiadura handikokonputazioa

13. constellation K1 K1 K1 K1 “Beowulf” K1 Cluster-rak 2 Abiadura handikokonputazioa

14. Egoera gaur 2 Argazkia: - superkonputagailu batzuk (USA, JAPONIA, Europa) - cluster motako milaka sistema paralelo - milioika ordenagailu pertsonal Sistema paraleloen top500 zerrenda Abiadura handikokonputazioa

15. BlueGene x1,85 NEC Earth simulator IBM ASCI white LLNL Intel ASCI red Sandia 2 Abiadura handikokonputazioa

16. top500 (2004ko abendua) 2 Abiadura handikokonputazioa

17. SGI Altix 2 Abiadura handikokonputazioa

18. Mare Nostrum 2 Abiadura handikokonputazioa

19. 2 Abiadura handikokonputazioa

20. CM2 VP500 Sun HPC Y-MP C90 ASCI Red SP2 Paragon Earth Sim. T3D T3E CM5 2 Abiadura handikokonputazioa

21. Sistema paraleloen eredua 2 1.Memoria komuna (shared memory): Prozesadore guztiek memoria-posizio guztiak erabil dizakete. Prozesuen artekokomunikazioaaldagai konpartituen bidezgauzatzen da. 2. Memoria banatua(distributed memory): Prozesadore bakoitzak memoria pribatua du. Prozesuen arteko komunikazioa mezu-ematearen bidez egiten da. Abiadura handikokonputazioa

22. Sistema paraleloen programazioa 2  Memoria komuna:OpenMP (API Fortran / C) sasiaginduakkonpiladorearentzat + biblioteka-funtziobatzuk(sinkronizazioa) #pragma omp parallel for shared(A,B,C) private(x) schedule(static) for (i=1;i<= N; i++) { x = A[i] + B[i]; C[i] = C[i] + x*x; } Abiadura handikokonputazioa

23. Komunikazio-funtziomultzo handi bat (Fortran / C). MPI_Send(...); MPI_Recv(...); MPI_Bcast(...); MPI_Barrier(...); Sistema paraleloen programazioa 2 Memoria banatua:MPI if (pid==0) MPI_Send(VA,N,MPI_INT, 1, tag, MPI_COMM_WORLD); else MPI_Recv(VA,N,MPI_INT, 0, tag, MPI_COMM_WORLD,...); Abiadura handikokonputazioa

24. ARAZOA Hainbat aplikaziotan, ez da nahikoa makina batekin, superkonputagailu bat bada ere. The Grid 3 Datu kopuru itzelak prozesatu behar dira. Merezi du toki batetik bestera mugitzea? Zergatik ez hartu sarean konektatutako (eta geografikoki banatutako) konputagailuakkonputagailu birtualhanditzat? Abiadura handikokonputazioa

25. Metafora: sare elektrikoa Batetik, produzkio-zentru batzuk daude, eta, bestetik, kontsumitzaileak. The Grid 3 Zergatik ez izan “konputazio-zikloak” sortzen (eta saltzen) dituzten zentro bereziak? Makina propio bat izan beharrean, “makina birtual” bat “alokatu”. Abiadura handikokonputazioa

26. GRID: definizioa Protokolo eta interfaze estandarrak, irekiak eta helburu orokorrekoak erabiliz, hainbat baliabide banatuta kudeatzen duen sistema, balio erantsiko zerbitzuak sortzeko. The Grid 3 Beraz, gegografikoki banatutakocluster heterogeneo handi batda “The Grid”. Abiadura handikokonputazioa

27. Osagaiak - konputazio-guneak - datu-base handiak - urrutitik kontrolatutako sentsoreak - abiadura handiko komunikazio-sarea (internet2 - I2bask) The Grid 3 - middleware gehitu sistemari - web zerbitzuak Abiadura handikokonputazioa

28. 5 (6) ideia nagusiak: OGSA:Open Grid Services Architecture The Grid 3 • Baliabideen konpartitzea (konfiantza) • Distantziarekiko independentzia • Baliabideen erabilera eraginkorra / Zerbitzuaren kalitatea • Atzipen seguruak • Estandarrak Abiadura handikokonputazioa

29. erabiltzaileen aplikazioak zerbitzu kolektiboak middelware konexio- eta baliabide-protokoloak baliabide fisikoak (fabric) Grid arkitektura 3 Abiadura handikokonputazioa

30. Konputazio-guneak Datuak metatzeko sistemak Sarea(k) Tresna fisikoak (sentsoreak) Kudeagarriak (introspection) Erreserba aurreratuak Lehentasunak Grid arkitektura 3 baliabide fisikoak (fabric) Abiadura handikokonputazioa

31.  Konektibitatea → TCP/IP  SEGURTASUNA - single sign-on - delegation - lankidetza segurtasun-sistema lokalekin - kautotzea, kriptografia...  Baliabide-protokoloak - informazio-protokoloak egoera, karga, kostua... - kudeaketa-protokoloak zer egin nahi den, behar bereziak... (erabilera-arauak) Grid arkitektura 3 Konexio- eta baliabide-protokoloak Abiadura handikokonputazioa

32.  Direktorioko zerbitzuak erabiltzaileak jakin dezan zer duen eskura Co-allocation, scheduling...  Monitorizazioa eta diagnosia  Datu-kopiak Grid arkitektura 3 zerbitzu kolektiboak Abiadura handikokonputazioa

33. Erabiltzaileen aplikazioak “erakunde birtual” baten barruan Beheko mailen protokoloka eta zerbitzuak erabiliz: baliabideen bilaketa, datu-atzipenak, gailuen kudeaketa... Grid arkitektura 3 erabiltzaileen aplikazioak Abiadura handikokonputazioa

34.  Open Grid Forum → Open Grid Service Architecture Globus Toolkit2 Middelware: protokolo estandarrak eta irekiak grid sareak antolatzeko eta aplikazioak sortzeko. Globus Toolkit2 3 Abiadura handikokonputazioa

35. Aplikazioak •Kalkulua sare osoa: high throughput nodo batzuk: high performance •Datu-prozesamendua • Kontrol banatua •Erakunde birtualak •... Globus Toolkit2 3 Abiadura handikokonputazioa

36. Datu konpartituak: Peer-to-peer (P2P) aplikazioak (NAPSTER, GNUTELLA, KAZAA...) D 2 P 1 3 4 P 1 Adibideak 3 Abiadura handikokonputazioa

37. Konputazio banatua: SETI@home, Astrogrid(philantropic computing) Kasu partikularrak: egin behar den kalkulua hainbat zatitan bana daiteke, haien artean komunikaziorik ez dagoela. Adibideak 3 Baliabideen fidagarritasun baxua / komunikazio abiadura baxua / segurtasuna (?) / hutsegiteekiko tolerantzia / ... Abiadura handikokonputazioa

38. CERN(European Center for Nuclear Research) Large Hadron Collider, particle experiments Adibideak 3 Abiadura handikokonputazioa

39. EU-DataGrid (EGEE) + GEANT Abiadura handikokonputazioa

40. The Grid gaur 3 Diseinu / garapen fasean dagoen proiektu erraldoia Neurri batean, utopikoa Kalkulu-sare osoa izan beharrean, azpisare bereziak (zientifiko/teknikoak, komertzialak) Etorkizunean... Abiadura handikokonputazioa

41. Informazioa zabaltzeko: •The Grid 2: I. Foster, C. Kesselman •www.globus.org •gridcafe.web.cern.ch/gridcafe Abiadura handikokonputazioa