demogrid
Download
Skip this Video
Download Presentation
DemoGRID

Loading in 2 Seconds...

play fullscreen
1 / 19

DemoGRID - PowerPoint PPT Presentation


  • 105 Views
  • Uploaded on

DemoGRID. Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására. Benczúr András [email protected] Frohner Ákos [email protected] Kacsuk Péter [email protected] www.lpds.sztaki.hu. Áttekintés. Célkitűzések Résztvevők Részletesebb tervek

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' DemoGRID' - fergus


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
demogrid

DemoGRID

Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására

Benczúr András

[email protected]

Frohner Á[email protected]

Kacsuk Péter

[email protected]

www.lpds.sztaki.hu

ttekint s
Áttekintés
  • Célkitűzések
  • Résztvevők
  • Részletesebb tervek
  • Nemzetközi kapcsolatok
  • Összefoglalás

DemoGRID NI2000

c lkit z sek
Célkitűzések

Szuperszámítógépek és klaszterek teljesítményének egyesítése nagysebességű hálózatokkal.

DemoGRID célja ennek magyarországi előkészítése:

  • nyolc központ összekapcsolása - metacomputer
  • Grid middlewarekutatása és továbbfejlesztése
  • pilot alkalmazások fejlesztése adatintenzív és számításintenzív feladatokra

A kialakuló technológiát a magyarországi akadémiai szféra, és nagy erőforrásigényű magyar cégek is hasznosíthassák.

DemoGRID NI2000

innov ci hasznos t s
Innováció/hasznosítás
  • GRID környezetben még nem megoldott feladatok
    • adatok perzisztens kezelése
    • monitorozás és vizualizáció
    • biztonságtechnikai kérdések
  • Európai GRID-hez való kapcsolódás
  • Részecskefizikai és csillagászati adatok
    • terra- és petabájtos adatmennyiségek tárolása
    • keresés, adatbányászat ezekben az adatbázisokban
  • Neurális adatbázisok, neuroszimulátor készítése

DemoGRID NI2000

r sztvev k
Résztvevők
  • ELTE
    • Informatika Tanszékcsoport
    • Elméleti Fiziaki Tanszék, Kvantumelméleti kutatócsoport
    • Fizikus Tanszékcsoport, Asztrofizikai kutatócsoport
    • Információtechnológiai Központ
  • SZTAKI
    • Párhuzamos és Elosztott Rendszerek Laboratórium
    • Rendszerfejlesztési Osztály
  • MTA KFKI Részecske és Magfizikai Kutatóintézet
  • SzIF, Matematika Tanszék
  • MTA Műszaki Fizikai és Anyagtudományi Kutatóintézet

DemoGRID NI2000

tervek

GRID

Általános architektúra

Tároló alrendszer

Biztonsági alrendszer

Monitorozó alrendszer

RDB

OODB

DFS

GDB

ALKALMAZÁSOK

Dekomp

Adat

Szoros

Laza

Hardver

CPU

Tároló

Hálózat

Tervek
  • GRID általános architektúra
    • tanulmányozása, alkalmazása és továbbfejlesztése
  • GRID alrendszerek

tanulmányozása és fejlesztése

    • Tároló alrendszer: relációs adatbázis, objektum-orientált adatbázis, geometriai adatbázis, elosztott fájlrendszer
    • Monitorozó alrendszer
    • Biztonsági alrendszer

DemoGRID NI2000

mi is a grid
Mi is a GRID?
  • A GRID olyan számítógépek, tárolóegységek és egyéb készülékek együttese, amelyek
    • heterogének minden szempontból
    • dinamikusan változnak
    • földrajzilag elosztottak
    • távolsági hálózattalvannak összekötve
    • egyetlen komputer képétalkotják (SSI)
  • Az általánosított metaszámítási technológia (GRID) jelentése:
    • hálózat alapú
    • elosztott adatfeldolgozási technológia

DemoGRID NI2000

az lom alkalmaz s

Távoli megfigyelés és monitorozás Ferihegyről

Távoli víz. Los Angelesben

Távoli víz. és beavatkozás Berlinből

Előző szimuláció eredményeinek víz.-ja egy bécsi kávéházból

Ekvi-felületek

http

HDF5

T3E: Jülich (Németo.)

Origin: NCSA (USA)

Globus

1. Cactus web portálról indított szimuláció (Róma)

Grid kiterjesztésű Cactus futása elosztott szuperszámítógépeken

Az “álom” alkalmazás

DemoGRID NI2000

tervek grid
Tervek - GRID
  • Cél: meglévő klaszterek és szuperszámítógépek összekapcsolása - heterogén komponensek!
  • Eszköz: Globus, vagy hasonló technológia
  • Probléma: “közös hang” megtalálása tecnológiai és adminisztratív értelemben.

DemoGRID NI2000

tervek t rol s
Tervek - tárolás

Megoldandó problémák:

  • Nehezen skálázható megoldások

terra- és petabájtos tartomány

  • Elosztott hozzáférés

a végfelhasználó az egész adattömegnek csak töredékét használja

  • Alkalmazáshoz igazított adattárolási forma

Élő példa lehet: tüdőszűrési röntgenképek tárolása (Budapesten is terrabájtos helyigényű)

DemoGRID NI2000

tervek monitoroz s
Tervek - monitorozás

Az erőforrások felhasználásának követése.

Célok:

  • Felhasználói tájékoztatás
  • Hibakeresés könnyítése
  • Visszajelzések hatékonyabb programok fejlesztéséhez
  • GRID hatékonyabb kihasználása

DemoGRID NI2000

tervek biztons g
Tervek - biztonság

Alapvető probléma:

felhasználók/adatok védelme

vs.

erőforrások könnyű felhasználása

Cél: nyilvános forráskódú rendszer létrehozása

  • bizalom növelése
  • integráció a meglévő megoldásokkal

DemoGRID NI2000

tervek alkalmaz sok
Tervek - alkalmazások
  • Adatintenzív

terrabájtos adatmennyiségek feldolgozása

data-mining, döntéstámogatás

  • Szorosan csatolt

sok részeredményt kell kicserélni

nagy kommunikációs igény

  • Lazán csatolt

“önálló” számítások halmaza

nagy CPU igény

  • Tartomány dekompozíciós

szorosan csatolt részfeladatok lazán csatolt halmaza

Pl: belső égésű motorok működésének optimalizálása

DemoGRID NI2000

tervek hardware
Tervek - hardware
  • Tároló rendszer

költséghatékony fejlesztés 3-5 terrabájtig

jelenlegi helyzet nem kielégítő

  • CPU farmok

jelenlegi kb. 200 CPU frissítése

fejlesztés kb. 300 CPU-ig

jelenlegi állapot kisebb feladatokra elegendő

  • Hálózat

helyi: switch-elt architektúra bevezetése

intézményközi: NIIF nagy sávszélességű programja

DemoGRID NI2000

nemzetk zi kapcsolatok
Nemzetközi kapcsolatok
  • Európai DataGRID - CERN
    • NA49-es kísérlet: évente terrabájtos adatmennyiség
    • CMS - 2005-ben induló LHC egyik kísérlete: petabájtos adatmennyiség, melyhez a DemoGRID csak előtanulmány
  • SDSS - Sloan Digital Sky Survey
    • 1999 óta az égbolt térképezése 2004-ig
    • 40 terrabájt adat az égbolt negyedéről
    • cél: európai központ - teljes adatmennyiség tükrözése

DemoGRID NI2000

cern datagrid projekt

CERN – Tier 0

2.5 Gbps

IN2P3

622 Mbps

RAL

FNAL

Tier 1

155 mbps

155 mbps

622 Mbps

Uni n

Lab a

Tier2

Uni b

Lab c

Department

Desktop

CERN DataGrid projekt

Cél: Petabyte méretű adatok feldolgozása több ezer tudós által

DemoGRID NI2000

hol tart ma az usa
Hol tart ma az USA?

NSF National Technology Grid

DemoGRID NI2000

sszefoglal s
Összefoglalás

A célkitűzésekben megfogalmazott részfeladatokon ma is dolgoznak a résztvevők, de a megvalósítás üteme és mértéke csökkentett.

Az erőforrásigényes feladatok megoldása GRID tecnológiával lehetővé teszi az országban rendelkezésre álló elszórt eszközpark hatékonyabb kihasználását.

A célkitűzések megvalósításával Magyarország tudományos adatok forrássává válhatna akár európai szinten is. Ennek informatikai technológiája a kereskedelmi szférában is könnyen hasznosítható lenne.

DemoGRID NI2000

ad