Demogrid
This presentation is the property of its rightful owner.
Sponsored Links
1 / 19

DemoGRID PowerPoint PPT Presentation


  • 74 Views
  • Uploaded on
  • Presentation posted in: General

DemoGRID. Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására. Benczúr András [email protected] Frohner Ákos [email protected] Kacsuk Péter [email protected] www.lpds.sztaki.hu. Áttekintés. Célkitűzések Résztvevők Részletesebb tervek

Download Presentation

DemoGRID

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Demogrid

DemoGRID

Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására

Benczúr András

[email protected]

Frohner [email protected]

Kacsuk Péter

[email protected]

www.lpds.sztaki.hu


Ttekint s

Áttekintés

  • Célkitűzések

  • Résztvevők

  • Részletesebb tervek

  • Nemzetközi kapcsolatok

  • Összefoglalás

DemoGRID NI2000


C lkit z sek

Célkitűzések

Szuperszámítógépek és klaszterek teljesítményének egyesítése nagysebességű hálózatokkal.

DemoGRID célja ennek magyarországi előkészítése:

  • nyolc központ összekapcsolása - metacomputer

  • Grid middlewarekutatása és továbbfejlesztése

  • pilot alkalmazások fejlesztése adatintenzív és számításintenzív feladatokra

    A kialakuló technológiát a magyarországi akadémiai szféra, és nagy erőforrásigényű magyar cégek is hasznosíthassák.

DemoGRID NI2000


Innov ci hasznos t s

Innováció/hasznosítás

  • GRID környezetben még nem megoldott feladatok

    • adatok perzisztens kezelése

    • monitorozás és vizualizáció

    • biztonságtechnikai kérdések

  • Európai GRID-hez való kapcsolódás

  • Részecskefizikai és csillagászati adatok

    • terra- és petabájtos adatmennyiségek tárolása

    • keresés, adatbányászat ezekben az adatbázisokban

  • Neurális adatbázisok, neuroszimulátor készítése

DemoGRID NI2000


R sztvev k

Résztvevők

  • ELTE

    • Informatika Tanszékcsoport

    • Elméleti Fiziaki Tanszék, Kvantumelméleti kutatócsoport

    • Fizikus Tanszékcsoport, Asztrofizikai kutatócsoport

    • Információtechnológiai Központ

  • SZTAKI

    • Párhuzamos és Elosztott Rendszerek Laboratórium

    • Rendszerfejlesztési Osztály

  • MTA KFKI Részecske és Magfizikai Kutatóintézet

  • SzIF, Matematika Tanszék

  • MTA Műszaki Fizikai és Anyagtudományi Kutatóintézet

DemoGRID NI2000


Tervek

GRID

Általános architektúra

Tároló alrendszer

Biztonsági alrendszer

Monitorozó alrendszer

RDB

OODB

DFS

GDB

ALKALMAZÁSOK

Dekomp

Adat

Szoros

Laza

Hardver

CPU

Tároló

Hálózat

Tervek

  • GRID általános architektúra

    • tanulmányozása, alkalmazása és továbbfejlesztése

  • GRID alrendszerek

    tanulmányozása és fejlesztése

    • Tároló alrendszer: relációs adatbázis, objektum-orientált adatbázis, geometriai adatbázis, elosztott fájlrendszer

    • Monitorozó alrendszer

    • Biztonsági alrendszer

DemoGRID NI2000


Mi is a grid

Mi is a GRID?

  • A GRID olyan számítógépek, tárolóegységek és egyéb készülékek együttese, amelyek

    • heterogének minden szempontból

    • dinamikusan változnak

    • földrajzilag elosztottak

    • távolsági hálózattalvannak összekötve

    • egyetlen komputer képétalkotják (SSI)

  • Az általánosított metaszámítási technológia (GRID) jelentése:

    • hálózat alapú

    • elosztott adatfeldolgozási technológia

DemoGRID NI2000


Demogrid

DemoGRID NI2000


Az lom alkalmaz s

Távoli megfigyelés és monitorozás Ferihegyről

Távoli víz. Los Angelesben

Távoli víz. és beavatkozás Berlinből

Előző szimuláció eredményeinek víz.-ja egy bécsi kávéházból

Ekvi-felületek

http

HDF5

T3E: Jülich (Németo.)

Origin: NCSA (USA)

Globus

1. Cactus web portálról indított szimuláció (Róma)

Grid kiterjesztésű Cactus futása elosztott szuperszámítógépeken

Az “álom” alkalmazás

DemoGRID NI2000


Tervek grid

Tervek - GRID

  • Cél: meglévő klaszterek és szuperszámítógépek összekapcsolása - heterogén komponensek!

  • Eszköz: Globus, vagy hasonló technológia

  • Probléma: “közös hang” megtalálása tecnológiai és adminisztratív értelemben.

DemoGRID NI2000


Tervek t rol s

Tervek - tárolás

Megoldandó problémák:

  • Nehezen skálázható megoldások

    terra- és petabájtos tartomány

  • Elosztott hozzáférés

    a végfelhasználó az egész adattömegnek csak töredékét használja

  • Alkalmazáshoz igazított adattárolási forma

    Élő példa lehet: tüdőszűrési röntgenképek tárolása (Budapesten is terrabájtos helyigényű)

DemoGRID NI2000


Tervek monitoroz s

Tervek - monitorozás

Az erőforrások felhasználásának követése.

Célok:

  • Felhasználói tájékoztatás

  • Hibakeresés könnyítése

  • Visszajelzések hatékonyabb programok fejlesztéséhez

  • GRID hatékonyabb kihasználása

DemoGRID NI2000


Tervek biztons g

Tervek - biztonság

Alapvető probléma:

felhasználók/adatok védelme

vs.

erőforrások könnyű felhasználása

Cél: nyilvános forráskódú rendszer létrehozása

  • bizalom növelése

  • integráció a meglévő megoldásokkal

DemoGRID NI2000


Tervek alkalmaz sok

Tervek - alkalmazások

  • Adatintenzív

    terrabájtos adatmennyiségek feldolgozása

    data-mining, döntéstámogatás

  • Szorosan csatolt

    sok részeredményt kell kicserélni

    nagy kommunikációs igény

  • Lazán csatolt

    “önálló” számítások halmaza

    nagy CPU igény

  • Tartomány dekompozíciós

    szorosan csatolt részfeladatok lazán csatolt halmaza

    Pl: belső égésű motorok működésének optimalizálása

DemoGRID NI2000


Tervek hardware

Tervek - hardware

  • Tároló rendszer

    költséghatékony fejlesztés 3-5 terrabájtig

    jelenlegi helyzet nem kielégítő

  • CPU farmok

    jelenlegi kb. 200 CPU frissítése

    fejlesztés kb. 300 CPU-ig

    jelenlegi állapot kisebb feladatokra elegendő

  • Hálózat

    helyi: switch-elt architektúra bevezetése

    intézményközi: NIIF nagy sávszélességű programja

DemoGRID NI2000


Nemzetk zi kapcsolatok

Nemzetközi kapcsolatok

  • Európai DataGRID - CERN

    • NA49-es kísérlet: évente terrabájtos adatmennyiség

    • CMS - 2005-ben induló LHC egyik kísérlete: petabájtos adatmennyiség, melyhez a DemoGRID csak előtanulmány

  • SDSS - Sloan Digital Sky Survey

    • 1999 óta az égbolt térképezése 2004-ig

    • 40 terrabájt adat az égbolt negyedéről

    • cél: európai központ - teljes adatmennyiség tükrözése

DemoGRID NI2000


Cern datagrid projekt

CERN – Tier 0

2.5 Gbps

IN2P3

622 Mbps

RAL

FNAL

Tier 1

155 mbps

155 mbps

622 Mbps

Uni n

Lab a

Tier2

Uni b

Lab c

Department

Desktop

CERN DataGrid projekt

Cél: Petabyte méretű adatok feldolgozása több ezer tudós által

DemoGRID NI2000


Hol tart ma az usa

Hol tart ma az USA?

NSF National Technology Grid

DemoGRID NI2000


Sszefoglal s

Összefoglalás

A célkitűzésekben megfogalmazott részfeladatokon ma is dolgoznak a résztvevők, de a megvalósítás üteme és mértéke csökkentett.

Az erőforrásigényes feladatok megoldása GRID tecnológiával lehetővé teszi az országban rendelkezésre álló elszórt eszközpark hatékonyabb kihasználását.

A célkitűzések megvalósításával Magyarország tudományos adatok forrássává válhatna akár európai szinten is. Ennek informatikai technológiája a kereskedelmi szférában is könnyen hasznosítható lenne.

DemoGRID NI2000


  • Login