Grid de calcul tehnologia arhitectura i viitorul
This presentation is the property of its rightful owner.
Sponsored Links
1 / 45

GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL PowerPoint PPT Presentation


  • 55 Views
  • Uploaded on
  • Presentation posted in: General

1 st RENAM UC – 2007 National Research and Education Network User’s Conference 14 - 15 May, 2007. GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL. Dr. V eaceslav Sidorenco RENAM, UTM www.renam.md www.utm.md. Evoluţie: Valul nr cinci. 21 st Century. Distributed Computing.

Download Presentation

GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Grid de calcul tehnologia arhitectura i viitorul

1st RENAM UC – 2007

National Research and Education Network User’s Conference

14 - 15 May, 2007

GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL

Dr. Veaceslav Sidorenco

RENAM, UTM

www.renam.md

www.utm.md

UC2007, V.Sidorenco


Evolu ie valul nr cinci

Evoluţie: Valul nr cinci

21stCentury

Distributed

Computing

Enterprise

Productivity

Mainframe

PC

Client/Server

Internet

Operational

Productivity

Personal

Productivity

Departmental

Productivity

Channel

Productivity

UC2007 V.Sidorenco2


Principiul grid computing

Principiul Grid Computing

constă în utilizarea optimizată a infrastructurii informatice eterogene prin considerarea reţelei de calculatoare cao maşină virtuală unică

UC2007 V.Sidorenco3


Evolu ie distributed computing

Evoluţie: Distributed Computing

Computing Ubiquity

Internet Grid Computing

Grid Research

JobScheduler

Parallel

Analyzer

MultiCluster

Distributed Batch Queuing

NQS, DQS, Condor, … LSF Batch

DC Research

System Arch Trend :

UNIX workstations & supercomputers

2 Vaxen +

Ethernet

SMPs & UNIX workstations

Linux & Windows farms with commd. chips

1992

1996

2000

2006

1985

UC2007 V.Sidorenco4


Obiectivul grid computing

Obiectivul Grid Computing

Obiectivul principal al grid computingului este acela de a trata reţeaua mondială de sisteme de calcul drept o vastă resursă computaţională a cărei putere de calcul să fie oferită utilizatorilor, în aceeaşi manieră în care serviciile reţelei de electricitate sunt oferite clienţilor acesteia.

Gridul îşi propune să furnizeze infrastructura şi mijloacele care fac posibilă partajarea pe scară largă, sigură a resurselor, dar şi o putere de procesare impresionantă.

UC2007 V.Sidorenco5


Grid computing propriet i

Grid Computing: proprietăţi

  • Colaborare– capacitatea de a partaja resurse în mod distribuit, acoperind transparent mai multe domenii de administrare. Colaborarea inspiră o sinergie pozitivă în relaţiile dintre utilizatori şi furnizori de servicii. Există chiar şi o concepţie aparte de grid de colaborare (Collaboration Grid).

  • Agregare – gridul uneşte mulţimi de resurse individuale într-o resursă virtuală de capacitate mare. Resursele individuale putând fi unite atât static cât şi dinamic.

  • Virtualizare – serviciile grid sunt dotate cu interfeţe ce ascund complexitatea internă a resurselor din substrat. Virtualizarea formează un strat abstract amplasat între clienţi şi resurse de diferite tipuri:

    • Grid folosit pentru virtualizarea fluxului de lucru (workflow virtualization);

    • Grid de Date folosit pentru virtualizarea datelor (Data Grid);

    • Grid Semantic folosit pentru virtualizarea informaţiilor.

UC2007 V.Sidorenco6

Bit+ 2007, V.Sidorenco 6


Grid computing propriet i1

Grid Computing: proprietăţi

  • Orientare spre servicii– gridul realizează concepţia arhitecturii orientate spre servicii.

  • Eterogenitate – gridul tipic constă din resurse de calcul eterogene: componente hardware şi software cu diferite performanţe şi latenţe.

  • Gestiune descentralizată– gridul nu are un singur punct de gestiune, realizând mecanisme de gestiune distribuită. Componentele gridului pot fi gestionate din partea mai multor entităţi.

  • Standardizare şi interoperabilitate– gridul promovează standardizarea interacţiunii şi interfeţelor dintre componente şi servicii eterogene. Succesul dezvoltării tehnologiilor grid este dependent mult de gradul de standardizare în acest domeniu. Pentru gridul ştiinţific sunt specifice standarde deschise.

UC2007 V.Sidorenco7

Bit+ 2007, V.Sidorenco 7


Grid computing propriet i2

Grid Computing: proprietăţi

  • Transparenţa accesului – prin virtualizare utilizatorii accesează resursele gridului fără să apeleze la studierea detaliată a arhitecturii din substraturi şi topologiilor de reţele.

  • Scalabilitate – gridul posedă mecanisme de extindere flexibilă a resurselor necesare pentru executarea unei aplicaţii cu cerinţe variabile de elemente de calcul, elemente de stocare, de număr de utilizatori etc.

  • Reconfigurabilitate– gridul trebuie să fie reconfigurabil în mod dinamic: o specificaţie fundamentală stipulată în CoreGRID.

  • Securitate– accesul securizat la resursele gridului este furnizat prin intermediul infrastructurii gridului securizat (Grid Security Infrastructure – GSI).

  • Suportul aplicaţiilor– gridul este capabil să posede şi să execute mulţimi de aplicaţii variate. Dezvoltarea şi testarea aplicaţiilor de asemenea face parte din serviciile de suport aplicaţii grid.

UC2007 V.Sidorenco8

Bit+ 2007, V.Sidorenco 8


Grid computing propriet i3

Grid Computing: proprietăţi

  • Modelul de calcule– gridul este capabil să realizeze mai multe modele de calcule: în lot de lucrări (batch), interactive, distribuite, paralele ş.a.

  • Modelul de licenţe– gridul provine din surse academice. Modelul de bază este Open Source Software, care este respectat şi de câteva companii, care activează în dezvoltarea gridului. Există şi soluţii de grid corporative cu licenţe comerciale.

  • Proceduri şi politici– utilizatorii şi furnizorii (providerii) de servicii grid interacţionează în condiţiile pieţii deschise urmând regulile ei. Deja există modele de proceduri şi de politici şi în acest domeniu nou.

  • Audit– toate activităţile în cadrul gridului se înregistrează şi pot fi analizate multilateral ulterior.

UC2007 V.Sidorenco9

Bit+ 2007, V.Sidorenco 9


Principiul grid computing1

Principiul Grid Computing

UC2007 V.Sidorenco10


Domenii de aplica ie

Domenii de aplicaţie

  • Circa 20 applicaţiidin 7 domenii se folosesc în EGEE – grid pentru e-ştiinţă

    • High Energy Physics

      • 4 LHC experiments (ALICE, ATLAS, CMS, LHCb)

      • BaBar, CDF, DØ, ZEUS

    • Biomedicine

      • Bioinformatics (Drug Discovery, GPS@, Xmipp_MLrefine, etc.)

      • Medical imaging (GATE, CDSS, gPTM3D, SiMRI 3D, etc.)

    • Earth Sciences

      • Earth Observation, Solid Earth Physics, Hydrology, Climate

    • Computational Chemistry

    • Astronomy

      • MAGIC

      • Planck

    • Geo-Physics

      • EGEODE

    • Financial Simulation

      • E-GRID

UC2007 V.Sidorenco11


Domenii de aplica ie1

Domenii de aplicaţie

UC2007 V.Sidorenco12


Domenii de aplica ie2

Domenii de aplicaţie

Imaginea Universului reconstruită în cadrul resurselor TeraGrid

UC2007 V.Sidorenco13


Domenii de aplica ie3

Domenii de aplicaţie

Search Engine for South-East Europe (SE4SEE) for Grid-aided web-crawling & data indexing.

UC2007 V.Sidorenco14


Grid de calcul tehnologia arhitectura i viitorul

UC2007 V.Sidorenco15


Climate simulation

Climate Simulation

grpc_call

server

front node

- public IP

- Globus

- gatekeeper

- jobmanager

- pbs, grd, sqms

- NAT

client

Sim.

Server

backend nodes

- private IP or public IP

- Globus SDK

- Ninf-G Lib

Sequential Run: 8000 sec

Execution on Grid: 300 sec (100cpu)

Vis.

Server

UC2007 V.Sidorenco16


Arhitectura grid computing

Arhitectura Grid Computing

UC2007 V.Sidorenco17


Arhitectura grid computing1

Arhitectura Grid Computing

UC2007 V.Sidorenco18


Arhitectura grid computing2

Arhitectura Grid Computing

UC2007 V.Sidorenco19


Structura teragrid

Structura TeraGrid

UC2007 V.Sidorenco20


Structura eu data grids for high energy physics

Structura EU Data Grids for High Energy Physics

UC2007 V.Sidorenco21


Structura eu data grids for high energy physics1

Structura EU Data Grids for High Energy Physics

UC2007 V.Sidorenco22


Proiectul ue egee

Proiectul UE EGEE

UC2007 V.Sidorenco23


Principii de func ionare

Principii de funcţionare

  • Open Source

  • Middleware

  • Security

  • Job brokering

  • Resources management

  • SOA – Services Oriented Architecture (XML, SOAP, WS)

UC2007 V.Sidorenco24


Principii de func ionare1

Principii de funcţionare

  • Grid Service Architecture

    • GRAM- Grid Resource Access and Management

      • Remote allocation, reservation, monitoring, control of compute resources

    • GridFTP protocol(FTP extensions)

      • High-performance data access & transport

    • GRIS - Grid Resource information Service

      • Access to structure & state information

    • Network reservation, monitoring, control

    • All integrated with GSI: authentication, authorization, policy, delegation.

UC2007 V.Sidorenco25


Pilonii tehnicii grid computing

Pilonii tehnicii Grid Computing

  • OGSA - Open Grid Services Architecture - model arhitectural. Defineşte noţiunea de serviciu Grid. Concepe mediul grid ca o colecţie de servicii, conferind avantajele unei arhitecturi orientate pe servicii (SOA – Service Oriented Architecture).

  • GGF - Global Grid Forum. Încearcă crearea unor standarde în domeniu.

  • Globus Toolkit - mediu de dezvoltare a aplicaţiilor grid, resurse gratuite.

UC2007 V.Sidorenco26


Infrastructura multistrat

Infrastructura multistrat

Applications

Application Toolkits

GlobusView

Testbed Status

DUROC

MPI

Condor-G

HPC++

Nimrod/G

globusrun

Grid Services

Nexus

GRAM

GSI-FTP

I/O

HBM

GASS

MDS

GSI

Grid Fabric

Condor

MPI

TCP

UDP

DiffServ

Solaris

LSF

PBS

NQE

Linux

NT

UC2007 V.Sidorenco27


Architectur a protocol ului grid

ArchitecturaProtocoluluiGrid

UC2007 V.Sidorenco28


Calculul n re ea grid

Calculul în reţeaGrid

UC2007 V.Sidorenco29


Calculul n re ea grid1

Calculul în reţeaGrid

constă în punerea în comun a puterii tuturor calculatoarelor dintr-o reţea prin distribuirea resurselor de calcul în funcţie de necesităţile fiecărui client

UC2007 V.Sidorenco30


Calculul n re ea grid2

Calculul în reţeaGrid

GRID

UC2007 V.Sidorenco31


Calculul n re ea grid3

Calculul în reţeaGrid

UC2007 V.Sidorenco32


Principii de func ionare2

Principii de funcţionare

  • User Interface (UI)

  • Information Service (IS)

  • Computing Element (CE)

    • Frontend Node

    • Worker Nodes (WN)

  • Storage Element (SE)

  • Replica Catalog (RC,RLS)

  • Resource Broker (RB)

UC2007 V.Sidorenco33


Principii de func ionare3

Principii de funcţionare

Replica

Catalogue

Input “sandbox”

DataSets info

Information

Service

UI

JDL

Output “sandbox”

grid-proxy-init

Resource

Broker

SE & CE info

Output “sandbox”

Expanded JDL

Job Submit Event

Author.

&Authen.

Job Query

Input “sandbox” + Broker Info

Publish

Job Status

Storage

Element

Globus RSL

Job Submission

Service

Job Status

Computing

Element

Logging &

Book-keeping

Job Status

UC2007 V.Sidorenco34


M anagementul infrastructurii

Managementul infrastructurii

Helpdesk, database, wiki /

UC2007 V.Sidorenco35


Monitorizare n timp real

Monitorizare în timp real

http://gridportal.hep.ph.ic.ac.uk/rtm/

UC2007 V.Sidorenco36


Monitorizare n timp real1

Monitorizare în timp real

http://gridportal.hep.ph.ic.ac.uk/rtm/

UC2007 V.Sidorenco37


Gsi grid security infrastructure

GSI: Grid Security Infrastructure

User

CREDENTIAL

User Proxy

Single sign-onvia “grid-id”

Assignment of

credentials to

“user proxies”

Globus

Credential

Mutual

user-resource

authentication

Site 1

Site 2

Mapping

to local ids

Authenticated

interprocess

communication

Process

Process

GRAM

GRAM

GSI

GSI

GSSAPI:

multiple

low-level

mechanisms

Process

Process

Certificate

Ticket

Process

Process

Public Key

Kerberos

UC2007 V.Sidorenco38


Tehnologia grid de noua genera ie

Tehnologia Grid de Noua Generaţie

Arhitectura Gridului de calcul de generaţia a treia NGG3 este definită ca soluţie total distribuită, scalabilă, reconfigurabilă în mod dinamic destinată aplicaţiilor ştiinţifice şi de afacere, ce oferă nu numai putere de calcul dar şi acces la informaţii şi cunoştinţe prin intermediul unei mulţimi de servicii orchestrate.

UC2007 V.Sidorenco39


Service oriented knowledge utility

Service Oriented Knowledge Utility

  • Nucleul NGG3 reprezintă Utilitatrul de Cunoştinţe Orientat spre Servicii - Service Oriented Knowledge Utility (SOKU).

  • Concepţia SOKU se bazează pe evoluţia naturală şi convergenţa următoarelor TI:

    • Web-Servicii,

    • Tehnologii grid,

    • Web semantic,

    • Sisteme analitice distribuite,cu auto-organizare (self-organising).

UC2007 V.Sidorenco40


Service oriented knowledge utility1

Service Oriented Knowledge Utility

UC2007 V.Sidorenco41


Pilonii concep iei soku

Pilonii concepţiei SOKU

  • Orientare spre servicii – ce pot fi instanţiate şi asamblate în mod dinamic: structura, comportarea şi locaţia modulelor de programe se determină şi se modifică în procesul execuţiei (at run-time);

  • Cunoştinţe– serviciile interpretează semantica informaţiilor pentru a facilita şi automatiza livrarea către utilizatori a serviciilor avansate, de nivel superior;

  • Utilitateimediată – SOKU este un serviciu imediat utilizabil având funcţionalitatea, performanţa şi dependenţele prestabilite, axate pe necesităţile şi preferinţele utilizatorului.

UC2007 V.Sidorenco42


Grid de calcul tehnologia arhitectura i viitorul

Concepţia “Grid” ne orientează aici…

… unde suntem acum?

UC2007 V.Sidorenco43


Mul umesc p entru aten ie

Mulţumesc pentru atenţie !

Întrebări ?

Veaceslav Sidorenco

[email protected]

UC2007 V.Sidorenco44


Grid de calcul tehnologia arhitectura i viitorul

UC2007 V.Sidorenco45


  • Login