1 / 40

IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID

Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno. IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization L’architettura a Clessidra Il middleware Il modello gLite

kyle-jensen
Download Presentation

IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno • IL MIDDLEWARE • Richiami sulla caratterizzazione dei sistemi GRID • Il Concetto di Virtual Organization • L’architettura a Clessidra • Il middleware • Il modello gLite • Servizi Collective e Servizi Core

  2. Introduzione (1/2) • Concetto ispiratori delle “Computational Grids”: • risorse di computing/storage eterogenee, distribuite geograficamente, accessibili facilmente e senza conoscere i dettagli della loro collocazione • (come avviene per l’utilizzo dell’energia elettrica) • utenti distribuiti geograficamente, ottengono l’ accesso alle risorse tramite un insieme di servizi • diverse virtual organization condividono risorse per il raggiungimento di uno scopo comune.

  3. Introduzione (2/2) • Il concetto di condivisione delle risorse (resource sharing) non e’ una novità: • printer sharing, RPC, networked file systems, ... • Grid viene considerato il successore dei sistemi di calcolo • distribuiti convenzionali. • Non è semplice trovare un’unica definizione di Grid: • high-performance distributed computing environment • geographically distributed computing • “Coordinated resource sharing and problem solving in • dynamic , multi-institutional virtual organizations”.

  4. G R I D Per identificare meglio il concetto di griglia computazionale, mettiamolo in confronto con un sistema distribuito tradizionale.

  5. Applicazioni distribuite • Applicazione distribuita • numero (finito) di processi cooperativi che utilizzano risorse • debolmente accoppiate (loosely coupled resources) • Processi indipendenti lavorano su dati Geograficamente distribuiti. • Simulazioni mediante processi comunicanti tra loro.

  6. Metodologia per la caratterizzazione • La macchinavirtuale su cui viene eseguita un’applicazione • distribuita differisce nelle sue caratteristiche se consideriamo • un sistema di calcolo distribuito convenzionale • un sistema di calcolo Grid • E’ possibile definire un sistema Grid caratterizzando la • macchina virtuale

  7. A1 Application A2 nodo risorsa Virtualmachinelevel Virtualpoollevel Physicallevel

  8. A1 Application A2 nodo risorsa Virtualmachinelevel Virtualpoollevel Physicallevel

  9. Riepilogo e comparazione

  10. Virtualizzazione su più Livelli • Il Grid computing fornisce un layer di interoperabiltià sulle • tecnologie eterogenee di storage, computing e data aquisition • mediante la virtualizzazione su due livelli: • virtualizzazione degli utenti • virtualizzazione delle risorse

  11. Il Concetto di Virtual Organization Un insieme di utenti, site-indipendent ed uniti da un obiettivo comune, che condividono risorse hardware, software e conoscenza. Esempi di Virtual Organization: L’insieme degli ingegneri di una compagnia di progettazione aerea, distribuiti su diversi centri, che condividono brevetti, risorse di calcolo e software di simulazione L’insieme di ricercatori di un esperimento di fisica distribuiti in differenti università europee, che condividono software e risorse di calcolo e modelli.

  12. Il Concetto di Virtual Organization • Membership Management • Policy Management • Single-Sign On sulle risorse della GRID • Offerta di servizi e di supporto agli utenti • Management del software

  13. VO Member Member Role Luca Admin Anna Student Mario Mngr .... ..... VO Resources Organizazione di una VO VO Manager UTENTI RISORSE VO Site Indipendent USERS

  14. Organizazione di una VO • Una VO nasce come una struttura dinamica • Un utente può appartenere a più virtual organization ed avere ruoli diversi in diverse VO • All’interno di una VO si possono creare gruppi con differenti policy ed eseguire il management per gruppi o con granularità del singolo utente

  15. Organizazione di una VO VO ATLAS: VO tematica dedicata alla fisica delle particelle che unisce fisici di tutto il mondo impegnati nell’esperimento ATLAS che si svolge presso il CERN UTENTI: 2.500 fisici provenienti da università e centri di ricerca di tutto il mondo. RISORSE: Migliaia di CPU distribuite su scala geografica VO-MANAGER: Unico al CERN SOFT-MANAGER: Unico a Roma

  16. Architettura di un sistema GRID

  17. Livello Fabric Costituito dall’insieme delle risorse computazionali, di storage, telescopi, microscopi, apparati sperimentali che producono dati, virtual instruments e così via. E’ un livello fortemente eterogeneo in cui ciascuna delle risorse è dotata del proprio sistema operativo mediante il quale offre servizi direttamente agli utenti o ai livelli superiori dell’architettura GRID.

  18. Livello Connectivity • Definisce i protocolli core per l’autenticazione e la connettività • tra servizi GRID. • Rappresenta il principale strato di interoperabiltà tra le • tecnologie di terze parti eterogenee implementate a livello • fabric. In particolare il livello connectivity è responsabile di: • Single-sign On • Delegation • Integrazioni con i sistemi locali di autenticazione

  19. Livello Resource • Definisce i protocolli per la pubblicazione delle informazioni • locali sullo stato di risorse e fornisce i servizi per il • management poggiandosi sul livello connectivity: • Information Protocols • Management Protocols • Protocolli tipici di questo livello sono il gridFTP per lo storage • e il GRAM (Grid Resource Access and Management) • protocollo http-based usato per l’allocazione di risorse • computazionali.

  20. Livello Collective Definisce i protocolli e servizi di alto livello per la gestione delle risorse distribuite. E’ il livello che di fatto virtualizza le risorse presenti sulla griglia e le esporta in maniera trasparente verso l’utente. I servizi offerti a livello collective sono di vario tipo, legati sia al management dello storage, sia alla gestione delle risorse di calcolo e di rete. Tali servizi si basano tutti su un sistema informativo dovendo agire su una visione globale della griglia

  21. Livello Collective Servizi tipici di questo livello sono: • Directory services • Co-allocation, scheduling, and brokering services • Monitoring and diagnostics services • Data replication services • Grid-enabled programming systems • Workload management systems and collaboration frameworks • Software discovery services • Community accounting and payment services • Collaboratory services

  22. Livello Application Costituisce l’insieme di tutte le applicazioni che si appoggiano ai servizi di GRID per la risoluzione di problemi. Le applicazioni utilizzano i metodi dei livelli sottostanti per accedere alle risorse, e possono interagire a più livelli accedendo alle risorse o tramite i servizi Collective, o tramite i servizi Resources o direttamente tramite il livello Connectivity. Il livello application è il livello che completa l’architettura a clessidra.

  23. L’architettura a clessidra L’architettura a clessidra è presa come riferimento in tutte le maggiori implementazioni di GRID. I protocolli stanno subendo un processo di standardizzazione nell’ambito di collaborazioni internazionali (come è successo per il TCP), ovvero partendo da soluzioni esistenti e tentando di creare degli RFC.

  24. Introduzione al Grid Middleware Il Grid middleware di base è la componente software che realizza ma macchina virtuale di griglia, esso va inteso come strato di mezzo tra i sistemi operativi delle singole risorse e le applicazioni distribuite. APPLICAZIONI APPLICAZIONI DISTRIBUITE, ANALISI DATI, CALCOLO SCIENTIFICO MACCHINA VIRTUALE GRID GRID MIDDLEWARE: LCG, gLite, globus MACCHINE VIRTUALI LOCALI SISTEMI OPERATIVI LOCALI LINUX, UNIX, WINDOWS, PROPRIETARI RISORSE FISICHE RISORSE HARDWARE, CPU, MEMORIE, APPARATI FISICI

  25. Introduzione al Grid Middleware • Globus Project • Sviluppato dal 1998, standard “de facto” per le tecnologie GRID. • partner: Argonne NL (Chicago), USC/ISI (California), EPCC (Edimburgo) ... • sviluppo open source del Globus Toolkit • http://www.globus.org • Globus Toolkit • insieme di librerie e servizi “nucleo” dell’infrastruttura Grid” • architettura a livelli • modello modulare: bag of services ServiziGlobusdi base

  26. Introduzione al Grid Middleware • LCG - LHC Computing Grid • Sviluppato a partire dalla fine degli anni 90 • Partner: CERN e le comunità di fisica delle alte energie • sviluppo open source a partire Globus Toolkit 2 • http://www.cern.ch/lcg • gLite – Grid Lite • Sviluppato a partire dal 2004 • Partner: Comunità del progetto europeo EGEE • Middleware di nuova generazione orientato ai servizi • http://glite.web.cern.ch ServiziGlobusdi base

  27. http://glite.web.cern.ch

  28. Il middleware gLite gLite: Grid Lite - Middleware Europeo completamente riscritto a partire dal modello del Globus toolkit 2.4 Piattaforma multidisciplinare: gLite nasce per fornire servizi di basso livello sui quali costruire applicazioni scientifiche e commerciali. Nasce sulla base dei feedback di alcune comunità pilota. gLite offre protocolli di base per l’accesso alle risorse computazionali, di storage e per la creazione di virtual instrument.

  29. Il middleware gLite gLite prevede un modello fortemente strutturato per l’implementazione dei livelli COLLECTIVE, RESOURCE e CONNECTIVITY, interagendo con prodotti di terze parti per i livelli APPLICATION e FABRIC In particolare il modello gLite si basa sul concetto di ELEMENTO e SITO ed implementa due classi di servizi SERVIZI COLLECTIVE SERVIZI CORE

  30. Il middleware gLite Servizi Core I servizi di tipo CORE sono servizi locali che permettono di condividere risorse di calcolo, di storage e virtual instruments. Sono implementati da GRID Element e sono presenti in tutti i siti. I servizi COLLECTIVE sono servizi distribuiti o centralizzati che lavorano al di sopra delle risorse locali e che di fatto costituiscono l’infrastruttura distribuita. Sono implementati da Grid Element e hanno valenza collettiva.

  31. Il middleware gLite Il concetto di ELEMENTO in gLite • Un ELEMENTO o GRID ELEMENT in gLite è un host che • Fornisce uno o più servizi (di tipo collective o core) • Fornisce metodi per l’accesso a tali servizi • È in grado di pubblicare informazioni sulle caratteristiche e sullo stato dei servizi. • E’ in grado di interagire con altri elementi grid o con gli utenti direttamente

  32. Il middleware gLite I GRID ELEMENT ed i servizi CORE di gLite COMPUTING ELEMENT (CE): Fornisce tutti i servizi necessari per l’accesso alle risorse computazionali, interagisce con i local resource manager, pubblica le informazioni sui suoi servizi STORAGE ELEMENT (SE): Fornisce servizi ed interfacce per la gestione dello storage locale in ambiente GRID in maniera trasparente all’utente. WORKER NODE (WN): Fornisce servizi per il calcolo: sono le macchine utilizzate per la computazione pura. SITE BDII (SBDII): Pubblica informazioni sulle risorse locali

  33. Il middleware gLite Il concetto di SITO in gLite Un SITO in gLite è un insieme di risorse che: Possiede almeno un site BDII, un CE, un SE ed una serie di WN gLite SITE CE Computing Element Nell’architettura gLite i SITE rappresentano i nodi della GRID, centri di risorse e di servizi locali Site BDII SE Storage Element WORKER NODE

  34. Il middleware gLite I Servizi COLLECTIVE in gLite VIRTUAL ORGANIZATION MEMBERSHISP SERVER (VOMS): Servizio per la gestione delle membership ad una VO e per la gestione delle policy sulle risorse. WORKLOAD MANAGEMENT SYSTEM (WMS): Ha una visione globale della GRID e schedula l’esecuzione dei job sui singoli SITI. LOGGING AND BOOKKEEPING SERVER (LB): Tiene traccia dei job e del loro stato. TOP BDII (TBDII): Pubblica informazioni su tutte le risorse della GRID, viene usato dal WMS. LOGICAL FILE CATALOG (LFC): Fornisce servizi di naming ed un filesystem virtuale di alto livello per il mapping di nomi logici a file fisici distribuiti sugli Stroage Element

  35. CE Computing Element Site BDII SE Storage Element WORKER NODE Il middleware gLite WMS BDII LFC VOMS SERVIZI COLLECTIVE gLite SITE CE Computing Element CE Computing Element Site BDII Site BDII SE Storage Element SE Storage Element WORKER NODE WORKER NODE

  36. Il middleware gLite Il Middleware gLite prevede un’architettura di tipo SOA (Service Oriented Architecture) che garantisce una maggiore modularità, un alto livello di astrazione e consente il reutilizzo del codice e delle applicazioni di terze parti. I servizi comunicano tra di loro attraverso interfacce e protocolli ben definite che possono comprendere coordinamento di servizi e scambio di dati. Molti servizi oggi sono basati su tecnologie web-services

  37. Il middleware gLite Schema dell’architettura di gLite con l’elenco dei servizi presenti

  38. Il middleware gLite Il middeware pubblica API e metodi che possono essere utilizzati direttamente dall’utente o dalle applicazioni per la creazione di applicazioni Grid compliant su piattaforma gLite

  39. Il middleware gLite Schema dell’interazione tra un utente ed i servizi necessari per la sottomissione di JOB

More Related