Sistemi software per applicazioni distribuite su reti wireless e wired

1. Sistemi software per applicazioni distribuite su reti wireless e wired Vittoria Gianuzzi 15 luglio 2008

2. Prog. Europ. Infrastructure Algoritmi distribuiti Cluster WS Eter. e Om. MANET VANET GRID DISI – M. Ancona, G. Dodero CNR – IMATI e IEIIT Genova (A. Clematis, A. Corana) Dottorandi e Post Doc (Cluster e Grid). D’Agostino, A. Galizia, A. Merlo Borsisti (VANET): A. Di Marco, L. Rocca

3. Programmazione Distribuita su reti eterogenee di workstation • Strumenti di sviluppo per programmi distribuiti con schema di pipeline non lineare. Classe di algoritmi distribuiti, incluso la simulazione di circuiti, implementabili tramite un insieme di processi che lavorano come gli stadi di un pipeline non lineare, realizzando un parallelismo temporale di esecuzione. Implementazione di un sistema per lo sviluppo di applicazioni in C++ su cui effettuare valutazioni di performance. Definizione di un algoritmo efficiente per individuare la terminazione della computazione su pipeline. Realizzazione di applicazioni per GRID su cluster di computer Tesi del Dottorato : Designing parallel programs for 3D data processing on GRID and Ubiquitous computing Architectures (D. D'Agostino)

4. Applicazioni e Middleware per cluster (1) Studio e sviluppo di strumenti per supportare applicazioni parallele su cluster di workstation. Cluster eterogenei di workstation. Implementato PINCO, un ambiente per la gestione dinamica delle risorse accessibili su una rete di workstation eterogene. Studio sull’allocazione dinamica di librerie parallele. Benchmark: ScaLAPACK (Scalable Linear Algebra PACKage), modificata per consentire di variare la granularita’ di data parallelism.

5. Applicazioni e Middleware per cluster (2) Algoritmi per l'effettuazione di tagli consistentiSistema PVsnap sulla libreria PVM, inserita in un sistema per la Software Fault Tolerance. PhD Thesis: Design of Component-based Parallel Image Processing Libraries in a GRID environment (Dott. A. Galizia).

6. Grid Computing Strumenti per la selezione delle risorse e l’esecuzione delle applicazioni su piattaforme Grid. L’utente precisa il minimo insieme di risorse richieste per l’esecuzione; Può aggiungere criteri più stringenti per ottenere una predefinita Quality of Service (QoS) (ad esempio tempo di esecuzione minore di una data soglia). Lo user agent deve trovare le risorse di cui ha bisogno. Situazione attuale Gli scheduler Grid si limitano nella maggior parte dei casi alla gestione di job batch che non hanno requisiti di QoS e possono accettare una risposta di tipo “best effort”.

7. Scoperta e selezione delle risorse (2) Obiettivo  Il processo di resource discovery deve essere collegato con la fornitura del livello atteso di QoS.  Occorre un sistema di resource management in grado di far corrispondere al meglio ben definiti requisiti dell’applicazione con le caratteristiche delle risorse, negoziando anche adeguati Service Level Agreements (SLA). Proposta di tesi (dicembre 2006): "A two-level agent based Grid scheduler for different QoS applications“, Alessio Merlo

8. Sviluppo Middleware Prodotto software sviluppato: GEDA (Grid Explorer for Distributed Applications) – Tool orientato ai servizi per la selezione delle risorse e l’esecuzione di applicazioni parallele su architetture Grid, in grado di fornire una facile interazione tra utente e sistema. Prima parte di un sistema che consenta l’esecuzione di applicazioni Soft Real Time in ambiente Grid tramite un sistema (il più possibile) automatizzato (SoRT Grid). Laboratorio Grid del SIIT (Distretto dei Sistemi Intelligenti Integrati Tecnologici)

9. HyVonNe (Hybride Voronoi Network) • Entita’ caratterizzate da coordinate geometriche (2-3 D) collegate tramite triangolazione di Delaunay o tassellazione di Voronoi (per la connessione, le range query e il routing) • Possibilita’ di rispondere a Range Query • Clusterizzazione di entita’: HyVonNe consente di mantenere un grafo di Voronoi in cui ogni regione ha un numero di entita’ N compreso fra un valore minimo e uno massimo. Algoritmi completamente distribuito, tramite operazioni di split e merge.Applicazioni: ricerca di risorse in Grid, sistema di aste, MMOG.

10. Split Possibilita’ di inserire “archi lunghi” (small word) per ottimizzare il routing

11. A collaboration among

12. Designing Parallel Programsfor 3D Data Processingon Distributed Architectures The design of a system for distributed 3D data analysis and visualization based on an efficient and adaptive composition of sequential and parallel operations in pipeline. Original contributions: • design of efficient and portable parallel algorithms; • study of the dynamic composition of the modules, with a particular attention to the optimization of the whole pipeline execution.

13. Isosurface Extraction Given a scalar field f ( x, y, z, v ) an isosurface is a surface consisting of points in the space in which the value of f is constant and equal to a value c called isovalue.

14. Isosurfaces

15. The system architecture

16. SW: GCC MPICH2 PVFS1 HW: Cluster Beowulf 16 PC identici 1 P4 2,66 GHz RAM 512 MB 2 HD ATA (RAID 0) Gigabit Ethernet Tools

17. The pipeline performance * = extimated 16 P IV 1.66 GHz Gigabit Network

18. Scenario 1 User Data set Powerful Graphic Workstation Large Bandwidth Isoextraction Simplification Compression

19. Scenario 2 User Data set Normal Workstation Large Bandwidth Isoextraction Simplification Compression

20. Scenario 3 User Data Set Powerful Graphic Workstation Limited Bandwidth Isoextraction Simplification Compression

21. Scenario 4 User Data set Normal Workstation Limited Bandwidth Isoextraction Simplification Compression

22. Visualization Issues • The graphic capabilities of the client devices Use of the simplificationoperation • The available bandwidth Use of the compressionoperation • The possible huge size of data Use of parallel algorithms

23. Grid Computing sharing, aggregation, and virtualization of distributed resources (CPU, storage, sensors, instruments, applications, and knowledge) among organizations (VO) in a flexible, secure, and transparent manner

24. The system and the GRID • Each component is mapped in a GS • The GS provides a method that wraps the various implementations in order to • Collect the parameters • Transfer the data set and the application code • Manage the execution of the operation • Transfer the results

25. Coordination Resource selection The System Architecture Workflow on machine X Grid Gen. GS Execution Iso GS Simpl GS Resources of institution Y Cluster Y1 GEDA Cluster Y2 Cluster Z1 GEDA Cluster Z2 Resources of institution Z

26. Design of Parallel Image Processing Libraries for distributed and Grid environments • The general goal is the design of high performance tools for distributed image processing • The image processing demand of resources is increasing • Storage and computational • Great interest is in moving towards distributed and Grid environments • To be combined with parallel processing

27. Introduction • We identify two main tasks: • The development of a parallel image processing library for local resources • A common practice in scientific community • The effective use of the library in distributed and Grid environments • To aggregate computation and storage power • To exploit high performance architectures, and their features ScaLAPACK, FFTW, PETSc, ParHorus

28. PIMA(GE)2 Lib • We defined PIMA(GE)2 Lib, Parallel IMAGE processing GEnoa Library • It is implemented in C+MPI2, and is based on a data parallelism • regular nature of both data and operations • The parallelism is hidden through a sequential interface • to enable a simple use of the library This feature is preserved in the following tools

29. PIMA(GE)2 Lib • We consider the low level operations: • basic operations where both input and output data are images • local nature, an operation is applied to each pixel • Examples are: • basic operations: point arithmetic, binary operations • convolution operations • image transformations: rotation, scaling

30. PIMA(GE)2 Lib • An optimization policy is applied at different levels to improve performance • Intra-operation - single operation • Inter-operation - sequence of operation calls • Parallel I/O

31. PIMA(GE)2 Lib Speed up values for an edge detection: 8 MBs for about 2 hours in sequential, 8 minutes exploiting 16 processors

32. PIMA(GE)2 Grid Users to execute an application have to: • write the source code of the application; • select computational resources; • compile the application considering to the selected architecture; • transfer the input data and the executable; • launch and monitor the execution; • transfer the output data; • remove all the files.

33. PIMA(GE)2 Grid • We deployed in advance Grid services for • image processing • the exploitation of the architecture • These cooperating Grid Services,act as an intermediate layer between Grid resources, applications, and users

34. GRID Node PO PO An Example Edge detection on every TMA on GRID having “age”> 50 AND “gender”= F AND “disease”= colon cancer METADATA SERVER GEDA

35. Progetti futuri

36. Wireless e Mobile Computing • Realizzazione di infrastrutture per l'estensione dei servizi Web alle reti wireless per applicazioni mediche e per Beni Culturali (Progetti Europei WiH e PAST).Basati su applicazioni che utilizzano il protocollo WiFi (802.11) in modalita’ structured. • Studio e sviluppo di middleware per reti MANET come supporto per applicazioni di protezione civileProgetto Strategico “Infrastrutture software per reti Ad Hoc orientate ad ambienti difficili”

37. Ad hoc Network Mobile devices (laptop, PDAs) Vehicular Networks on Highways Hybrid urban ad hoc network (vehicular, pedestrian, hot spots,…)

38. Attivita’ su reti Manet Progetto FIRB IS_MANET • MobEYE: Sistema per lo scambio di file su MANET che utilizza la cache locale e un protocollo basato sullo sniffing per minimizzare il percorso di un file richiesto da un nodo • Analisi dell’utilita’ della replicazione di dati per ottimizzare l’accesso e aumentare la disponibilita’. Algoritmo di routing per massimizzare il lifetime di una MANET con scelte locali. Applicazioni portuali di MANET per movimentazione stacker (Fantuzzi Reggiane, Parodi, Giacalone, Venzano).

39. On the road … Ma quanto e’ lunga questa coda ??!!!

40. Reti veicolari • Reti costituite da veicoli collegati fra loro con protocollo 802.11p (WAVE) • Eventuale collegamento con Road Side Unit che consentono il collegamento con infrastruttura.VANET Vehicular Ad hoc NETworkV2V Vehicle to vehicleV2I Vehicle to Infrastructure • Collegamenti mesh eterogenei (WAVE, WIMAX, cellulari, TETRA ecc.) Protocolli CALM e IP. • Proposta per SIIT Infomobilita’: formazione di gruppi per il platooning o altre forme di comunicazione selettive.

41. Tecnologie in campo

42. VehicularNetwork

43. Attivita’ di ricerca congiunta Selex / DISIsu reti TETRA Borse di studio:Alessandro Di Marco, Luigi Rocca Selex Communications e’ un’azienda del gruppo Finmeccanica, operante nel settore delle telecomunicazioni che fornisce soluzioni di rete per applicazioni militari e civili. TETRA (TErrestrial Trunked RAdio) e’ uno standard di comunicazione a onde radio per uso professionale, emesso dall’European Telecommunications Standards Institute (ETSI). Utilizzato principalmente dalle forze di pubblica sicurezza e da militari ma anche da grosse realta’ private, oltre ai normali servizi di una rete cellulare offre: • chiamate di gruppo; • gestione dinamica dei gruppi; • supporto per stazioni di dispatching; • accodamento e priorita’ delle chiamate.

44. Architettura di TETRA

45. Chiamate di gruppo in TETRA L’architettura di TETRA e’ simile a quella GSM, con stazioni base e nodi di controllo i principali elementi di rete. Le reti TETRA pongono particolari requisiti di affidabilita’ ( no single point of failure) e di prestazioni (call setup time, end-to-end delay). Il supporto ai gruppi in TETRA ha particolari requisiti e caratteristiche di cui tenere conto: • i gruppi possono essere numerosi; • avere molti partecipanti; • sono gestiti su base regionale; • il setup di una chiamata di gruppo deve avvenire in 300/500 ms.

46. Transizione a IP L’attività DISI si inserisce nella transizione della core network della soluzione TETRA offerta da Selex Communications dall’attuale tecnologia a commutazione di circuito ad una a commutazione di pacchetto basata su standard internet (TCP/IP). I principali obiettivi di Selex sono: • Avere una rete più flessibile; • Supportare eventuali reti standard di terze parti; • Permettere l’utilizzo e l’integrazione di soluzioni e dispositivi moderni all’interno della rete. Il quadro fin qui delineato é molto diverso dalle applicazioni in cui IP multicast é tradizionalmente usato del tipo: audioconferenza, broadcast video.

47. Attivita’ attuale Al momento sono in corso di valutazione svariate proposte e soluzioni: • utilizzo di tecnologia IP/Multicast standard, previa valutazione sperimentale delle sue prestazioni; • riutilizzare la call setup legacy della rete a commutazione di circuito come control plane per l’instradamento multicast; • soluzioni basate sul multi-destination routing.