1 / 24

Progetto S.Co.P.E. WP4

Progetto S.Co.P.E. WP4. MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite. G. Laccetti. Il PSE MedIGrid: obiettivi e motivazioni. Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici)

diem
Download Presentation

Progetto S.Co.P.E. WP4

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti

  2. Il PSE MedIGrid: obiettivi e motivazioni • Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici) • L’obiettivo è quello di sviluppare un PSE per il calcolo ad alte prestazioni, grid-aware, per consentire ai medici di: • gestire • processare • visualizzare immagini mediche acquisite da vari dispositivi Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  3. Struttura a livelli del PSE (al 2006) MedIBroker G L O B U S Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  4. Componenti numeriche • ECODEN: • Denoising di sequenze ecocardiografiche • μ-SEG: • Segmentazione di immagini mediche Ambiente H/S di esecuzione • Hardware: • Cluster di nodi interconnessi con rete dedicata • Software: • S.O. Unix-like, PETSc (MPI, BLAS, LAPACK) Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  5. Nucleo computazionale: ECODEN Problema P Denoising di sequenze ecocardiografiche ModelloMatematico M(P) PDE Modello Numerico Mh(P) Sistema lineare Au=b Algoritmo Software Ambiente parallelo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  6. Denoised data ECODEN • Anisotropic diffusion (Perona-Malik PDE equation) • iterative algorithms based on Krylov subspaces methods (CG, GMRES)‏ • block diagonals preconditioners (bjacobi, asm) Original data Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  7. Nucleo computazionale: μ-SEG Problema P Segmentazione Modello Matematico M(P) PDE Modello Numerico Mh(P) Sistema non lineare F(u,t)=0 Algoritmo Software Ambiente parallelo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  8. μ-SEG • Level set formulation of Riemannian mean curvature flow equation • Implicit schema using Newton-like linearization method • Iterative algorithms based on Krylov subspaces methods (GMRES) • block diagonals preconditioners (bjacobi) Original data + Final data Segmentation function Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  9. Esigenza per l’uso dell’HPC • Supercomputing: • Necessità di ridurre drasticamente il tempo di esecuzione in funzione dell’urgenza della diagnosi ( , realtime) Modalità di utilizzo della GRID • Collaborative computing: • Necessità di rendere possibile la collaborazione tra diverse comunità di medici • On demand computing: • Necessità di rendere disponibili alle comunità dei medici risorse di supercalcolo non altrimenti disponibili localmente. Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  10. Launch Violazione del contratto Funzionalità: Performance monitoring Performance Modeler Application Manager Stop! Devo migrare Controllo lo stato del job Data about resource A Data about application Application on resource A Performance Monitor MedIBroker Contract Monitor Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  11. Launch Funzionalità: Checkpointing/migration Calling MedIBroker & performance modeler Performance Modeler Application Manager Contacting Application Manager Data about application Data about resource B Application on resource A Application on resource B Performance Monitor Performance Monitor MedIBroker Contract Monitor Contract Monitor Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  12. Globus-based PSE:osservazioni • PSE completo • grid aware • orientato al calcolo ad alte prestazioni MA • Soluzioni custom implementate per supplire alle carenze del middleware Globus (assenza di alcuni servizi collective) • Soluzioni application oriented Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  13. Analisi del lavoro: necessità/esigenze • “Smontare” MedIGrid eliminando: • le interazioni con il Globus Toolkit • tutte le soluzioni custom o application oriented: • MedIBroker • Application Manager • Sistema dei contratti di performance • Sistemi per la gestione dei fault • Sistemi automatici di stop/restart dell’applicazione • Riprogettare la parte server in modo da renderne possibile l’interazione con gLite (integrando le features più interessanti) • Lasciare invariata la parte client del portale Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  14. WMS Resource Broker MedIBroker Proxy LFC File catalogue VOMS BDII Information System G L O B U S Grid protocols GRAM GASS GridFTP GSI … Nuova struttura a livelli del PSE NEW Collective Services G L I T E Core Services S.Co.P.E. Toolkit Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  15. Il PSE basato su gLite • L’architettura software è costituita da tre livelli: • L’User Interface(GUI) che include strumenti per la configurazione dei paramentri relativi all’image processing, tool di visualizzazione e di post-processing delle immagini (ad es. plugin per il rendering) • Il Grid Portal, basato sulla libreria di funzioni Java di LCG/gLite (WMS-Proxy, LFC/GFAL, JobMonitor), nasconde all’utente finale la complessità dell’ambiente di Griglia • I servizi coree collective messi a disposizione da LCG/gLite, alcune componenti del middleware applicativo e varie componenti numeriche Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  16. Stato dell’arte • Servizi web • Servizio di registrazione nuovi utenti • Servizi di upload/download di dati • Servizi grid • Autenticazione voms-based • Sottomissione e monitoraggio dei job • Gestione dati (browsing, spostamento, registrazione su catalogo) Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  17. gLite-based PSE: osservazioni • gestione del livello collective a carico del middleware • gestione dei dati più efficiente Ma: • non adattativa • non fault tolerant • non orientata al mantenimento di prefissate prestazioni Grid flow approach Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  18. gLite: caratteristiche e funzionalità attese • Estensione/miglioramenti del middleware (integrazione della libreria di API Java per la gestione delle credenziali voms, modifica della libreria per la gestione dei dati in modo da prevedere la multiutenza, gestione del data streaming, …) • Miglioramento dei meccanismi di checkpointing e fault-tolerance • Introduzione di librerie per la realizzazione di applicazioni parallele multisito (es. PACX-MPI, MPICH-G2, nuovi tag JDL per la descrizione dei Job paralleli e multisito…) • Introduzione di meccanismi per l’interoperabilità tra middleware differenti (es. GRelC, GridWAY, …) Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  19. MedIGrid: caratteristiche e funzionalità attese • Miglioramento dei servizi grid(anche a valle di estensione/miglioramenti del middleware) • Aggiornamento delle componenti numeriche e delle librerie per checkpointing e gestione dei fault • Introduzione di nuovi nuclei computazionali GRID AWARE Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  20. Il PSE: un esempio di utilizzo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  21. Il PSE: un esempio di utilizzo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  22. Il PSE: un esempio di utilizzo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  23. Il PSE: un esempio di utilizzo Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

  24. Gruppo di lavoro • A. Murli (Università degli Studi di Napoli Federico II) • V. Boccia (Università degli Studi di Napoli Federico II) • R. Campagna (Università degli Studi di Napoli Federico II) • D. Casaburi (Università degli Studi di Napoli Federico II) • L. Carracciuolo (ICTP-CNR) • S. Cuomo (Università degli Studi di Napoli Federico II) • L. D’Amore (Università degli Studi di Napoli Federico II) • A. Galletti (Università degli Studi di Napoli Federico II) • G. Laccetti (Università degli Studi di Napoli Federico II) • M. Lapegna (Università degli Studi di Napoli Federico II) • D. Romano (Università degli Studi di Napoli Federico II) • S. Severino (Università degli Studi di Napoli Federico II) Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte Sant’Angelo 21-2-2008

More Related