Image processing and scientific workflows in the vo context
This presentation is the property of its rightful owner.
Sponsored Links
1 / 15

Image Processing and Scientific Workflows in the VO context PowerPoint PPT Presentation


  • 54 Views
  • Uploaded on
  • Presentation posted in: General

Image Processing and Scientific Workflows in the VO context. Observatoire de Strasbourg (CDS) : A. Schaaff, J.J. Claudon Observatoire de la Cote d’Azur : E. Slezak. Action Spécifique Observatoires Virtuels France. VO Science Cases (from the AstroGrid Top Ten Science Drivers).

Download Presentation

Image Processing and Scientific Workflows in the VO context

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Image processing and scientific workflows in the vo context

Image Processing and Scientific Workflowsin the VO context

Observatoire de Strasbourg (CDS) : A. Schaaff, J.J. Claudon

Observatoire de la Cote d’Azur : E. Slezak

Action Spécifique Observatoires Virtuels France

E. Slezak – IAU 26th GA – SPS 3b session VIII


Vo science cases from the astrogrid top ten science drivers

VO Science Cases(from the AstroGrid Top Ten Science Drivers)

• Physical processes within the solar corona ;

• Comparaisons between solar and stellar flares ;

• Brown Dwarf selections ;

• Supernova galaxy environments ;

• Detection of low surface brightness galaxies ;

• Deep extragalactic field surveys ;

• Locating clusters of galaxies at a range of redshift ;

• Discovery of high redshift quasars.

Added-value of federated information

E. Slezak – IAU 26th GA – SPS 3b session VIII


Some relevant queries

Some Relevant Queries

• Analysis of catalogues

– cross-matches between catalogues (multiple or lack of counterparts) ;

 spectral energy distribution, photometric redshifts

– departures from homogeneity, hierarchical relationships ;

– matched filters related to a given regularity in some properties ;

– comparaisons to models and access to databases (images, spectra).

•Analysis of multispectral images from various detectors

– optimal detection for objects with a more or less well-known shape ;

– variable background, overlapping objects, with a hierarchy of features

– noise characteristics, sampling, resolution, magnitude limit,

consistency between measures in different bands, mosaics.

> mixed queries < e.g. QSO host galaxies & BH masses

E. Slezak – IAU 26th GA – SPS 3b session VIII


But one has to cope with reality

but one has to cope with reality ...

• The description levels of the data quality and of their calibration

vary a lot across the databases ;

• Merging such heterogeneous data is tedious ;

• The quantity of pixels increases exponentially ;

• Any multi-source multi- data set is intrinsically complex ;

> dedicated algorithms and processing methods are required <

> which can operate on (distributed) large data sets <

> user-tunable analysis pipelines must be available <

E. Slezak – IAU 26th GA – SPS 3b session VIII


The ov france workflow wg

Objectives :

– defining use cases of general interest (images, spectra, simulations) ;

– identifying the simplest workflow structure allowing portability ;

– suggesting and evaluate solutions for designing and exploiting

such workflows (eg. WebCom-G, AstroGrid, AIDA)

Workflow- our definition :

sequence of tasks executed within a controlled context

by an archictecture taking into account VO standards

The OV-France workflow WG.

Action Spécifique Observatoires Virtuels France

Observatoires de Strasbourg, de Paris, de Lyon, de la Côte d’Azur, Laboratoire d’Astrophysique de Marseille

http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow

start : 2005

E. Slezak – IAU 26th GA – SPS 3b session VIII


Multivariate image analysis

1)Dimensionality reduction

• select or build variables carrying relevant information

• choice of a noise model

– (non-) linear global techniques vs. hidden low-D sub-spaces identification –

2)Data segmentation

• model selection (cf. sparse representation)

• choice of the metrics ; PDFs estimation

– (un-)supervised methods, w/ or w/out hierarchical scheme, fuzzy/hard partitioning –

Multivariate Image Analysis

• multidimensional natural data are complex •

(non-gaussianity, inherent sparsity, hidden correlations)

3)Primitives extraction and classification

E. Slezak – IAU 26th GA – SPS 3b session VIII


Multisource data fusion

1) Objectives

combine in an optimal way all the data into a single model

preserveall the information from the initial data set

enhance the quality of the final output

(denoising, spatial and/or spectral super-resolution)

2) Strategy

• a group of 2D images of the same field ;

• a set of spectra ;

• a tridimensional data cube.

x

3) Tactic

eg. co-addition : chi2 image vs. probabilistic approach

posterior marginal : P(X Y) P(X,Y, , ) d d

Multisource Data Fusion

E. Slezak – IAU 26th GA – SPS 3b session VIII


Data analysis systems

Data Analysis Systems

> capitalisation of the knowledge about the use of programs <

> available for users not specialised in the domain <

request on the data (goal)  result (objective)

1) Use of a library of programs

a unique way to configure and execute programs

graphical construction of a fixed sequence of algorithms

AIDA Application

Computational ressources : GRID5000, EGEE

2) Knowledge-based program supervision system(eg. PEGASE engine /INRIA)

automate the configuration of programs using operators and rules

E. Slezak – IAU 26th GA – SPS 3b session VIII


A basic request for a simple workflow

A basic request for a simple workflow

• goals :detect and measure connex objects

in a single mono-band image(SExtractor).

• underlying model : separated diffuse sources in emission over a

slowly variable ideal background.

• chosen methods : – estimate a background map ;

– extract sources by a thresholding segmentation ;

– elliptical modeling of the shape of each domain ;

– construction of an azimuthal brightness profile ;

– computation of compactness and flux indicators.

E. Slezak – IAU 26th GA – SPS 3b session VIII


Astron image proc distrib architecture

Astron. Image proc. Distrib. Architecture

chaining

(FORTRAN) programs

just by a few click-an-drops

easy

integration procedure

• file describing I/Os •

• a configuration file •

> action plan <

scheduling on the grid

will be soon available

E. Slezak – IAU 26th GA – SPS 3b session VIII


Use within the cds aladin vo portal

Use within the CDS-Aladin VO portal

• a multicolour image with superimposed contours •

E. Slezak – IAU 26th GA – SPS 3b session VIII


Some future developments

Some Future Developments

• Multiband, multisensor, multimodes image fusion ;

 ANRSpace Fusion / LSIIT Strasbourg.

• Extraction and mesurements of fuzzy superimposed objects ;

 a webservice is under construction at OCA.

• Classification and data mining on massive multidimensional data sets.

– a library of modules from algorithms common to various use cases –

– fruitful exchanges with the Astrogrid and STIC communities –

> OV : transfer of data vs. transfer of codes

> Grid : load monitoring, submit whole or part of the workflow

> AIDA : ergonomy, monitoring & log file, partial run

E. Slezak – IAU 26th GA – SPS 3b session VIII


Image processing and scientific workflows in the vo context

E. Slezak – IAU 26th GA – SPS 3b session VIII


Added value of federated information

Added-Value of Federated Information

crab nebula

multiwavelength composite

image credit :

Chandra X-Ray Observatory

E. Slezak – IAU 26th GA – SPS 3b session VIII


Image processing and scientific workflows in the vo context

Le groupe de travail Workflow créé dans le cadre

de l’AS OV

A. Schaaff1, F. Le Petit2, P. Prugniel3, E. Slézak4, C. Surace5

1Observatoire de Strasbourg, 2Observatoire de Paris, 3Observatoire de Lyon, 4Observatoire de la Côte d’Azur,5Laboratoire d’Astrophysique de Marseille

Initié en 2005 dans le cadre de l’Action Spécifique « Observatoire Virtuel », le groupe de travail Workflow a pour but de produire des cas d’utilisation dans plusieurs domaines (image, spectre, simulation, etc.) et de les confronter avec des outils, en particulier avec ceux du VO. Le développement de collaborations avec la communauté STIC (liens avec les grilles e.g. EGEE, ...) est également un objectif essentiel. La dernière réunion plénière (16 juin 2006) était organisée à l’IAP, réunissant plus de 30 participants.

  • Le groupe de travail Workflow se consacre à :

  • la mise en place de cas d’utilisation et à la formalisation de la connaissance sous-jacente

  • la recherche d’une structure minimale pour la définition d’un workflow afin de tendre vers la portabilité entre outils (de conception et  d'exécution) en se basant sur les standards existants.

  • l’utilisation optimale des algorithmes de traitement de données et la construction de chaînes de traitements adaptées à la résolution de problèmes spécifiques.

Notre définition d’un Workflow : enchaînement de tâches réalisé dans un contexte maîtrisé (à divers niveaux : intelligence dans le choix des algorithmes, contrôle de flux, …), basé sur l’étude de « Cas d’utilisation », dans une architecture prenant en compte les standards du VO.

  • Un exemple de requête simple en imagerie monobande…

  • opérations :détection et évaluation d’objets connexes dans une image mono-bande

  • modèle sous-jacent: tâches diffuses disjointes en émission sur un fond lentement variable sans défauts.

  • méthode adoptée:– cartographie du fond ;

  • – seuillage par segmentation ;

  • – ajustement d’une ellipse de forme ;

  • – évaluation du profil azimutal de brillance ;

  • – calcul de mesures de forme et de flux.

Les cas d’utilisation sont utiles pour juger de la pertinence respective des différents modèles envisageables pour un workflow et des conditions de leur construction avec les outils disponibles ou en développement (ex. : AstroGrid, AÏDA, WebCom-G, …).

Ces outils tendent à rendre presque transparente l’exécution (machine locale, cluster, grille) et l’utilisation des fonctionnalités VO (Web Services, GRID, VOSpace, …).

…et sa solution avec l’outil AÏDA…

Expérimentation de l’utilisation de workflows dans Aladin, un portail du VO

… un pas vers la pérennisation des connaissances en  traitement d'images des spécialistes de la communauté.

Extraction d’une sous image d’un catalogue en ligne à partir de son identification astronomique avec WebComG

  • Objectifs prioritaires du groupe de travail en 2006/2007 :

  • Etendre la définition des cas d’utilisation à d’autres domaines

  • Définir les différentes  parties (briques) communes aux cas d'utilisations (spectres,  imagerie...) et tendre vers une bibliothèque de modules.

  • Poursuivre les échanges avec la communauté STIC et AstroGrid

  • Promouvoir le travail réalisé lors des réunions Interop de l’IVOA

E. Slezak – IAU 26th GA – SPS 3b session VIII

Informations, dates des réunions, compte-rendu, présentations, liens vers les outils,…

http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow


  • Login