demitri d convolution aveugle en microscopi e biologique tridimensionnelle l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle PowerPoint Presentation
Download Presentation
DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle

Loading in 2 Seconds...

play fullscreen
1 / 47

DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle - PowerPoint PPT Presentation


  • 222 Views
  • Uploaded on

Sophia Antipolis. WEIZMANN INSTITUTE OF SCIENCE. DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle . L’équipe. Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux Josiane Zerubia - Laure Blanc-Féraud

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle' - betty_james


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
l quipe
L’équipe

Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux

Josiane Zerubia - Laure Blanc-Féraud

+ Nicolas Dey (Post-doctorant) – Gemma Pons (stagiaire DEA)

Zvi Kam

Sophia Antipolis

WEIZMANN INSTITUTE OF SCIENCE

ARC DEMITRI – 17 dec. 2004

pr sentation
Présentation
  • L’acquisition en microscopie confocale
  • La restauration : problème mal posé
  • méthodes monoéchelles : itératives + terme régularisation
    • [Geman & McClure 85, Charbonnier 97, …]
    • [Ricardson-Lucy …]
  • Algorithme de déconvolution par Richardson-Lucy régularisé
  • méthodes multiéchelles : ondelettes réelles + régularisation par seuillage des coefficients
    • [Mallat 89, Bijaoui 94, …]
  • Algorithme de déconvolution par la Transformée en Ondelettes Complexes 3D et seuillage.
  • Bilan et perspectives

ARC DEMITRI – 17 dec. 2004

microscopie optique en biologie
Microscopie optique en biologie
  • Fluorophores (GFP, CFP, YFP, RFP…)  marquage de composants cellulaires spécifiques
  • Lasers monochromatiques
  • Filtres spécifiques
  • Observation de cellules vivantes, processus dynamiques
  • Microscopie confocale: sections optiques de haute qualité (3D)
  • Plateforme d’Imagerie Dynamique, Institut Pasteur:

8 microscopes, dont 4 confocaux

ARC DEMITRI – 17 dec. 2004

microscopie confocale principe
Microscopie confocale: principe

[Minsky 57]

objectif

miroir semi-réfléchissant

specimen

z

laser

diaphragme

Détecteur (photomultiplicateur)

plan focal

Le diaphragme rejette la lumière émise hors du plan focal

Balayage du specimen et reconstruction de l’image par ordinateur (3D= piles d’images 2D)

ARC DEMITRI – 17 dec. 2004

slide6

Microscopie à champ large

Microscopie confocale

20 m

Rendu surfacique

ARC DEMITRI – 17 dec. 2004

microscopie confocale limites
Microscopie confocale: Limites
  • Diaphragme réduit le rapport photons détectés/ photons émis
  • Photo-toxicité et photo-blanchiment  intensité du laser doit être modérée
  •  faible flux de photons ( bruit de Poisson)
  • Augmenter le diamètre  du diaphragme  le signal augmente, mais aussi la fluorescence parasite émise hors plan focal

(compromis typique:  = tâche d’Airy)

  • Même pour =0, l’image est floue à cause de la limite de diffraction

ARC DEMITRI – 17 dec. 2004

psf d un microscope confocal
PSF d’un microscope confocal
  • Modèle de PSF théorique [Sheppard & Cogswell 1990]
  • Hypothèses:
    • PSF invariante par translation
    • ex = em ,
    • pas d’aberrations optiques,
    • valable pour   0.
  • Limite de résolution importante pour la biologie cellulaire
    • Ex: cellule de levure:  = 1 m

 Amélioration possible par déconvolution

(=0)

PSF confocale theorique

3 m

0.5 m

ARC DEMITRI – 17 dec. 2004

acquisitions d images tests
Acquisitions d’images tests
  • Objets de géométrie connue pour évaluer les résultats de déconvolution
  • Billes fluorescentes calibrées (FocalCheck):
    • Immobilisees dans gel d’agarose
  • Microscopie:
    • Zeiss Axiovert 200M confocal/bi-photon, grossissement interne 3.3x.
    • Objectif d’huile à immersion, grossissement 63x, ouverture numérique 1.4.
    • Laser: ex =520 nm, em =488 nm; diaphragme  = 1 Airy
    • Echantillonnage: dx = dy = 89 nm, dz = 230 nm

6 m

15 m

0.5-0.7 m

ARC DEMITRI – 17 dec. 2004

quation d observation

o

f

Image observée

Image originale

Noyau de convolution

(PSF connue)

Équation d’observation

Les images observées sont dégradées :

Bruit de Poisson

ARC DEMITRI – 17 dec. 2004

mod le probabiliste

o

f

Modèle Probabiliste
  • Formation de l’image :
  • Probabilité de vraisemblance
    • Probabilité d’observer o sachantf (et h)
    • trouver f qui maximise cette probabilité

ARC DEMITRI – 17 dec. 2004

algorithme standard
Algorithme standard
  • Minimiser -log[ p(o/f) ]
    • Fonctionnelle à minimiser
    • Richardson-Lucy: algorithme itératif multiplicatif de gradient [Richardson74] [Lucy72]

ARC DEMITRI – 17 dec. 2004

algorithme de d convolution
Algorithme de déconvolution
  • Pourquoi Richardson-Lucy (astronomie et confocal) ?
    • adapté au bruit dePoisson
    • Contrainte de positivité
  • Limitations
    • amplification du bruit au cours des itérations
    • Régularisation : arrêt des itérations
  • Incorporer une régularisation

ARC DEMITRI – 17 dec. 2004

r gularisation

Attache aux données

Terme de régularisation

Régularisation
  • Méthodes mono-échelle[Tikhonov, Geman & McClure, Charbonnier, …]

Régularisation + préservation des contours

On cherche f qui minimise J(f) :

J(j) = ||o-h*f||2 / 2s2+ F(f)

  • Méthodes multi-échelle[Mallat, Bijaoui, …]

Analyse multirésolution  ondelettes

      • Inversion puis seuillage des coefficients en ondelettes
      • Régularisation des méthodes itératives classiques (par seuillage d’une transformée en ondelettes)

ARC DEMITRI – 17 dec. 2004

mod le probabiliste15

o

o

o

f

f

f

~

Modèle Probabiliste
  • Probabilité a posteriori p(f/o)
  • Appliquer un modèle sur l’objet à reconstruire p(f) est le terme de régularisation
  • Régularisation quadratique
      • [Tikhonov63] [v.Kempen & v.Vliet97] [v.d.Voort & Strasters95]

ARC DEMITRI – 17 dec. 2004

r gulariser et pr server les contours

On cherche f qui minimiseJ(f) :

  • Régularisation par Variation Totale (TV) [Rudin92, Charbonnier94,…]
Régulariser et préserver les contours

Min

f

ARC DEMITRI – 17 dec. 2004

r gularisation17
Régularisation
  • Fonctionnelle à minimiser
  • Algorithme de Richardson-Lucy régularisé

ARC DEMITRI – 17 dec. 2004

r sultats
Résultats
  • comparer entre RL standard et RL régularisé par TV
  • Données simulées et données réelles acquises à l’institut Pasteur
  • Critères numériques de qualité [Csiszar91]
    • EQM
    • I-divergence

ARC DEMITRI – 17 dec. 2004

objet simul 3d

y

x

z

x

Objet simulé 3D
  • même échelle en X et Y, mais différente en Z

ARC DEMITRI – 17 dec. 2004

donn es d grad es
Données dégradées
  • Dégradations par du flou et du bruit simulés
    • Flou 3D : modèle de PSF d’un microscope confocal
    • bruit: simulation d’un bruit de Poisson

ARC DEMITRI – 17 dec. 2004

d convolution rl
Déconvolution RL
  • Richardson-Lucy sans régularisation
    • itérations: arrêt avant l’amplification du bruit
    • oscillations dans l’image restaurée
    • Les bords des objets restent flous (en XY)
    • Les objets sont plus fins qu’en réalité (en XZ)

ARC DEMITRI – 17 dec. 2004

d convolution rl avec r gularisation tv
Déconvolution RL avec régularisation TV
  • Richardson-Lucy avec régularisation TV
    • Pas d’amplification du bruit
    • Pas d’oscillations d’intensité
    • bords francs (en XY)
    • épaisseur originale des objets (en XZ)

ARC DEMITRI – 17 dec. 2004

comparaison des r sultats
Comparaison des résultats

originale dégradée RL RL+TV

ARC DEMITRI – 17 dec. 2004

r sultat image 3d de microscopie confocale
Résultat: Image 3D de microscopie confocale

Coquille sphérique algo. RL algo. RL + VT

@Pasteur

Épaisseur mesurée de l’anneau: ~500 nm en réalité , ~900 nm image dégradée, ~ 400nm surRL, ~500nm sur RL+TV

ARC DEMITRI – 17 dec. 2004

r sultats sur donn es r elles
Résultats sur données réelles
  • Profil d’une image
  • rouge: données brutes
  • vert: restauration RL
  • rouge: données brutes
  • vert: RL+TV

ARC DEMITRI – 17 dec. 2004

conclusion
Conclusion
  • Qualitativement: bonne restauration
    • coin arrondis
    • Reste localement un peu de flou(diagonales)
    • Pas adapté aux textures et petits objets
  • Quantitativement : amélioration de la I-divergence et de l’EQM: de 1 (RL) à [0.30  0.50] (RL+TV)
    • Nombre de compte non conservé

ARC DEMITRI – 17 dec. 2004

la restauration par transform es en ondelettes
La restauration par Transformées en ondelettes
  • Représentation dans le domaine des ondelettes
      • représentation compacte du signal,
      • bonne représentation des textures.
  • Choix de la base
      • Représentation de l’image sur peu de coefficients de valeurs fortes
      • Le bruit est réparti sur tous les coefficients
  • Seuillage des coefficients en ondelettes efficace pour le débruitage [Donoho & Johnstone 92]
  • Déconvolution :
      • Méthode directe [Mallat & Kalifa 99]
      • Méthodes itératives [Stark & Bijaoui 94… ]

ARC DEMITRI – 17 dec. 2004

ondelettes complexes

 Invariance par translation et rotation

 Sélectivité directionnelle

 Reconstruction parfaite

 Algorithme rapide O(N)

 Redondance 2m:1, m = dim

  • quad-arbre en 2D (4 arbres d’ondelettes parallèles) [Kingsbury 98]
  • filtres décalés d’½ pixel entre les arbres
  • combinaison des arbres  coefficients complexes
  • ondelettes biorthogonales
Ondelettes Complexes

Propriétés :

ARC DEMITRI – 17 dec. 2004

quad arbre 1 er niveau

a1

d11

a1A

d11A

a1B

d11B

d21A

d31A

a0

(image)

d21

d31

d21B

d31B

a1C

d11C

Arbres parallèles ABCD

Transformée non décimée

d21C

d31C

B

B

B

A

A

D

B

C

C

C

D

D

C

A

D

A

C

D

A

A

D

A

D

A

D

B

C

C

C

B

B

B

A

A

A

A

A

A

A

A

A

C

C

C

C

C

C

C

C

C

C

B

C

B

D

C

B

A

A

A

D

A

C

D

B

D

A

D

A

B

D

B

C

D

A

B

A

B

C

C

D

C

a1D

d11D

B

B

B

B

B

B

B

B

B

D

D

D

D

D

D

D

D

D

d21D

d31D

Quad-arbre : 1er niveau

Reconstruction

parfaite :

moyenne (A+B+C+D)/4

ARC DEMITRI – 17 dec. 2004

coefficients complexes

M

dkj,A

Zkj+

dkj,B

dkj,C

Zkj-

dkj,D

!

4 sous-bandes réelles

2 sous-bandes

complexes symétriques

Z + = (A - D) + i (B + C)

Z - = (A + D) + i (B - C)

L’ondelette continue n’est pas une fonction complexe.

Ce ne sont pas exactement des ondelettes complexes !

Coefficients complexes

ARC DEMITRI – 17 dec. 2004

comparaison avec les ondelettes r elles

Pas d’invariance par translation

 artefacts (moyenne sur translations)

Pas d’invariance par rotation

Directions privilégiées : horizontale / verticale

  • mauvaise représentation des textures

orientées (diagonales)

Comparaison avec les ondelettes réelles

ARC DEMITRI – 17 dec. 2004

ondelettes 3d r elles

hhg d14

ghg

d15

(x,y,z)

hhh

a1

a0

volume

ggg

d17

hgg

d16

y

z

x

Ondelettes 3D réelles

ghh

d11

hgh

d12

ggh

d13

Transformée 1er niveau

ARC DEMITRI – 17 dec. 2004

ondelettes complexes 3d
Ondelettes complexes 3D

8 Arbres parallèles ABCDEFGH

ARC DEMITRI – 17 dec. 2004

coefficients complexes 3d

M

dkj,A

Zkj,1+

Zkj,1+

dkj,B

dkj,C

4 sous-bandes

complexes symétriques

Zkj,2-

Zkj,2-

dkj,H

dkj,G

dkj,D

dkj,E

dkj,F

8 sous-bandes réelles

Z 1+ = (A - D - F - G) + i (B + C + E - H)

Z 1- = (A + D + F + G) + i (B + C - E + H)

Z 2+ = (A + D + F - G) + i ( - B + C + E + H)

Z 2- = (A + D - F + G) + i (B - C + E + H)

Coefficients complexes 3D

ARC DEMITRI – 17 dec. 2004

ondelettes 3d complexes

5

6

1

2

7

8

hhg d14

3

4

ghg

d15

(x,y,z)

hhh

a1

ghh

d11

a0

volume

Z1+

Z2+

ggg

d17

Z1-

Z2-

hgg

d16

hgh

d12

ggh

d13

Im

Re

y

...

z

x

Transformée 1er niveau

Ondelettes 3D complexes

4 sous-bandes /détail * 7 détails/niveau = 28 sous-bandes complexes/niveau

ARC DEMITRI – 17 dec. 2004

slide36

Algorithme de débruitage par Ondelettes

Transformée

directe

seuillage

Transformée

inverse

Choix de la base :

  • compacité
  • reconstruction
  • propriétés d’invariance

Choix de la fonction

de seuillage

Valeur optimale

du seuil ?

ARC DEMITRI – 17 dec. 2004

comparaison cwt dwt 3d

a)

b)

c)

d)

contours plus nets

moins d’oscillations

c) Débruitage par la CWT :

Comparaison CWT - DWT 3D

a) Image originale 128x128x64

b) Image bruitée, bruit gaussien de variance 900

c) Débruitage par la CWT

d) Débruitage par la DWT

ARC DEMITRI – 17 dec. 2004

comparaison cwt dwt 3d38

CWT

Seuillage doux

DWT

~ 2 dB

~ 2 dB

~ 2 dB

CWT

CWT

Seuillage dur

Seuillage Oracle

DWT

DWT

Comparaison CWT - DWT 3D
  • CWT meilleure de ~2 dB par rapport à DWT
  • Le seuillage doux donne les meilleurs résultats

ARC DEMITRI – 17 dec. 2004

r sultat image r elle
Résultatimage réelle
  • Débruitage de l’image des billes acquises à l’Institut Pasteur (256x256x128).
  • Seuillage des coefficients complexes 3D (T=1.6sk).

ARC DEMITRI – 17 dec. 2004

d bruitage image r elle
Débruitageimage réelle
  • Image réelle (156x156x30) :

embryon de drosophile en train de

réaliser la fermeture dorsale (coupe).

Laboratoire biologie cellulaire UNSA/CNRS

  • Débruitée par seuillage de la

transformée en ondelettes complexes.

ARC DEMITRI – 17 dec. 2004

slide41

Algorithme de déconvolution par Ondelettes

Déconvolution

brutale

Transformée

directe

Transformée

directe

seuillage

seuillage

Transformée

inverse

Transformée

inverse

Déconvolution

  • Mais il y a des zéros dans le spectre de la PSF
  • Déconvolution par RL + TV

ARC DEMITRI – 17 dec. 2004

r sultat image synth tique
Résultatimage synthétique

Image floue Débruitée par TOC + RLTV TOC + RLTV

et bruitée TOC 25 itérations convergence

(l=2.10-3) (l=2.10-3)

ARC DEMITRI – 17 dec. 2004

comparaison des r sultats43
Comparaison des résultats

Image floue TOC + RL+TV Image floue RL+TV

et bruitée convergence et bruitée convergence

(Gaussien 100) (l=2.10-3) Poisson (l=2.10-3)

ARC DEMITRI – 17 dec. 2004

r sultat image r elle44
Résultatimage réelle

Image floue Débruitée par

et bruitée TOC

TOC + RLTV TOC + RLTV

25 itérations convergence (l=2.10-4)

ARC DEMITRI – 17 dec. 2004

conclusion45
Conclusion
  • Tenir compte de la statistique du bruit :

loi de Poisson

  • Anisotropie en Z
  • Transformée en paquets d’ondelettes :

CWP?

  • Méthodes hybrides :

déconvolution itérative + débruitage par CWT

[Bijaoui 95, Malgouyres02,Stark 04,Bect 04]

ARC DEMITRI – 17 dec. 2004

bilan de l arc demitri
Bilan de l’ARC Demitri
  • Collaboration entre les équipes :
    • Nombreux longs séjours de Nicolas Dey à l’Institut Pasteur (2 à 4 semaines par séjour)
    • Visites régulières d’Ariana à Pasteur (JZ et LBF, 3 à 4 par an) et de Pasteur à Ariana (2 à 3 par an).
    • Une visite par an de Zvi Kam en France (une semaine à l’Institut Pasteur, une semaine chez Ariana) et une visite de 10 jours de N. Dey à l’Institut Weizmann en juillet 2004.
  • Publications
    • ISBI 04, SSIAB 04 (papiers invités), ICASSP 05
    • Rapports de recherches : un paru (N. Dey et al. juil.04) et un à paraître (G. Pons et al.).
    • Un article en préparation pour Microscopy Research and Technique

ARC DEMITRI – 17 dec. 2004

perspectives
Perspectives
  • Par rapport à l’ARC Demitri
    • Débruitage et déconvolution… encore des recherches à mener (CWP, anisotropie en Z pour les ondelettes, méthodes itératives avec ondelettes).
    • Validation (pb d’optique) du modèle de réponse impulsionnelle (PSF)
    • Déconvolution aveugle : à faire
  • Collaborations futures
    • Thèse de Bo Zhang 04/07, financement BDI CNRS
    • Math/Stic 04/05 : Ariana, Dieudonné, Pasteur (financement CNRS)
    • Proposition Franco-Israëlienne: Ariana, Pasteur Technion, Weizmann (réponse fin décembre 04)
    • Projet Européen NEST : PI Pasteur, Ariana, Weizmann, EPFL, Université de Delft (réponse début 2005)
    • Proposition ACI NIM 04 à resoumettre en 05 : Ariana, Dieudonné, CMAPX, Pasteur.
  • Comité IEEE BISP : JZ élue pour 05/07, candidature de JCOM proposée pour 06/08.

ARC DEMITRI – 17 dec. 2004