1 / 48

基于互信息的医学图像配准

基于互信息的医学图像配准. 许向阳 华中科技大学 医学图像信息研究中心. 讨论内容. 互信息的概念 互信息的改进 搜索策略的优化. 1. 互信息的概念. 互信息是信息理论中的一个基本概念。 1948 年 C. E. Shannon 提出， A mathematical theory of communication, Bell System Technical Journal , vol. 27, pp. 379 – 423/623 – 656,1948. 1995 年 Colligon 和 Viola 首次用于医学图像配准。

gallia
Download Presentation

基于互信息的医学图像配准

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于互信息的医学图像配准 许向阳 华中科技大学 医学图像信息研究中心

  2. 讨论内容 • 互信息的概念 • 互信息的改进 • 搜索策略的优化

  3. 1. 互信息的概念 • 互信息是信息理论中的一个基本概念。 • 1948年C. E. Shannon提出，A mathematical theory of communication,Bell System Technical Journal, vol. 27, pp. 379–423/623–656,1948. • 1995年Colligon和Viola首次用于医学图像配准。 • 互信息用于描述两个系统间的统计相关性，或者一个系统中包含的另一个系统的信息的多少。 • 对于来自同一对象的两幅图像，配准后，互信息应为最大。 • 互信息只是一种相似性测度 • 基于互信息的配准方法仍然遵循一般的配准框架

  4. 1. 互信息的概念 • Collignon A, et al, Automated multi-modality registration based on information theory, Information Processing in Medical Imaging, 1995,263-274 • Viola P, Wells WM, Alignment by Maximization of mutual information, International Conference on computer Vision, 1995, Los Alamitos,CA: IEEE Computer Science Press,1995,16~23.

  5. 1. 互信息的概念 • 熵 熵（entropy）是信息的测度。熵的概念来源于通讯理论。 Pi = 灰度值为i的像素点数 / 总像素点数

  6. 1. 互信息的概念 熵可以有三种解释： • 当一个事件发生时，其给出的信息数量； • 一个事件的结果的不确定性； • 事件发生的概率分布。 • Question: 熵大，说明什么问题？ 熵小，又说明什么？

  7. 1. 互信息的概念 • 熵 • Jumarie entropy 不适于多模态图像配准 • Renyi entropy 在图像配准中很少使用

  8. 1. 互信息的概念 • 联合熵 联合熵H(A,B)是随机变量A和B相关性的统计量。PAB(a,b)是联合概率分布函数。 联合熵越小，说明什么问题？

  9. 1. 互信息的概念 • Joint grey value histograms of an MR image with itself. • The leftmost histogram shows the situation when the images are registered. Because the images are identical, all grey value correspondences lie on the diagonal. • The three following are the resulting histograms when one MR image is rotated with respect to the other by angles of 2, 5 and 10 degrees respectively. • Below the histograms are the corresponding joint entropy values.

  10. 1. 互信息的概念 • 条件熵 1993年，Woods应用条件熵作为配准的测度，开发了PET-MT图像配准的软件AIR.

  11. 1. 互信息的概念 • 互信息 (1) • 第（1）种定义形式能够最好的解释“互信息” 。 • 将熵作为不确定性度量的概念时，式(1)解释为“B的不确定性减去当A已知时B的不确定性”。 • 换句话说，互信息是当A给出时，B的不确定性的减少程度。 • 若A能完全表达B，则互信息最大，即不确定性减少程度最大。

  12. 1. 互信息的概念 • 互信息 （2） • 第(2)种定义形式最接近联合熵。 • 式中的A、B不是指两幅完整的图像，而是分别代表两幅图像的重叠区域。 • 互信息和联合熵都是在图像的重叠区域上计算的，因此，度量值取决于重叠区域的大小和重叠区的内容。

  13. 1. 互信息的概念 互信息 VS 联合熵 • 式(2)含有项H(A,B)，表示最大互信息与最小联合熵有关。 • 联合熵表明了两幅图的灰度值分布。 • 在通常情况下，联合熵小，表明对齐的程度高。 • 但是，采用两幅图像重叠区域的联合熵可能会出现两幅图像完全误配时，联合熵最小的情况。 • 如一幅图像例的一部分背景区域和另一幅图像的一部分背景区域重叠，其它部分不重叠时，联合熵最小。 • 采用互信息可以避免这种情况，因为对只有部分背景对齐的情况，H(A)和H(B)很小，因而互信息很小。随着A、B重叠区域的增大，A、B中包含更多的信息，使得H(A)、H(B)增大。尽管联合熵也增大，但是互信息在增加，更好的反映了对齐的程度。

  14. 1. 互信息的概念 • 互信息 （3） • 第(3)种形式与Kullback-Leibler距离有关。 • 测量了两幅图像灰度值的联合分布p(a,b)和在两幅图像相互独立的情况下的联合分布p(a)p(b)之间的距离。 • 是两幅图像的依赖性的度量。其假设就是，在两幅图像正确对齐的情况下，它们的灰度值之间的依赖最大。误配会导致度量值降低。

  15. 1. 互信息的概念 • 圆代表了图像的边缘熵 • 两圆合并区域为联合熵 • 重叠部分为互信息

  16. 互信息的优点 分割和特征提取方法中存在的问题 • 在图像的获取和特征提取过程中会产生不同程度的噪声，使得提取到的特征点位置存在一定的误差，要使一幅图像中的特征点精确匹配另一幅图像中的特征点是很困难的； • 从两幅图像中提取到的图像特征点集数目是不等的，确定它们之间的对应关系较难； • 一幅图像中的某些特征点在另一幅图像中没有相对应的特征点，即存在着出界点； • 特征点集之间的变换可能是刚性的，也可能是非刚性的。

  17. 互信息的性质 • 非负性：I(A,B)>=0。B的不确定性不会因为对A的了解而增大。 • 独立性：当PAB(a,b) = PA(a)PB(b)时，I(A,B)=0。若A和B是独立的，则不能从一幅图像中获得任何关于另一幅图像的信息。 • 对称性：I(A,B) = I(B,A) • 自信息：I(A,A) = H(A) • 有界性：I(A,B) <=min(H(A),H(B))

  18. 互信息的性质 • I(A,B) <= min (H(A), H(B)) <= (H(A) + H(B)) / 2 <= max (H(A), H(B)) <= H(A,B) <= H(A) + H(B)

  19. 2. 互信息测度的改进 2.1 归一化的互信息测度 2.2 熵系数 ECC 2.3 结合梯度的互信息测度 2.4 基于形状特征点最大互信息 2.5 梯度图像的互信息测度

  20. 2.1 归一化的互信息测度 • 归一化的互信息测度 • 优点：对重叠区域变化不敏感 • 在图像配准中广为使用。 Studholm , D.L.G.Hill, D.J.Hawkes. An overlap invariant entropy measures of 3-D medical image alignment. Pattern Recognition 1999, 1(32): 71-86

  21. 2.2 熵系数 ECC • 熵系数 ECC Josien P. et al, Mutual Information Based Registration of Medical Images: A Survey. IEEE Transactions on Medical Imaging 2003, 8(22)

  22. 2.3 结合梯度的互信息测度 • 有较大梯度的区域包含的信息量较多，通常代表了组织的转变。 • 标准的互信息不包含图像的空间信息，而梯度值是在一定的空间刻度上进行的。 • 梯度项不仅包含梯度的幅值，也包含梯度的方向。 • Josien P. W. Pluim提出了本方法。

  23. 2.3 结合梯度的互信息测度 • 设一幅图像中，有一采样点 x=(x1,x2,x3),经几何变换后，在另一幅图像的对应点为 x’. • x与x’的梯度夹角为： 是在点x处的梯度向量，等于图像与尺度σ的高斯核的一阶倒数卷积 权重系数

  24. 2.3 结合梯度的互信息测度 结合图像梯度和互信息的配准测度 归一化互信息和图像梯度的配准测度

  25. 2.3 结合梯度的互信息测度 • 实验 • 目的：比较某种空间变换下不同相似性测度的曲线，以及数据抽样对曲线的影响。 • 数据来源 Vanderbilt 大学的RREP （Retrospective Registration Evaluation Project) • 配准模态 MR的T1和T2, MR和CT, MR和PET • 空间变换 绕一个轴旋转、面内平移

  26. 2.3 结合梯度的互信息测度 MR的 T1和T2图像配准 上排：绕一个轴旋转，中：子采样后再绕一个轴旋转；下排：平移

  27. 2.3 结合梯度的互信息测度 MR和CT图像配准

  28. 2.3 结合梯度的互信息测度 MR和PET图像配准

  29. 2.3 结合梯度的互信息测度 结论： 对于低分辨率的图像配准，采用结合梯度的互信息测度方法较好。 同时可减小内插引起的局部极值影响。

  30. 2.4 基于形状特征点最大互信息 • 基于形状特征点最大互信息的医学图象配准 周永新，罗述谦，计算机辅助设计与图形学学报，2002年，14(7), 654-658 • A Rangarajan, et al. R igid po int feature registration using mutual info rmation [J ]. M edical Image A nalysis, 1999, 3 (4) :425～ 440

  31. 2.4 基于形状特征点最大互信息 • 从两幅图像中分别提取出形状特征点的集合X ={X i , i= 1, 2, ⋯,N 1}和Y = {Y j , j = 1, 2, ⋯,N 2}, X 和Y 代表了图像中对应解剖组织的形状分布信息.

  32. 2.5 梯度图像的互信息测度 • T. Butz and J.-P. Thiran, “Affine registration with feature space mutual information,” in Medical Image Computing and Computer-Assisted Intervention, W. J. Niessen and M. A.Viergever, Eds. 2001, vol. 2208 of Lecture Notes in Computer Science, pp. 549–556, Springer-Verlag, Berlin. 梯度图像的互信息测度

  33. 3. 搜索策略的优化 最优化过程可以分为两类： • 参数可直接计算的最优化 参数的计算有明确的解析表达式 计算的方法和过程都是确定的 • 参数需通过优化搜索的最优化 参数的计算没有明确的解析表达式 通过定义域上进行优化搜索得到参数

  34. 3. 搜索策略的优化 参数可直接计算的最优化

  35. 3. 搜索策略的优化 参数可直接计算的最优化

  36. 3.1 Powell • 把求多元函数的极值问题简化为一维极值问题 • 参考书：最优化原理与方法

  37. 3.1 Powell • 通过以一定顺序在各个一维方向上的迭代搜索来完成多维函数的最大化. • 给定一个初始出发点和 n个线性独立的搜索方向向量。 • 从一个初始点开始，顺次沿这 n个方向作直线搜索，每一次搜索的终点，也即当前方向上的极值点，作为下一个搜索的起点。 • 在这 n个搜索方向上循环搜索直到收敛或超出规定的最大次数为止。

  38. 3.1 Powell • 设有，三维变换T(Δx, Δ y, Δ θ) • 以Δ x - Δy - Δθ 的顺序搜索。 • 先在Δx 方向搜索到极值，固定这个Δx 值。再在Δy 方向搜索到极值后，固定Δy， 然后是Δθ 方向。之后再回到Δx 方向迭代搜索，直到收敛到所搜索的参数集ξ 或者超过了规定的最大搜索次数。

  39. 3.1 Powell 注：在原始思想下，增加了一个搜索方向，并在下一轮重选了搜索方向

  40. 3.1 Powell Question : 哪几个方向好呢？越接近共轭方向越好！

  41. 3.1 Powell

  42. 3.1 Powell

  43. 3.2 一维搜索方法 黄金分割法 在搜索空间[a，b]内适当插入两点t1,t2,它们把搜索空间分为三段。计算t1 和t2 的函数值并比较之，根据比较的结果决定删去最左段，或者删去最右段，这算一次迭代。然后再在保留下来的区间上作同样的处理。如此迭代下去，直到搜索区间小于一定门限值停机。 t1 的位置定在距离终点为0.618 倍搜索空间全长的位置，t2 的位置则定在距离终点为0.382 倍搜索空间全长的位置。由于每次都是按照0.618 的比率对空间进行分割，所以该方法被称为黄金分割法。

  44. 3.2 一维搜索方法 黄金分割法 注：搜索区间上的单峰函数才适用区间缩小法

  45. 3.2 一维搜索方法 插值法 基本思想： 利用搜索区间某些点的信息构造插值多项式(通常不超过三次)，用插值多项式的极小点来迫近原函数的极小点。重复上述过程，直到满足精度要求。 当原函数有比较好的解析件质时，插依法比试探法(如0．618法)的效果好。

  46. 3.2 一维搜索方法 Brent算法 联合使用反抛物线插值和黄金分割求一维优化问题。 反抛物线插值： 初始点满足： F(t1)> f(t2) F(t3)>f(t2) 用（t1,f(t1)), (t2,f(t2)), (t3,f(t3)) 插值 极小点：t4. 再由t1,t2,t4插值。 选点原则：两头高，中间低

  47. 3.2 一维搜索方法 Brent算法

  48. 3.2 一维搜索方法 Brent算法

More Related