医学图像配准

医学图像处理专题讨论 医学图像配准 Medical Image Registration 许向阳医学图像信息研究中心 2014年9月1日

内容提要 一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论

一、配准的基本概念 医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。保持不动的图像叫参考图像；做变换的图像称作浮动图像。

一、Basic conception of registration • Image registration, also called image matching or alignment, is a process to register one image to others, so that the transformation matrix between two of them are determined so that they are corresponding each other in space. • Image registration is the process of estimating an optimal transformation between two images.

一、配准的基本概念 q = T(p) T’ = arg max S(R,T(F)) T R ：参考图像， F：浮动图像，T: 变换

一、配准的基本概念 第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别病变组织发生变化（如术前，术后）不同对象的成像

一、配准的基本概念 • 四种基本的变换 • 刚体变换 • 仿射变换 • 投影变换 • 弯曲变换

二、配准的临床应用 对某一病人 • 两个时期的同种类图像比较病灶生长情况；治疗效果分析；动——静对比收缩——舒张对比发作——间歇对比

二、配准的临床应用 • 数字减影血管造影 • Digital subtraction angiography，DSA 1977年．Nudelman成功地获得了第一张DSA影像 <<脑血管疾病--MR.CT.DSA.与临床>>

二、配准的临床应用 (a) 箭头所指为节结 Li Qiang, etc, Improved contralateral subtraction images by use of elastic matching technique , Med. Phys. 27 .8., August 2000

二、配准的临床应用 于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）

二、配准的临床应用 对某一病人 • 多模态图像融合疾病诊断放射治疗计划外科手术导航系统 • 图像与物理世界配准

二、配准的临床应用 2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像

二、配准的临床应用 PET显示食道癌

二、配准的临床应用 罗述谦，医学图像处理与分析

二、配准的临床应用 不同人 • 图像与图谱的比较 Talairach 脑图谱 Ono脑沟回图谱哈佛全脑图谱被试图像与典型正常人相同部位的图像比较： ——确定是否正常被试图像与一些疾病的典型图像对比： ——确定患者是否同类

二、配准的临床应用 三维重建虚拟数字人

三、配准的核心框架 Registration is treated as an optimization problem with the goal of finding the spatial mapping that will bring the moving image into alignment with the fixed image. 变换：Transform 度量：Metric 优化: Optimizer 插值：Interpolator

三、配准的核心框架 3.1 变换刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）

三、配准的核心框架 3.2 插值插值的原因：分辨率不同图像变换引起的像素点不对应

三、配准的核心框架 3.2 插值插值方法：最近邻插值线性插值 B样条插值 Windowed Sinc 插值

三、配准的核心框架 3.3 配准程度的度量可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关

三、配准的核心框架 3.3 配准程度的度量 •Mean squares • Normalized correlation • Mean reciprocal squared difference • Mutual information by Viola and Wells • Mutual information by Mattes • Kullback Liebler distance metric • Normalized mutual information • Mean squares histogram • Correlation coefficient histogram • Cardinality Match metric • Kappa Statistics metric • Gradient Difference metric

三、配准的核心框架 3.4 优化 •Amoeba: Nelder-Meade downhill simplex. •Conjugate Gradient: Fletcher-Reeves form of the conjugate gradient with or without preconditioning. •Gradient Descent: Advances parameters in the direction of the gradient where the step size is governed by a learning rate。

三、配准的核心框架 3.4 优化 • • Powell法 • 下山单纯形法 • Arent法 • Levenberg-Marquadrt法 • Newton-Raphson迭代法 • 随机搜索法 • 梯度下降法 • 遗传算法 • 模拟退火法 • 几何hash法 • 半穷尽搜索法

四、医学图像配准的分类 4.1 分类的依据图像的主体图像的模态图像的客体(人体的部位) 图像空间的维数配准所基于的图像信息变换的模型变换参数的确定方式配准方法的交互性

四、医学图像配准的分类 4.2 图像的主体（Subject） IntraSubject InterSubject Atlas 4.3 图像的模态 (Modalities) Monomodal Multimodal Modality to modal Patient to modality

四、医学图像配准的分类 4.3 图像的模态描述生理形态的解剖成像模式： X光、CT (Computed Tomography) MRI (Magnetic Resonance Imaging) US (Ultra Sound) MRA (Magnetic Resonance Angiography) DSA (Digital Subtraction Angiography) 光纤内窥镜

四、医学图像配准的分类 4.3 图像的模态描述人体功能或代谢功能的成像模式： SPECT (Single Photon Emission Computed Tomography，单光子发射断层扫描) PET (Positron Emission Tomography，正电子发射断层扫描) fMRI (functional MRI，功能磁共振成像) EEG (Electro-EncephaloGraphy,脑电图) MEG (Magneto-EncephaloGraphy，脑磁图) 光子内源成像

四、医学图像配准的分类 4.4 图像的客体（Object） Head (Brain or skull, Eye, Dental) Thorax (Entire, Caridac, Breast) Abdomen (General, Kidney,Liver) Limbs (General, Femur, Humerus, Hand) Spine and vertebrate Pelvis and perineum 4.5 图像的维度二维，三维，时间维

四、医学图像配准的分类 4.6 配准中使用的信息侵入性的非侵入性的外部标志点 • 特征点内部标志点 • 特征曲线或曲面 • 像素或体素特征空间 • 无需图像信息

4.6 配准中使用的信息——外部标志点 立体框架蒋大介，实用神经外科手术学，第四章，定向手术华工超星图书，以“神经外科”搜索，72本书

4.6 配准中使用的信息——外部标志点 陈炳桓，《立体定向放射神经外科学》，r刀

4.6 配准中使用的信息——外部标志点 • Brown–Roberts–Wells (BRW)框架 • Cosman-Roberts-Wells (CRW)框架 • Gill-Thomas-Cosman（GTC）框架该类框架主要用于神经外科手术的定位和导航以及放射治疗随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛

4.6 配准中使用的信息——外部标志点 • 外部标记物韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3

4.6 配准中使用的信息——外部标志点 • 外部标记点 Matthew Y. Wang, An Automatic Technique for Finding and Localizing Externally Attached Markers in CT and MR Volume Images of the Head, IEEE transactions on Biomedical Engineering. Vol.43, No. 6, 1996

4.6 配准中使用的信息——外部标志点 • 外部标记点周振环等，医学图像标志点的自动配准, 中国生物医学工程学报，2003,No.5

4.6 配准中使用的信息——外部标志点 • 外部标志点 • 它与图像本身无关。 • 选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。 • 只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。 • 确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。

4.6 配准中使用的信息——外部标志点 • 外部标志点 • 会给病人带来很大不适； • 注入病人体内的外来元素往往对人体有些损害； • 完全无损的又很难达到满意的精度； • 这种方法不包括病人本身的相关图像信息，因而它的变换方式只限于刚性变换。

4.6 配准中使用的信息——内部标志点 • 内部标志点 • 解剖标志点 (Anatomic Landmarks) • 几何极值点 • 线的交点 • 脐点(umbilic point) • 脊点 • 􀂃 灰度的极值点 • 􀂃 轮廓上曲率的极值点 • 􀂃 两个线形结构的交点 • 􀂃 某一封闭区域的质心 • 形状特征点

4.6 配准中使用的信息——内部标志点 解剖标志点 Igor D. Grachev,etc, A Method for Assessing the Accuracy of Intersubject Registration of the Human Brain Using Anatomic Landmarks，NeuroImage 9, 250–268 (1999)

4.6 配准中使用的信息——内部标志点 解剖标志点

4.6 配准中使用的信息——内部标志点 角点 Karl Rohr， On 3D differential operators for detecting point landmarks， Image and Vision Computing 15 (1997) 219-233 Detected point landmarks in a 2D sagittal MR image of a human brain

4.6 配准中使用的信息——内部标志点 形状特征点周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vo l. 14,No. 7，2002

4.6 配准中使用的信息——内部标志点 内部控制点的选取原则 • 两幅图像中选取出的控制点应当具有唯一性。 • 对于图像的局部失真有较好的鲁棒性。 • 由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。

4.6 配准中使用的信息——内部标志点 内部控制点的优缺点 • 选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。 • 控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。 • 这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。

4.6 配准中使用的信息——表面 • 先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。 • 变换的形式既可以是刚体变换，也可以是形变变换 • 最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。

4.6 配准中使用的信息——表面 轮廓表面的提取方法 • 阈值分割 • 边缘检测 • 区域增长 • 聚类分割 • 边界跟踪 • 曲面拟合

四、医学图像配准的分类 4.7 图像变换方法刚体变换仿射变换投影变换非线性变换

四、医学图像配准的分类 4.8 求解过程的交互性交互的半自动化自动化 4.9 优化过程参数计算参数搜索

医 学 图 像 配 准