图 像 分 割

1. 图 像 分 割 潘春洪, 唐 明 {chpan,tangm}@nlpr.ia.ac.cn

2. 图像理解的基本构成 分割 表示与描述 中级处理 预处理 识别 与 解释 结果 问题 图像获取 低级处理 高级处理 知识库

3. 1. 什么是图像分割 • 定义 图像分割是将图像空间 R 划分为 n 个互不重叠的区域 其中 P(Ri)为作用于 Ri中所有象素的相似性逻辑谓词。

4. 实例 2. 1. 3. 4.

5. 2. 图像分割的重要性和难度 • 计算视觉 高层视觉 中层视觉 低层视觉 图像分割

6. 低层视觉：获得要素图（二维图像中的边缘点、直线段、曲线段、顶点、纹理等）低层视觉：获得要素图（二维图像中的边缘点、直线段、曲线段、顶点、纹理等） • 中层视觉：获得图像中物体的 2.5 维描述 • 高层视觉：获得图像中物体的三维描述

7. 计算机视觉的其他领域 • 医学图像处理 • 遥感图像处理 • 目标跟踪 • 生物特征识别 • 等等

9. 分割依赖于低层视觉 • 分割依赖于高层视觉

10. 分割依赖于高层视觉（续）

11. 图像分割是中层视觉中的最基本问题，也是计算视觉和图像理解中的最基本问题之一。它还是该领域国际学术界公认的将会长期存在的最困难的问题之一。图像分割是中层视觉中的最基本问题，也是计算视觉和图像理解中的最基本问题之一。它还是该领域国际学术界公认的将会长期存在的最困难的问题之一。 • 图像分割之所以困难的一个重要原因是其并不完全属于图像特征提取问题，它还涉及到各种图像特征的知觉组织。

12. 从一般意义上来说，只有对图像内容的彻底理解，才能产生完美的分割。从一般意义上来说，只有对图像内容的彻底理解，才能产生完美的分割。 通过限制图像的类型，可以降低图像分割的难度。

13. 图像分割的基本思路 从简到难，逐级分割； 控制背景环境，降低分割难度； 把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上。

14. 从简到难，逐级分割 • 分割矩形区域 • 定位牌照 • 定位文字 • 把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上 • 　感兴趣的对象： • 汽车牌照 • 不相干图像成分： • 非矩形区域 • 控制背景环境，降低分割难度 • 背景环境: • 路面、天空

15. 图像分割的基本策略 • 基于灰度值的两个基本特性： • 　不连续性——区域之间 • 　相似性——区域内部 • 根据图像像素灰度值的不连续性： • 先找到点、线（宽度为1）、边（不定宽度） • 再确定区域。 • 根据图像像素灰度值的相似性： • 通过选择阈值，找到灰度值相似的区域 • 区域的外轮廓就是对象的边。

16. 分割算法的大致分类（共五类） • 对图像特征空间做分类的方法

17. 基于区域的方法（区域生长等）

18. 基于边缘的方法（边缘检测/主动边 • 缘） • 基于函数优化的方法（Bayesian等） • 综合考虑边缘和区域信息的混合分割 • 方法

19. 自动阈值方法 阈值方法的本质

20. h ? Pixel • 阈值方法并不要求直方图必须同时 • 包含峰和谷。

21. 3.1 全局阈值方法 • 众数法（J.M.S. Prewitt, et al., 1966, • Ann. New York Acad. Sci.） • 已知图像仅包含具有明显灰度差别的目标和背景。此时灰度直方图通常为双峰单谷型。取谷底点为阈值即可完成分割。

22. Otsu法（N.Otsu, 1979, IEEE T-SMC） 在直方图上定义类内方差和类间方差

23. 其中，Pi为第i 类出现的概率，μi为第i 类的均值，μ为混合分布的均值。 总体方差为 三个方差的关系为

24. 定义如下函数 求使类间方差(分离度)尽量大而类内方差尽量小的阈值t。三者等价。取计算量最小的η(t)： Otsu法可以应用于多维特征空间中。

25. 基于熵的方法 — • KSW法（J.N. Kapur, et al., 1985, CVGIP） 设直方图上阈值 t两侧的分布分别为 pi、qi，以及

26. 选择满足下式的 t*作为分割阈值 上述熵的理论分析十分困难，分割意义也不十分明确。正因为如此，我们也可以

27. 基于矩不变的方法（W. Tsai, 1985, • CVGIP） 设图像 f的第 i阶矩为（i = 1, 2, 3） 其中 zj 为灰度直方图中的第 j 个灰度值。

28. 设分割后图象 f ’的第 i阶矩为 其中 zj 为分割后灰度直方图中的第 j 个灰度值。此时只有两个灰度级。

29. 设 ，i = 1, 2, 3, 有 解上述方程组即得 。从而 可以确定划分目标和背景的阈值。

30. 最小误分阈值法（Frank, et al., 1995）

31. 假设概率密度为混合Guassian：

32. 最小均方拟合： 用优化方法（如共轭梯度法或牛顿法）求得Pi， μi， σi，即得 pi(g)。 求交点 t：

33. 取对数，整理得： 去掉一个不适当的解即可得到解。

34. 近似最小误分阈值法（J. Kittler, et al., • 1986, PR）

35. 设 为第 i类的Guassian拟合函数。 利用相对熵的概念定义Gaussian函数与直方图之间的距离： 去掉常数项，整理得新的表达式

36. 这里 J(T)越小，则两个Guassian函数的重叠面积就越小。于是求τ，使得

37. 其他方法 1) 概率松弛法（A. Rosenfeld, et al., 1981） 这里，m是类数，r为已迭代次数，pij表示第 i个象素属于第 j 类的概率，qij 是根据其它象素所属类别对 pij 的调整量。

38. 这里，n是象素个数，c(i, j; h, k)是相容性函数，表示第i个象素属于第j 类与第h个象素属于第k类的相容程度。 体现了其它象素所属区域对第 i 个象素属于第 j个区域的综合影响。

39. 的设置（以两分分割为例） 设 d和 l分别为原始图象中最黑和最亮的灰度，zi为第 i个象素的灰度，则 相容性的设计？

40. 相容性函数的例子：

41. 染色体图象

42. 海面＋云层图象

43. 坦克红外图象

44. 2) 直方图变换法 目的：获得具有更深的谷和更尖锐的峰的直方图。 a. 依据各个象素的局部特征对各象素灰度加权（如 1/(1+△2), D. Mason, et al., 1975）。 b. 利用四分树法对目标和背景的灰度平滑后再建立直方图（A.Y. Wu, et al., 1982）。

45. 3) 引入二阶灰度统计量 灰度共生矩阵 中元素的含义 mij表示在图象中灰度为i和j、间距为d个象素、与水平方向夹角为 φ的象素对的数目。 如M (1,φ)中的元素mij 表示4-邻域相邻象素中灰度分别为i和j的象素对的个数。

46. a. N. Ahuja, et al, 1975 构造两个新直方图： h1：对 M 对角线附近的元素， h2：对非 M 对角线附近的元素。 在 h1和 h2的谷峰重叠处选择一个阈值。

47. b. F. Deravi, et al, 1983 这里，x 为 h 或 v 或 vh，Tij 是 Tx 的元素。

48. 可以认为，图像边缘附近（其灰度大多位于灰度直方图的谷底附近）应当具有最多的4-相邻的不同类象素对。于是有目标函数：可以认为，图像边缘附近（其灰度大多位于灰度直方图的谷底附近）应当具有最多的4-相邻的不同类象素对。于是有目标函数： 最优阈值τ：

49. c. 利用灰度和均值构造二维直方图，并在其上定义统计量。 • 全局阈值方法比较 大量实验表明，基于简单统计量的方法往往可以获得较好的分割结果。而基于熵的方法应用于有噪声图象时结果一般较差。

50. 3.2 局部阈值方法 将图像分块，分别用全局阈值方法分割，最后再综合。