图像处理及机器视觉

1. 图像处理及机器视觉 王军南 2010.10.24 浙江大学控制系 浙江大学控制系

2. 任务描述 浙江大学控制系

3. 视觉在比赛中的应用 • 历届比赛没有应用视觉来完成或者辅助完成比赛任务，主要原因可能在于以下两点： • 校赛的比赛环境是高度结构化的，不需要依赖于视觉就可以完成。 • 机器视觉具有的特点 • 数据量大 • 计算量大 浙江大学控制系

4. 一种可能的硬件配置 • 机器人运动底盘+上网本+网络摄像头 浙江大学控制系

5. 主要内容 • 主要讲述机器视觉的基本内容，以及可能在比赛中应用的相关技术。 • 数字图像处理基础 • 摄像机几何基础 • OpenCV应用基础 • 一些应用的例子 浙江大学控制系

6. 数字图像处理基础 浙江大学控制系

7. 主要内容 • 主要介绍图像以及在机器人上常用到的图像处理算法： • 图像的表示 • 直方图 • 边缘、角点检测 • 基于颜色的区域分割 • 形态学操作 浙江大学控制系

8. 图像的表示 • 数字图像是一般是一个m*n*k的矩阵，m*n表示图像的大小，k表示每个像素占据的字节。 • 图像常见的有以下几种： • 1位二值图像 • 8位灰度图像 • 24位彩色图像 • 彩色模型 浙江大学控制系

9. 一位二值图像 浙江大学控制系

10. 8位灰度图像 浙江大学控制系

11. 24位彩色图像 • 24位彩色图像：通常真彩色用三字节的R，G，B来表示，即8:8:8=24位。可以表示16777216种不同的颜色。 • R、G、B （三基色波长（CIE）Blue: 435.8nm, Green: 546.1nm,Red: 700nm） 浙江大学控制系

12. 24位彩色图像 浙江大学控制系

13. 颜色模型 • RGB模型 浙江大学控制系

14. 颜色模型 • HSB模型 • 基于人类对颜色的感觉，HSB模型描述颜色的三个基本特征。又称为HSI空间。 • 色相（或色度Hue） • 是从物体反射或透过物体传播的颜色。在 0 到 360 度的标准色轮上，色相是按位置度量的。在通常的使用中，色相是由颜色名称标识的，比如红、橙或绿色。 • 饱和度（Saturation） • 有时也称色品，是指颜色的强度或纯度。饱和度表示色相中灰成分所占的比例，用从 0%（灰色）到 100%（完全饱和）的百分比来度量。在标准色轮上，从中心向边缘饱和度是递增的。 • 亮度（Brightness/Intensity） • 是颜色的相对明暗程度，通常用从 0%（黑）到 100%（白）的百分比来度量。 浙江大学控制系

15. 颜色模型 • HSB颜色模型图示 浙江大学控制系

16. 图像存储格式 • 常见的存储格式有bmp，jpeg这样两种 • Bmp图像：直接按顺序存储像素的RGB值，占用大量的存储空间。 • Jpeg图像：是一种经过压缩的图像，其压缩遵循JPEG标准。将图像分块后进行变换，如DCT，小波变换等，然后对变换后的系数进行编码存储，以大大节省存储空间。 浙江大学控制系

17. 直方图 • 灰度直方图（histogram）是灰度级的函数，描述的是图像中每种灰度级像素的个数，反映图像中每种灰度出现的频率。横坐标是灰度级，纵坐标是灰度级出现的频率。 浙江大学控制系

18. 直方图 • 直方图反映了一幅图像灰度统计信息，相似的图像具有相似的直方图，而反过来则不成立。 • 直方图常用于图像分割阈值的确定以及基于直方图的匹配。 浙江大学控制系

19. 直方图 • 直方图用于匹配 • 直方图数据量远远小于源图像，利用直方图能进行快速的匹配。 • 对直方图进行图像均衡，可以抵抗图像亮度变化带来的干扰。 浙江大学控制系

20. 边缘检测 • 什么是边缘检测 • 边缘是指图像中灰度发生急剧变化的区域。图像灰度的变化可以用图像的梯度反映。 • 边缘检测：求连续图像f(x,y)梯度的局部最大值和方向。 浙江大学控制系

21. 边缘检测 • 边缘检测的常用算法 • 差分检测 • 梯度检测 • Sobel边缘检测 • Laplace边缘检测 • Canny边缘检测 浙江大学控制系

22. 边缘检测 浙江大学控制系

23. 边缘检测 浙江大学控制系

24. 角点检测 • 角点是图像中具有高曲率的点，一般有高曲率边缘，或者是边缘相交叉形成。 • 相对于边缘来说，角点在各个方向上都有梯度的变化，具有目标几何形状信息，通常作为描述目标的特征，在特征提取，运动估计等领域有重要的应用。 • 角点检测算法总的可以分为两类： • 检测边缘，然后寻找边缘的角点作为角点 • 直接对灰度图像进行操作，或是计算灰度分布曲率，以曲率最大点作为角点，或是统计领域内的灰度分布信息，以判断是否为角点。 • 主流的角点检测以第二种方法为主。 浙江大学控制系

25. 角点检测 • 最为常用的角点检测算法为Harris角点检测算法 • Harris角点检测算法检测图像局部自相关函数的曲率特性。局部自相关函数为 其中 表示图像窗口，I表示图像灰度，x，y表示偏移。 • 图像上任何一点的E(x,y)可能表现为如下三种情况 • 在任何方向上的偏移都产生较小的E(x,y)----平坦区域 • 在某一个特定方向上产生较大的E(x,y)------- 边缘区域 • 在任何方向上都产生较大的E(x,y)--------------角点区域 浙江大学控制系

26. 角点检测 浙江大学控制系

27. Hough变换 • Hough变换用于检测图像中可以参数化表示特定形状。 • Hough变换的原理是利用图像空间和参数空间的对应关系，将图像空间有一定关系的像素在进行聚类，并以解析形式转化到参数空间，以获取同类像素的解析参数。 • 常见的Hough变换有Hough直线变换，Hough圆变换。 • 以Hough直线变换为例说明Hough变换原理 浙江大学控制系

28. Hough变换 • 设直线方程为y=kx+b，其中k为斜率，b为截距项。 • 每个点(x,y)对应到参数k-b空间中的一条直线，即b=xk-y，其中x为斜率，-y为截距项。 • 对于在图像空间中位于同一条直线上的两个点(x1,y1)和(x2,y2)来说，在参数空间中对应于同一个点(b,k)。 • 通过Hough变换，参数空间中某个点处的值对应于符合共线标准的像素点数量。 浙江大学控制系

29. Hough变换 • 通过检测参数空间中值超过一定阈值的点，就可以检测出图像空间中的直线。 • Hough圆变换的原理和直线变换一样，只要将直线方程替换为圆方程即可 b y k x 浙江大学控制系

30. Hough变换 浙江大学控制系

31. 形态学操作 • 形态学操作用于二值图像，用于去除二值化图像中的噪声点及内部空洞。 • 形态学基本操作为两种： • 腐蚀 • 膨胀 • 设定图像邻域为s，原图为f，处理后图为g • 腐蚀操作 • 对于像素 ，若 ，若其领域都为1，则 ，否则 • 膨胀操作 • 对于像素 ，若 ，若其领域至少一个像素为1，则 ，否则 浙江大学控制系

32. 形态学操作 • 通过对腐蚀膨胀的合理组合运用，可以实现去除二值图像的空洞和孤立点，细化线条等效果。 • 上述图像表示利用5*5邻域对第一幅图像进行膨胀和腐蚀操作后的结果 浙江大学控制系

33. 基于颜色的区域分割 • 颜色是物体的重要特征，通过检测物体的特有颜色就能实现物体的检测。 • 比如人脸的皮肤颜色常用于人脸检测 • 基于颜色的区域分割简单的说就是将像素点的颜色值（RGB,HSB或者其他颜色空间）与目标颜色值进行比较，若误差在一定阈值范围内则认为该像素属于该颜色。 • 关键在于如何确定阈值 浙江大学控制系

34. 基于颜色的区域分割 • 这里介绍两种基于颜色的区域分割方法： • 基于物体颜色直方图的反向投影法 • 基于颜色统计模型的阈值分割方法 • 一般而言，选择HSB颜色空间进行颜色分割： • RGB颜色空间中光照对RGB各分量的影响较大 • HSB空间中光照对HS分量的影响较小，能较好的反映物体的本质颜色。 浙江大学控制系

35. 直方图反向投影法 • 直方图反向投影法根据物体直方图确定图像中的像素是否在物体上 • 获得物体区域，并转换到HSB颜色空间 • 计算物体区域的直方图 • 将需要检测的图像中的每个像素值用该值在物体区域直方图中相应的值代替，得到反向投影图 • 对反向投影图进行阈值操作，形态学操作得到分割后的目标区域 • Color-segementdemo.exe 浙江大学控制系

36. 颜色统计模型 • 由于光照的影响，相同颜色在图像中呈现为不同的值，故颜色分割不能很好的适应光照变化的情形 • 反向投影法只是以一种光照条件作为分割依据，也不能适应光照的变化 • 对同一物体在不同光照条件下的颜色分布进行统计，得到颜色统计模型以进行颜色分割，则能在一定程度上适合关照的变化 浙江大学控制系

37. 颜色统计模型 • 建立颜色统计模型的步骤 • 获取在不同光照条件下目标物体颜色的HSB值，即进行采样 • 根据H，S的样本建立统计模型 • 根据统计模型判断待分割图像中的像素点是否以一定的置信度属于物体代表的颜色 • 简单起见，可以选在高斯分布，并假设H和S不相关。统计样本中H和S分量的平均值和方差即可建立颜色分布模型。 浙江大学控制系

38. 颜色分割应用实例 浙江大学控制系

39. 摄像机几何基础 浙江大学控制系

40. 概述 • 摄像机几何研究摄像机成像几何性质。由于摄像机成像过程为一个投影过程，所以摄像机几何研究所采用的数学方法为射影几何。 • 摄像机几何的主要研究内容为： 从图像的对应特征点的图像坐标求解摄像机内外参数，以及如何从图像坐标求解世界坐标。由于摄像机几何涉及的参数较多，而图像坐标又存在采样误差，所以参数求解过程中往往用到大量的优化算法，以优化参数的求解精度。 浙江大学控制系

41. 主要内容 • 摄像机几何中的坐标系介绍 • 摄像机成像模型 • 摄像机标定 • 双目定位 浙江大学控制系

42. 坐标系介绍 • 摄像机几何中涉及三大坐标系 • 世界坐标系 • 摄像机坐标系 • 图像坐标系 • 其中世界坐标系是固定于真实世界中的坐标系，如以房间的某个角落为坐标原点，以三个墙面为坐标平面的坐标系。世界坐标系可以表示为 • 摄像机坐标系是以摄像机的主光轴为z轴，以摄像机成像平面的一边为x轴，以垂直的一边为y轴构成的坐标系，坐标系随摄像机运动。摄像机坐标系表示为 浙江大学控制系

43. 坐标系简介 • 图像坐标系则定义在成像平面上，即平时所看到的图像，一般以左上角为原点，向左为x正方向，向下为y正方向，为了与摄像机坐标系区别，分别成为u和v，即 • 三个坐标系如下图所示： 成像平面 浙江大学控制系

44. 摄像机成像模型 • 在三个坐标系的基础上，可以建立摄像机的成像模型。 • 常见的成像模型有仿射模型，小孔成像模型等，以小孔成像模型最为常用。 • 小孔成像模型的推导过程为： • 设世界坐标系中的某个点 ，摄像机坐标系和世界坐标系之间的变换矩阵为R和t，则该点在摄像机坐标系中的坐标为 • 以齐次坐标形式可以表示为 • 其中s为尺度因子，>0 浙江大学控制系

45. 摄像机成像模型 • 设摄像机焦距为 ，则从摄像机坐标系投影到成像平面可以表示为 • 设像素的长宽分别为 和 则有 • 设 ，则小孔成像模型可以表示为 浙江大学控制系

46. 摄像机成像模型 • 其中A为摄像机内参数矩阵 • 而 则称为摄像机外参数矩阵。 • 由于摄像机镜头存在一定程度的畸变，成像不是完全遵循上述线性模型，需要对畸变进行校正。 • 需要校正的一般为径向畸变，畸变模型可以表示为 • 其中 为校正过的图像坐标 浙江大学控制系

47. 摄像机标定 • 摄像机标定就是求解摄像机的内外参数 • 摄像机标定可以分为传统标定技术和自标定技术，其中传统标定技术需要借助已知坐标点进行摄像机参数的求解，而自标定技术则不需要借助已知坐标点就可以求解摄像机参数。 • 常用的标定方法为传统的标定方法，而其中较为常用的方法有两种： • Zhang的方法和Tsai的方法。 浙江大学控制系

48. 摄像机标定 • Zhang的方法 • Zhang的方法利用一块平面标定板，标定板上的特征点在板平面的坐标已知。通过获取标定板在不同位置的图像实现摄像机的标定。 • Tsai的方法则需要已知一个三维标定靶标，其上的特征点三维坐标已知，通过获取一次图像完成摄像机的标定。 • 相对来说Zhang的方法由于标定板的制备及使用较为方便，在实际应用中较为常用。 浙江大学控制系

49. 双目定位 • 利用两台已知内参以及相互位置的摄像机可以完成目标点的定位。 浙江大学控制系

50. 双目定位 • 设以左摄像机坐标系为基准坐标系，则左右摄像机成像方程为 • 由上面两个方程可以得到4个约束方程，而需要求解的未知数为3个。 • 联立4个方程并利用最小二乘法可以求解 • 最小二乘法求解结果相当于两条投影线的中垂线中点在左摄像机下的坐标。 浙江大学控制系