基于不同尺度双目视觉的 AGV 导引方法研究

1. 基于不同尺度双目视觉的AGV导引方法研究 Shicai Yang Institute of Systems Engineering, Southeast Univ. October, 2009

2. Outline • 研究背景 • 相关文献 • 路径检测和定位 • 障碍检测 • 结论 Institute of Systems Engineering, Southeast University, Nanjing

3. Introduction • AGV（Automatic Guided Vehicle）是一种柔性化和智能化的搬运机器人，从20世纪50年代开始在仓储业务中应用，已经被广泛用于汽车制造、出版印刷、电子工业、家用电器、机械加工、烟草生产、自动仓库等系统中[1]。AGV融合了导引、控制、信息通讯、系统分析及人工智能等技术，它具有运输效率高、工作可靠、能实现柔性运输等诸多优点。 Institute of Systems Engineering, Southeast University, Nanjing

4. 常见的AGV导引技术有电磁、磁带、激光、惯性、坐标、超声波、GPS和视觉导引等常见的AGV导引技术有电磁、磁带、激光、惯性、坐标、超声波、GPS和视觉导引等 • 电磁导引 • 激光导引 • 惯性导引 • 视觉导引 Institute of Systems Engineering, Southeast University, Nanjing

5. Literature Review • 标识线图像的获取主要是通过摄像机（CCD）完成的。 • 双目视觉（Binocular Vision）仿效人类的两只眼睛，使用两台性能相同、相对位置固定的CCD摄像头，获取同一目标物的两幅图像，计算空间点在两幅图像中的“视差”（Disparity），形成立体视觉（Stereo Vision） • 依据平行双目视觉原理，可以简单快速地确定目标物的距离信息[9-12] Institute of Systems Engineering, Southeast University, Nanjing

6. 由于视差导致人类产生立体视觉的事实最早是由Wheatstone于1838年证实的[13]由于视差导致人类产生立体视觉的事实最早是由Wheatstone于1838年证实的[13] • 文献[14]进一步讨论了人眼的立体视觉理论 • 人类双目立体视觉感知理论在文献[15-16]中做了介绍 • 文献[17-21]讨论了基于双目视觉的追踪和定位问题 • 文献[22]研究了基本双目视觉的形状重构 • 文献[23-24]总结了双目视觉在深度运动方面的研究成果，并对存在的问题进行了分析 • 在AGV和智能车辆导航方面，文献[9]采用了3个CCD摄像机，其中1个用作单目视觉来进行AGV行进道路的定位，另外2个用作双目视觉来进行道路的障碍物检测；文献[25]提出了一种基于双目视觉的目标分割和融合深度信息的方法来进行智能车辆的目标检测。 Institute of Systems Engineering, Southeast University, Nanjing

7. 路径检测和定位 • 主体思想 • 对通常的双目视觉方法进行改进，不采用同分辨率的CCD，而是采用一高一低两种不同分辨率的CCD摄像机，采集在640*480和1280*960两种尺度下的标识线图像。应用分辨率为640*480的图像I1进行精定位，确定AGV前进的路径；应用分辨率为1280*960的图像I2进行粗定位，利用I2中丰富的环境信息，进行前进方向的道路预测，提高路径处理的实时性。 Institute of Systems Engineering, Southeast University, Nanjing

8. Steps • 图像采集，转换成灰度图 • 选取阈值，进行图像分割 • 大尺度滤波模板获取鲁棒边缘 • 小尺度滤波模板获取精确定位边缘 • Hough变换获取道路信息 Institute of Systems Engineering, Southeast University, Nanjing

9. 原始灰度图 灰度直方图 图像的能量主要集中在低频区域； 图像中噪声、假轮廓和图像细节部分的信息集中在高频区域； 利用这种频域特性，进行边缘检测，检测图像局部显著变化，可以找出图像中的道路信息 Institute of Systems Engineering, Southeast University, Nanjing

10. 采用Sobel算子提取边缘，平滑噪声。Sobel算子对噪声具有一定的抑制能力，容易产生较好的边缘效果，也容易检测出一些伪边缘，使边缘比较粗，降低了检测定位精度。正因为Sobel算子的这些特性，使它适合于做大尺度模板，以获取鲁棒边缘。采用Sobel算子提取边缘，平滑噪声。Sobel算子对噪声具有一定的抑制能力，容易产生较好的边缘效果，也容易检测出一些伪边缘，使边缘比较粗，降低了检测定位精度。正因为Sobel算子的这些特性，使它适合于做大尺度模板，以获取鲁棒边缘。 • 为获得更加精细的边缘，选用Roberts算子。Roberts算子提取边缘的结果边缘较粗，边缘定位不是很准确，容易丢失一部分边缘，但对于Sobel算子进行边缘检测后的二值图像来说，那些缺点都不算很重要，相反由于其高定位精度，比较适合进行小尺度的二次边缘检测。 • 借助于Hough变换，得到了道路的精定位图像 Institute of Systems Engineering, Southeast University, Nanjing

11. 路径定位结果 精定位 粗定位 Institute of Systems Engineering, Southeast University, Nanjing

12. 障碍检测 Institute of Systems Engineering, Southeast University, Nanjing

13. AGV道路中的障碍物，是除道路之外，背景图上最有特征的物体，而道路的特征一般比较简单而且明显，因此认定整个图上最复杂的特征，是属于障碍物的。基于这种思想，在认为障碍物具有明显不同于道路和地面特征的假设前提下，本文应用SIFT算法，对上述二值化图像进行特征提取，获取其中的特征向量。AGV道路中的障碍物，是除道路之外，背景图上最有特征的物体，而道路的特征一般比较简单而且明显，因此认定整个图上最复杂的特征，是属于障碍物的。基于这种思想，在认为障碍物具有明显不同于道路和地面特征的假设前提下，本文应用SIFT算法，对上述二值化图像进行特征提取，获取其中的特征向量。 Institute of Systems Engineering, Southeast University, Nanjing

14. 背景用蓝色表示，障碍物目标和道路用红色区域表示，得到的特征向量用黄色圆圈出来了，特征的明显程度和圆圈的大小正相关，即特征越明显，圆圈越大背景用蓝色表示，障碍物目标和道路用红色区域表示，得到的特征向量用黄色圆圈出来了，特征的明显程度和圆圈的大小正相关，即特征越明显，圆圈越大 Institute of Systems Engineering, Southeast University, Nanjing

15. 提取障碍物 • 利用SIFT具有的良好的尺度不变性，对两幅图中的特征向量进行匹配，去除不匹配的特征向量； • 作为障碍物被提取出来的区域相对比较连续、规整，周长与面积比较小。利用这一特征，可以设定参数c ，将周长与面积比大于c的区域滤掉，从而去除绝大部分的地面噪声。 • 运用数学形态学的方法，对特征区域进行去空洞、膨胀和腐蚀处理后，去除目标区域上的空洞，将分离开的障碍物进行适当合并，获得障碍物特征信息。 Institute of Systems Engineering, Southeast University, Nanjing

16. 测量AGV与障碍物之间的直接距离 双目视觉的视差获取方法已经比较成熟，但是由于本文采用的是不同尺度双目视觉方法，采用不同分辨率的CCD，采集到的图像尺度不一致，匹配存在一定的问题。为了解决这个问题，必须对两个不同尺度图像中的点进行匹配。我们依然采用SIFT算法进行匹配。 根据实验观察的结果，随着地面条件的不同，以及匹配参数的不同设置，特征向量匹配准确率维持在91%到98%左右。 Institute of Systems Engineering, Southeast University, Nanjing

17. 结论 • 提出了一种不同尺度的双目视觉AGV导引方法，通过AGV运行环境和采集图像的具体分析，改进和优化了灰度阈值分割方法，在阈值分割图像的基础上，借鉴多尺度滤波的思想，使用Sobel算子和大尺度滤波模板获取道路的鲁棒边缘，并集成应用Roberts算子进行小尺度边缘检测，获取了道路的精确定位边缘，为AGV导引提供了良好的支持。 • 利用SIFT算法，对两种不同尺度的图像进行融合分析，对AGV前进道路附近的障碍物进行检测，并给出了两种不同尺度图像的匹配方法，以实现双目视觉的视差获取，从而测量障碍物和AGV之间的距离。通过上述方法，使AGV能够充分利用更大范围内的更精确的环境信息，提高AGV的智能水平。 Institute of Systems Engineering, Southeast University, Nanjing

18. [1] Opekar F, SStulík K. Electrochemical sensors with solid polymer electrolytes [J]. Analytica Chimica Acta, 1999, 385(1-3):151-162. [2] Aoki M. Image processing in ITS [A]. In: IEEE International Conference on Intelligent Vehicles [C]. Germany, 1998:3-8. [3] Broggi A, Bertozzi M, Fascioli A, et al. Visual Perception of Obstacles and Vehicles for Platooning [J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(3):164-176. [4] Broggi A, Bertozzi M, Fascioli A. The 2000 km test of the ARGO vision-based autonomous vehicle [J]. IEEE Intelligent Systems, 1999:55-64. [5] Park J, Park Y, Kim S W. AGV parking system using artificial visual landmark [A]. In: 2008 International Conference on Control, Automation and Systems,ICCAS 2008[C].Seoul,2008:1579- 1582. [6] Scharstein D, Briggs A J. Real-time recognition of self-similar landmarks [J]. Image and Vision Computing, 2001, 19(11):763-772. [7] Trahanias P E, Velissaris S, Orphanoudakis S C. Visual recognition of workspace landmarks for topological navigation [J]. Autonomous Robots, 1999, 7(2):143-158. [8] Trahanias P E, Velissaris S, Garavelos T. Visual landmark extraction and recognition for autonomous robot navigation [A].In: IEEE International Conference on Intelligent Robots and Systems [C].Grenoble, France, 1997: 1036- 1042. [9] Xie M. Trinocular vision for AGV guidance: Path localization and obstacle detection [J]. Computers and Electrical Engineering, 1995, 21(6): 441-452. [10] Ohzawa I, DeAngelis G C, Freeman R D. Stereoscopic depth discrimination in the visual cortex: Neurons ideally suited as disparity detectors [J]. Science, 1990, 249(4972):1037-1041. [11] Broggi A, Bertozzi M, Fascioli A, et al. Visual Perception of Obstacles and Vehicles for Platooning [J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(3):164-176. [12] Bertozzi M, Broggi A, Fascioli A. Stereo vision system for real-time automotive obstacle detection [A].In: IEEE International Conference on Image Processing [C].Lausanne, Switz, 1996: 681-684. [13] Wheatstone C.On some remarkable, and hitherto unobserved, Phenomena of Binocular Vision[J]. Philosophical Transactions of the Royal Society of London, 1838, 128:371-394. [14] Helmholtz H. Helmholtz's Treatise on Physiological Optics [M]. Rochester: Optical Society of America, 1924. [15] Koenderink J, Van Doorn A. Geometry of binocular vision and a model for stereopsis [J]. Biological Cybernetics, 1976, 21(1):29-35. [16] Anderson B L, Nakayama K. Toward a General Theory of Stereopsis: Binocular Matching, Occluding Contours, and Fusion [J]. Psychological Review, 1994, 101(3):414-445. Institute of Systems Engineering, Southeast University, Nanjing

19. [17] Bernardino A, Santos-Victor J. Visual behaviours for binocular tracking [J]. Robotics and Autonomous Systems, 1998, 25(3-4):137-146. [18] Bernardino A, Santos-Victor J. Binocular tracking: Integrating perception and control [J]. IEEE Transactions on Robotics and Automation, 1999, 15(6):1080-1094. [19] Lu Z Y, Shi B E. Subpixel resolution binocular visual tracking using analog VLSI vision sensors [J]. IEEE Trans Circuits Syst II-Analog Digit Signal Process, 2000, 47(12):1468-1475. [20] Chang W C. Precise positioning of binocular eye-to-hand robotic manipulators [J]. Journal of Intelligent and Robotic Systems, 2007, 49(3): 219-236. [21] Qiu X, Lu Q. Target tracking and localization of binocular mobile robot using Camshift and SIFT [A].In:2009 World Summit on Genetic and Evolutionary Computation - 1st ACM/SIGEVO Summit on Genetic and Evolutionary Computation [C]. Shanghai, 2009:483-487. [22] Chan M W, Pizlo Z, Chelberg D M. Binocular shape reconstruction: Psychological plausibility of the 8-point algorithm [J]. Computer Vision and Image Understanding, 1999, 74(2):121-137. [23] Harris J M, Nefs H T, Grafton C E. Binocular vision and motion-in-depth [J]. Spatial Vision, 2008, 21(6):531-547. [24] Regan D, Gray R. Binocular processing of motion: some unresolved questions [J]. Spatial Vision, 2009, 22(1):1-43. [25] Fang Y J, Masaki I, Horn B. Depth-based target segmentation for intelligent vehicles: Fusion of radar and binocular stereo [A].In:4th Annual IEEE Intelligent Vehicles Symposium (IV2001) [C]. Tokyo, Japan,2001:196-202. [26] Sobel I E. Camera models and machine perception [D]. CA: Stanford University, 1970. [27] Prewitt J M S. Object enhancement and extraction [J]. Picture Processing and Psychopictorics, 1970: 75-149. [28] Marr D, Hildreth E. Theory of edge detection [J]. Proceedings of the Royal Society of London - Biological Sciences, 1980, 207(1167):187-217. [29] Yuille A L, Poggio T. Fingerprint theorems for zero crossings [J]. J. Opt. Soc. Am. A, 1985, 2(5): 683-692. [30] Yuille A L, Poggio T. Scaling theorems for zero crossings [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(1): 15-25. [31] Lowe D G. Object recognition from local scale-invariant features [A]. In: Proceedings of the IEEE International Conference on Computer Vision [C]. Kerkyra, Greece, 1999:1150-1157. [32] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2):91-110. [33] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors [A]. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition [C].Washington, DC,2004. Institute of Systems Engineering, Southeast University, Nanjing