SMD 贴装远程质量控制的 2D 自动视觉检测系统

1. SMD贴装远程质量控制的2D自动视觉检测系统 2D automated visual inspection system for remote quality control of SMD Alejandro Gallegos-hernandez, Franciso j.Ruiz-Sanchez

2. 摘要 本文介绍了一种新型自动视觉检测系统，用机电方法（Mechatronic）设计，解决SMT产品生产线的质量控制问题。系统具有新型的检测算法 ，提供了一个具有软件和硬件的测试平台，具有远程访问功能。我们的第一个应用是使用2D分析和3D重建对存在/不存在和错件进行检测。我们使用JiniTM技术设计远程访问包，把我们的系统集成到JiniTM虚拟制造实验室。此AVI系统是墨西哥-USA制造研究项目MANET的一部分。

3. 1 引言 • 设计电子印刷电路板PCBs的检测算法，这是当今电子工业面临的最大挑战。随着表面安装技术SMT的出现，电子产品变得越来越紧密和复杂，复杂性的增加使得在电子装配过程的产品达到所需的质量更加困难。人工检测效率低、耗时、成本高，使得产品总体成本增加而且不是100%的可靠。随着SMT技术的应用，用眼睛来做某些需要严格要求的检测任务变得不可行。因此，自动视觉检测AVI的使用，已经成为电子工业的必然需求。 • PCB表面安装器件视觉检测缺陷，通过使用不同的算法从2D和3D图像中获取信息进行研究。对比3D图像，2D图像能够快速获取，但是不能直接获得深度信息，需要通过更加复杂的计算分析来获得。将2D图像转换成保留足够信息来确定检测对象主要特征的一维信号，可以明显的减少2D图像的计算量。但是这种方法基于向量分类，没有3D图像分析可靠。可以结合使用2D和3D图像分析，提高质量系统的性能，减少检测时间和提高可靠性。

4. 2 AVI系统原理 • A. 机械定位系统 • B. 图像采集系统与照明系统 两个摄像机分别以和水平成90度和45度的角度对焦在同一个点（图3），为系统提供正面的和侧面的视场，并且通过应用立体视觉算法，重建被检测SMD的3D信息。从摄像机1或2选择图像，数字化后通过Matrox卡传送到主机。 照明系统由8块LED面板组成，布置成两个平面。每个面板通过和主机连接的接口提供单独的照明控制。较高的四块面板组成的平面提供正面照明，较低的提供侧面的照明。每个面板有4种可能的状态，以便在不同的照明模式下进行测试，观察被检测SMD的阴影、形状和亮度等级特征，如图4所示。 • C. 控制和处理程序 电脑上有控制图像采集、图像处理和分析的软件工具，及通信工具。这些软件使用JAVATM编写，包括提高AVI系统性能及使操作简单化的程序和接口。软件结构如图5所示。JAVATM 程序用来连接使用C++的系统来操作外部设备如摄像机和线性传动器，或者用来将AVI系统连接到JiniTM虚拟制造实验室。

6. 3 检测算法 • 已经在AVI系统中运行的检测算法如图6所示。这个算法由一个初始化和三个检测程序组成，每个程序由一组用JiniTM编写的方法组成。 • 初始化程序连接PC和IPC，移动摄像机和照明系统到要照像的地方。然后，在开始2D检测程序之前，系统判断图像采集的条件是否满足（照明条件，摄像机是否正常等）。 • 一开始2D检测程序使用正面摄像机获取PCB的图像。程序调用帧获取方法设置照明系统，根据检测过程的要求设定预设条件（照明模式和曝光时间）。 • 当采集到一幅图像，然后进行处理，校正偏移，提取主要特征并和从参考图像提取的特征进行比较。如果在此程序中获取的图像信息已经足够分类被检测SMD的状态，过程结束。否则，系统开始另一个2D检测程序，但这次使用45度摄像机获取图像，然后执行和第一个检测程序相同的处理过程。如果仍然不能确定SMD的状态，系统开始3D特征分析，集成两个2D图像构建立体视觉。

7. 图6 当前AVI系统中安装的检测程序

8. 3 检测算法 • A. 图像处理方法 检测程序包含四个基本的方法来处理2D图像：分割、偏移较正、2D特征提取和3D特征重建。 • 1）图像分割。图像分割先于偏移较正和特征提取方法，使用反向传播神经网络形状识别器，学习是基于一种要素方法。这个神经网络将图像分成三个不同部分：背景、孔洞和器件，如图7所示。背景从图像中除取，以便在接下来的正理中减少计算时间。

9. 3 检测算法 • 2）偏移较正方法。 利用PCB上可能的参考点来实现。对比垂直和水平的分割图像的投影，利用它们的相关性或者简单的差来计算x和y偏移误差。我们用图8来说明这个方法，两个分割图像的孔洞和SMD被拿来比较。 图8 使用笛卡尔投影的偏移较正方法

10. 3 检测算法 • 3） 2D特征提取。 2D特征提取方法从移除背景的图像提取被检测SMD的主要特征（图9a，9b）：角、边缘和重心，并确定对三个参考点的相对位置。角和边缘的获取使用不同的方法：角使用数学形态学，边缘使用空间滤波法。每一组的相对位置定义一个由六个向量（a，b，c，d，e，f）表示的几何结构，如图9c所示。这些向量可以组成一个矩阵表达式： 其中di，ei，fi是第i个特征的向量位置。a，b，c是不变的，因为它们是参考点的相对位置。这些向量是3D分析的立体视觉技术应用的基础。 图9 特征提取和90度和45度图像的向量化

11. 3 检测算法 • 4）图像投影方法。 这个方法正面图像的像素位置，扩展或压缩图像，来模拟45度摄像机获取的图像。这个方法创建一个样本和真实从45度摄像机获得的图像进行比较。变换的图像、原始图像和移动背景分割后的图像例子如10a，图10b所示。这些图像使用和2D特征提取中阐述的相同的方法来特征化，用如式（1）的矩阵表达式表示。 • 5）3D重建方法。 3D重建方法从两个不同角度获取的2D图像中恢复3D特征。如果它们的偏移误差已经补偿，3个参考向量一样并且下面三个等式成立（看图10）： 现在我们对模拟45度图像和真实45度图像分别建立矩阵g和g’，使用和2D特征提取相同的方法，使用一个如图10c所示的形状识别器。gd代表图10c中的p-p’，包含被测元件的高度信息。这个信息对分类过程是非常有用的。

12. 图10 真实45度和模拟45度图像比较

13. 3 检测算法 • 6）向量分类器方法 这个方法确定被测SMD的状态，使用三层神经网络，将元件分类到位置和方向的一个子集中去。我们定义了两类：位置和方向，包括位置良好、位置不好和不存在，及方向良好、方向不好和不存在子类（图11）。分类器是常规的向后传播三层神经网络。在输入层有6*（n-向量）*2个神经元，接受向量组g的输入。隐藏层的每个神经元和代表模式种类的输出层的所有神经元连接。从输出单元，一个输入向量可以被分类到对应的类别，它在这个类别输出点具有最大值。在我们的检测系统，六种类别都有各自的输出点。隐藏层有6*（n-向量）*2+1个结点。 图11 元素分布

14. 4 远程访问功能 • AVI系统搭建的目的是作为新的应用于电子工业的检测算法的测试平台。它具有集成到JiniTM虚拟实验室JMVL的远程访问功能，可以从不同的地理位置、参与MANET网络的任何大学访问系统。 • Sun Microsystems的JiniTM是一个中间件技术，源自于JAVATM语言，而此语言的创造是为了解决分布式系统的相关问题：无中央管理（non-central administration），多平台（multi-platform），自诊断（self-healing）及自动更改属性（auto modifiable properties）。这些特征使得JiniTM理想的应对动态环境；如移动计算设备场合，基于软件的服务场合，或者服务管理必需尽可能简单的场合。 • 在AVI系统中我们使用JiniTM技术来提供JMVL接口，这样允许属于AVI-JMVL群体的客户终端定位和使用服务。JMVL接口由三个软件包组成：客户、GUI（graphic user interface）和服务器包。分别创建三个实体，一个JMVL客户，一个GUI，一个JMVL服务器。客户通过GUI访问虚拟实验室，通过GUI连接AVI系统的接口并把AVI方法作为一个服务传送到JMVL接口给用户使用。

15. 4 远程访问功能 • 建立JMVL连接的基本方法为： • （1）moveTo（x,y），将摄像机移动到x-y坐标； • （2）move（dof,delta），通过给定角度及位置增量，移动摄像机到相对坐标； • （3）action（type），根据type值执行任务；如从摄像机获取图像，执行检测过程，使系统待命，等等。 • （4）init（），在操作之前初始化系统，并对当前用户使能所有方法。 • （5）stop（），停止系统并给另外一个用户使能所有的方法。

16. 5 结论 • 在本文中，我们设计了一个AVI系统来解决SMD贴装的质量控制问题。这个系统根据机电方法集成了软件和硬件，为研究提供了灵活和多功能的设备。作为第一个应用，我们设计使用2D图像和3D图像重建的算法来确定PCB上SMD的存在/不存在或错件。这个算法包括分割和偏移校正预处理程序，来去除多余的信息及解决两个对比图像的一致性问题。预处理减少了计算时间，提高了从模式对比及图像综合中获取信息的能力。 • 偏移较正显示出高效的量化和补偿误差的作用。但是这个方法有一个上限偏移量，否则计算时间及丢失的信息将过多，而导致方法不适用。使用IPC是为了在执行现代控制规则，提高机械系统的精度，减少调节时间。这些属性提高了AVI系统的性能。