图像和模式识别技术在智能制造装备中的应用

物体分拣应用

物体分拣应用是建立在识别、检测之后一个环节，通过机器视觉系统将图像进行处理，实现分拣。在机器视觉工业应用中常用于食品分拣、零件表面瑕疵自动分拣、棉花纤维分拣等。

智能在线分选系统是将自动化、机械化和信息化结合在一起的新技术设备，近年来，随着大批量生产速度的增长和市场对产品质量稳定性要求的提高，人工分拣的方式已经不能满足市场需求。智能在线分选系统的研制具有重要的工程意义和广阔的应用前景，并且随着物联网技术的高速发展，在线分选装置正朝着智能化、数字化、网络化的方向发展。

对于特征明显并且不随放置位置变化的部位，设计相应的直接特征提取算法，利用特征检测识别该部位是否加工。而对于特征不明显或者特征可能变化的部位，利用模拟人类视皮层中物体识别机制的机器学习算法自动提取部位特征并利用SVM算法识别。系统的实际运行情况表明，该方案可以快速有效的识别工件是否合格，错误率约为千分之五，基本上达到了人眼的识别率。通过图像识别检测方法，智能制造装备可实现目标识别和分类、缺陷检测、视觉测量等功能。图像识别面临的主要难题包括检测对象多样、特征多变、几何结构精密复杂，处于高速运动状态。基于视觉检测和控制技术的智能制造装备虽然功能、作业对象、结构、运动控制方法、图像处理方法差别较大，但其原理方案却基本相同，如图1所示。

图1 智能制造装备视觉检测控制原理方案

智能制造装备视觉检测控制原理方案如图1所示，智能制造装备的机器视觉检测控制系统由光源和成像系统、视觉检测软硬件、装备和运动控制系统构成。在视觉检测和控制过程中，精密成像机构和成像系统自动获取图像，图像经过I/O接口传输到图像处理硬件中，并经过预处理、标定分割、检测识别、分类决策等过程，获得位姿、质量、分类等信息。运动控制系统根据作业任务，通过PLC或I/O接口板控制执行器、机器人进行位置、速度、力闭环控制。视觉检测控制系统通过通信系统与整机控制器、装备其他系统有机结合，实现自动化操作。

智能空瓶检测分拣装备

智能空瓶检测分拣装备是一种应用在啤酒、饮料等大型制造自动化生产线上，对清洗后和灌装前的空瓶缺陷进行视觉检测和分拣的装备。空瓶缺陷主要包括瓶口、瓶身、瓶底破损、可见异物和残留液等。该装备如图2所示，由空瓶传送系统、多成像系统、视觉检测系统、残留液检测和分拣装置组成。

该装备采用直线式传送机构，当空瓶分别运动到瓶口、瓶身、瓶底检测工位时，触发光电传感器，多成像系统自动获取各检测区域的图像，视觉检测系统分别对各工位图像进行处理。在图像处理过程中，对瓶口、瓶身、瓶底检测区域进行定位，然后分别对各区域进行缺陷检测，其中瓶身和瓶底采用基于局部掩膜的高频系数提取和阈值方法，瓶口采用分块和基于灰度的多层神经网络分类方法。最终分拣装置根据多个工位检测结果将存在缺陷的空瓶剔出生产线。

图2 智能空瓶检测分拣装备

精密电子视觉检测与分拣装备

精密电子视觉检测与分拣装备是应用于电子制造生产线上，完成精密识别、定位、抓取、检测和分拣等制造工序的智能装备。如图3所示，该装备由上料机械手、PLC、传送系统、精密视觉运动控制、高分辨率成像与视觉检测系统、下料机械手、分拣控制器和装备主控系统构成。

该装备作业包括上料、检测和分拣3个环节。在上料环节，上料机械手采用手眼成像模式，在给定位置对电路板成像，采用Patmax方法识别和定位电路板，并结合相机内外参数获取电路板中心位姿。上料机械手运动到给定位姿，末端执行器抓取对象，并移动到传送系统的夹具上方，再次成像并通过夹具定位获取夹具空间位姿。机械手移动执行器到夹具正上方，并放置电路板到夹具上。在检测环节，夹具在PLC的控制下移动到检测工位，并采用多个相机获取高分辨率图像，进行拼接和缺陷检测。在分拣环节，当电路板运动到下料工位时，下料机械手采用手眼模式成像，识别和计算出夹具位姿，并移动到夹具中心位置，执行器抓取对象，根据质量检测结果将对象放置到不同位置，最终进行精密电子组装。

医药智能视觉检测分拣装备

基于视觉检测和控制技术的智能制造装备虽然功能、作业对象、结构、运动控制方法、图像处理方法差别较大，但其原理方案却基本相同。大型医药智能视觉检测分拣装备是应用于制药自动化生产线上，对安瓿、口服液及输液瓶等药品质量进行高速、全自动、在线检测的装备。待识别的杂质主要包括图4所示的玻屑、毛发、纤维等微弱可见异物如和瓶体破损、瓶口封装污染等，该装备还可以根据检测结果自动剔除不合格品。

医药质量检测面临杂质类型多样，微弱（检测标准为50µm及以上），部分杂质附着于瓶底等难题。装备采用多工位成像和精密旋转–急停成像机构，获取杂质的运动图像序列。杂质检测采用序列图像轨迹分析的方法，首先通过基于边界的定位方法确定检测区域，然后对相邻帧图像进行空洞填充差分，并采用基于脉冲神经网络和Tsallis熵的图像分割算法提取杂质，通过杂质不变特征分析运动轨迹，并实现杂质的识别。在输出星轮处，根据检测结果，装备将药品进行分类。

图4 杂质图像

图像和模式识别在工业应用中，也面临新挑战。智能制造装备是一种复杂精密光机电系统，要实现高速、高精度视觉检测和控制，保障装备的稳定、可靠、高效运行，必须在系统级进行优化设计。首先要保证成像系统获取高质量图像，背景简单，以简化图像识别算法，时序设计满足实时性要求。其次，要实现光学感知、机械传动、电气控制与计算机软硬件协同工作，并采用误差分配原则控制精度。为进一步扩展视觉检测控制技术的应用范围，并提高精度、准确性和稳定性，以下挑战问题有待进一步研究解决：

◉ 先进工业成像技术。当前采用的成像技术大多局限于可见光成像，导致在某些应用中，获得的图像特异性差，很难实现图像检测和识别。为此需要从光源、光强和频谱控制、精密光路控制、先进阵列感知、信号调理等方面全面研究成像技术，研究不同对象与电磁波相互作用和成像的新现象、新原理、新方法。将多种先进成像技术，如激光扫描成像、弱干涉成像、层析成像、太赫兹成像、电容成像等应用于工业视觉检测和控制，丰富视觉感知手段。

◉ 高性能图像处理技术。为提高视觉检测和控制的精度，通常需采用复杂图像处理流程，导致计算复杂度高;同时智能制造装备对实时性要求极高，造成了巨大的计算压力。为此，需研究高性能图像处理装置，并且对图像处理算法进行并行化，实现实时图像处理。

◉ 自动化图像处理流程设计。图像处理过程是由多个图像处理步骤构成，每个步骤都可以采用多种处理方法，造成图像处理流程设计困难。为针对特定应用实现自动图像处理流程设计，首先分析不同图像处理方法的异同，以及实现的处理效果，并分析不同参数对于处理结果的影响。根据任务、先验知识和图像特征，选择最优图像处理算法和参数，实现自动图像处理流程设计。

◉ 智能视觉控制技术。当前视觉伺服研究的对象大多面向传统的6自由度机械手，其视觉控制相对简单。随着作业复杂性增加，新型机器人如柔性机械手、并联机械手、精密多关节机械手等应用于精密视觉伺服;同时特种作业如超高精度细微操作、限定环境作业对机器人避障、路径规划和作业精度、速度都产生了新的要求。为此要研究智能视觉伺服和限定环境下视觉伺服控制方法，将机器人智能控制、高精密电机运动控制和机器视觉技术有机融合，实现高速高精度控制。

◉ 精密光机电协同控制。智能制造装备是机器视觉、高速高精度伺服控制、精密机械和智能控制软件的深度集成，装备的高效、可靠运行需要各部分的协同工作。为此需研究高可靠性的光机电协同和集成技术，并通过状态监控和故障诊断技术提高装备自动化程度和容错能力。

◉ 视觉测控应用高稳定性、高可靠性和适应性研究。由于图像信息属于非线性多维信息，在应用中存在多种不确定性，限制了装备的稳定性和可靠性。为此需研究提高视觉信息稳定性、可靠性的方法，以及误差控制方法，提高装备对制造环境的适应能力。

审核编辑：郭婷