采用机器视觉技术实现的钢板表面缺陷检测系统

一、研究的背景与问题

钢板表面缺陷检测技术始于20世纪50年代，从人工检测到现在的机器视觉检测，共经历60多年的发展，按时间的先后顺序大致可以分为非自动化检测、自动化检测和机器视觉检测共三个阶段。

非自动化检测阶段，主要依靠人工目视法和频闪检测法。这两种方法的检测率较低、实时性较差，远不能满足生产线高速的生产节奏，而且缺乏科学性和规范性，致使传统的非自动化检测方法无法适应现代化工业生产的需要。

自动化检测阶段，主要采用涡流检测法、红外检测法和漏磁检测法等。这些方法受自身检测原理的限制，不能检出所有类型的缺陷，在很多场合不能直接使用。

机器视觉检测阶段，采用机器视觉代替人工视觉进行检测。该检测技术具有受环境电磁场影响小、工作距离大、测量精度高和易于实现智能化等优点，已经成为板带材表面质量监控的重要先进手段与技术，更适合于自动化生产线上的在线检测。

中厚板钢板是钢铁工业的重要产品之一，主要用于航空航天、桥梁建造、汽车制造以及国防装备等领域。在轧制过程中，与冷轧薄板相比，中厚板需要采用热轧工艺，轧制温度更高、环境也更加恶劣，国内外尚无成功的热轧钢板表面在线无损检测的成功案例，其主要原因是面临以下难题：

1、热轧环境下钢板表面容易产生雾化效果，并且光线传播容易变形，利用摄像头进行采集的时候容易发生光线偏移，造成图像变形或者影响图像的整体质量，增加图像中的噪声。

2、受环境、光照、生产工艺和噪声等多重因素影响，检测系统的信噪比一般较低，微弱信号难以检出或不能与噪声有效区分。如何构建稳定、可靠、精准的检测系统，以适应光照变化、噪声以及其他外界不良环境的干扰，是要解决的问题之一。

3、由于检测对象多样、表面缺陷种类繁多、形态多样、背景复杂，对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确，致使对缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目标分割困难；同时，很难找到“标准”图像作为参照，这给缺陷的检测和分类带来困难，造成识别率尚有待提高。

4、从机器视觉表面检测的准确性方面来看，尽管一系列优秀的算法不断出现，但在实际应用中准确率仍然与满足实际应用的需求尚有一定差距，如何解决准确识别与模糊特征之间、实时性与准确性之间的矛盾仍然是目前的难点。

二、解决问题的思路与技术方案

为了改进现场人工检测方法存在的漏检率高、钢板质量依赖于质检员经验等问题，在南钢中厚板厂建立一套基于机器视觉技术的钢板表面缺陷检测系统，该系统包含三大模块：（1）用于高速采集上下表面图片的光学设备，同时包含对灰尘铁屑等的自动清扫装置；（2）机器视觉算法后台：利用深度卷积神经网络自动提取图像中各目标区域的特征，然后对各目标区域进行分类验证，以检测该区域是否包含某类缺陷的特征；（3）系统管理及展示平台：钢板实时检测情况展示并对记录的缺陷图片以及对应钢板位置进行管理。

1、上下表检图片采集系统

本项目拍摄系统方案为在现有中厚板产线辊道的上下两端分别布置一套照明和成像系统，以同时检测辊道上钢板上下两个表面的缺陷。同时，要求拍摄成像系统能拍摄完整、清晰的视频和照片，并保持稳定可靠运行，有效应对现场不同自然光照条件、四季不同环境温度。此外，系统要可自动应对氧化铁皮掉落、玻璃防结雾、扬尘等所有影响拍摄的环境因素干扰。

为实现上述目标，本项目的拍摄系统设计如下图1所示，包括上表检系统和下表检系统。

图1上表检和下表检图像采集方案示意图

（1）上表检图像采集系统。上表检照明和成像系统如图3-2所示，放置在上相机箱体内，箱体采用密闭结构，前端面镶嵌玻璃，方便光源照明和相机成像，上相机箱体放置在上表检室内。上表检室是密闭的，如图3-3所示，其前端是隔热玻璃和吹扫结构，保持玻璃面的干净。上表检室内还放置有空调系统，用于降低上表检室内的温度，提高照明和成像系统的稳定性。

图2上表检成像系统示意图

图3上表检室外观示意图

（2）下表检图像采集系统。下表检照明和成像系统如图3-4所示，放置在下相机箱体内，箱体采用密闭结构，前端面镶嵌玻璃，玻璃的外表面安装吹扫结构，可保持玻璃面的干净，下相机箱体放置在下表检室内。如图3-5所示，下表检室也是密闭的，其前端是隔热玻璃，隔热玻璃倾斜一定的角度安装，玻璃上部布置有吹扫管，下部安装吸尘装置和收集装置，一吹一吸的气帘可将掉落在隔热玻璃表面的氧化铁皮及灰尘等及时收集到布尘袋中，由此保证钢板下表面表检系统的有效性。下表检室内还放置有空调系统，用于降低下表检室内的温度，提高照明和成像系统的稳定性。

图4下表检成像系统示意图（钢板从左向右运动）

图5下表检室外观示意图

（3）玻璃防结雾设计。由于上、下表检系统均采用密闭结构，因此，相机在透过墙面拍摄辊道上的钢板图像时，需要开设透光口，并采用玻璃对透光口进行密封，由于上表检室、下表检室与外部有温度差，则造成了密封玻璃容易起雾，影响系统的正常使用。

本项目采用吹风的方式除雾，当风吹到玻璃表面，玻璃表面小水珠流动性加快，不容易液化到玻璃表面，且吹风可以加速玻璃表面液体的蒸发，因此玻璃表面不容易起雾，考虑到热轧板表检装置所处的环境，本项目将在上、下表检室观察玻璃靠近热轧板的一侧安装风帘装置，通过不断的吹风来避免结雾现象的产生。

（4）基于“线阵CCD+自适应LED光源”的拍摄系统。钢板表面的靠近边缘的部分，由于其漫反射的强度和漫反射角度相关，因而造成光强损失，导致带材边缘图像的灰度值减弱。本项目首次在热轧钢板表面检测中采用“线阵CCD+自适应LED光源”的图像采集方案，将高亮度的蓝色光照射到热轧钢板表面，并通过线阵CCD摄像机采集热轧钢板表面图像，解决了远距离均匀照明的问题，提高了图像的对比度。同时，通过对CCD进行PRNU（图像不均一响应）标定和软件增益补偿，实现光强平衡，使得整体成像灰度更加均匀，以便于后续的图像处理。

（5）拍摄系统防尘设计。热轧钢板厂区环境十分恶劣，既有高温辐射，又有粉尘弥漫，上表检室、下表检室透光口处的密封玻璃极容易被粉尘遮挡，影响图像的正常拍摄，尤其是位于辊道下方的下表检系统，落灰现象十分严重。因此，本项目中，考虑上表检、下表检受粉尘的不同影响，分别设计了上表检和下表检的防尘系统。

①上表检防尘方案。考虑到厂房内有灰尘，将上表面的照明和成像系统密封在箱体内，如图3-6～3-8所示，作用面镶嵌玻璃，不阻碍光源的照明和相机的成像。同时在玻璃的外侧设计清灰刷，通过无杆气缸带动清灰刷在玻璃上左右运动，刮除玻璃表面上粘附的灰尘。清灰的时间间隔可以根据产线的具体情况来灵活设置。若现场灰尘吸附玻璃表面，考虑加清洁剂或高压气枪的方式进一步清理。

图6上表面除尘装置

图7上表面除尘装置

图8无杆气缸除尘擦

②下表检防尘方案。对于下表检系统的防尘，综合设计了三个措施来解决该问题：

A、在表检系统的前一个滚轮间隙处安装钢丝滚刷，将即将剥离的环氧铁皮刮下，同时考虑加强机械设计来保证钢丝滚刷与钢板的接触良好。

B、下表检室的侧面安装隔热玻璃来作为下表检系统的照明和成像窗口，隔热玻璃的角度尽量大，以降低铁皮堆积的可能性，同时在隔热玻璃的上部布置有一个气帘装置，通过不停的吹风，可将掉落在隔热玻璃表面的氧化铁皮及灰尘等及时吹掉，也可以给隔热玻璃降温。

C、在隔热玻璃的外表面安装清灰刷装置，可将气帘未吹走的铁皮、灰尘等刮掉。

（6）基于帧同步技术的拍摄系统自动启闭设计。钢板在辊道上输送过程中，为实现钢板来时点亮光源、相机输出图像；钢板走时关闭光源、相机不输出图像的智能控制功能，从而降低功耗、节能环保，本项目系统采用了钢板位置自反馈设计。

热轧板在运行过程中速度不是一成不变的，会发生一定的变动，如果从始至终都用一个行频来采集热轧板的图像，将会导致所采集到的热轧板图像存在一定程度的失真。为此本项目将采用编码器来实时获取热轧板的运行速度，并反馈控制相机的扫描行频，来确保采集到的图像不失真。

拍摄启动自反馈：由于热轧板较大较重，不易滑动，因此可以认为圆辊表面的线速度与热轧板的线速度是一致的，使用时将接触式码盘编码器固定在辊轴上，可以实时监测圆辊的角速度，进而计算出圆辊表面的线速度，从而得到热轧板的运行速度。编码器的信号实时控制图像采集相机的扫描行频，实现采集系统和钢板运行速度的自适应。

拍摄关闭自反馈：通过架设在钢板辊道上的红外传感器，进行延迟关闭。

2、机器视觉算法后台

应用深度学习中的深层卷积神经网络和大数据统计技术对缺陷进行检测识别。针对热轧钢板表面状况复杂的特点，采用形态滤波与神经网络等方法开发了热轧钢板表面缺陷的检测与识别算法，解决了水、氧化铁皮与光照不均现象引起的“误识”问题，大幅提高钢板表面缺陷识别检出率和检测准确率，达到国际先进指标。

3、系统管理及展示平台

对接现场MES系统，向用户展示拼接后的钢板表面的图片以及缺陷情况，同时，展示系统与现场板号跟踪系统对接，根据每块钢板的钢板号对其缺陷情况进行记录，最终向用户反馈对应板号的钢板缺陷情况，并进行现场缺陷报警警示。缺陷展示页面如图3-9所示：

图9缺陷展示页面示意图

三、主要创新性成果

1、可实现热轧钢板上下表面在线缺陷检测的方案设计

系统安装在轧钢辊道上，工位在定尺剪后、标印机前方，实现热轧钢板表面缺陷的实时在线检测。同时，在辊道上下两端分别布置一套照明和成像系统，可同时检测钢板上下两个表面的缺陷。

2、可实现实时精确反馈的yolov4优化算法

对Yolov4神经网络的主干网络进行改进，替换主干网络，降低其参数量；对Yolov4神经网络的SPP池化层结构进行优化，丰富缺陷特征，降低计算量，提高运算速度和准确率，最终实现检出率可达98%及以上，并使人工智能算法的识别速度与现场生产节奏保持一致。

3、基于“线阵CCD+自适应LED光源”的拍摄系统

由于不同钢板的表面粗糙度、材质略有不同，对光线的反射程度会有变化，导致不同钢板图片的亮度差异大。项目采用高亮度的蓝色光照射到热轧钢板表面，并通过线阵CCD摄像机采集热轧钢板表面图像，解决了远距离均匀照明的问题，提高了图像的对比度。同时表检系统会根据拍摄状况随时调整LED光强，以达到最佳拍摄效果。

4、拍摄系统防尘设计

由于生产现场伴有高温粉尘等恶劣条件，对相机采集图像影响严重，因此需要针对上、下表检的不同情况，分别设计防尘清灰结构。本项目重点针对位于辊道下方的下表检设计了防尘清灰结构，一方面，通过自动运动的吸尘管道，对透光玻璃的表面进行自动清扫，另一方面，增加有角度倾斜玻璃罩，灰尘铁屑滑落后输送到特定位置清理，并根据现有温度状况进行冷却处理。

5、基于帧同步技术的拍摄系统自动启闭设计

为保障拍摄系统能够快速响应，其信号源使用自触发功能实现“受控可变频率输出”。使用以太网触发相机拍摄，外部触发模式下可以优化丢帧、乱拍、图片大小不同等情况。最终实现钢板来：点亮光源、相机输出图像；钢板走：关闭光源、相机不输出图像的智能控制功能，降低功耗、节能环保。

6、防扎板辊道设计采用八字板+小辊的结构设计，解决钢板通过表检处时，容易产生的扎板问题，适合在南钢的场景下使用，减小钢板摩擦，利于钢板顺利通过下表检观察口。

四、应用情况与效果

本项目已于2020年底，在南钢中厚板卷厂成功实施，南钢中厚板卷厂现有条件：钢板宽度约为3300mm，长度不长于24m；板材厚为4mm-60mm；板材运行速度约为2m/s；钢板的温度约为200℃，外观多为黑褐色。在此条件下，可以实现检出率可达98%及以上，准确率可达90%及以上，并使人工智能算法的识别速度与现场生产节奏保持一致，达到国际先进水平。

检出率和准确率的计算公式如下：

检出率=算法模型检出的真实的缺陷个数/人工检出的真实的缺陷个数；

准确率=算法模型分类正确的缺陷个数/算法模型检出的真实的缺陷个数。

本项目成功上线后平均每条生产线可节省人工3名/年，节约检测成本数百万元，同时可降低产品的质量异议。项目已成功申报发明专利1项，软著1项。此外，本项目产品也成功荣获江苏省优秀人工智能产品、江苏省人工智能学会技术创新奖。

审核编辑：郭婷