友思特应用 | 高精度呈现：PCB多类型缺陷检测系统

导读

PCB等电子产品的精密生产制造过程中，往往需要将缺陷问题100%高精度暴露。友思特 PCB 多类型缺陷检测系统，借由Neuro-T深度学习模型自动排查全部微小缺陷，为工业 PCB 生产制造提供了先进可靠的质量保障。

在现代制造业中，尤其是在高精度要求的电子制造领域，诸如印刷电路板（PCB）生产的过程中，高效且准确地识别和分类多种类型的缺陷至关重要。

针对缺陷检测需求，常见的解决方案有两种：（1）基于目标正常图像数据的模板匹配；（2）训练深度学习模型检测目标缺陷。

第一种方式虽然在特定场景下有效，但面对复杂和多变的实际生产条件，这些方法往往受限于它们的灵活性和鲁棒性。第二种方式不仅能够处理传统技术难以解决的复杂缺陷类型，还能通过不断的学习优化，提高检测的准确性和效率，具有更强的鲁棒性和泛化能力。

友思特技术团队通过Neuro-T 的 Segmentation（实例分割）模型，搭建了PCB 多类型缺陷检测系统，为工业 PCB 的生产制造提供了可靠的质量保障。

友思特Neuro-T支持的深度学习模型类型

友思特 Neuro-T 支持八种不同的深度学习模型，其中六类模型适用于缺陷检测领域。具体而言：

有监督学习模型

分类：简单分类目标缺陷的有无，精度高

实例分割：准确识别并分割目标的缺陷区域，精度最高，适合占像素点少（低至10像素点）、形状较简单的缺陷

目标检测：识别和定位目标的缺陷区域，精度高，适合占像素点稍多、形状较复杂的缺陷

GAN：人工生成目标的缺陷图像，弥补缺陷数据量不足的问题

无监督学习模型

异常分类：分类目标缺陷的有无，精度高于分类模型（可设置异常阈值），主要适用于数据缺乏场景

实例分割：准确识别并分割异常目标的缺陷区域，精度略低于实例分割模型（可设置异常阈值），主要适用于数据缺乏场景

监督学习
分类

	将图像分类成不同的类别或OK/NG组别
实例分割

	分析图像中检测到的物体形状并圈选
目标检测

	检测图像中物体的类别、数量并定位
OCR字符识别

	检测和识别图像中的字母、数字或符号
旋转

	旋转图像至合适的方位
GAN对抗生成网络

	学习图像中的缺陷区域并生成虚拟缺陷
无监督学习
异常分类

	在大量正常图像和少量缺陷图像上训练以检测异常图像进行分类
异常分割

在大量正常图像和少量缺陷图像上训练以检测异常图像并定位缺陷位置

PCB的六种常见缺陷类型

①missing_hole（焊盘缺失）

②mouse_bite（线路缺口）

③open_circuit（断路）

④Short（短路）

⑤Spur（毛刺）

⑥Spurious（伪铜）

PCB 多类型缺陷检测系统

友思特 PCB 多类型缺陷检测系统主要由Neuro-R、IDS相机 和 VST-2D 软件组成。PCB缺陷检测模型使用 Neuro-T 中的实例分割模型，通过对数据集进行标注、训练、微调实现，而后独立于 Neuro-T 脱机运行，通过 Neuro-R 实现在主机上运行推理。VST-2D 软件是友思特自研视觉软件，对接 IDS 相机的实时图像流，获取 PCB 的实时图像数据，结合 Neuro-R 调用 Neuro-T 训练的模型，实现缺陷区域的识别、缺陷类型确定以及定位分割并将结果呈现于界面。

系统组成图

系统检测效果图

友思特 Neuro-T 实例分割模型训练 PCB 缺陷检测模型具体操作步骤

1.1 新建项目

1.2 新建数据集

1.3 导入图像数据

2.1 创建标签集

2.2 选择模型类型(Segmentation)

3.1 创建缺陷类别

3.2 选择标注工具

3.3 开始数据标注

数据量较少的情况下，可以手动一一标注；数据量较多时，一一标注耗时耗力，可以使用友思特 Neuro-T 自动标注功能来完成标注工作

项目共693张图像，标注139张，剩余使用自动标注功能完成

自动标注功能的具体步骤为：

标注部分数据

划分训练集和测试集

训练标注模型

加载标注模型

选中图像自动标注

标注完成的结果图如下所示：

4.1 划分训练集和测试集

4.2训练模型

4.3 查看模型结果

模型评估结果解读：

IoU (Intersection over Union) 交并比，对于特定的一个实例，指模型预测区域与真实区域的交集比上它们的并集：

式中P为模型预测区域，R为真实区域，单位为像素点个数。

对于深度学习模型，IoU≥50%才算成功被检测出来且效果较好。

准确率 (Accuracy)，衡量模型在所有类别上整体预测的准确程度：

精确率(Precision)，衡量模型将数据预测为缺陷的精准程度：

召回率(Recall)，衡量模型成功找到缺陷的能力：

精确率和召回率的调和平均值(F1 Score)，综合考虑精确率和召回率两个指标：

式中：

TP为正确判断为A类缺陷（真实也是A类缺陷）的数量

TN为错误判断为A类缺陷（真实为非A类缺陷）的数量

FP为正确判断为非A类缺陷（真实为非A类缺陷）的数量

FN为错误判断为非A类缺陷（真实为A类缺陷）的数量。

本应用案例有六类缺陷，对每类缺陷的指标取均值。

模型检测效果图

黑色字样+黄色框：原始标注结果

紫色字样+阴影框：预测结果

友思特缺陷检测系统套装

Neuro-R

Neuro-R 可实现无缝整合训练软件创建的模型至支持各种环境和编程语言的运行时 API，其独特性在于——不仅仅是简单地传递模型推断结果，还可以利用各种 API 以创造性的方式从多个模型生成结果，Neuro-R 是友思特缺陷检测系统套装的重要组成部分。

Neuro-T

Neuro-T 使用简单的图形用户界面，通过自动优化深度学习模型结构和训练参数来创建出性能最佳的模型，无需任何深度学习经验，即可运行自己的深度学习项目。在系统中，Neuro-T 是用于训练模型的核心工具。

2D 工业相机

友思特 2D 工业相机结合了支持USB3视觉标准的高质量全局快门传感器技术和具有成本效益的uEye XCP相机平台，是流行的USB2接口的uEye LE相机系列的最佳、高性能和长期替代品。借助友思特自研视觉软件 VST-2D，对接IDS相机的实时图像流，即可获取PCB的实时图像数据。

审核编辑 黄宇