友思特应用 | 模型链接一应俱全：IC多类别视觉检测一站式解决方案

导读

高精度IC制造工艺需要对产品进行全方位检测以保证工艺质量过关。友思特 Neuro-T 通过调用平台的流程图功能，搭建多类深度学习模型，形成了一站式的视觉检测解决方案。本文将为您详述方案搭建过程与实际应用效果。

在当今集成电路（IC）制造领域，特别是对于高精度要求的工艺流程，如半导体芯片生产，快速准确地检测出缺陷至关重要，也有通过OCR识别芯片印刷字符从而明确缺陷芯片型号的需求。针对IC多类别视觉检测的需求，常规方式需要一一部署视觉检测模型，并编程实现多个模型的调度和交互逻辑。

友思特 Neuro-T 机器视觉软件，通过平台具备的流程图（Flowchart）功能，链接多个不同的深度学习模型，一站式解决同一目标多个视觉检测需求，并可以通过推理中心（Inference Center），模拟单/多模型部署的实际检测效果。

友思特 Neuro-T 支持的深度学习模型类型

监督学习
分类		将图像分类成不同类别或OK/NG组别 简单分类目标缺陷的有无，精度高
实例分割		分析图像中检测到的物体形状并圈选 准确识别并分割目标的缺陷区域，精度最高，适合占像素点少（低至10像素点）、形状较简单的目标
目标检测		检测图像中物体的类别、数量并定位 识别和定位目标的缺陷区域，精度高，适合占像素点稍多、形状较复杂的目标
OCR字符识别		检测和识别图像中的字母、数字或符号 预置预训练模型，批量快速进行数据标注
旋转		旋转图像至合适的方位 服务于其他类型的模型，提高其他模型的识别准确率
GAN 对抗生成网络		学习图像中的缺陷区域并生成虚拟缺陷 人工生成目标的缺陷图像，弥补缺陷数据量不足的问题
无监督学习
异常 分类		在大量正常图像和少量缺陷图像上训练以检测异常图像进行分类 分类目标缺陷的有无，精度高于分类模型（可设置异常阈值），主要适用于数据缺乏场景
异常 分割		在大量正常图像和少量缺陷图像上训练以检测异常图像并定位缺陷位置 准确识别并分割异常目标的缺陷区域，精度略低于实例分割模型（可设置异常阈值），主要适用于数据缺乏场景

友思特 Neuro-T 流程图

友思特Neuro-T的流程图功能，在视觉项目的图像标注和训练的同时，提供直观有效的UI组件，辅助项目流程的设计和梳理。通过链接多个不同的深度学习模型，平台不仅可以对图像中需要检测的目标进行高效的聚焦和高精度的检测，还可以同时执行不同的视觉任务，满足用户多样化的视觉检测需求。

以上图为例，初始图像内容包括平板以及三块需要检测的PCB对象，需要检测三块PCB的缺陷类型。该视觉检测项目通过链接三个深度学习模型完成：

旋转模型：检测对象进入相机拍摄区域并不一定是同一姿态，通过旋转模型自动将图像旋转至合适的朝向，以利于后面的图像检测分割以及分类检测。

目标检测模型：从图像中检测出需要检测的PCB对象，并按实际检测到的方框尺寸（也可以统一尺寸裁剪）来分割图像，得到裁剪出来的三个PCB对象的图像。

分类模型：对分割后的三个PCB对象的图像分别通过目标分类模型，最终确认是属于哪种缺陷类型（脏污、划痕、孔洞）的PCB，并输出和可视化结果。

友思特 Neuro-T 推理中心

友思特Neuro-T的推理中心，可以帮助用户快速地验证单个深度学习模型或多个深度学习模型链接之后的实际部署检测效果，分别以统计结果和图像检测效果的形式呈现。可以查看各个环节的检测效果和统计结果，帮助用户改进视觉检测项目。最终可以分别导出单一的模型，自行设计模型推理逻辑，或包含多个深度学习模型以及他们之间的链接的单一流程图模型，无需自行设计多个模型之间的交互逻辑，即可完成复杂的多需求的视觉检测项目。

统计结果

图像检测效果

IC 视觉检测方案

方案一

需求：检测IC芯片是否有引脚缺失，检测芯片表面字符印刷是否清晰，如清晰，进一步检测字符。

字符检测 引脚缺失检测

检测流程

（1）导入图像集，标注，训练，得到图像中IC芯片的目标检测模型。

（2）调用目标检测模型，对IC芯片目标进行裁剪，得到只包含目标最小框的图像区域的新数据集，起动态ROI的作用，排除其他内容干扰后续检测结果。

（3）对上述得到的新数据集标注、训练，得到IC芯片的旋转模型，并通过该模型作用于原数据集，得到新数据集，其目的是将芯片旋转至合适朝向，便于后续检测，提高检测准确率。

（4）对上述得到的新数据集标注，训练，得到异常分类模型，将原数据集分类成“OK—字符印刷正常”和“NG--字符印刷异常”两个新数据集。

（5）对于“OK”的数据集，进一步标注训练，得到OCR字符识别模型，实现字符检测的效果。

（6）对于“NG”的数据集，进一步标注训练，得到实例分割模型，检测并分割出“NG”芯片是否有引脚缺失以及引脚缺失的区域，实现引脚缺失检测的效果。

方案二

需求：芯片是否引脚缺失，引脚缺失定位检测

检测流程

（1）导入图像集。

（2）标注，训练，得到图像中IC芯片的目标检测模型。

（3）调用目标检测模型，对IC芯片目标进行裁剪，得到只包含目标最小框的图像区域的新数据集，起动态ROI的作用，排除其他内容干扰后续检测结果。

（4）对上述得到的新数据集只标注有引脚缺失的区域，训练，得到另一个目标检测模型。如果图像中有检测到引脚缺失的区域，则标记为NG；若无，则标记为OK。

部署推理效果图（结合IDS相机）

友思特研发人员开发的视觉检测软件对接了我们的IDS相机和深度学习软件。右边功能区包括分类/分割/目标检测/流程图等6种深度学习模型的功能切换，以及IDS相机曝光和增益参数的调整，右上区域是检测结果图列表，可以右键保存到本地或回溯检测结果。左边大图是检测结果可视化，左下角小图是相机捕捉的原始图像，表格显示的是检测目标的相关信息，这里以置信度为例，也可以放置检测框的坐标/类别等信息，扇形图显示的是图中检测对象的类型占比，可以根据具体需求调整要显示的内容。输出区域显示的是程序运行的console。

友思特IC多类别视觉检测方案

Neuro-T

Neuro-T 使用简单的图形用户界面，通过自动优化深度学习模型结构和训练参数来创建出性能最佳的模型，无需任何深度学习经验，即可运行自己的深度学习项目。在系统中，Neuro-T 是用于训练模型的核心工具。

Neuro-R

Neuro-R 可实现无缝整合训练软件创建的模型至支持各种环境和编程语言的运行时 API，其独特性在于——不仅仅是简单地传递模型推断结果，还可以利用各种 API 以创造性的方式从多个模型生成结果，Neuro-R 是友思特缺陷检测系统套装的重要组成部分。

审核编辑 黄宇