基于机器视觉的比亚迪电池焊后3D视觉检测方法

随之3D相机在工业AI的普及，深度学习对3D点云和深度图的分析方法也越来越多样化。在3D计算机图形中，Depth Map（深度图）是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。

其中，Depth Map 类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系，合成的四通道的图像称为RGB-D图像。

在业内，不少工作已经将CNN引入在RGB-D图像上的视觉任务上，这些工作中一部分直接采用4-channel的图像来进行语义分割。我们可以将3D点云做正射纠正，生成对应的深度图。再将2D图像做同样的仿射纠正，合成RGB-D图像。我们可以压缩数据量，将RGB图像换成灰度图，实际数据的通道数就只有两个。

在本项目的深度学习模型中，需要输入是3通道，就要附加上全为0置的通道，而在Deep Learning的模型上增加通道注意力机制，能减少第三通道的计算。两通道的图片，在标注工具里，只有一个通道可见，而三通道图片带来额外的好处，在标注工具里是彩色的。

案例优势

一、深度学习和传统算法分别都做不到0%漏判的情况下，如果互相结合，那么还是能够做到0漏判。举焊偏的例子，

在毛刺不作为缺陷标准的情况下，Mark孔被毛刺遮盖，用传统算法就会得到焊偏的误判。使用深度学习，无论是语意分割还是目标检测，都能检出部分Mark孔，达到0漏判。另外，用深度学习语义分割焊迹，效果稳定，不受测量距离变动、亮度变化、亮边的影响，分割精细。抗其它干扰性能也很强，比如抗彩笔的标记干扰能力强，得到的区域可用于测量焊宽。

传统算法的mIoU只有99%，而深度学习的mIoU达到99.89%。

二、新生产的产品，深度学习的样本量少，训练效果不是最佳，但随着样本量增加，增量学习，效果会不断提高。

三、在含有高度图的多通道图中，额外增加注意力机制必不可少，同时可以增加空间注意力，特征图融合。下图是神经网络的改造设计：

本案例产品界面

     

来源丨三维外观缺陷检测

 

 

审核编辑：刘清