基于深度学习的方法在处理3D点云进行缺陷分类应用

作者：Anju Rani, Daniel Ortiz-Arroyo等

作者机构：Department of Energy, Aalborg University

近年来，3D点云在各个领域的应用日益广泛，尤其在计算机视觉、状态监测、虚拟现实、机器人技术和自动驾驶方面。深度学习已经被证明是利用3D点云解决2D视觉挑战的有效方法。然而，将深度神经网络应用于处理3D点云也面临着挑战。为了解决这些挑战，研究人员提出了许多方法。本文深入审视了最近基于深度学习的利用3D点云进行条件监测的进展，特别关注工业应用中的缺陷形状分类和分割。认识到这些方面在工业维护中的关键作用，本文提供了对审查的基于深度学习的点云处理方法的优势和局限性的深刻观察。这种知识综合旨在为工业系统中的条件监测过程，特别是在剩余寿命框架内的改进和理解做出贡献。

读者理解：

这篇文章主要讨论了近年来基于深度学习的方法在处理3D点云（PCs）进行缺陷分类和分割方面的应用。文章指出了基于投影和基于体积的方法在处理3D点云时面临的挑战，以及稀疏卷积方法可能是一种有前途的解决方案。此外，文章还提到了基于点的网络在处理邻域信息和不平衡数据方面存在挑战，需要进一步研究新技术。领域自适应和迁移学习被认为可以解决标记数据不足的问题。另外，实例分割在工业系统中缺陷检测方面具有挑战性和前景。文章强调了工业系统内缺陷估计的数据集匮乏问题，呼吁收集更多更好的数据集来评估和改进PC分类方法的效果。总体而言，这篇文章对当前3D点云缺陷分类和分割领域的研究现状进行了较为全面的总结和展望。

1 引言

本文引言介绍了条件监测（CM）在确保结构物长期使用和正确维护中的重要性，并指出传统的二维图像在提供深度信息和相对物体位置方面存在局限性。随着3D采集技术的发展，包括深度传感器和3D扫描仪，可以更好地提取详细的3D信息。利用3D数据相比传统的2D图像可以更好地理解对象。近年来，研究人员越来越关注利用3D扫描的对象在工业应用中进行缺陷检测和分割。点云表示以在3D空间中保留原始几何特征而脱颖而出，使其成为许多应用中的首选选择。然而，将深度学习应用于3D点云数据具有独特的挑战。本文综述了最新的深度学习方法应用于3D点云数据，特别强调它们在工业环境中的应用。通过解剖基本方法和最新进展，本文超越了以往，特别关注工业应用中CM要求的3D形状分类和分割。综述涵盖了传统和创新方法，揭示了处理工业环境中的3D点云数据的固有挑战和潜在解决方案。此外，还提供了用于3D点云特征学习的现有深度学习方法的详细总结，概述了它们各自的优点和缺点。综述的结构安排包括讨论现有数据集和评估指标、DL方法用于3D形状分类、对现有的3D点云分割方法进行广泛调查，以及综合见解和未来研究方向的概述。

2 背景

背景部分介绍了3D点云应用领域中公开可访问的数据集的重要性，这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集，包括用于3D形状分类、3D物体检测和3D点云分割等任务的数据集。这些数据集分为真实世界和合成数据集两类，前者包含不同程度的遮挡和背景噪声，而后者则提供了一个受控环境进行实验。此外，介绍了在文献中用于评估基于深度学习的3D点云处理任务性能的不同评估指标，包括整体精度（OA）、平均类别精度（mAcc）、平均交集联合（mIoU）和平均平均精度（mAP）。这些指标提供了对深度学习模型在不同3D点云处理任务中表现的量化评估。选择合适的指标取决于特定任务和所需评估性能方面的要求。

3 三维形状分类的深度学习

在3D形状分类的深度学习方法中，主要有两类方法：投影方法和直接点云方法。投影方法包括多视角和体积图像方法，利用2D图像处理技术进行分类。直接点云方法则直接处理输入的点云数据以生成稀疏表示。投影方法又分为Multi-View Based Methods和Volumetric-Based Methods两种。

Multi-View Based Methods通过多视角捕获3D形状的投影，并从每个视角独立提取特征，然后将这些特征融合以准确分类形状。这种方法的代表是Multi-View CNN (MVCNN)，它从不同视角捕获3D形状，并通过CNN从每个视角独立提取特征。另一种方法是Group-View CNN (GVCNN)，它在池化过程中将分组和单个视角信息结合起来，展现出与MVCNN相比更高的准确性。

Volumetric-Based Methods将3D形状表示为3D体素网格，使用3D体素卷积，其中每个体素表示3D空间中的一个点是否被对象占据。这种方法的代表是VoxNet，它将3D点云数据与3D CNN结合起来处理。另一种方法是Octree-based CNN (O-CNN)，它通过使用一组不平衡八叉树对3D点云数据进行分层分区，实现了对相关区域的内存分配，从而使得可以使用具有高分辨率的深度网络。

直接点云方法将输入的点云数据进行处理以生成稀疏表示。这些方法分为点级MLP、基于卷积的和基于图的方法。点级MLP方法通过共享的MLP处理每个点，然后通过对称聚合函数对局部特征进行聚合以获得全局特征。其中的代表是PointNet和PointNet++，它们分别通过处理每个点并通过max-pooling层进行全局特征提取，或者通过引入分层结构以捕获更细的几何结构。

基于卷积的方法使用卷积操作处理3D点云数据。其中，PointCNN通过学习X变换和排列输入点特征的权重来解决无序结构的问题，EdgeConv层则用于从每个点及其邻居中提取边缘特征。而ConvPoint引入了一个密集的加权函数来定义详细和自适应的卷积核。

图形方法将点云转换为全面的图，避免了需要体素化的问题。这些方法利用图中点之间的复杂关系，表示点云中的每个点为图中的一个顶点，边连接在附近的点之间，以分析空间关系，从而创建一个包含原始点云几何特征的图。

4 3D PC分割的深度学习

3D点云分割任务需要对点云数据中的几何结构和细节进行全面理解。根据对象的概念级别,点云分割可以分为三类:

语义分割(场景级):将点云中的每个点分类到预定义的类别中,实现高层次的场景理解。

实例分割(对象级):识别并区分点云中的每个对象,区分相同语义类中的不同对象实例。

部件分割(部件级):将每个对象细分为不同的部件,提供对象层次更详细的分割。

这三种分割类别对应不同程度的抽象,从场景级上下文到对象识别和细粒度部件分割。

深度学习为点云分割提供了许多有效方法,主要包括基于投影、直接点云、基于图卷积神经网络等方式。其中,语义分割方法包括投影法、直接点云法等;实例分割包含基于提议和无提议两类;部件分割面临对象形状和部件边界不明确的困难。表3汇总了使用深度学习进行工业系统缺陷分割的结果。

5 总结

这篇论文全面调研和讨论了近年来基于深度学习的点云分类和分割方法。引言部分概述了点云及其应用的重要性，突出了处理这种独特数据形式所面临的挑战。论文全面讨论了用于对象分类和分割的公开可用的3D点云数据集。综述论文涵盖了各种基于深度学习的方法，将其分类为基于视图的方法、基于体积的方法和直接点云方法。论文对这些现有方法的性能进行了比较，提供了对其在工业系统中优势和局限性的见解。最后，讨论部分探讨了该领域的前景和潜在研究方向，有助于全面了解基于深度学习的点云分析的进展和挑战。点云分类和分割方法在各种实际场景中都有应用，包括室内环境、道路、铁路、建筑等。然而，这些场景的多样性使得确定大量点云分类方法的具体优势存在挑战。因此，研究人员面临着选择与特定场景要求相符的分类算法的任务，强调了需要适应实际条件的重要性。正如前文所述，这一挑战进一步强调了适当数据集的稀缺性的问题。研究人员需要根据场景的特定特征选择适当的分类算法的必要性突显了该领域数据集短缺问题的持续性。这指向了扩大和多样化数据集的重要性，以更好地评估和改进点云分类方法在不同实际场景中的有效性。

审核编辑：黄飞