通过RepSurf点云结构实现多项任务SOTA

01 、摘要

大多数先前的工作通过坐标表示点云的形状。然而，直接利用坐标描述局部几何是不充分的。在本文中，我们提出了 RepSurf（representative surface），这是一种新颖的点云表示，显式的描述了非常局部的点云结构。

我们探索了 RepSurf 的两种变体，Triangular RepSurf 和 Umbrella RepSurf，其灵感来自计算机图形学中的三角形网格和伞形曲率。我们在表面重建后通过预定义的几何先验计算 RepSurf 的表征。RepSurf 可以成为绝大多数点云模型的即插即用模块，这要归功于它与无规则点集的自由协作。

基于 PointNet++（SSG 版本）的简单基线，Umbrella RepSurf 在各种基准上的分类、分割和检测在性能和效率方面都大大超过了之前的 state-of-the-art。在只有0.008M参数数量、0.04G FLOPs 和 1.12ms推理时间的增的情况下，我们的方法在分类数据集 ModelNet40 上达到 94.7% （+0.5%），在 ScanObjectNN 上达到 84.6% （+1.8%） ；而在分割任务的 S3DIS 6-fold 上达到74.3%（+0.8%） mIoU，在ScanNet 上达到70.0% （+1.6%） mIoU 。

对于检测任务，我们的 RepSurf 应用于最先进的检测器，并在 ScanNetV2 上达到71.2% （+2.1%） mAP25、54.8% （+2.0%） mAP50 和在 SUN RGB-D数据集上64.9% （+1.9%） mAP25、47.7% （+ 2.5%） mAP50的性能。我们的轻量级Triangular RepSurf 在这些基准测试中同样表现出色。

02、 介绍

对原始点云表征（Point Cloud Representation）的处理因其在自动驾驶、增强现实和机器人技术等各种应用中的优势而引起了相当大的关注。但是，点云局部表征的不稳定性使得这个任务非常有难度。

局部形状对于点云的学习至关重要。为了从局部结构信息中学习，一些先前的工作从Grid（例如PointCNN）、Relation（例如RS-CNN）或Graph（例如DGCNN）中学习。

然而，这些方法通过加入更多成分（如欧几里得距离、注意力机制）或应用各种变换（如图形构造、体素化）隐式地从点云shape中提取局部特征。这些可能导致复杂的预处理或大量计算。我们认为这可能会导致在预定义成分时遗漏信息，或在转换过程中损失几何形状。因此，本文探索了更稳定的显式点云局部表征。

03、 动机

我们首先受到泰勒级数的启发。泰勒级数用导数表示局部曲线。为了简化它，我们只考虑到二阶导数。因此，我们可以通过其对应的切线粗略地表示局部曲线，或者我们称之为 3D 点云中的“surface”。

04、 方法

为了将2D Curve扩展到3D Surface，我们引入了两种RepSurf变体（Triangular RepSurf和Umbrella RepSurf）来近似的描述点云局部特征：

两种RepSurf的实现也非常简洁：

05 、实验

RepSurf分别在3D分类（ModelNet40，ScanObjectNN）、分割（S3DIS，ScanNet）、检测（ScanNetV2，SUN RGBD）上达到了不俗的效果：

06 、结论

我们希望我们的工作能够激发3D社区并唤起对点云的显示表征的重新思考。我们认为 RepSurf 值得在不同领域（例如自动驾驶）或更大规模的点云上进行进一步探索，因为 RepSurf 有能力去处理真实场景中的大量背景点。RepSurf 还可以通过其对几何敏感度的能力对点云采样带来帮助。

审核编辑：郭婷