用于快速高保真RGB-D表面重建的神经特征网格优化的GO-Surf

摘要

我们提出了GO-Surf，一种直接的特征网格优化方法，用于从RGB-D序列中准确和快速地重建表面。我们用一个学习过的分层特征体素网格对底层场景进行建模，该网格封装了多层次的几何和外观局部信息。

特征向量被直接优化，以便在三线插值后，由两个浅层MLP解码为有符号的距离和辐射度值，并通过体积渲染进行渲染，使合成的RGB/深度值与观察到的RGB/深度值之间的差异最小。

我们的监督信号--RGB、深度和近似的SDF--可以直接从输入图像中获得，不需要任何融合或后处理。我们制定了一个新的SDF梯度正则化项，鼓励表面光滑和孔洞填充，同时保持高频细节。GO-Surf可以在15-45分钟内优化1-2K帧的序列，比基于MLP表示的最相关方法NeuralRGB-D的速度提高了60倍，同时在标准基准上保持同等的性能。

主要贡献： GO-Surf将可学习的特征网格引入RGB-D序列的SDF重建中，以实现： (i) 在交互式运行时间内快速优化 (ii) 高精度的表面重建。 我们还首次在体素网格的背景下应用Eikonal和平滑度正则化条款。

主要方法

给定一个输入的RGB-D序列，GO-Surf通过直接优化一个多分辨率的特征网格和有符号的距离值以及颜色预测来获得高质量的三维表面重建。

我们在有符号距离值上制定了一个新的平滑度先验，从而在保留细节的同时，改善了孔洞填充和平滑度特性。我们的优化比基于MLP的方法快×60倍。



GO-Surf使用多级特征网格和两个浅层MLP解码器。给定一个沿射线的采样点，每个网格通过三线插值进行查询。多级特征被串联并解码为SDF，并用于计算样本权重。颜色是由最细的网格单独解码的。

损失项被应用于SDF值，并渲染深度和颜色。在每个查询点计算SDF的梯度，并用于Eikonal和平滑度正则化。



主要结果

审核编辑：刘清