介绍一种神经场成对配准的技术NeRF2NeRF

大家好，今天要介绍的论文是来自多伦多大学和谷歌研究室的NeRF2NeRF：神经辐射场的配对配准。

摘要

我们介绍了一种神经场成对配准的技术，它扩展了基于优化的经典局部配准（即ICP）以操作神经辐射场（NeRF）。NeRF不分解光照和颜色，因此为了使配准不受光照影响，我们引入了 "表面场 "的概念（Surface Field）--从预先训练的NeRF模型中提炼出来的场，用于测量一个点在物体表面的概率。

然后，我们将nerf2nerf配准作为一个稳健的优化，迭代地寻求一个刚性的变换，使两个场景的表面场对齐。我们通过引入预训练的NeRF场景数据集来评估我们技术的有效性--我们的合成场景能够进行定量评估并与经典的配准技术进行比较，而我们的真实场景则证明了我们的技术在真实世界场景中的正确性。

主要贡献

提出了一种对包含同一物体的两个场景的NeRFs进行配准的方法。

引入表面场作为一个点在物体表面的概率进行配准。

在几个相应的点上对准初始化后，使用NeRF场进行高精度优化。

主要方法：

使用NeRF进行定位主要存在以下问题：

由于色彩信息在不同场景中不一致导致照明和颜色不能分开。

由于物体内部的密度场是有噪声的，没有对闭塞区的密度进行监测的方法。

本文使用的方法是通过使用响应对象表面的场的概率来保持一致性，用以配准两个不同神经场下的场景。

表面场：表面场的主要作用是对渲染过程中透明度变化较大的区域做出反应，假设相机的位置在物体之外，搜索来自每个相机的射线，计算每个参考相机的 "短间隔内的透明度变化"，并使用最大值作为"表面场"。最大值被用作表面场。

设计了一个目标函数，使两个场景之间的坐标变换[R,t]得到优化，这里使用场景之间对应点的表面场值的残差：

用高斯分布对表面场进行卷积，并对其进行平滑处理。

主要结果

审核编辑：刘清