本文建立了一个用于无人机距离估计的UAVDE数据集,通过UWB传感器获取两个无人机之间的距离。实验发现传统的立体测量法在无人机场景中无法应用,原因是无人机位置偏差问题。为了解决这个问题,提出了一种新的位置修正模块(PCM),可以直接预测图像位置和无人机实际位置之间的偏移量,并在立体测量中进行计算补偿。此外,为了进一步提升在难样本上的性能,提出了一个动态迭代修正机制,通过多个堆叠的PCM和门控机制来适应地决定是否需要进一步修正。通过广泛的实验,作者的方法在UAVDE上取得了38.84%的性能提升,证明了其有效性和优越性。
1 前言
本文介绍了群体无人机的研究和应用的重要性,并说明了在无人机场景中准确估计周围无人机距离的难点。存在的方法主要依赖于密集视差预测,但在无人机场景中存在数据注释困难和计算资源有限的问题。为了解决这些问题,本文构建了UAVDE数据集,并提出了一种新的位置校正模块(PCM)和动态迭代校正(DIC)机制。在UAVDE数据集上的实验结果表明,所提出的方法在无人机距离估计中具有有效性和优越性。
作者的主要贡献有:
形式化了无人机距离估计任务并提出了UAVDE数据集。
发现位置偏差问题是损害无人机距离估计性能的主要挑战。
提出了一种名为位置校正模块(PCM)和动态迭代校正(DIC)机制的新修正方法,以准确预测图像和真实位置之间的偏移,并用于立体三角测量的计算补偿。
在UAVDE数据集上对所提出的方法进行了实验评估,结果证明了作者方法的有效性和优越性。
2 相关工作
本文回顾了与作者的工作相关的经典和基于学习的立体距离估计的文献。经典的立体匹配算法通常包括匹配代价计算、代价聚合、优化和视差细化四个步骤,利用不同的像素表示和后处理技术可以在相对简单的场景中取得良好的效果。然而,在复杂的无人机场景中,现有方法通常受到遮挡、光照变化和无特征区域等环境干扰的影响。为了应对这些问题,近年来的研究者开始利用深度学习技术来提取像素级特征并进行匹配。学习到的表示在低纹理区域和各种光照下表现出更强的鲁棒性。有些方法还试图在代价聚合过程中结合语义线索和上下文信息,取得了积极的结果。然而,基于学习的方法需要依赖以激光雷达密集注释的高质量训练数据,在无人机场景中很难获得这种关键的密集注释数据。因此,本文提出了一种新的数据集,用于无人机距离估计,该数据集利用UWB传感器获取距离,并发现了无人机距离估计中的关键问题-位置偏差,并提出了一种新的位置修正方法。
3 UAVDE数据集
本文介绍了一个名为UAV Distance Estimation (UAVDE)的新颖无人机距离估计数据集。数据集使用一架AMOV P600记录型无人机和一架DJI M200目标无人机进行立体图像采集。采集了包括建筑背景、森林、运动场和篮球场等典型场景的3895个立体图像,并划分为训练、验证和评估三个子集。为了适应未见场景并解决模型过拟合问题,训练子集与其他子集包含的场景不同。数据集的注释过程中,通过UWB定位技术测量了目标无人机中心位置的距离,并手动标注了无人机边界框以用于无人机检测器的训练。
4 方法
4.1. Position Correction Module - 位置校正模块
本文主要解决了位置偏移问题,并提出了一种新颖的位置校正模块 (PCM)。根据分析,作者使用4元组{θ、r、w、h}来预测位置偏移,其中θ和r表示相对角度和到图像中心的半径,w和h表示检测到的无人机边界框的大小。通过一个简单的多层感知机 (MLP) 进行预测,得到校正量。在训练过程中,采用了L2损失函数来优化校正后的距离与真实距离之间的差异。PCM的训练与无人机检测器的训练是相互独立的,在推断过程中,PCM只需附加到无人机检测器的末尾进行位置校正。
4.2. Dynamic Iterative Correction - 动态迭代校正
本文针对无法完全校正的难样本,提出了一种动态迭代校正方法。通过堆叠多个位置校正模块(PCM)来连续进行迭代校正。为了确定是否需要进一步校正,本文设计了一个门控机制,根据数据样本的难度自适应调整校正过程。在训练过程中,使用绝对相对差异(Abs Rel)作为测量指标来确定难样本,并使用交叉熵损失函数对门控模块的输出进行优化。通过多个PCM和门控模块的指令,可以在推断过程中顺序执行多个PCM,实现动态迭代校正。
5 实验
5.1. 数据集
本实验中,作者构建了UAVDE数据集,该数据集旨在帮助研究无人机场景中的距离估计。数据集包含2815个训练样本、541个验证样本和539个评估样本,分辨率为1280×720。每个样本都有距离注释以及左右图像中的无人机边界框注释。作者使用验证子集来进行超参数和模型选择。为了评估距离估计的性能,作者采用了两个常用的评估指标:AbsRel和SqRel。其中,AbsRel表示绝对相对误差,SqRel表示平方相对误差。这些评估指标可以通过计算距离估计值与真实距离之间的差异来评估算法的准确性。
5.2. 实验细节
在本实现中,作者选择了YOLOX-Nano作为无人机检测器,因为它在性能和计算效率之间达到了良好的平衡。作者先在UAVDE数据集上进行预训练,然后固定检测器,用于生成训练所需的位置矫正机制。为了实现位置矫正机制和门控模块,作者采用了相同的多层感知器MLP-Mixer。通过利用MLP-Mixer的混合机制,作者可以捕捉生成的位置矫正机制中的内部关系,并预测位置偏移。为了提高计算效率,作者将原始的8层MLP-Mixer变体减少到2层,并避免了过拟合问题。在训练过程中,采用SGD优化器,并配合梯度裁剪、余弦学习率调度和线性预热等策略。通过在验证子集上进行验证,确定了阈值T和λ的取值,使得在困难样本上能够获得明显的改进。
5.3. 性能比较
在本实验中,为了展示作者提出的方法的优越性,作者与两种经典方法进行了比较。根据比较结果,作者观察到经典方法在无人机场景中表现不佳,受到位置偏移和环境干扰的影响。相比之下,基线方法展现出更好的性能,但仍然受到位置偏移问题的困扰。注释的边界框在性能上只有轻微的改善,无法解决位置偏移问题。与其他方法相比,作者的方法能够通过补偿位置偏移带来显著的性能提升,达到38.84%的改进效果,这证明了作者方法的优越性和有效性。
5.4. 消融实验
本文通过进行消融实验来验证作者提出的方法的有效性。实验结果表明,通过引入PCM组件可以显著改善距离估计精度,特别是解决位置偏差问题。同时,DIC组件在对困难样本进行多次修正后,可以进一步提升性能。对于修正阶段数量的选择,进行两次修正可以带来明显的改进,进一步的修正效果不明显。阈值T的选择不同范围对方法的改进均有一定影响,表明方法对T值的选择具有鲁棒性。此外,通过资源消耗分析,作者发现我们提出的PCM和门控模块在计算成本上几乎可以忽略不计,有助于轻量级设计。针对困难样本,作者提出的DIC机制可以进一步改善估计性能,特别是对于距离较远的样本。最后,通过可视化分析,作者展示了我们的方法在易样本和难样本上的修正效果,证明了其有效性。
6 总结
在本文中,作者专注于无人机距离估计问题,这在实际中非常重要但却很少被研究。为了帮助研究,作者建立了一个新颖的无人机距离估计数据集,令人惊讶的是作者发现常用的立体三角化范式在无人机场景中不起作用。主要原因是图像畸变现象和立体三角化中的内部几何模糊导致的位置偏移问题,在无人机场景中很常见。为了解决这个问题,作者提出了一个新颖的位置校正模块(PCM),来明确预测图像和目标无人机实际位置之间的偏移量。此外,作者设计了一个动态迭代校正(DIC)机制,进一步改善对难样本的校正效果。大量实验证实了作者方法的有效性和优越性。
责任编辑:彭菁
-
传感器
+关注
关注
2550文章
51035浏览量
753077 -
PCM
+关注
关注
1文章
195浏览量
53203 -
无人机
+关注
关注
229文章
10420浏览量
180134 -
数据集
+关注
关注
4文章
1208浏览量
24689
原文标题:IEEE 2023 I 立体三角测量为什么在无人机距离估计中不起作用?
文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论