0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于NID-SLAM对神经SLAM在动态环境下的性能提升

3D视觉工坊 来源:3D视觉工坊 2024-01-12 11:24 次阅读

1. 写在前面

今天笔者为大家推荐一篇动态环境下视觉SLAM的最新工作,实现了精确的位姿估计,并能建立动态场景下的稠密地图。整个框架基于NeRF实现,可惜算法没有开源,但是这个设计思路可以做为参考。

2. 摘要

神经隐式表示已经被探索用于增强视觉SLAM算法,特别是在提供高保真度的稠密地图方面。现有的方法在静态场景中运行稳健,但与移动物体引起的干扰相抗衡。本文提出了NID - SLAM,显著提高了神经SLAM在动态环境下的性能。我们提出了一种新的方法来增强语义掩码中不准确的区域,特别是边缘区域。利用深度图像中存在的几何信息,该方法能够准确地去除动态物体,从而降低相机漂移的概率。此外,我们引入了针对动态场景的关键帧选择策略,增强了相机对大尺度目标的跟踪鲁棒性,提高了建图效率。在公开的RGB - D数据集上的实验表明,本文方法在动态环境下的跟踪精度和建图质量方面优于竞争性的神经SLAM方法。

3. 效果展示

输入带有动态目标的RGB-D序列,可以生成全局静态地图,这个空洞补全效果很不错。

4. 具体原理是什么?

系统概述,包括:1 )动态物体移除:通过语义分割和掩膜修正,精确地移除RGB - D图像中的动态物体,然后彻底地恢复被遮挡的背景。2 ) .跟踪:通过最小化损失来优化相机位姿{ R,t }。3 )建图:采用掩膜引导策略选择关键帧,优化特征网格场景表示。4 )场景表示:通过面聚焦点采样实现预测颜色和深度值的高效绘制。

f872fd94-b00c-11ee-8b88-92fbcf53809c.jpg

5. 和其他SOTA方法对比如何?

TUM数据集上相机跟踪结果,评价指标是ATE RMSE [ m ] (↓),表示相关文献未提及这个数据。

f8966310-b00c-11ee-8b88-92fbcf53809c.jpg

TUM数据集动态序列的建图结果。

6. 总结

这篇文章介绍了一种动态RGB-D神经SLAM方法NID - SLAM。证明了神经SLAM能够在动态场景中实现高质量的建图和合理的空洞补全。利用动态物体移除,可以实现稳定的相机跟踪,并创建可重用的静态地图。去除动态物体后准确获得的图像,也可以用于进一步的应用,如机器人导航。

作者也提到了NID -- SLAM的局限性:实时性受限于分割网络的速度,需要实现分割质量和速度之间的平衡。结合神经网络的预测能力,而不是仅仅依靠静态地图,可以得到更全面、更准确的背景修复。

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4732

    浏览量

    100395
  • SLAM
    +关注

    关注

    23

    文章

    414

    浏览量

    31753

原文标题:来了!NID-SLAM:动态环境也能搞NeRF SLAM!

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    什么是SLAM?视觉SLAM怎么实现?

    上周的组会上,我给研一的萌新们讲解什么是SLAM,为了能让他们没有任何基础的情况大致听懂,PPT只能多图少字没公式,这里我就把上周的组会汇报总结一。 这次汇报的题目我定为“视觉
    的头像 发表于 08-21 10:02 9776次阅读
    什么是<b class='flag-5'>SLAM</b>?视觉<b class='flag-5'>SLAM</b>怎么实现?

    动态环境中基于神经隐式表示的RGB-D SLAM

    神经隐式表示已经被探索用于增强视觉SLAM掩码算法,特别是提供高保真的密集地图方面。
    的头像 发表于 01-17 10:39 840次阅读
    <b class='flag-5'>动态</b><b class='flag-5'>环境</b>中基于<b class='flag-5'>神经</b>隐式表示的RGB-D <b class='flag-5'>SLAM</b>

    AGV激光雷达SLAM定位导航技术

    是激光雷达+SLAM的定位导航技术。  SLAM表示不具备周围环境信息的前提下,让移动机器人在运动过程中根据自身携带的传感器和对周围环境
    发表于 11-09 15:59

    SLAM技术的应用及发展现状

    结合激光雷达或者摄像头的方法,让扫地机可以高效绘制室内地图,智能分析和规划扫地环境,成功让自己步入了智能导航的阵列。除了扫地机之外,SLAM技术在其他服务机器人(例如商场导购机器人、银行机器人
    发表于 12-06 10:25

    让机器人完美建图的SLAM 3.0到底是何方神圣?

    ,控制端与建图中心断开连接时地图数据不会丢失,移动端没有断电的情况下地图数据不会丢失。    最后,看一SLAM 3.0的实际建图效果吧~    SLAMWARE各大场景下地图构
    发表于 01-21 10:57

    SLAM大法之回环检测

    可靠的环境建图。    SLAM 3.0闭环检测  SLAM 3.0环路闭合逻辑:先小闭环,后大闭环 ;选择特征丰富的点作为闭环点;多走重合之路,完善闭环细节。即使超大场景
    发表于 03-06 15:38

    激光SLAM与VSLAM定位导航方法谁主沉浮?

    SLAM(同步定位与地图构建),是指运动物体根据传感器的信息,一边计算自身位置,一边构建环境地图的过程,解决机器人等未知环境运动时的定位
    发表于 05-20 08:19

    视觉SLAM笔记总结

    【总结】视觉SLAM笔记整理
    发表于 07-17 14:05

    SLAM技术目前主要应用在哪些领域

    作为辅助。  AR  AR通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。这一画面的实现,离不开SLAM技术的实时定位。虽然AR行业有很多可代替技术,但是,
    发表于 12-01 14:26

    激光SLAM与视觉SLAM有什么区别?

    机器人运动控制系统架构中,可分为最底层、中间通信层和决策层三大层面,最底层包含了机器人本身的电机驱动和控制部分,中间通信层是底层部分和决策层的通信通路,而决策层则是实现机器人的定位建图及导航。
    发表于 07-05 06:41

    激光SLAM技术机器人运动控制系统中的应用是什么

    什么是激光SLAM?激光SLAM技术机器人运动控制系统中的应用是什么?
    发表于 07-30 06:37

    SLAM的相关知识点分享

    研究生期间进行了基于2D激光雷达的SLAM的研究,当时主要做了二维激光雷达的数据处理。小弟不才,没有入得了SLAM的坑,却一直谜之向往,如今得以机会,决定正式迈出第一步,彻底进入SLAM的坑!心中
    发表于 08-30 06:13

    激光SLAM和视觉VSLAM的分析比较

    什么是激光SLAM?视觉VSLAM又是什么?激光SLAM和视觉VSLAM有哪些不同之处?
    发表于 11-10 07:16

    一个动态环境的实时语义RGB-D SLAM系统

    大多数现有的视觉SLAM方法严重依赖于静态世界假设,动态环境中很容易失效。本文提出了一个动态环境
    的头像 发表于 08-25 16:49 572次阅读
    一个<b class='flag-5'>动态</b><b class='flag-5'>环境</b><b class='flag-5'>下</b>的实时语义RGB-D <b class='flag-5'>SLAM</b>系统

    视觉SLAM是什么?视觉SLAM的工作原理 视觉SLAM框架解读

    近年来,SLAM技术取得了惊人的发展,领先一步的激光SLAM已成熟的应用于各大场景中,视觉SLAM落地应用上不及激光SLAM,但也是目前
    的头像 发表于 09-05 09:31 3649次阅读
    视觉<b class='flag-5'>SLAM</b>是什么?视觉<b class='flag-5'>SLAM</b>的工作原理 视觉<b class='flag-5'>SLAM</b>框架解读