0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NeRF何去何从?GS SLAM到底哪家强?来看看最新的开源方案!

3D视觉工坊 来源:3D视觉工坊 2023-12-26 16:38 次阅读

0. 笔者个人体会

最近3D GS已经彻底杀入了SLAM领域,光这一个月看见了好几篇GS SLAM的工作。例如上海AI Lab的GS-SLAM、帝国理工戴森机器人实验室的Gaussian Splatting SLAM、CMU的SplaTAM。

今天笔者将为大家再分享一篇GS SLAM的最新开源工作Gaussian-SLAM,同样实现了照片级渲染的实时SLAM。不过大家都说自己是第一个GS SLAM,但具体哪个SLAM更强,读者可以运行代码对比一下~

下面一起来阅读一下这项工作,文末附论文和代码链接~

1. 效果展示

Gaussian-SLAM的渲染结果对比,Gaussian Splatting本身非常快,所以可以只看一下渲染精度。对比其他NeRF SLAM精度有明显提升,但是没有对比其他GS SLAM。

86674a4a-a394-11ee-8b88-92fbcf53809c.jpg

更多渲染结果的对比,但还是挺想看看和Gaussian Splatting SLAM等工作的对比效果的。

867bb9f8-a394-11ee-8b88-92fbcf53809c.jpg

2. 具体原理是什么?

Gaussian-SLAM提出了用于seeding和优化Gaussian splats的新策略,以将其从多视图离线场景扩展到RGBD序列。还扩展了Gaussian splats来编码几何图形并尝试跟踪场景表示。这里也推荐工坊推出的新课程《彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)》。

当输入RGBD关键帧时,考虑到颜色梯度,首先对其进行下采样。然后将采样点投影到3D空间,在这些采样位置上用它们的均值初始化新的高斯。这些新的3D高斯被添加到稀疏区域的全局地图的当前活动段中。输入的RGBD关键帧与其他对活动子图有贡献的关键帧一起临时存储。一旦新的高斯被整合到活动子图中,所有对活动子图有贡献的关键帧都被渲染出来。随后,对子图输入的关键帧计算深度和颜色损失。接着更新活动子图中3D高斯的参数。这个过程重复固定的迭代次数。

8696171c-a394-11ee-8b88-92fbcf53809c.jpg

3. 和其他SOTA方法对比如何?

ScanNet数据集上的渲染效果对比,相比NeRF SLAM有了明显提升,但同时是没有对比其他GS SLAM。

86a5969c-a394-11ee-8b88-92fbcf53809c.jpg

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2863

    浏览量

    107331
  • 开源
    +关注

    关注

    3

    文章

    3254

    浏览量

    42408
  • SLAM
    +关注

    关注

    23

    文章

    419

    浏览量

    31788

原文标题:NeRF何去何从?GS SLAM到底哪家强?来看看最新的开源方案!

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    云计算技术哪家?亚马逊与微软对决

    上周亚马逊和微软同一时间发布了季度财报,那么问题来了,云计算到底哪家?其实不用说,也知道答案,当然是亚马逊,毕竟人家是云计算的鼻祖,那AWS到底有多强呢?
    发表于 10-28 09:22 890次阅读

    来看看怎么样 下来看看怎么样 下来看看怎么样

    来看看怎么样下来看看怎么样下来看看怎么样下来看看怎么样下来看看怎么样[table=98%][tr][td]下
    发表于 05-13 19:01

    STM32,AVR,STC抗干扰哪家

    如题,以上三家MCU,抗干扰哪家?干扰主要是小功率电机干扰和射频干扰。
    发表于 04-07 17:44

    智能插排哪家

    智能插排哪家
    发表于 07-19 14:00

    怎么没有STC或51单片机专门的版块了?

    ``STC单片机功能强劲、速度快,可靠性高,运用面广,别的论坛讨论“七大主流单片机到底哪家?”结果:可以看出STC与STM32是排名最高的,为啥这个论坛取消了这个版块了?后来的初学者将何去何
    发表于 09-04 21:37

    让机器人完美建图的SLAM 3.0到底是何方神圣?

    很好的消除长时间运行导致的里程累计误差,成为目前行业中最受欢迎的定位导航方式。    下面,我们就来看看SLAM 3.0的大 不 同。  | 利用SharpEdge构建高精度地图  SLAM 3.0
    发表于 01-21 10:57

    3C认证哪家?找安磁检测准没错!

    3C认证哪家?3C认证哪家办理更划算?3C认证办理哪家服务态度好?许多电子厂商经常会被这些问题所困扰,想要办理3C认证去迟迟找不到心仪的第三方检测机构,
    发表于 04-25 09:21

    视觉SLAM特征点法与直接法对比分析

    视觉SLAM——特征点法与直接法对比以及主流开源方案对比 ORB LSD SVO DSO
    发表于 06-02 16:56

    智能锁哪家?先来看看TI方案

    随着蓝牙 5.0 和 Mesh 标准的发布,Sub-1G 433M 技术的组网方案逐渐成熟,Zigbee 3.0 的落地,为智能门锁无线连接提供更多可能。TI 所提供的系统级方案致力于低功耗和安全连接,从而助力开启无钥匙开锁安全大门。
    的头像 发表于 02-26 11:54 7144次阅读

    基于NeRF的三维场景重建和理解

    这种拍摄方式在SLAM或者SFM中更多见,而传统三维重建或者RGBD重建是很难做出 NeRF 或者 Semantic-NeRF 这种效果的。所以方法可能很简单,但是这个工作很有意义。
    的头像 发表于 02-06 10:50 3458次阅读

    Nerf Alexa家庭防御炮塔开源构建

    电子发烧友网站提供《Nerf Alexa家庭防御炮塔开源构建.zip》资料免费下载
    发表于 07-10 14:38 0次下载
    <b class='flag-5'>Nerf</b> Alexa家庭防御炮塔<b class='flag-5'>开源</b>构建

    视觉SLAM开源方案汇总 视觉SLAM设备选型

    SLAM至今已历经三十多年的研究,这里给出经典视觉SLAM框架,这个框架本身及其包含的算法已经基本定型,并且已经在许多视觉程序库和机器人程序库中提供。
    发表于 08-10 14:15 1005次阅读
    视觉<b class='flag-5'>SLAM</b><b class='flag-5'>开源</b><b class='flag-5'>方案</b>汇总 视觉<b class='flag-5'>SLAM</b>设备选型

    3D重建的SLAM方案算法解析

    GO-SLAM主要还是基于NeRF进行稠密重建,可以发现相较于NICE-SLAM这些SOTA方案,GO-SLAM重建场景的全局一致性更好,这
    发表于 09-11 10:03 1394次阅读
    3D重建的<b class='flag-5'>SLAM</b><b class='flag-5'>方案</b>算法解析

    基于NeRF/Gaussian的全新SLAM算法

    基于NeRFSLAM算法采用全局地图和图像重建损失函数,通过可微分渲染捕获稠密的光度信息,具有高保真度。
    的头像 发表于 01-26 10:48 614次阅读
    基于<b class='flag-5'>NeRF</b>/Gaussian的全新<b class='flag-5'>SLAM</b>算法

    什么是SLAM?基于3D高斯辐射场的SLAM优势分析

    基于NeRFSLAM算法采用全局地图和图像重建损失函数,通过可微分渲染捕获稠密的光度信息,具有高保真度。
    的头像 发表于 04-01 12:44 680次阅读