0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英伟达新方法入选CVPR 2023:对未知物体的6D姿态追踪和三维重建

3D视觉工坊 来源:凹非寺 2023-04-10 11:12 次阅读

普通手机“随手”拍的雕像,一下就变成了精细的三维重建图。

水杯来回动的动态场景下,细节清晰可见:

38654f44-d72b-11ed-bfe3-dac502259ad0.gif

静态场景效果也同样nice,狗狗突出的肋骨都被还原了出来:

38743edc-d72b-11ed-bfe3-dac502259ad0.gif

对比来看其他方法,效果是酱婶的……

388fbc84-d72b-11ed-bfe3-dac502259ad0.png

这就是英伟达最新提出的方法BundleSDF。

这是一种可对未知物体的6D姿态追踪和三维重建的方法。

用于从单目RGBD视频序列中跟踪未知物体的6自由度运动,同时进行物体的隐式神经三维重建,方法接近于实时(10Hz)。

这种方法适用于任意刚性物体,即使视觉纹理大部分确实,仅需在第一帧中分割出物体,不需要任何额外的信息,并且不对智能体与物体的交互模式做任何假设。

目前,该方法已被CVPR 2023接收。

可处理大幅度姿态变化、有遮挡视频

该方法的关键是一个神经物体场,它与姿态图优化过程同时进行,以便将信息稳健地累积到一致的3D表示中,捕捉几何和外观。

方法自动维护了一组动态的姿态内存帧,以便这些线程之间进行通信

它能处理具有大幅度姿态变化、部分和完全遮挡、无纹理表面和高光反射等具有挑战性的视频。

作者展示了HO3D、YCBInEOAT和BEHAVE数据集上的结果,证明了我们的方法显著优于现有方法。

野外测试

用于iPhone 12 Pro Max的效果:

38a7c02c-d72b-11ed-bfe3-dac502259ad0.gif

用于Intel RealSense的效果:

38dd70a0-d72b-11ed-bfe3-dac502259ad0.gif

该方法不仅适用于更具挑战性的动态场景,还适用于此前经常被考虑的静态场景(移动相机)。

因此实现了比专门设计用于静态场景的那些方法更好或相当的结果(即文章开头展示动图)。

391d3c6c-d72b-11ed-bfe3-dac502259ad0.png

与SOTA对比

HO3D数据集上三种最具竞争力方法的定性比较。

左图:6自由度姿态跟踪可视化,其中轮廓(青色)以估计的姿态渲染。

值得注意的是,如第二列所示,我们的预测姿态有时甚至会纠正GT的错误。

右图:每种方法输出的最终3D重建的正面和背面视图。

由于手部遮挡,视频中的某些部分永远不可见。虽然从相同的视角渲染网格,但是DROID-SLAM和BundleTrack的显著漂移导致网格错误旋转。

3924d4f4-d72b-11ed-bfe3-dac502259ad0.png

定量结果对比如下:

3943413c-d72b-11ed-bfe3-dac502259ad0.png

394be404-d72b-11ed-bfe3-dac502259ad0.png

3952cb34-d72b-11ed-bfe3-dac502259ad0.png

问题设置

给定一段单目RGBD输入视频以及仅在第一帧中目标物体的分割掩码,该方法能持续追踪物体的6-DoF姿态并重建物体的3D模型。

所有处理都是在线自回归的(没有假设未来帧可用)。

处理的物体是刚性的,但不依赖其特定丰富的纹理 - 方法适用于无纹理的物体。

此外,不需要物体的实例级CAD模型,也不需要物体类别的先验知识(例如事先对同一物体类别进行预训练)。

具体框架

395af3d6-d72b-11ed-bfe3-dac502259ad0.png

首先,在连续的分割图像之间匹配特征,以获得粗略的姿态估计(第3.1节)。

其中一些带姿态的帧被存储在内存池中,以便稍后使用和精化(第3.2节)。

从内存池的子集动态创建位姿图(第3.3节);在线优化与当前姿态一起联合细化图中的所有姿态。

然后,这些更新的姿态被存储回内存池中。

最后,内存池中的所有带姿态的帧用于学习神经物体场(在单独的线程中),该场建模了物体的几何和视觉纹理(第3.4节),同时调整其先前估计的姿态,使姿态跟踪更加鲁棒。

项目地址:
https://bundlesdf.github.io/

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2875

    浏览量

    107487
  • 三维重建
    +关注

    关注

    0

    文章

    26

    浏览量

    9920
  • 姿态
    +关注

    关注

    0

    文章

    3

    浏览量

    7891

原文标题:英伟达新方法入选CVPR 2023:对未知物体的6D姿态追踪和三维重建

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    三维扫描与建模的区别 三维扫描在工业中的应用

    数据。这一过程是自动化的,能够快速捕捉物体三维信息。 三维建模 :则需要专业建模师使用三维建模软件,从无到有地创建三维模型。建模师可以根据
    的头像 发表于 12-19 14:55 104次阅读

    商汤科技运用AI大模型实现实景三维重建

    近日,在北京建筑大学举行的2024第八届北京国际城市设计大会上,商汤科技把这些“活过来”的文物实景三维也带到了现场。
    的头像 发表于 11-25 16:49 437次阅读

    CASAIM与迈普医学达成合作,三维扫描技术助力医疗辅具实现高精度三维建模和偏差比对

    近期,CASAIM与广州迈普再生医学科技股份有限公司(简称:迈普医学)合作,基于CT数据三维重建和设计,在医疗辅具研究开发中实现高精度三维建模和偏差比对,实现与缺损区域的精确匹配。
    的头像 发表于 11-12 14:48 166次阅读

    建筑物边缘感知和边缘融合的多视图立体三维重建方法

    航空建筑深度估计是三维数字城市重建中的一项重要任务,基于深度学习的多视图立体(MVS)方法在该领域取得了较好的成果。目前的主要方法通过修改MVS 框架实现建筑物的深度估计,缺乏对建筑物
    的头像 发表于 11-07 10:16 191次阅读
    建筑物边缘感知和边缘融合的多视图立体<b class='flag-5'>三维重建</b><b class='flag-5'>方法</b>

    三维打印技术原理

    三维打印技术,又称3D打印技术,是一种快速成型技术,其核心原理在于将数字模型文件逐层转化为实体物体。以下是三维打印技术原理的详细阐述:
    的头像 发表于 09-16 15:31 671次阅读

    留形科技借助NVIDIA平台提供高效精确的三维重建解决方案

    本案例中,留形科技借助 NVIDIA Jetson 和 Omniverse 平台,实现边缘设备上的实时、全彩、无损三维重建,从而在建筑细节捕捉、大型基础设施的数字孪生等应用中,大幅提升三维数据采集与处理的效率与精度。
    的头像 发表于 09-09 09:42 446次阅读

    基于大模型的仿真系统研究一——三维重建大模型

    问题,赛目推出了基于大模型的仿真系统,利用机器学习、深度学习等人工智能技术,不仅推出自动标注大模型、多模态检测大模型和场景生成大模型等模块,并且引入三维重建大模型加强渲染画面真实性。    通过上述模块,赛目的路采
    的头像 发表于 07-30 14:51 1577次阅读
    基于大模型的仿真系统研究一——<b class='flag-5'>三维重建</b>大模型

    泰来三维 工厂三维扫描建模技术服务

    通过利用三维扫描技术建立工厂物体三维模型,可以更加直观地了解物体的形状和尺寸信息,避免传统测量方法的误差和繁琐操作,从而提高生产效率和质量
    的头像 发表于 07-22 13:14 314次阅读
    泰来<b class='flag-5'>三维</b> 工厂<b class='flag-5'>三维</b>扫描建模技术服务

    三维扫描与3D打印在法医头骨重建中的突破性应用

    随着科技的飞速发展,三维扫描和3D打印技术已经逐渐渗透到医疗领域的各个环节,为临床诊断、治疗和医学研究带来了前所未有的便利。特别是在法医学领域,三维扫描和3D打印技术的应用更是为头骨
    的头像 发表于 04-19 10:26 494次阅读
    <b class='flag-5'>三维</b>扫描与3<b class='flag-5'>D</b>打印在法医头骨<b class='flag-5'>重建</b>中的突破性应用

    常用的RGB-D SLAM解决方案

    BundleFusion是一种稠密的实时室内场景三维重建算法框架。输入为RGB-D相机采集的并且是对齐好的RGB图像和深度图的数据流。输出为重建好的稠密三维场景模型。
    的头像 发表于 04-16 09:37 1001次阅读
    常用的RGB-<b class='flag-5'>D</b> SLAM解决方案

    泰来三维|文物三维扫描,文物三维模型怎样制作

    文物三维扫描,文物三维模型怎样制作:我们都知道文物是不可再生的,要继续保存传承,需要文物三维数字化保护,所以三维数字化文物保护是非常重要的一个技术手段。 那么文物
    的头像 发表于 03-12 11:10 612次阅读
    泰来<b class='flag-5'>三维</b>|文物<b class='flag-5'>三维</b>扫描,文物<b class='flag-5'>三维</b>模型怎样制作

    Nullmax提出多相机3D目标检测新方法QAF2D

    今天上午,计算机视觉领域顶会CVPR公布了最终的论文接收结果,Nullmax感知部门的3D目标检测研究《Enhancing 3D Object Detection with 2D De
    的头像 发表于 02-27 16:38 1132次阅读
    Nullmax提出多相机3<b class='flag-5'>D</b>目标检测<b class='flag-5'>新方法</b>QAF2<b class='flag-5'>D</b>

    角矿山机械设备三维扫描、逆向3d建模抄数设计

    在机械制造领域,逆向工程很多企业经常使用的一种方法,逆向工程可以帮助企业复制、改进和优化产品。CASAIM中科广电主要使用三维扫描技术来获取产品表面的三维数据,三维测量技术能够快速、高
    的头像 发表于 01-16 15:14 498次阅读
    珠<b class='flag-5'>三</b>角矿山机械设备<b class='flag-5'>三维</b>扫描、逆向3<b class='flag-5'>d</b>建模抄数设计

    工业上常见的高精度主动式重建算法

    三维重建目前是最为炙手可热的领域。摄影测量或结构光投影技术可以解决漫反射重建问题,但却无法有效应对镜面反射物体(如玻璃、积水、反光物体和汽车车身)等的
    发表于 01-05 10:46 480次阅读
    工业上常见的高精度主动式<b class='flag-5'>重建</b>算法

    三维视觉测量技术知识科普

    三维视觉测量技术按照测量过程中是否投射光源,获取被测物体三维形貌信息的方法可以分为两大类: 被动视觉测量和主动视觉测量。
    的头像 发表于 01-03 11:47 843次阅读
    <b class='flag-5'>三维</b>视觉测量技术知识科普