0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于结构光的高精度开源三维重建系统

3D视觉工坊 来源:arxiv2022 作者:汪皓东 2022-11-06 20:13 次阅读

许多面向建筑领域的机器人作业都需要获得高精度的三维表面信息以完成类似于自动水泥抛光汇总石膏喷涂等作业。然而,目前在市场上消费级深度相机并不能满足其毫米级的精度要求。本文中提出了一个基于结构光的解决方案SL sensor,能够达到5hz的发布频率的同时生成高保真的点云(基于PSP方法)。通过与其他深度相机的实验-Azure Kinetic和RealSencse L515,验证了其在精度和准确度方面均有较好的优势。为了使SL Sensor成为机器人应用实验平台,我们为其添加了一个运动补偿机制使得其能够在线性运动期间也能够正常工作(传统PSP方法仅在静态环境下能够使用)。通过场景实验表明SL Sensor 能够重建出高精度的石灰喷涂表面。

系统介绍

(一)硬件系统

c0dd0f62-5d26-11ed-a3b6-dac502259ad0.png

硬件系统结构 硬件系统包含两个工业CMOS彩色摄像头(1440×1080)和一个DLP投影仪(912×1140)。摄像机和投影仪是由Versavis板完成触发与时间同步。另外额外的IMU为未来的运动补偿策略做准备。其测量范围为设备前方0.3-1.0m的区域。

(二)软件系统

c0ff35d8-5d26-11ed-a3b6-dac502259ad0.png

软件系统结构 软件系统在机器人操作系统(ROS)的框架规范下编写,这确保了它可以轻松地与其他ROS社区的功能组件完成交互与集成。 整个三维重建流程分为四个节点,其在较有效率的零拷贝指针来传递进程之间的图像的同时保证了各个部分的模块性。部分Decoder与Triangular节点继承了SLStudio中的代码。

分析评估c0ad7ca2-5d26-11ed-a3b6-dac502259ad0.png

(一)静态精度测试

c134f650-5d26-11ed-a3b6-dac502259ad0.png

c14de0e8-5d26-11ed-a3b6-dac502259ad0.png

c19a3b50-5d26-11ed-a3b6-dac502259ad0.png

c1ae69cc-5d26-11ed-a3b6-dac502259ad0.png

(二)运动滑轨实验

c1c3fe4a-5d26-11ed-a3b6-dac502259ad0.png

c203482a-5d26-11ed-a3b6-dac502259ad0.png

(三)喷涂场景实验

c226d0d8-5d26-11ed-a3b6-dac502259ad0.png

c2666568-5d26-11ed-a3b6-dac502259ad0.png

c2b74d5c-5d26-11ed-a3b6-dac502259ad0.png

c2da4ac8-5d26-11ed-a3b6-dac502259ad0.png

总结c0ad7ca2-5d26-11ed-a3b6-dac502259ad0.png

在这项工作中,我们提出了一种结构光三维重建解决方案。与现有传感器解决方案相比,我们的SL Sensor集成了ROS中间件框架上的现有机器人软件,以定制化实现3D扫描。我们分别介绍了了软件架构、硬件设置和校准程序,并验证传感器达到毫米级精度。我们将其与常用的传感器进行了比较,实验结构表明我们的传感器达到了精细化施工应用的精度要求。之后我们验证了我们的运动补偿策略的有效性-在线性运动下高精度PSP扫描,并展示了我们的传感器在真实环境运动下根据实际情况进行模式切换的能力。未来的工作将扩展SL Sensor的扫描能力由线性运动到任意6自由度运动。可能的解决方案包括更稳健的运动补偿策略或自适应模式投影,当传感器处于静态并切换到当检测到运动时,另一种模式更能适应运动场景。此外,可能研究多方法点云配准以减少扫描过程中的错误积累,以获得更准确的点云合并结果。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    210

    文章

    28146

    浏览量

    206043
  • 摄像机
    +关注

    关注

    3

    文章

    1577

    浏览量

    59919
  • 投影仪
    +关注

    关注

    4

    文章

    876

    浏览量

    43163

原文标题:SL-Sensor:基于结构光的高精度开源三维重建系统(arxiv2022)

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    CASAIM与迈普医学达成合作,三维扫描技术助力医疗辅具实现高精度三维建模和偏差比对

    近期,CASAIM与广州迈普再生医学科技股份有限公司(简称:迈普医学)合作,基于CT数据三维重建和设计,在医疗辅具研究开发中实现高精度三维建模和偏差比对,实现与缺损区域的精确匹配。
    的头像 发表于 11-12 14:48 71次阅读

    建筑物边缘感知和边缘融合的多视图立体三维重建方法

    航空建筑深度估计是三维数字城市重建中的一项重要任务,基于深度学习的多视图立体(MVS)方法在该领域取得了较好的成果。目前的主要方法通过修改MVS 框架实现建筑物的深度估计,缺乏对建筑物内在结构的考虑,易导致
    的头像 发表于 11-07 10:16 110次阅读
    建筑物边缘感知和边缘融合的多视图立体<b class='flag-5'>三维重建</b>方法

    留形科技借助NVIDIA平台提供高效精确的三维重建解决方案

    本案例中,留形科技借助 NVIDIA Jetson 和 Omniverse 平台,实现边缘设备上的实时、全彩、无损三维重建,从而在建筑细节捕捉、大型基础设施的数字孪生等应用中,大幅提升三维数据采集与处理的效率与精度
    的头像 发表于 09-09 09:42 391次阅读

    基于大模型的仿真系统研究一——三维重建大模型

    问题,赛目推出了基于大模型的仿真系统,利用机器学习、深度学习等人工智能技术,不仅推出自动标注大模型、多模态检测大模型和场景生成大模型等模块,并且引入三维重建大模型加强渲染画面真实性。    通过上述模块,赛目的路采
    的头像 发表于 07-30 14:51 1343次阅读
    基于大模型的仿真<b class='flag-5'>系统</b>研究一——<b class='flag-5'>三维重建</b>大模型

    基于三维激光扫描技术的XKCON祥控激光盘煤仪可高精度、快速、全覆盖盘煤,相对精度优于0.5‰

    基于三维激光扫描技术的XKCON祥控激光盘煤仪可高精度、快速、全覆盖盘煤,相对精度优于0.5‰
    的头像 发表于 07-24 11:42 365次阅读
    基于<b class='flag-5'>三维</b>激光扫描技术的XKCON祥控激光盘煤仪可<b class='flag-5'>高精度</b>、快速、全覆盖盘煤,相对<b class='flag-5'>精度</b>优于0.5‰

    泰来三维|三维扫描服务_三维扫描助力园区改造公园

    三维激光扫描仪利用激光反射测距原理,通过接受和返回的信号,获取点云三维空间坐标。这种测量方式可以无接触快速获取大型建筑三维空间数据,实现实体建筑的高精度数字化。 根据
    的头像 发表于 05-07 11:44 237次阅读
    泰来<b class='flag-5'>三维</b>|<b class='flag-5'>三维</b>扫描服务_<b class='flag-5'>三维</b>扫描助力园区改造公园

    奥比中与创想三维联合打造的高精度3D扫描仪正式发布

    4月9日,奥比中与战略合作伙伴创想三维联合打造的高精度3D扫描仪CR-Scan Otter、CR-Scan Raptor正式发布。
    的头像 发表于 04-12 09:06 586次阅读

    泰来三维| 高精度三维扫描技术助力地质标本资源数字化

    固定式蓝光三维扫描仪OptimScan 5M Plus,适应不同尺寸、形状的岩矿石标本高精度测量需求。可获取岩石标本表面高精细特征(裂缝、凹坑等)。
    的头像 发表于 04-02 15:28 387次阅读
    泰来<b class='flag-5'>三维</b>| <b class='flag-5'>高精度</b><b class='flag-5'>三维</b>扫描技术助力地质标本资源数字化

    泰来三维|文物三维扫描,文物三维模型怎样制作

    制作的呢,今天和大家聊聊,三维扫描技术文物三维扫描文物三维模型的建立。 1、数据采集与处理 工作流程 ➤原始三维数据采集 ➤原始图像数据采集 ➤文物
    的头像 发表于 03-12 11:10 537次阅读
    泰来<b class='flag-5'>三维</b>|文物<b class='flag-5'>三维</b>扫描,文物<b class='flag-5'>三维</b>模型怎样制作

    泰来三维| 高精度工业3D扫描助力模具检测和逆向设计“数字化”发展

    相应的,产品所需的模具结构也变得愈发复杂精密,传统检测方式和测绘工具很难满足些最新需求。高精度工业3D扫描技术的出现,通过获取工件完整的三维数据,为模具检测和逆向设计提供“数字化”破局之法。
    的头像 发表于 01-29 16:22 422次阅读
    泰来<b class='flag-5'>三维</b>| <b class='flag-5'>高精度</b>工业3D扫描助力模具检测和逆向设计“数字化”发展

    角矿山机械设备三维扫描、逆向3d建模抄数设计

    在机械制造领域,逆向工程很多企业经常使用的一种方法,逆向工程可以帮助企业复制、改进和优化产品。CASAIM中科广电主要使用三维扫描技术来获取产品表面的三维数据,三维测量技术能够快速、高精度
    的头像 发表于 01-16 15:14 448次阅读
    珠<b class='flag-5'>三</b>角矿山机械设备<b class='flag-5'>三维</b>扫描、逆向3d建模抄数设计

    工业上常见的高精度主动式重建算法

    三维重建目前是最为炙手可热的领域。摄影测量或结构投影技术可以解决漫反射重建问题,但却无法有效应对镜面反射物体(如玻璃、积水、反光物体和汽车车身)等的
    发表于 01-05 10:46 427次阅读
    工业上常见的<b class='flag-5'>高精度</b>主动式<b class='flag-5'>重建</b>算法

    基于光学计算超表面的全光学目标识别和三维重建技术

    随着物体识别和三维(3D) 重建技术在各种逆向工程、人工智能、医疗诊断和工业生产领域变得必不可少,人们越来越关注与寻求可以简化处理的高效、更快的速度和更集成的方法。
    的头像 发表于 12-22 10:13 555次阅读
    基于光学计算超表面的全光学目标识别和<b class='flag-5'>三维重建</b>技术

    基于深度学习的三维重建技术

    多视图立体几何(Multi-View Stereo,MVS)是计算机视觉中重要的研究领域,也是迈入三维计算机视觉研究的重点问题。它通过利用多张互相重叠的图像恢复出原始三维场景的几何结构和纹理信息,是现实中拍摄照片的逆过程。
    的头像 发表于 12-04 10:08 860次阅读
    基于深度学习的<b class='flag-5'>三维重建</b>技术

    RayDF:实时渲染!基于射线的三维重建新方法

    在机器视觉和机器人领域的许多前沿应用中,学习准确且高效的三维形状表达是十分重要的。然而,现有的基于三维坐标的隐式表达在表示三维形状或是渲染二图像时,需要耗费昂贵的计算成本;
    的头像 发表于 11-17 16:23 687次阅读
    RayDF:实时渲染!基于射线的<b class='flag-5'>三维重建</b>新方法