0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

求一种采用空间投影的点云分割方法

机器视觉自动化 来源:光学学报 作者:郭清达,全燕鸣 2021-06-26 10:57 次阅读

点云分割是点云处理的一个关键环节,其分割质量决定了目标测量、位姿估计等任务的精确与否。

1、引言

目前,以立体成像技术为核心的立体相机获得了多样性发展,例如双目相机、单目结构光 相机、 TOF(timeofflight)相机等,其获得的深度图像(RGB-D)是在RGB 数据基础上融合了深度数据, 在参考相机内参下深度图像可转化为点云数据。根据立体相机的三维数据重建感兴趣区域(ROI),目标区域表面信息和背景信息的数据是混合在一起的,这给后续目标的三维测量和分析处理带来了一 定难度,因此采用点云分割技术进行目标区域和背 景点云分离是必要的途径。

点云分割就是将数据分割成若干个互不相交的子集。点云分割的问题一般分为4类: 1)具有 人类视觉意义的形状确定 2)获取点云中与空间方位无关的几何特征 3)点云中各个形状边界的确定 4)具有一致性的分割结果。 目前的点云分割方法分为两类,即主要处理点与点之间拓扑关系的传统方法和基于深度学习的方法。

立体相机与激光雷达的不同之处在于拍摄场景信息所得的RGB-D数据具有物体表面的颜色纹理信息。不同于点云拓扑关系和深度学习的点云分割,本文介绍了一种采用点云空 间投影的RGB-D点云分割技术,首先介绍采用图像阈值的点云分割和利用靶标世界坐标系的点云分割两种基础方法, 将在世界坐标系中的靶标作为参考旋转点云,并将其投影至坐标系水平面(XOY)上,利用图像的形态学获得目标显著区域,进而获得目标点云数据。

2、图像阈值与点云关系模型

2.1 相机数学模型

摄像机数学模型采用小孔成像的原理,在笛卡儿空间中建立景物点与成像点之间的映射关系。令点P=(Xw,Yw,Zw)为像素p(u,v)投射在世界坐标系中的点,(u,v,1)是点p在像素坐标系中的齐次坐标;(Xw,Yw,Zw,1)是点 P 在世界坐标系中的 齐次坐标。那么两个坐标的关系为

1ee9f372-d5ec-11eb-9e57-12bb97331649.png

2.2 图像阈值与点云的关系模型

RGB-D数据来自立体相机中RGB相机和 Depth相机,由于相机空间视角不同,两组原始数据中RGB数值与深度数值不匹配。在标定立体相机的外参数后,建立RGB像素值与 Depth数值两者之间的一一对应关系。采用图像阈值的点云分割基本思路:根据图像像素和点云的对应关系进行图像分割,获得目标区域点云。

1f1133ba-d5ec-11eb-9e57-12bb97331649.png

1f3a4390-d5ec-11eb-9e57-12bb97331649.png

3、采用空间投影的点云分割方法

3.1 建立靶标世界坐标系 立体相机中依据 RGB 相机和Depth相机的外参数,可以把Depth相机生成的点云转换到相机坐标系下。参考棋盘格建立世界坐标系。利用靶标世界坐标系可实现一定程度的点云分割,其基本思路是:由于场景三维点云的空间尺度与世界坐标系的空间尺度具有一致性,通过建立世界坐标系并确定待测物体在世界坐标系中的空间区域,可分割映射到世界坐标系里的点云。

1f42aec2-d5ec-11eb-9e57-12bb97331649.png

如图1(a)所示,pc(xc,yc,zc)为相机坐标系中的点云,Pw (Xw,Yw,Zw)是世界坐标系中的点云,由(1)式可得

1fcdd63c-d5ec-11eb-9e57-12bb97331649.png

如图1(b)所示,由于靶标板(标定板)所指定的 坐标系相对于棋盘格角点所建立的世界坐标系有一 定的偏移,这里采用补偿的方式进行坐标系校正。设靶标的厚度为 Δz,世界坐标系原点在待测区域的X和Y轴的偏移分别为Δx 和Δy,补偿偏移量Δl3×1=[Δx Δy Δz]T,则(6)式可进一步表示为

1fe795e0-d5ec-11eb-9e57-12bb97331649.png

3.2 采用空间投影的点云分割方法 参考前述的图像阈值、靶标世界坐标系与点云区域的关系,为了突出目标区域以实现点云分割,可将点云的观测视角旋转至俯视角度(鸟瞰视角),如图2所示,这样可减少背景点云信息,使目标点云呈现更多信息,采用相机模型将点云投影至相机的图像像素。在得到旋转投影后场景的二维图像后,采用图像阈值分割的方法可快速地得到目标阈值范围,还原后得到场景分割的目标点云。

1ff0abee-d5ec-11eb-9e57-12bb97331649.png

参考(6)式得到世界坐标系中的点云 Pwl(Xwl, Ywl,Zwl),将其变换到场景点云的俯视角时,有:

1ffc0cdc-d5ec-11eb-9e57-12bb97331649.png

2005f918-d5ec-11eb-9e57-12bb97331649.png

根据单目摄像机模型,可以得到点云对应的二值图像坐标为:

20110998-d5ec-11eb-9e57-12bb97331649.png

201c5ce4-d5ec-11eb-9e57-12bb97331649.png

4、结果对比

4.1 场景点云获取

为了验证算法的可行性,搭建系统硬件,如图3 所示,系统 包 括 靶 标 (尺 寸 规 格:棋 盘 格 角 点 数 为 5×7,方格大小为 34 mm×34mm)、双目摄像机 (MER-500-7UM)、8mm定焦镜头、投影仪(BenQ) 和上位机[2.53GHzIntel(R)Core (TM)2Duo CPU,2GBRAM]。 待测场景如图4(a)~(c)所示, RGB-D点云采用投影仪投射格雷码编码光栅和摄像机拍摄其光栅解码所得,其中包含1幅明、暗视场 图像以及40幅正交格雷码编码光栅图像。建立三个层叠的米袋场景(场景1#、2#、3#),分别获取整个场景并分割其米袋区域点云数据。根据张氏标定方法建立的靶标坐标系,获得外参数矩阵[R3×3t3×1],将三个场景点云映射到世界坐标系中,场景图片在靶标坐标系中的点云如图 4(d)~(f)所示。

20336d4e-d5ec-11eb-9e57-12bb97331649.png

利用图像阈值与点云关系实现点云分割,首先获得场景RGB图,利用标定参数进行径向与切向畸变校正,结果如图5(a)所示;利用最大类间方差法 (Otsu)对校正后的场景图进行处理,以突出感兴趣区域,结果如图5(b)所示。

其次,对感兴趣区域中的空洞进行形态学处理,即空洞填充;建立点云坐标与图像像素坐标的映射关系,并判断所映射的点云是否在图像感兴趣区域里。最后分割出映射到感兴趣区域的点云数据,如图5(c)所示。 采用靶标坐标系与点云区域实现点云分割,首先测量并确定目标物体的待放置空间区域,把靶标板放置在待测量物体区域内,根据靶标板手工测量或设计的规格参数确定 X 轴偏移量 Δx、Y 轴偏移 量 Δy 和靶标板厚度 Δz。其次,在摄像机标定过程 中,确定世界坐标系 X 轴和Y 轴方向,如图5(d)所示;并利用(6)、(7)式把相对于摄像机坐标系的点云映射到依据靶标板所建立的世界坐标系中,如图5(e)所示。最后,利用参考测量限定目标物体放置区域,实现目标点云分割,如图5(f)所示。 在图像阈值和靶标世界坐标系的基础上可采用点云空间投影进行点云分割,首先测量并确定目标物体的待放置空间区域,把靶标放置在待测量物体的区域内,确定X轴偏移量Δx、Y 轴偏移量 Δy 和靶标板厚度 Δz。其次,在摄像机标定过程中,确定世界坐标系X 轴和Y 轴方向。利用(9)式把点云视角变换至场景俯视角度,利用(13)、(14)式把三维点云映射到二维图像中,如图5(g)所示。 利用形态学对获得的二维图像进行膨胀处理,如图5(h)所示, 利 用连通域方法进行感兴趣区域图像分割,如图5(i) 所示。最后根据建立的点云与像素之间的映射关系, 还原图像阈值分割所对应的点云区域,如图5(j)所示。

20410396-d5ec-11eb-9e57-12bb97331649.png

4.2 结果对比分析 点云分割实验分别采用图像阈值分割 (算法 I)、靶标坐标系(算法II)、空间投影(算法III)以及与 Halcon中的基于区域的方法(算法Ⅳ)进行对比分析,对不同算法的参考点云总数和分割后点云数 进行对比,如表1所示。

20720e1e-d5ec-11eb-9e57-12bb97331649.png

4种方法实现的点云分割(场景1#~3#的点云区域)结果如图6所示。利用图像阈值和点云映 射关系实现的点云分割如图6(a)~(c)所示。立体相机的外参数误差和相机非线性映射关系等导致摄像机坐标系下的点云坐标与图像像素坐标的对应关系存在一定的误差。与此同时,点云分割密度直接受图像阈值分割好坏的影响,在场景复杂且感兴趣区域阈值分割较差的情况下,点云分割不理想。采用靶标世界坐标系和点云区域模型实现的点云分割 如图6(d)~ (f)所示。

根据靶标坐标系的点云分割,需要测量感兴趣区域的物理空间区域和应用摄像机RGB图像建立相应的参考坐标系,根据测量目 标区域范围可在不改变点云密度的情况下快速有效 地分割出目标物点云。基于空间投影的点云分割方法,在目标物区域建立世界坐标系,利用坐标系变换 改变目标物点云投射视角,以突出目标物的阈值特征,实现点云分割,如图6(g)~(i)所示。基于空间投影的点云分割结果边界清晰且质量较佳,但由于其融合图像阈值和靶标坐标系算法,其执行速度相 对慢一些。Halcon视觉开发平台中基于区域的点云分割方法,采用点云三角化后,根据区域的点、直径、三角等结构元素数值选定点云区域,结果如图 6(j)~(l)所示。

2080099c-d5ec-11eb-9e57-12bb97331649.png

责任编辑:lq6

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像
    +关注

    关注

    2

    文章

    1078

    浏览量

    40373
  • 点云
    +关注

    关注

    0

    文章

    58

    浏览量

    3774

原文标题:采用空间投影的深度图像点云分割

文章出处:【微信号:jiqishijue2020,微信公众号:机器视觉自动化】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    什么是三维分割

    是世界的一种非结构化三维数据表示,通常由激光雷达传感器、立体相机或深度传感器采集。它由系列单个组成,每个
    的头像 发表于 10-29 09:21 95次阅读

    一种简单高效配置FPGA的方法

    本文描述了一种简单高效配置FPGA的方法,该方法利用微处理器从串行外围接口(SPI)闪存配置FPGA设备。这种方法减少了硬件组件、板空间和成
    的头像 发表于 10-24 14:57 231次阅读
    <b class='flag-5'>一种</b>简单高效配置FPGA的<b class='flag-5'>方法</b>

    激光雷达数据包含哪些信息

    )、环境监测、城市规划等领域。激光雷达数据是激光雷达系统收集到的系列三维空间坐标点,包含了丰富的空间信息。本文将介绍激光雷达
    的头像 发表于 08-29 17:18 620次阅读

    一种无透镜成像的新方法

    透镜成像形式,它使用扫描光束收集散射光进行图像重建,面临着周期性样品的挑战。为了研究微电子或光子元件中的纳米级图案,一种基于无透镜成像的新方法可以实现近乎完美的高分辨率显微镜。这在波长短于紫外线时尤为重要,其成像空间分辨率高于
    的头像 发表于 07-19 06:20 285次阅读
    <b class='flag-5'>一种</b>无透镜成像的新<b class='flag-5'>方法</b>

    图像语义分割的实用性是什么

    什么是图像语义分割 图像语义分割一种将图像中的所有像素点按照其语义类别进行分类的任务。与传统的图像分类和目标检测任务不同,语义分割关注的是图像中每个像素
    的头像 发表于 07-17 09:56 335次阅读

    机器学习中的数据分割方法

    在机器学习中,数据分割项至关重要的任务,它直接影响到模型的训练效果、泛化能力以及最终的性能评估。本文将从多个方面详细探讨机器学习中数据分割方法,包括常见的
    的头像 发表于 07-10 16:10 1151次阅读

    机器人视觉技术中常见的图像分割方法

    、场景理解、导航和交互等任务至关重要。以下是些常见的图像分割方法: 阈值分割法(Thresholding) 阈值分割法是
    的头像 发表于 07-09 09:31 380次阅读

    机器人视觉技术中图像分割方法有哪些

    和分析。本文将详细介绍图像分割的各种方法,包括传统的图像处理方法和基于深度学习的方法。 阈值分割法 阈值
    的头像 发表于 07-04 11:34 660次阅读

    gis中常用的空间分析方法

    GIS中常用的空间分析方法 GIS(地理信息系统)是一种用于收集、存储、处理、分析和展示地理数据的技术。空间分析是GIS的核心部分,它包括
    的头像 发表于 02-25 13:44 4814次阅读

    基于深度学习的方法在处理3D进行缺陷分类应用

    背景部分介绍了3D应用领域中公开可访问的数据集的重要性,这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集,包括用于3D形状分类、3D物体检测和3D
    的头像 发表于 02-22 16:16 953次阅读
    基于深度学习的<b class='flag-5'>方法</b>在处理3D<b class='flag-5'>点</b><b class='flag-5'>云</b>进行缺陷分类应用

    OpenCV两不同方法实现粘连大米分割计数

    测试图如下,图中有个别米粒相互粘连,本文主要演示如何使用OpenCV用两不同方法将其分割并计数。
    的头像 发表于 01-22 14:55 1427次阅读
    OpenCV两<b class='flag-5'>种</b>不同<b class='flag-5'>方法</b>实现粘连大米<b class='flag-5'>分割</b>计数

    激光雷达预处理介绍

    激光雷达作为自动驾驶最常用的传感器,经常需要使用激光雷达来做建图、定位和感知等任务。 而这时候使用降低点规模的预处理方法,可以能够去除无关区域的以及降低点规模。并能够给后续的PC
    的头像 发表于 11-27 18:11 826次阅读

    一种在线激光雷达语义分割框架MemorySeg

    本文提出了一种在线激光雷达语义分割框架MemorySeg,它利用三维潜在记忆来改进当前帧的预测。传统的方法通常只使用单次扫描的环境信息来完成语义分割任务,而忽略了观测的时间连续性所蕴含
    的头像 发表于 11-21 10:48 524次阅读
    <b class='flag-5'>一种</b>在线激光雷达语义<b class='flag-5'>分割</b>框架MemorySeg

    基于深度学习的3D实例分割方法

    3D实例分割(3DIS)是3D领域深度学习的核心问题。给定由云表示的 3D 场景,我们寻求为每个分配语义类和唯的实例标签。 3DIS 是
    发表于 11-13 10:34 2072次阅读
    基于深度学习的3D<b class='flag-5'>点</b><b class='flag-5'>云</b>实例<b class='flag-5'>分割</b><b class='flag-5'>方法</b>

    逆变器的调制方法进阶篇—空间矢量调制SVM

    这篇文章将介绍一种新的调制方法空间矢量调制 (Space Vector Modulation),简称 SVM。
    的头像 发表于 11-09 14:14 1715次阅读
    逆变器的调制<b class='flag-5'>方法</b>进阶篇—<b class='flag-5'>空间</b>矢量调制SVM