0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

工业机器人抓取时如何去定位呢?

工业机器人 来源:工业机器人 2023-02-28 09:45 次阅读

机器视觉的角度,由简入繁从相机标定,平面物体检测、有纹理物体、无纹理物体、深度学习、与任务/运动规划结合等6个方面深度解析文章的标题。

首先,我们要了解,机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同:机器视觉的目的是给机器人提供操作物体的信息。所以,机器视觉的研究大概有这几块:

1.物体识别(Object Recognition):在图像中检测到物体类型等,这跟 CV 的研究有很大一部分交叉;

2.位姿估计(Pose Estimation):计算出物体在摄像机坐标系下的位置和姿态,对于机器人而言,需要抓取东西,不仅要知道这是什么,也需要知道它具体在哪里;

3.相机标定(Camera Calibration):因为上面做的只是计算了物体在相机坐标系下的坐标,我们还需要确定相机跟机器人的相对位置和姿态,这样才可以将物体位姿转换到机器人位姿。

当然,我这里主要是在物体抓取领域的机器视觉;SLAM 等其他领域的就先不讲了。

由于视觉是机器人感知的一块很重要内容,所以研究也非常多了,我就我了解的一些,按照由简入繁的顺序介绍吧。

一. 相机标定

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿,但是,机器人操作物体需要知道物体在机器人坐标系下的位姿。所以,我们先需要对相机的位姿进行标定。

内参标定就不说了,参照张正友的论文,或者各种标定工具箱;

外参标定的话,根据相机安装位置,有两种方式:

Eye to Hand:相机与机器人极坐标系固连,不随机械臂运动而运动

Eye in Hand:相机固连在机械臂上,随机械臂运动而运动

两种方式的求解思路都类似,首先是眼在手外(Eye to Hand)

b02b5692-b1b8-11ed-bfe3-dac502259ad0.jpg

只需在机械臂末端固定一个棋盘格,在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿A_i 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化E_i 、而末端爪手与棋盘格的位姿相对固定不变。

这样,我们就可以得到一个坐标系环 CX=XD

这种结构的求解有很多方法,

而对于眼在手上(Eye in Hand)的情况,也类似,在地上随便放一个棋盘格(与机器人基座固连),然后让机械臂带着相机走几个位姿,然后也可以形成一个AX=XB 的坐标环。

b039bd40-b1b8-11ed-bfe3-dac502259ad0.jpg

二. 平面物体检测

这是目前工业流水线上最常见的场景。目前来看,这一领域对视觉的要求是:快速、精确、稳定。所以,一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法;而且,为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段,减少系统变量。

目前,很多智能相机(如 cognex)都直接内嵌了这些功能;而且,物体一般都是放置在一个平面上,相机只需计算物体的(x,y,θ)T 三自由度位姿即可。

另外,这种应用场景一般都是用于处理一种特定工件,相当于只有位姿估计,而没有物体识别。

当然,工业上追求稳定性无可厚非,但是随着生产自动化的要求越来越高,以及服务类机器人的兴起。对更复杂物体的完整位姿(x,y,z,rx,ry,rz)T 估计也就成了机器视觉的研究热点。

三.有纹理的物体

机器人视觉领域是最早开始研究有纹理的物体的,如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。

当然,这些物体也还是可以用类似边缘提取+模板匹配的方法。但是,实际机器人操作过程中,环境会更加复杂:光照条件不确定(光照)、物体距离相机距离不确定(尺度)、相机看物体的角度不确定(旋转、仿射)、甚至是被其他物体遮挡(遮挡)。

幸好有一位叫做 Lowe 的大神,提出了一个叫做 SIFT (Scale-invariant feature transform)的超强局部特征点

Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.

具体原理可以看上面这篇被引用 4万+ 的论文或各种博客,简单地说,这个方法提取的特征点只跟物体表面的某部分纹理有关,与光照变化、尺度变化、仿射变换、整个物体无关。

因此,利用 SIFT 特征点,可以直接在相机图像中寻找到与数据库中相同的特征点,这样,就可以确定相机中的物体是什么东西(物体识别)

b09e1de4-b1b8-11ed-bfe3-dac502259ad0.jpg

对于不会变形的物体,特征点在物体坐标系下的位置是固定的。所以,我们在获取若干点对之后,就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。

如果我们用深度相机(如Kinect)或者双目视觉方法,确定出每个特征点的 3D 位置。那么,直接求解这个 PnP 问题,就可以计算出物体在当前相机坐标系下的位姿。

当然,实际操作过程中还是有很多细节工作才可以让它真正可用的,如:先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体(有时候 SIFT 也会变化)、利用贝叶斯方法加速匹配等。

而且,除了 SIFT 之外,后来又出了一大堆类似的特征点,如 SURF、ORB 等。

四. 无纹理的物体

好了,有问题的物体容易解决,那么生活中或者工业里还有很多物体是没有纹理的:

我们最容易想到的就是:是否有一种特征点,可以描述物体形状,同时具有跟 SIFT 相似的不变性?

不幸的是,据我了解,目前没有这种特征点。

所以,之前一大类方法还是采用基于模板匹配的办法,但是,对匹配的特征进行了专门选择(不只是边缘等简单特征)。

这里,我介绍一个我们实验室之前使用和重现过的算法 LineMod:

Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

b10631e0-b1b8-11ed-bfe3-dac502259ad0.jpg


简单而言,这篇论文同时利用了彩色图像的图像梯度深度图像的表面法向作为特征,与数据库中的模板进行匹配。

由于数据库中的模板是从一个物体的多个视角拍摄后生成的,所以这样匹配得到的物体位姿只能算是初步估计,并不精确。

但是,只要有了这个初步估计的物体位姿,我们就可以直接采用 ICP 算法(Iterative closest point)匹配物体模型与 3D 点云,从而得到物体在相机坐标系下的精确位姿。

b1268aa8-b1b8-11ed-bfe3-dac502259ad0.jpg


当然,这个算法在具体实施过程中还是有很多细节的:如何建立模板、颜色梯度的表示等。另外,这种方法无法应对物体被遮挡的情况。(当然,通过降低匹配阈值,可以应对部分遮挡,但是会造成误识别)。

针对部分遮挡的情况,我们实验室的张博士去年对 LineMod 进行了改进,但由于论文尚未发表,所以就先不过多涉及了。

五.深度学习

由于深度学习在计算机视觉领域得到了非常好的效果,我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。

首先,对于物体识别,这个就可以照搬 DL 的研究成果了,各种 CNN 拿过来用就好了。在 2016 年的『亚马逊抓取大赛』中,很多队伍都采用了 DL 作为物体识别算法。

然而, 在这个比赛中,虽然很多人采用 DL 进行物体识别,但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。如周博磊所说,一般是采用 semantic segmentation network 在彩色图像上进行物体分割,之后,将分割出的部分点云与物体 3D 模型进行 ICP 匹配。

当然,直接用神经网络做位姿估计的工作也是有的,如这篇:

Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

b1375464-b1b8-11ed-bfe3-dac502259ad0.jpg


它的方法大概是这样:对于一个物体,取很多小块 RGB-D 数据(只关心一个patch,用局部特征可以应对遮挡);每小块有一个坐标(相对于物体坐标系);然后,首先用一个自编码器对数据进行降维;之后,用将降维后的特征用于训练Hough Forest。

b1488018-b1b8-11ed-bfe3-dac502259ad0.jpg

六. 与任务/运动规划结合

这部分也是比较有意思的研究内容,由于机器视觉的目的是给机器人操作物体提供信息,所以,并不限于相机中的物体识别与定位,往往需要跟机器人的其他模块相结合。

我们让机器人从冰箱中拿一瓶『雪碧』,但是这个 『雪碧』 被『美年达』挡住了。

我们人类的做法是这样的:先把 『美年达』 移开,再去取 『雪碧』 。

所以,对于机器人来说,它需要先通过视觉确定雪碧在『美年达』后面,同时,还需要确定『美年达』这个东西是可以移开的,而不是冰箱门之类固定不可拿开的物体。

当然,将视觉跟机器人结合后,会引出其他很多好玩的新东西。由于不是我自己的研究方向,所以也就不再班门弄斧了。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器视觉
    +关注

    关注

    161

    文章

    4350

    浏览量

    120140
  • 工业机器人
    +关注

    关注

    91

    文章

    3353

    浏览量

    92572
  • pnp
    pnp
    +关注

    关注

    11

    文章

    295

    浏览量

    51727
  • SLAM
    +关注

    关注

    23

    文章

    419

    浏览量

    31789

原文标题:工业机器人抓取时如何定位

文章出处:【微信号:indRobot,微信公众号:工业机器人】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    什么是工业机器人

    机器人的主要技术功能被称为“可编程”和“示教再现”。1962年美国推出的一些工业机器人的控制方式与数控机床大致相似,但外形主要由类似的手和臂组成。后来,出现了具有视觉传感器的、能识别
    发表于 01-19 10:58

    工业机器人经典好书籍——《工业机器人

    的作用。  根据工业机器人的发展趋势,本书在编写内容上略有偏重。对工业机器人的运动学、动力学、基本控制系统等传统内容的介绍比较简洁;对机器
    发表于 02-03 10:51

    工业机器人》,蒋刚编著的,附下载。

    ,对工业机器人的运动学、动力学、基本控制系统等传统内容的介绍比较简洁,对机器视觉、机器听觉和移动机器人的自主
    发表于 06-01 13:12

    工业机器人应用广泛

    和压机的加工设备中。码垛机:工业机器人将瓦楞纸箱或其他包装物品以规定的图案装载到托盘上。机器人码垛机依靠固定位置或具有特殊工具的顶置式龙门架机器人
    发表于 09-07 17:20

    【MYD-CZU3EG开发板试用申请】基于机器视觉的工业机器人抓取工作站

    项目名称:基于机器视觉的工业机器人抓取工作站试用计划:申请理由本人是嘉兴技师学院教师,浙江机器人有限公司技术顾问。在
    发表于 09-18 14:18

    【瑞芯微RK1808计算棒试用申请】基于机器视觉的工业机器人抓取工作站

    项目名称:基于机器视觉的工业机器人抓取工作站试用计划:申请理由 本人是嘉兴技师学院教师,浙江机器人有限公司技术顾问。在
    发表于 09-18 19:24

    工业机器人与视觉实训平台介绍

    抓取、装配、入库等训练,2、工业机器人与视觉实训平台包含六自由度工业机器人、智能视觉检测系统、PLC控制系
    发表于 07-01 06:38

    工业机器人与智能视觉系统应用实训平台介绍

    。可以进行六轴机器人示教、定位抓取、装配等训练,包含六自由度工业机器人、智能视觉检测系统、PLC控制系统及
    发表于 07-01 11:48

    ZN-1AI工业机器人与智能视觉系统应用实训平台介绍

    组合,实现对高速传输线上的不同物料进行快速的检测、组装。为了方便实训教学,系统进行了专门的设计,可以完成各类机器人单项训练和综合性项目训练,可完成各类机器人单项训练和综合性项目训练。可以进行六轴机器人示教、
    发表于 07-01 10:07

    机器人搬运码垛工作站介绍

    对不同物料进行快速的检测、组装。为了方便实训教学,系统进行了专门的设计,可以完成各类机器人单项训练和综合性项目训练,可完成各类机器人单项训练和综合性项目训练。可以进行六轴机器人示教、定位
    发表于 07-01 08:20

    工业机器人应用编程考核设备分享

    机器人1、机器人本体1)具有6个自由度,串联关节型工业机器人;2)重复定位精度:±0.01mm;3)承重能力:3kg;4)水平到达距离: ≥
    发表于 07-01 11:06

    工业机器人视觉装配实训平台实验

    组成(台皮带线输送模组、视觉定位及检测模组、码垛模组、装配模组、打螺丝模组、取料模组、机器人TCP标定模组、PC模组等)。通过对该工业机器人视觉装配实训平台的6关节
    发表于 07-01 12:05

    机器人的定义是什么?工业机器人的应用有哪些?

    机器人的定义是什么?机器人优点和缺点是什么?机器人是由哪些部分组成的?工业机器人的应用有哪些?
    发表于 07-05 06:48

    如何对ROS机器人定位导航进行仿真

    怎样实现ROS机器人定位导航?如何对ROS机器人定位导航进行仿真?
    发表于 12-23 09:22

    基于视觉的机器人抓取系统设计

    抓取综合方法是机器人抓取问题的核心,本文从抓取检测、视觉伺服和动态抓取等角度进行讨论,提出了多种抓取
    的头像 发表于 08-19 17:19 1784次阅读
    基于视觉的<b class='flag-5'>机器人</b><b class='flag-5'>抓取</b>系统设计