0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Model-based基于模型的方法

工业机器人 来源:工业机器人 作者:工业机器人 2020-07-01 14:15 次阅读

机器人学习中的经典问题之一便是分拣:在一堆无序摆放的物品堆中,取出目标物品。在快递分拣员看来,这几乎是一个不需要思考的过程,但对于机械臂而言,这意味着复杂的矩阵计算。

事实上,对于人类需要耗费大量时间的数理难题,用智能系统处理起来就显得十分容易,但在几乎不需要思考的情况下就能做出的分选动作,则是全世界机机器人研究专家关注的热点。

机械臂抓取需要确定每段机械臂的位姿

首先,机械臂需要视觉伺服系统,来确定物体的位置,根据末端执行器(手)和视觉传感器(眼)的相对位置,可分为Eye-to-Hand和Eye-in-Hand两种系统。

Eye-to-Hand的分离式分布,视野固定不变,如果相机的标定精度高的话,那么视觉定位于抓取的精度也越高。

Eye-in-Hand则将机械臂与视觉传感器固定在一起,视野随机械臂的移动而改变,传感器越近时精度越高,但过于靠近时则可能使目标超出视野范围。

精密的视觉系统与灵活机械臂的配合,才能完成一次完美的抓取,而这正是当前机器人操作中的核心难题,归纳起来就是这么一件事:找到合适的抓取点(或吸附点),抓住它。之后的转运执行,则属于运动规划的分支。

目前几种主流的解决方案

Model-based(基于模型的方法)

这种方法很好理解,即知道要抓什么,事先采用实物扫描的方式,提前将模型的数据给到机器人系统,机器在实际抓取中就只需要进行较少的运算:

1. 离线计算:根据搭载的末端类型,对每一个物体模型计算局部抓取点;

2. 在线感知:通过RGB或点云图,计算出每个物体的三维位姿;

3. 计算抓取点:在真实世界的坐标系下,根据防碰撞等要求,选取每个物体的最佳抓取点。

RGB颜色空间由红绿蓝三种基本色组成,叠加成任意色彩,同样地,任意一种颜色也可以拆解为三种基本色的组合,机器人通过颜色坐标值来理解“颜色”。这种方式与人眼识别颜色的方向相似,在显示屏上广泛采用。

CGrasp 对精密轴承的无序抓取

Half-Model-based(半模型的方法)

在这种训练方式中,不需要完全预知抓取的物体,但是需要大量类似的物体来训练算法,让算法得以在物品堆中有效对图像进行“分割”,识别出物体的边缘。这种训练方式,需要这些流程:

1.离线训练图像分割算法,即把图片里的像素按物体区分出来,此类工作一般由专门的数据标注员来处理,按工程师的需求,标注出海量图片中的不同细节;

2.在线处理图像分割,在人工标注出的物体上,寻找合适的抓取点。

这是一种目前应用较为广泛的方式,也是机械臂抓取得以推进的主要推力。机械臂技术发展缓慢,但计算机视觉的图像分割则进展迅速,也从侧面撬动了机器人、无人驾驶等行业的发展。

Model-free(自由模型)

这种训练方式不涉及到“物体”的概念,机器直接从RGB图像或点云图上计算出合适的抓取点,基本思路就是在图像上找到Antipodal(对映点),即有可能“抓的起来”的点,逐步训练出抓取策略。这种训练方式往往让机器手大量尝试不同种类的物品,进行self-supervisedlearning,Google的Arm Farm,即为其中的代表之一。

Google Arm Farm

值得注意的是,对于机械手而言,不同形状的物品,抓取难度有天壤之别。即便是同样形状的物体,由于表面反光度和环境光照的影响,在不同场景的抓取难度也大相径庭。从实验室到商业落地,其中有相当一段路要走。

高精密度的相机研发,是机器人“感知”物体的第一步。

实际商业场景中,最麻烦的物体总是“下一个物体”。工业机器人要真正融入实际生产体系,只有具备聪明的大脑,针对不同工况做出柔性的调整,才能拓宽工业机器人的使用场景。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50395

    浏览量

    750734
  • 机器人
    +关注

    关注

    210

    文章

    28063

    浏览量

    205755
  • 机械臂
    +关注

    关注

    12

    文章

    506

    浏览量

    24447
收藏 人收藏

    评论

    相关推荐

    AI大模型的性能优化方法

    AI大模型的性能优化是一个复杂而关键的任务,涉及多个方面和策略。以下是一些主要的性能优化方法: 一、模型压缩与优化 模型蒸馏(Model D
    的头像 发表于 10-23 15:01 301次阅读

    opa861的PSpice model下载完解压出来的.sub文件如何使用?

    opa861芯片的PSpice model下载完解压出来的.sub文件如何使用?opa861有没有TINA的.tsm模型啊??
    发表于 09-10 06:43

    下载官网上的Pspice模型“LMH7322 PSpice Model”,用ORCAD17.2打开后,运行仿真老是出错,为什么?

    我想用LMH7322型双比较器做一个设计,下载了官网上的Pspice模型“LMH7322 PSpice Model”,打开后有几个文件,用ORCAD17.2打开后,运行仿真老是出错,请问是什么问题啊?没有对文件做任何改动
    发表于 08-23 08:14

    请问Pspice Model可以用于Multism电路仿真吗?

    我想用Multism仿真一个电路,但是Multism自带的库中没有电路设计所用的芯片的模型,我在TI芯片资料中下载的Pspice Model可以用于Multism电路仿真吗?例如,THS4522这款芯片。
    发表于 08-22 07:29

    LM339官网TINA-TI spice模型仿真参考设计TSC与插入TSM模型仿真结果不一致,为什么?

    官网LM339 产品首页下载TINA-TI spice模型文件: LM2901 TINA-TI SPICE Model (Rev. A) LM2901 TINA-TI SPICE Model
    发表于 08-02 08:36

    python训练出的模型怎么调用

    在Python中,训练出的模型可以通过多种方式进行调用。 1. 模型保存与加载 在Python中,训练好的模型需要被保存,以便在其他程序或会话中使用。以下是一些常用的模型保存和加载
    的头像 发表于 07-11 10:15 1406次阅读

    如何使用Tensorflow保存或加载模型

    继续训练也是必要的。本文将详细介绍如何使用TensorFlow保存和加载模型,包括使用tf.keras和tf.saved_model两种主要方法
    的头像 发表于 07-04 13:07 1109次阅读

    使用esp-dl中的example量化我的YOLO模型时,提示ValueError: current model is not supported by esp-dl错误,为什么?

    使用esp-dl中的example量化我的YOLO模型时,提示:ValueError: current model is not supported by esp-dl 错误, 请看我的代码和模型
    发表于 06-28 06:47

    防止AI大模型被黑客病毒入侵控制(原创)聆思大模型AI开发套件评测4

    ,触发了\"on_modified\"这个技能(方法)。 if event.src_path.endswith(\'.model\'):# 检查是不是模型文件被改了,就像检查是不是
    发表于 03-19 11:18

    模型Reward Model的trick应用技巧

    借助对比学习和元学习的方法。增加对比学习的loss,对比学习通过增强模型区分能力,来增强RM的对好坏的区分水平。元学习则使奖励模型能够维持区分分布外样本的细微差异,这种方法可以用于迭代
    发表于 01-25 09:31 827次阅读
    大<b class='flag-5'>模型</b>Reward <b class='flag-5'>Model</b>的trick应用技巧

    混合专家模型 (MoE)核心组件和训练方法介绍

    随着 Mixtral 8x7B (announcement, model card) 的推出,一种称为混合专家模型 (Mixed Expert Models,简称 MoEs
    的头像 发表于 01-13 09:37 1134次阅读
    混合专家<b class='flag-5'>模型</b> (MoE)核心组件和训练<b class='flag-5'>方法</b>介绍

    【爱芯派 Pro 开发板试用体验】人体姿态估计模型部署前期准备

    部署模型的整体架构。接下来就回到最开始定的主线上了——人体姿态估计。这篇文章就是记录对一些轻量化人体姿态估计模型的调研,和前期准备。 1、人体姿态估计任务介绍 下面对人体姿态估计任务做一个简单的介绍
    发表于 01-01 01:04

    SegRefiner:通过扩散模型实现高精度图像分割

    一类常见的 Refinement 方法Model-Specific 的,其通过在已有分割模型中引入一些新模块,从而为预测 Mask 补充了更多额外信息,从而增强了已有模型对于细节的
    的头像 发表于 12-28 11:24 1361次阅读
    SegRefiner:通过扩散<b class='flag-5'>模型</b>实现高精度图像分割

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    的通用开发流程中涉及的一些接口,具体请见下列表格。 Context 相关接口 Model 相关接口 Tensor 相关接口 开发步骤 使用 MindSpore Lite 进行模型推理的开发流程
    发表于 12-14 11:41

    TorchScript model与eager model的性能区别

    JIT Trace torch.jit.trace使用eager model和一个dummy input作为输入,tracer会根据提供的model和input记录数据在模型中的流动过程,然后将整个
    的头像 发表于 11-08 17:08 781次阅读
    TorchScript <b class='flag-5'>model</b>与eager <b class='flag-5'>model</b>的性能区别