0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

机器人也将拥有和人类一样的触觉分析能力?

中科院长春光机所 来源:机器之心 作者:机器之心 2020-12-23 10:31 次阅读

人类善于利用手指触觉来感知物体的物理特性(包括质量、重心、转动惯量、表面摩擦等),从而完成高难度的控制任务。在不远的将来,机器人也会拥有触觉分析能力。在刚刚结束的机器人顶会 IROS 2020 上,上海交大 & MIT 联合项目 SwingBot 为我们展示了如何让机器人通过触觉传感器来学习感知物体复杂的物理特性(tactile exploration),从而完成一个高难度的甩笔任务(in-hand object swing-up)。该工作也摘得此次大会的最佳论文奖项。

IROS2020 最佳论文奖项。来源 iros2020.org (http://iros2020.org/) 下图为机器人触觉分析的流程通过握着物体旋转一定角度和抖动物体来感知物理特性,从而推断出最佳的控制策略实现甩笔。

该项目通过对多种触觉探索动作的信息融合,让机器人端到端的去学习概括手中物体的物理特性,并依靠这个物理特征来实现高难度的手上控制任务(in-hand swing-up)。更多的详细内容可以访问论文原文和项目主页:

高精度、低成本的触觉传感器 研究人员使用的是一款名为 GelSight 的机器人触觉传感器,该传感器也发明于此 MIT 项目组(指导教授:Edward Adelson)。区别于传统触觉传感器依赖于稀疏的电极阵列(基于电阻 / 电容 ),GelSight 是一个基于光学的触觉传感器,通过一个微型相机来拍摄接触面的三维几何形变,可以返回高精度的触觉信息(见下图是 GelSight 重建的奥利奥饼干表面)。 更值得一提的是,因为只需要一个低成本的微型摄像头和一个树莓派控制器,GelSight 的制作总成本只有 100 美金(700 元),远低于市面上的其他触觉传感器。

GelSight 触觉信息效果图。来源:[2] 在本篇工作中,研究人员将 GelSight 安装在了机器人二爪夹具的一侧,通过在传感器上标定靶点和重建三维信息,高密度的力学反馈可以以每秒60帧的速度实时传输出来。

基于多种触觉探索动作的物理特性分析能力 人类可以通过多种触觉探索动作(触摸、甩、掂量)来概括手上物体的物理特性(重量、光滑程度、重心位置等)[1],而且人类并不需要测量这些物理参数的精确数值,而是用自己的经验结合触觉手感来实现对手中物体高难度的控制。 受这个观察的启发,该项目的研究人员首先提出了一个多触觉探索的信息融合模型(Information fusion model for multiple tactile exploration actions),该模型的目的是整合不同的机器人触觉探索动作信息到一个共同的物理特性特征空间(Physical embedding)中,从而实现对物体多种物理特性(质量、重心位置、转动惯量和摩擦力)的概括能力。

多触觉探索动作的信息融合模型。来源:论文 研究人员为机器人设计了两种基础的探索动作:(1)紧握物体并旋转一定角度(in-hand tilting)和(2)放松紧握状态并抖动物体(in-hand shaking)。动作(1)的触觉反馈信息会通过一个卷积神经网络(CNN)来输出一个一维的特征向量;动作

(2)的抖动因为是时序信息,会用一个循环神经网络(RNN)来处理获得相应的特征。这两个特征信息通过拼接和一个由若干多层感知器(MLP)组成的融合模型进行整合,得到一个低维的物理特征概括(physical feature embedding)。 区别于逐个测量每种不同的物理特性,这种信息整合模型的一大优势是可以根据任务来自主调节对不同物理信息的关注程度,因为很多任务是无法明确分析出是哪一种物理特性起到了主导作用,而使用该方法可以让机器人自主地学习并选择需要的物理信息。此外,这两个触觉探索动作加起来只需要 7 秒的时间,相比于用精密的仪器来逐个测量物体的质量和摩擦力等,该方法的效率也有很大的提升,并且不需要额外的测量仪器的辅助,更接近人类的触觉感知能力。 此外,为了让机器人自主学习选择最需要的物理信息,研究人员接着提出了一个控制预测模型,该模型通过输入先前获得的物理特征向量和机器人控制参数,来预测最终物体会被甩到的角度。在训练过程中,整个流程是用一个端到端(end-to-end)的训练算法来实现的。研究人员设计了一个机器人自动采集数据的系统,并且 3D 打印了可以随意调节物理特性的模型来采集数据,具体如下两个动图所示:

可变物理特性的模板物体。

数据收集流程。 研究人员让机器人自主采集了1350次甩笔的数据,其中包含了27个不同物理特性的物体。在测试的时候,研究人员额外选择了6个训练数据中不包含(unseen)的新物体,机器人需要通过触觉探索模型来确定未知物体的物理特性,并根据任务要求的最终甩到的角度,来选择一套成功率最高的控制参数。 实验成果 研究人员首先对比了使用和不使用多触觉探索融合算法对预测控制模型准确率的影响(数值越低,准确度越高),其中融合算法(Comb.)在已知和未知物体上的预测误差率都远低于不使用触觉信息(None)。此外融合算法(Comb.)的表现也比单一使用一种触觉探索动作(Tilt.: tilting-only, Shak.:shaking-only)的算法效果好。

002ced22-4492-11eb-8b86-12bb97331649.png

以下是机器人在测试过程中,通过使用多触觉探索融合算法来实现对未知物体(unseen objects)的物理特性探索和上甩效果(swing-up)。第一个任务要求将物体上甩至相对于传感器 90 度的角度位置:

第二个任务要求将物体上甩至相对于传感器 180 度的位置:

研究人员紧接着探索融合算法学习到的物理特征空间到底包含哪些信息。他们用一组额外的多层感知器来回归(regression)每一个物理特性的具体参数,并计算误差百分比(数值越低,准确度越高)。 如下表所示,可以发现第一个旋转动作(Tilting)对物体的质量(Mass)、重心(Center of mass)和转动惯量(Moment of inertia)的信息捕捉更准确。而第二个摇晃动作(Shaking)对物体接触部分的摩擦力(Friction)的把握更准。将两种探索动作融合的算法(Combined)取得了最好的回归准确率。

07fde7b8-4492-11eb-8b86-12bb97331649.png

最后研究人员进一步探索所学习到的物理特征空间是如何能够做到对未知物体依然适用的。他们可视化了6个未知物体的数据分布并展示在了下图 (b) 中,其中 x 轴表示控制参数,y 轴表示最终上甩的角度。在图 (a) 中,研究人员用 PCA 提取了每个采样中网络输出的物理特征向量的主成分(2 维)并可视化在这个二维点图中。观察可以发现,如果两个物体的控制策略相近(例如物体 5 和物体 6),他们的物理特征间距也会越近,而两个物体的控制策略相差较大(例如物体 1 和物体 4),则在特征空间上的间距也会更大。

物理特征可视化。

原文标题:机器人也能「甩笔」,拥有触觉分析能力

文章出处:【微信公众号:中科院长春光机所】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2548

    文章

    50664

    浏览量

    751939
  • 机器人
    +关注

    关注

    210

    文章

    28191

    浏览量

    206505
  • 触觉
    +关注

    关注

    0

    文章

    19

    浏览量

    9456

原文标题:机器人也能「甩笔」,拥有触觉分析能力

文章出处:【微信号:cas-ciomp,微信公众号:中科院长春光机所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    这批中国企业,在做人形机器人触觉传感器

    日前,Meta公布了旗下FAIR(基础人工智能研究)团队在机器人触觉感知能力上的最新研究成果。其中包含了款名为Digit 360的高精度传感器,其主要部署在
    的头像 发表于 11-18 18:28 328次阅读

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下个浪潮!

    解和响应人类情感方面的个重要步骤;谷歌的 Atlas 机器人和特斯拉的 Tesla Bot 展 示了在物理能力和智能控制方面的先进成果;丰田的 T-HR3
    发表于 11-11 10:20

    机器人技术的发展趋势

    机器人技术的发展趋势呈现出多元化、智能化和广泛应用的特点。 、智能化与自主化 人工智能(AI)与机器学习 : AI和机器学习在机器人领域的
    的头像 发表于 10-25 09:27 470次阅读

    触觉传感器的发展,对机器人产业有什么影响?

    的传感器,通过测量与环境物理交互产生的信息来工作,为机器人提供了更为精准和灵活的操作能力。本文深入探讨触觉传感器的发展及其在机器人产业中的
    的头像 发表于 10-23 18:25 406次阅读

    解锁机器人视觉与人工智能的潜力,从“盲人机器”改造成有视觉能力机器人(上)

    正如人类依赖眼睛和大脑来解读世界,机器人需要自己的视觉系统来有效运作。没有视觉,机器人就如同蒙上双眼的人类,仅能执行预编程的命令,容易碰撞
    的头像 发表于 10-12 09:56 327次阅读
    解锁<b class='flag-5'>机器人</b>视觉与人工智能的潜力,从“盲人<b class='flag-5'>机器</b>”改造成有视觉<b class='flag-5'>能力</b>的<b class='flag-5'>机器人</b>(上)

    开源项目!用ESP32做个可爱的无用机器人

    巧妙设计的杠杆开关推回“关”位置。这种玩具很常见,许多人已经制作并上传到YouTube上。 作者每年都会挑战自己制作个技术产品,今年他决定制作这个复杂的项目——可爱无用机器人。这个机器人
    发表于 09-03 09:34

    开源项目!用ESP32做个可爱的无用机器人

    巧妙设计的杠杆开关推回“关”位置。这种玩具很常见,许多人已经制作并上传到YouTube上。 作者每年都会挑战自己制作个技术产品,今年他决定制作这个复杂的项目——可爱无用机器人。这个机器人
    发表于 08-30 14:50

    Al大模型机器人

    理解能力强大: AI大模型机器人可以理解和生成自然语言,能够进行复杂的对话和语言任务。它们能够识别语言中的语义、语境和情感,并据此作出适当的回应。广泛的知识储备: 这些模型基于大规模的数据集进行训练,拥有
    发表于 07-05 08:52

    锰芯磁环电感尺寸一样性能一样

    电子发烧友网站提供《锰芯磁环电感尺寸一样性能一样吗.docx》资料免费下载
    发表于 06-03 14:52 0次下载

    其利天下技术·搭载无刷电机的扫地机器人的前景如何?

    将得到进步提升,实现更精准的清洁。同时,电池技术的不断创新将为扫地机器人提供更持久的续航能力,减少用户的使用顾虑。 此外,扫地机器人还有
    发表于 05-05 15:03

    戴盟机器人发布Sparky 1:人形机器人两大阵营已现,要能跑能跳还是要心灵手巧

    搬运机器人后推出的又款突破性“巧手”产品,据悉,该机器人采用新代视触觉传感+灵巧操作技术,旨在帮助
    的头像 发表于 03-22 14:46 414次阅读
    戴盟<b class='flag-5'>机器人</b>发布Sparky 1:人形<b class='flag-5'>机器人</b>两大阵营已现,要能跑能跳还是要心灵手巧

    工业机器人触觉传感器有哪些?传感器作用是什么?

    操纵物体。 触觉传感器是根据其触摸的生物感觉设计的,可以检测机械刺激.刺激温度和疼痛。触觉传感器接收并响应力或物理接触的信号。 系列应用中有几种不同的
    的头像 发表于 03-11 08:39 709次阅读

    新技术让水下机器人拥有触觉

    科研小组巧妙运用了磁弹性效应,结合人造皮肤这种柔软防水材质,完成了触感刺激到电磁场变化,再到电信号的转化流程,使得机器人得以实现触觉感知。
    的头像 发表于 01-09 13:50 499次阅读

    人形机器人柔性触觉传感器的关键技术分析

    内部传感器主要用于监测机器人的内部状态,如位置、速度和加速度,而外部传感器则专注于捕捉距离、声音、光线和触觉机器人外部环境的信息。
    发表于 01-02 14:22 2777次阅读
    人形<b class='flag-5'>机器人</b>柔性<b class='flag-5'>触觉</b>传感器的关键技术<b class='flag-5'>分析</b>

    高动态人形机器人“夸父”通过OpenHarmony 3.2 Release版本兼容性测评

    深圳开鸿数字产业发展有限公司(以下简称”深开鸿“)OpenHarmony生态建设能力和在新兴行业领域的技术创新实力,标志着OpenHarmony在新兴行业领域又向前迈进了步。 夸父人形
    发表于 12-20 09:31