电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
电子发烧友网>电子资料下载>传感与控制>机器人运动控制领域运的难点分析

机器人运动控制领域运的难点分析

2017-09-29 | rar | 0.8 MB | 次下载 | 1积分

资料介绍

  三个难点

  与棋类运动和电脑游戏不同,在机器人运动控制领域运用增强学习方法主要有以下三个难点:

  “高”,即状态和行为维数高。比如让机器人为我们端杯水,需要增强学习算法提供如下的最优运动控制策略:凭借具有深度、鱼眼和普通图像拍摄功能的实感TM摄像头获得图像,分析出人和杯子的方向、距离、姿态以及人的表情,并通过听觉获得人发出命令的方位和急促程度,从而控制机器人(机械腿或底盘)走到人的面前;借助机器人手获得重量、温度、滑动信息,依据人手的方位控制机器人手臂和手指各关节的实时角度。这个过程所涉及的状态和行为的维数以百万计,而对每个状态行为进行价值(如人的满意度)计算也非常困难。

  “大”,即状态信息误差大。棋类运动中的状态(盘面)信息完全准确,但机器人所面对的状态信息,大多存在明显误差。如在递水这个场景中,我们所获得的人和杯子的方向、距离、姿态以及人的表情、动作信息都存在误差。误差可能是由机械振动或机器人运动等因素造成,也可能是因为传感器精度不够高,存在噪声,亦或是由于算法不够精确。这些误差都增加了增强学习的难度。

  “少”,即样本量少。不同于人脸等图像识别任务中动辄百万的训练样本,机器人增强学习可获得的样本数量少、成本高,主要原因是:机器人在运动过程中可能出现疲劳和损坏,还可能会对目标物或环境造成破坏;机器人的参数在运动中会发生改变;机器人运动需要一定的时间;很多机器人学习任务需要人的参与配合(如上述递水场景中需要有人接水)。这些都使得获得大量训练样本十分困难。

  三种解决方法

  面对上述困难,我们难道就无计可施了吗?当然不是,科学家们提出了一整套解决问题的思路,主要有如下三点:

  

  一个融合了“虚、先、近”三种策略的机器人运动控制增强学习框架

  “虚”,即采用虚实结合的技术。我们可以通过程序虚拟出环境让机器人进行预训练,以克服实际采样过程中可能出现的种种难题。虚拟软件不但能模拟机器人的完整运动特性,如有几个关节、每个关节能如何运动等,还能模拟机器人和环境作用的物理模型,如重力、压力、摩擦力等。机器人可以在虚拟环境中先进行增强学习的训练,直到训练基本成功再在实际环境中进一步学习。虚实结合的增强学习主要面临两个挑战。一个是如何保证虚拟环境中的学习结果在实际中仍然有效。面对这一难题,我们可以对虚拟环境与实际环境中的差别进行随机性的建模,在虚拟环境中训练时引入一些噪声。另一个挑战是如何实时获得外部环境和目标的虚拟模型,最新的深度摄像头可以帮助我们解决这个问题。

  “先”,即先验知识。引入先验知识可以大幅降低增强学习优化的难度。先验知识有很多种,但对于机器人而言,获得先验知识比较有效的途径是“学徒学习”,即让机器人模仿人的示教动作,再在应用中通过增强学习优化。由于机器人运动所面临的状态维数极高,通过手工输入知识非常困难,而人做示范则较为方便,还降低了先验知识引入的门槛,不太了解机器人技术的人也可以进行。示教主要有三类方法:一是由人拖动机器手做动作;二是使用专门的运动捕捉设备获得人的动作;三是直接使用深度摄像头获取人的动作。从长远看,第三种方法会成为以后的发展趋势。

  “近”,即近似。由于机器人运动控制的状态维数高、样本少且存在误差,所以将维数高的状态近似为不丢失主要信息又能增加可训练性的函数就成为一项重要的选择。使用近似方法提高增强学习算法性能的一大热点就是将深度学习技术与增强学习相结合所形成的深度增强学习技术,此技术直接将机器人的状态(如传感器和关节状态输入)通过高层的卷积神经网络映射为机器人的动作输出,大大提高了机器人基于增强学习进行运动控制的性能。该技术在近两年来取得了突破性的进展。

  上述解决方法为增强学习在机器人动作控制领域的应用打开了大门,成为机器人研究的重要方向之一,但目前还存在许多实际难题亟待解决。科研人员正在对深度增强学习、学徒学习(模仿学习)和虚实结合学习方面进行一系列探索。

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1TC358743XBG评估板参考手册
  2. 1.36 MB  |  330次下载  |  免费
  3. 2开关电源基础知识
  4. 5.73 MB  |  11次下载  |  免费
  5. 3100W短波放大电路图
  6. 0.05 MB  |  4次下载  |  3 积分
  7. 4嵌入式linux-聊天程序设计
  8. 0.60 MB  |  3次下载  |  免费
  9. 5DIY动手组装LED电子显示屏
  10. 0.98 MB  |  3次下载  |  免费
  11. 6基于FPGA的C8051F单片机开发板设计
  12. 0.70 MB  |  2次下载  |  免费
  13. 751单片机PM2.5检测系统程序
  14. 0.83 MB  |  2次下载  |  免费
  15. 8基于51单片机的RGB调色灯程序仿真
  16. 0.86 MB  |  2次下载  |  免费

本月

  1. 1OrCAD10.5下载OrCAD10.5中文版软件
  2. 0.00 MB  |  234315次下载  |  免费
  3. 2555集成电路应用800例(新编版)
  4. 0.00 MB  |  33566次下载  |  免费
  5. 3接口电路图大全
  6. 未知  |  30323次下载  |  免费
  7. 4开关电源设计实例指南
  8. 未知  |  21549次下载  |  免费
  9. 5电气工程师手册免费下载(新编第二版pdf电子书)
  10. 0.00 MB  |  15349次下载  |  免费
  11. 6数字电路基础pdf(下载)
  12. 未知  |  13750次下载  |  免费
  13. 7电子制作实例集锦 下载
  14. 未知  |  8113次下载  |  免费
  15. 8《LED驱动电路设计》 温德尔著
  16. 0.00 MB  |  6656次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935054次下载  |  免费
  3. 2protel99se软件下载(可英文版转中文版)
  4. 78.1 MB  |  537797次下载  |  免费
  5. 3MATLAB 7.1 下载 (含软件介绍)
  6. 未知  |  420027次下载  |  免费
  7. 4OrCAD10.5下载OrCAD10.5中文版软件
  8. 0.00 MB  |  234315次下载  |  免费
  9. 5Altium DXP2002下载入口
  10. 未知  |  233046次下载  |  免费
  11. 6电路仿真软件multisim 10.0免费下载
  12. 340992  |  191186次下载  |  免费
  13. 7十天学会AVR单片机与C语言视频教程 下载
  14. 158M  |  183279次下载  |  免费
  15. 8proe5.0野火版下载(中文版免费下载)
  16. 未知  |  138040次下载  |  免费