美国陆军研发了一种高效的地面机器人学习模型

美国陆军面向未来多域作战概念研发了一种高效的地面机器人学习模型，该模型提出基于强化学习的策略，可有效减少当前训练强化学习策略的不可预测性，使自主智能体能够推理并适应不断变化的战场条件。

强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习技术具备解决复杂问题的能力，近年来在如围棋、象棋和电子游戏等领域有较为长足的发展。美国陆军将这种强化学习技术应用在地面机器人面临着两个巨大挑战。首先是算法的限制。在强化学习中，策略梯度方法（Policy Gradient Methods）是连续空间可伸缩算法的基础，但是现有技术无法支持更广泛的决策目标，例如风险敏感性、安全约束、对先验知识的探索和发散。其次就是数据量的问题。强化学习需要大量的样本复杂性，而美国陆军多域作战概念和下一代战斗车辆（NGCV）项目目前数据匮乏并不支持现有训练机制。

在陆军多域作战概念和NGCV项目中应用强化学习，训练机制必须提高连续空间中的样本效率和可靠性，ARL通过将现有的策略搜索方案推广到通用工具，取得了重要突破。研究人员为通用程序开发了新的策略搜索方案，并且还确定了其样本复杂度。由此产生的策略搜索方案减少了奖励积累的波动性，形成了对未知领域的有效探索和先验的机制。值得注意的是，地面机器人获取数据的成本很高。减少奖励积累的波动性，确保以有效的方式探索未知领域，或者吸收以前的经验，都将有助于打破强化学习中现行实践的样本效率壁垒。通过减少随机抽样的数量，可以实现策略优化。

这项研究为强化学习中的经典策略梯度定理做出了贡献。装备有强化学习功能的自主机器人将能够协助战士在未来战场上进行侦察探索和风险评估。研究人员下一步计划在强化学习中将更广泛的决策目标纳入多主体设置，并研究强化学习主体之间的交互设置如何在团队之间产生协同和对抗性推理。
责任编辑：YYX