资料介绍
描述
这是在使用 32 位浮点精度的微控制器上训练深度学习模型的尝试。我们通过构建一个机器人来实现这一点,该机器人学习如何使用深度强化学习以最小距离跟随最近的障碍物。训练过程的演示可以在这里找到。
训练过程的演示可以在这里找到。该项目的灵感来自于Pete Warden ( Google TensorFlow)、Neil Tan (ARM) 在微控制器上运行神经网络所做的工作。
介绍
实时机器学习 (RTML) 是指主动解释和学习实时到达的数据。它要求代理人根据先前的知识解决不熟悉的问题,并经常做出实时决策。我们在嵌入式系统的开发和部署环境中讨论 RTML。
目前,地球上活跃着近 150 亿个嵌入式处理器,它们收集并有时处理大量数据。这些数据中的大部分都被丢弃了,因为这些微型计算机通常不具备在其上运行复杂解释任务的硬件功能。出于这个原因,数据通过无线网络发送到功能更强大的中央计算机进行处理。但是这种形式的基于云的架构(其中边缘设备仅执行数据收集)可能由于以下原因而变得不利:
- 发送数据需要边缘设备和中央计算机之间的通信。这个过程对处理器来说是非常耗能的,因此只能间歇性地完成
- 由于无线通信协议的设计方式,传输数据时的延迟保证权衡是不可避免的。这可能会严重延迟从数据中采取关键行动的时间。
- 关于数据包从微处理器到达和被微处理器接收所花费的时间,无线通信协议也具有不确定的行为,这对于需要关键响应的任务来说也是非常不希望的。
- 这种不确定的通信链路要求微处理器几乎一直处于活动状态,这是空闲功耗的主要来源之一。
这就是深度学习的力量所在。深度学习算法实现中最大最密集的操作是矩阵乘法,硬件高效实现已经存在并且完全受算术限制。即使使用现有技术,微处理器和 DSP 也能够在不到一毫瓦的情况下处理数千万或数亿次计算,而且更高效的低能耗加速器即将出现。经过训练后,这些模型能够运行复杂的推理任务并保持对噪声的稳健性,这是实时数据的典型特征。通过在边缘设备中加入深度学习功能使边缘设备更智能,将解决所有源于数据交换的问题,并使其成为从现实世界数据中快速做出重要决策的合适且可靠的候选者。设备在部署到现场后还可以进行持续改进。
以下是深度学习框架如何在资源受限的嵌入式系统上开发和运行的一些更广泛的方法:
- 现有算法的内存高效实现
- 低精度量化训练/推理
- 训练期间的低精度乘法
- 使用修剪和霍夫曼编码压缩神经网络
- 使浮点数学对 AI 硬件高效
在本项目中,我们重点介绍第一种方法,并简要介绍第二种方法。据我们所知,这将是第一个开发用于在具有平台独立性的嵌入式系统上训练和运行推理的深度学习库。
使用深度策略梯度网络进行强化学习
有关策略梯度网络的精彩介绍,请参阅本教程。所有用于矩阵操作和实施深度学习算法的库都是用 C++ 自定义编写的。
对于这个项目,网络构建如下:
- 输入层的维度为 1x1。它携带超声波传感器测量到的最近障碍物的距离。
- 隐藏层的维度为 3x1,具有 RELU 激活。
- 输出层的维度为 5x1,具有 softmax 激活,对应于机器人可以行进的 5 种可能速度。
训练在每一集之后进行,其中网络对 5 个动作进行采样,执行它们并存储计算出的奖励。
- 基于强化学习的目标检测算法案例 0次下载
- [ESP32]学习笔记02
- 使用Matlab进行强化学习电子版资源下载 0次下载
- 基于强化学习的虚拟场景角色乒乓球训练 62次下载
- 基于深度强化学习的无人机控制律设计方法 46次下载
- 一种新型的多智能体深度强化学习算法 36次下载
- 基于深度强化学习仿真集成的压边力控制模型 0次下载
- 基于强化学习的壮语词标注方法 14次下载
- 基于深度强化学习的路口单交叉信号控制 21次下载
- 模型化深度强化学习应用研究综述 9次下载
- 机器学习中的无模型强化学习算法及研究综述 11次下载
- 深度强化学习的笔记资料免费下载 0次下载
- ESP32教程之如何在Windows系统上搭建开发环境 40次下载
- 使用加权密集连接卷积网络的深度强化学习方法说明 3次下载
- 如何使用深度强化学习进行机械臂视觉抓取控制的优化方法概述 22次下载
- 通过强化学习策略进行特征选择 210次阅读
- 基于深度强化学习的视觉反馈机械臂抓取系统 1896次阅读
- 使用ESP32实现UDP通信的方法 5723次阅读
- ESP8266/ESP32自动下载原理 4249次阅读
- 如何在ESP32上使用代码运行TensorFlow模型? 4526次阅读
- 深度强化学习给推荐系统以及CTR预估工业界带来的最新进展 8580次阅读
- 多智体深度强化学习研究中首次将概率递归推理引入AI的学习过程 4743次阅读
- 对NAS任务中强化学习的效率进行深入思考 4888次阅读
- 量化深度强化学习算法的泛化能力 2275次阅读
- 如何构建强化学习模型来训练无人车算法 4769次阅读
- 基于强化学习的MADDPG算法原理及实现 2.1w次阅读
- 用PopArt进行多任务深度强化学习 5546次阅读
- 强化学习环境研究,智能体玩游戏为什么厉害 3530次阅读
- 什么是强化学习?纯强化学习有意义吗?强化学习有什么的致命缺陷? 1.7w次阅读
- 斯坦福提出基于目标的策略强化学习方法——SOORL 5269次阅读
下载排行
本周
- 1使用单片机实现七人表决器的程序和仿真资料免费下载
- 2.96 MB | 44次下载 | 免费
- 2Keysight B1500A 半导体器件分析仪用户手册、说明书 (中文)
- 19.00 MB | 4次下载 | 免费
- 3BT134双向可控硅手册
- 1.74 MB | 2次下载 | 1 积分
- 4一种新型高效率的服务器电源系统
- 0.85 MB | 1次下载 | 1 积分
- 5PR735,使用UCC28060的600W交错式PFC转换器
- 540.03KB | 1次下载 | 免费
- 6WTS-100(1.1) UWB 信标定位系统 彩页
- 540.48 KB | 1次下载 | 免费
- 7DV2004S1/ES1/HS1快速充电开发系统
- 2.08MB | 1次下载 | 免费
- 8MATLAB绘图合集
- 27.12 MB | 1次下载 | 5 积分
本月
- 1使用单片机实现七人表决器的程序和仿真资料免费下载
- 2.96 MB | 44次下载 | 免费
- 2UC3842/3/4/5电源管理芯片中文手册
- 1.75 MB | 15次下载 | 免费
- 3DMT0660数字万用表产品说明书
- 0.70 MB | 13次下载 | 免费
- 4ST7789V2单芯片控制器/驱动器英文手册
- 3.07 MB | 11次下载 | 1 积分
- 5TPS54202H降压转换器评估模块用户指南
- 1.02MB | 8次下载 | 免费
- 6STM32F101x8/STM32F101xB手册
- 1.69 MB | 8次下载 | 1 积分
- 7TPS92682-Q1帧定义和示例
- 891.71KB | 6次下载 | 免费
- 8HY12P65/HY12P66数字万用表芯片规格书
- 0.69 MB | 6次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935119次下载 | 10 积分
- 2开源硬件-PMP21529.1-4 开关降压/升压双向直流/直流转换器 PCB layout 设计
- 1.48MB | 420061次下载 | 10 积分
- 3Altium DXP2002下载入口
- 未知 | 233084次下载 | 10 积分
- 4电路仿真软件multisim 10.0免费下载
- 340992 | 191367次下载 | 10 积分
- 5十天学会AVR单片机与C语言视频教程 下载
- 158M | 183335次下载 | 10 积分
- 6labview8.5下载
- 未知 | 81581次下载 | 10 积分
- 7Keil工具MDK-Arm免费下载
- 0.02 MB | 73807次下载 | 10 积分
- 8LabVIEW 8.6下载
- 未知 | 65987次下载 | 10 积分
评论
查看更多