0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能正在加快速度从“云端”走向“边缘”

电子森林 来源:51cto 作者:Matthew Stewart 2021-04-04 12:01 次阅读

人工智能AI)正在加快速度从“云端”走向“边缘”,进入到越来越小的物联网设备中。在终端和边缘侧的微处理器上,实现的机器学习过程,被称为微型机器学习,即TinyML。更准确的说,TinyML是指工程师们在mW功率范围以下的设备上,实现机器学习的方法、工具和技术。

过去的十年中,由于处理器速度的提高和大数据的出现,我们见证了机器学习算法的规模呈指数级增长。在TinyML 2020 峰会上,英伟达ARM高通、谷歌、微软、三星公司纷纷展示了微型机器学习的最新成果。本次峰会得出了很多重要结论:

对于很多应用场景,TinyML技术和硬件已经进化到实用性较强的阶段;

无论是算法、网络,还是低于100KB的ML模型,都取得了重大突破;

视觉和音频领域的低功耗需求快速增长。

TinyML 是机器学习和嵌入式 IoT 设备的交叉领域,是一门新兴的工程学科,具有革新许多行业的潜力。

TinyML的主要受益者,是边缘计算和节能计算领域。TinyML源自物联网IoT的概念。物联网的传统做法,是将数据从本地设备发送到云端处理。一些人对这一方式在隐私、延迟、存储和能源效率等方面存在疑虑。

能源效率:无论通过有线还是无线方式,数据传输都非常耗能,比使用乘积累加运算单元(multiply-accumulate units,MAU)的本机计算高出约一个数量级。最节能的做法,是研发具备本地数据处理能力的物联网系统。相对于“以计算为中心”的云模型,“以数据为中心”的计算思想已得到了人工智能先驱者的一些先期探讨,并已在当前得到了应用。

隐私:数据传输中存在侵犯隐私的隐患。数据可能被恶意行为者拦截,并且存储在云等单个位置中时,数据固有的安全性也会降低。通过将数据大部保留在设备上,可最大程度地减少通信需求,进而提高安全性和隐私性。

存储:许多物联网设备所获取的大部分数据是毫无用处的。想象一下,一台安防摄像机每天 24 小时不间断地记录着建筑物的入口情况。在一天的大部分时间中,该摄像机并没有发挥任何作用,因为并没有什么异常情况发生。采用仅在必要时激活的更智能的系统,可降低对存储容量的需求,进而降低需传输到云端的数据量。

延迟:标准的物联网设备,例如 Amazon Alexa,需将数据传输到云来处理,然后由算法的输出给出响应。从这个意义上讲,设备只是云模型的一个便捷网关,类似于和 Amazon 服务器之间的信鸽。设备本身并非智能的,响应速度完全取决于互联网性能。如果网速很慢,那么 Amazon Alexa 的响应也会变慢。自带自动语音识别功能的智能 IoT 设备,由于降低甚至是完全消除了对外部通信的依赖,因此降低了延迟。

上述问题推动着边缘计算的发展。边缘计算的理念就是在部署在云“边缘”的设备上实现数据处理功能。这些边缘设备在内存、计算和功能方面都高度受限于设备自身的资源,进而需要研发更为高效的算法、数据结构和计算方法。

此类改进同样适用于规模较大的模型,在不降低模型准确率(accuracy)的同时,实现机器学习模型效率数个数量级的提高。例如,Microsoft开发的Bonsai算法可小到2 KB,但比通常40MB的kNN算法或是4MB的神经网络具有更好的性能。这个结果听上去可能无感,但如果换句话说——在规模缩小了一万倍的模型上取得同样的准确率,这就十分令人印象深刻了。规模如此小的模型,可以运行在2KB内存的Arduino Uno上。简而言之,现在可以在售价5美元的微控制器上构建此类机器学习模型。

机器学习正处于一个交叉路口,两种计算范式齐头并进,即以计算为中心的计算,和以数据为中心的计算。

在以计算为中心的计算范式下,数据是在数据中心的实例上存储和分析的;而在以数据为中心的计算范式下,处理是在数据的原始位置执行的。

尽管在目前,以计算为中心的计算范式似乎很快会达到上限,但是以数据为中心的计算范式才刚刚起步。

当前,物联网设备和嵌入式机器学习模型日益普及。人们可能并未注意到其中许多设备,例如智能门铃、智能恒温器,以及只要用户说话甚至拿起就可以“唤醒”的智能手机

下面将深入介绍 TinyML 的工作机制,以及在当前和将来的应用情况。

应用领域

目前,TinyML主要的两个重点应用领域是:

关键字发现:大多数人已经非常熟悉此应用,例如“你好,Siri”和“你好,Google”等关键字,通常也称为“热词”或“唤醒词”。设备会连续监听来自麦克风的音频输入,训练实现仅响应与所学关键字匹配的特定声音序列。这些设备比自动语音识别(automatic speech recognition,ASR)更简单,使用更少的资源。Google智能手机等设备还使用了级联架构实现扬声器的验证,以确保安全性。

视觉唤醒词:视觉唤醒词使用图像类似替代唤醒词的功能,通过对图像做二分类表示存在与否。例如,设计一个智能照明系统,在检测到人的存在时启动,并在人离开时关闭。同样,野生动物摄影师可以使用视觉唤醒功能在特定的动物出现时启动拍摄,安防摄像机可以在检测到人活动时启动拍摄。

下图全面展示当前TinyML机器学习的应用概览。

ac9532c4-8e32-11eb-8b86-12bb97331649.jpg

图3 TinyML 的机器学习用例(图片来源:NXP

TinyML工作机制

TinyML 算法的工作机制与传统机器学习模型几乎完全相同,通常在用户计算机或云中完成模型的训练。训练后处理是TinyML真正发挥作用之处,通常称为“深度压缩”(deep compression)。

acc4b8c8-8e32-11eb-8b86-12bb97331649.png

图4 深度压缩示意图(来源:[ArXiv 论文](https://arxiv.org/pdf/1510.00149.pdf))

模型蒸馏(Distillation)

模型在训练后需要更改,以创建更紧凑的表示形式。这一过程的主要实现技术包括剪枝(pruning)和知识蒸馏。

知识蒸馏的基本理念,是考虑到较大网络内部存在的稀疏性或冗余性。虽然大规模网络具有较高的表示能力,但如果网络容量未达到饱和,则可以用具有较低表示能力的较小网络(即较少的神经元)表示。在 Hinton 等人 2015 年发表的研究工作中,将 Teacher 模型中转移给 Student 模型的嵌入信息称为“黑暗知识”(dark knowledge)。

下图给出了知识蒸馏的过程:

acf2522e-8e32-11eb-8b86-12bb97331649.png

图 5 深度压缩过程图

图中Teacher模型是经过训练的卷积神经网络模型,任务是将其“知识”转移给称为Student 模型的,参数较少的小规模卷积网络模型。此过程称为“知识蒸馏”,用于将相同的知识包含在规模较小的网络中,从而实现一种网络压缩方式,以便用于更多内存受限的设备上。

同样,剪枝有助于实现更紧凑的模型表示。宽泛而言,剪枝力图删除对输出预测几乎无用的神经元。这一过程通常涉及较小的神经权重,而较大的权重由于在推理过程中具有较高的重要性而会得到保留。随后,可在剪枝后的架构上对网络做重新训练,调优输出。

ad3e23b6-8e32-11eb-8b86-12bb97331649.png

图6 对蒸馏模型知识表示做剪枝的图示

量化(Quantization)

蒸馏后的模型,需对此后的训练进行量化,形成兼容嵌入式设备架构的格式。

为什么要做量化?假定对于一台Arduino Uno,使用8位数值运算的ATmega328P微控制器。在理想情况下要在Uno上运行模型,不同于许多台式机和笔记本电脑使用32位或64位浮点表示,模型的权重必须以8位整数值存储。通过对模型做量化处理,权重的存储规模将减少到1/4,即从32位量化到8位,而准确率受到的影响很小,通常约1-3%。

ae67ff32-8e32-11eb-8b86-12bb97331649.png

图7 8 位编码过程中的量化误差示意图(图片来源:《[TinyML](https://tinymlbook.com/)》一书)

由于存在量化误差,可能会在量化过程中丢失某些信息。例如在基于整型的平台上,值为3.42的浮点表示形式可能会被截取为3。为了解决这个问题,有研究提出了量化可感知(quantization-aware,QA)训练作为替代方案。QA训练本质上是在训练过程中,限制网络仅使用量化设备可用的值。

霍夫曼编码

编码是可选步骤。编码通过最有效的方式来存储数据,可进一步减小模型规模。通常使用著名的 霍夫曼编码。

编译

对模型量化和编码后,需将模型转换为可被轻量级网络解释器解释的格式,其中最广为使用的就是TF Lite(约500 KB大小)和TF Lite Micro(约20 KB)。模型将编译为可被大多数微控制器使用并可有效利用内存的C 或C++ 代码,由设备上的解释器运行。

aee6da46-8e32-11eb-8b86-12bb97331649.png

图8 TinyML 应用的工作流图(来源:Pete Warden 和 Daniel Situnayake 编写的《[TinyML](https://tinymlbook.com/)》一书)

大多数TinyML技术,针对的是处理微控制器所导致的复杂性。TF Lite和TF Lite Micro非常小,是因为其中删除了所有非必要的功能。不幸的是,它们同时也删除了一些有用的功能,例如调试和可视化。这意味着,如果在部署过程中出现错误,可能很难判别原因。

为什么不在设备上训练?

在设备上进行训练会引入额外的复杂性。由于数值精度的降低,要确保网络训练所需的足够准确率是极为困难的。在标准台式计算机的精度下,自动微分方法是大体准确的。计算导数的精度可达令人难以置信的10^{-16},但是在8 位数值上做自动微分,将给出精度较差的结果。在反向传播过程中,会组合使用求导并最终用于更新神经参数。在如此低的数值精度下,模型的准确率可能很差。

尽管存在上述问题,一些神经网络还是使用了 16 位和 8 位浮点数做了训练。

计算效率如何?

可以通过定制模型,提高模型的计算效率。一个很好的例子就是MobileNet V1 和MobileNet V2,它们是已在移动设备上得到广泛部署的模型架构,本质上是一种通过重组(recast)实现更高计算效率卷积运算的卷积神经网络。这种更有效的卷积形式,称为深度可分离卷积结构(depthwiseseparable convolution)。针对架构延迟的优化,还可以使用基于硬件的概要(hardware-based profiling)和神经架构搜索(neural architecture search)等技术。

新一轮人工智能革命

在资源受限的设备上运行机器学习模型,为许多新的应用打开了大门。使标准的机器学习更加节能的技术进步,将有助于消除数据科学对环境影响的一些担忧。此外,TinyML支持嵌入式设备搭载基于数据驱动算法的全新智能,进而应用在了从 预防性维护 到 检测森林中的鸟叫声 等多种场景中。

尽管继续扩大模型的规模是一些机器学习从业者的坚定方向,但面向内存、计算和能源效率更高的机器学习算法发展也是一个新的趋势。TinyML仍处于起步阶段,在该方向上的专家很少。该方向正在快速增长,并将在未来几年内,成为人工智能在工业领域的重要新应用。

原文标题:TinyML:下一轮人工智能革命

文章出处:【微信公众号:FPGA入门到精通】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1629

    文章

    21729

    浏览量

    603037
  • 人工智能
    +关注

    关注

    1791

    文章

    47208

    浏览量

    238280

原文标题:TinyML:下一轮人工智能革命

文章出处:【微信号:xiaojiaoyafpga,微信公众号:电子森林】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    边缘设备上设计和部署深度神经网络的实用框架

    ‍‍‍‍ 机器学习和深度学习应用程序正越来越多地云端转移到靠近数据源头的嵌入式设备。随着边缘计算市场的快速扩张,多种因素正在推动
    的头像 发表于 12-20 11:28 89次阅读

    19位国际顶尖学者联袂撰写《重新审视边缘人工智能:机遇与挑战》

    19位国际顶尖学者联袂撰写《重新审视边缘人工智能:机遇与挑战》
    的头像 发表于 11-27 01:04 448次阅读
    19位国际顶尖学者联袂撰写《重新审视<b class='flag-5'>边缘人工智能</b>:机遇与挑战》

    嵌入式和人工智能究竟是什么关系?

    理这些数据,提高系统的响应速度和准确性。此外,嵌入式系统还可以为人工智能提供安全和隐私保护,避免数据泄露和攻击。总之,嵌入式系统和人工智能是相辅相成的,它们在许多领域都有广阔的应用前景。 嵌入式系统
    发表于 11-14 16:39

    《AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    幸得一好书,特此来分享。感谢平台,感谢作者。受益匪浅。 在阅读《AI for Science:人工智能驱动科学创新》的第6章后,我深刻感受到人工智能在能源科学领域中的巨大潜力和广泛应用。这一章详细
    发表于 10-14 09:27

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    研究的进程。蛋白质结构预测到基因测序与编辑,再到药物研发,人工智能技术在生命科学的各个层面都发挥着重要作用。特别是像AlphaFold这样的工具,成功解决了困扰生物学界半个多世纪的蛋白质折叠问题,将
    发表于 10-14 09:21

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    的效率,还为科学研究提供了前所未有的洞察力和精确度。例如,在生物学领域,AI能够帮助科学家快速识别基因序列中的关键变异,加速新药研发进程。 2. 跨学科融合的新范式 书中强调,人工智能的应用促进了多个
    发表于 10-14 09:12

    risc-v在人工智能图像处理应用前景分析

    RISC-V在人工智能图像处理领域的应用前景十分广阔,这主要得益于其开源性、灵活性和低功耗等特点。以下是对RISC-V在人工智能图像处理应用前景的详细分析: 一、RISC-V的基本特点 RISC-V
    发表于 09-28 11:00

    紧凑型FPGA解决方案将赢得边缘AI领域中的市场机会

    随着大模型的快速发展,人工智能正在改变嵌入式硬件系统。AI处理重心向边缘转移,已经是行业共识。各类端侧AI应用,也已开始竞相布局。边缘AI
    的头像 发表于 09-12 08:02 607次阅读
    紧凑型FPGA解决方案将赢得<b class='flag-5'>边缘</b>AI领域中的市场机会

    人工智能ai4s试读申请

    目前人工智能在绘画对话等大模型领域应用广阔,ai4s也是方兴未艾。但是如何有效利用ai4s工具助力科研是个需要研究的课题,本书对ai4s基本原理和原则,方法进行描诉,有利于总结经验,拟按照要求准备相关体会材料。看能否有助于入门和提高ss
    发表于 09-09 15:36

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    大力发展AI for Science的原因。 第2章科学研究底层的理论模式与主要困境,以及人工智能三要素(数据、算法、算力)出发,对AI for Science的技术支撑进行解读。 第3章介绍了在
    发表于 09-09 13:54

    报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI

    8月28日至30日,2024深圳(国际)通用人工智能大会暨深圳(国际)通用人工智能产业博览会将在深圳国际会展中心(宝安)举办。大会以“魅力AI·无限未来”为主题,致力于打造全球通用人工智能领域集产品
    发表于 08-22 15:00

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度学习的训练和推理过程。由于其高并行性和低延迟特性
    发表于 07-29 17:05

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2)

    ://t.elecfans.com/v/27185.html *附件:语音对话机器人案例.pdf 人工智能 AI泛边缘智能安防实训 31分38秒 https://t.elecfans.com/v/25509.html
    发表于 05-10 16:46

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V1)

    机器人案例.pdf 人工智能 AI泛边缘智能安防实训 31分38秒 https://t.elecfans.com/v/25509.html *附件:泛边缘案例课.pdf
    发表于 04-01 10:40

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17