0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何优化ML模型与硬件实现TinyML?Arm归纳出5种作法

jf_cVC5iyAO 来源:易心Microbit编程 2023-01-07 09:20 次阅读

近几年,因应AI与ML应用趋势浪潮,越来越多企业开始尝试将这样的能力带到靠近数据源的边缘设备或IoT装置,来发展各种Edge AI或AIoT应用。例如结合语音指令来控制机器人作业,或是透过AI边缘摄影机来侦测机台设备有无故障。但受限于CPU效能、数据吞吐量、内存及数据储存的影响,想要在资源有限的IoT或嵌入式装置跑AI或ML推论模型,现在仍然不是一件容易的事。

近年来,一种微型机器学习新技术TinyML顺势而起,试图从优化硬件或模型来实现装置上的AI或ML应用,让ML的推论功能能够在资源有限的终端装置上来实现,可说是加速实现Edge AI或AIoT应用的重要关键。

TinyML是什么?引用GoogleTensorflow 行动部门负责人Pete Warden的定义,指的是每次执行ML模型推论时,其功耗必须小于1毫瓦(1mW)。

除了考虑到功耗,运算力不足也是实现Edge AI或AIoT应用的关键问题。以Inception v4深度学习模型为例,硬件能力需要的运算量就有240个GOPS(每秒执行10亿次运算) 但一般singleissue处理器,仅提供个位数的GOPS,甚至不只运算能力,连在内存中存取数据也会影响功耗,例如要从SRAM高速缓存来存取1TB的数据,一颗16奈米CPU每秒所消耗的功耗就超过1瓦。这些都是TinyML的挑战。

现阶段TinyML技术发展,主要是从ML模型与硬件优化来实现低功耗装置上的ML应用。归纳起来实现TinyML的5种常见ML模型架构和优化的方法,包括降低精度(Reduce Precision)、数据重复利用(Data re-use)、权重压缩(Weight compression)、转换(Transforms)、稀疏运算(Sparse computation)。

第一种作法是转换ML模型及权重的数据单元格式,来降低推论执行所需的运算量,例如将模型的权重从高精度FP32转成较低精度的FP16或INT8格式。因ML模型需要很多乘加法运算,而高精度ML模型又比低精度ML模型需要的运算量更高,也因此,改用较低精度的ML模型来执行运算,能大幅降低功耗,甚至因运算数据变少,也能因应更高的吞吐量需求。这是第一个可以运用到TinyML的方法。

除了从数据单元格式着手,减少数据重复使用是另一个可行方法。例如可以将CNN神经网络模型中经常重复使用的权重参数的数值,暂时集中存放到一处,不用每次都从内存来捞取数据,减少不必要任务处理,也能达到降低功耗的作用。

由于现在神经网络模型体积越来越大,结构越来越复杂,因推论执行需处理的模型参数数量也就越多,大量使用内存来存放这些庞大数据,也造成了不少功耗的损失,也因此有了第3种作法是,透过权重压缩技术,对于存入内存前的权重参数先进行压缩,需要时再解压缩拿来使用,,这样做好处是,一来可以减少内存的用量,二来能获得更高的带宽和更低功耗。

第4种作法则是采用转换矩阵运算domain的方式,来降低乘法运算的复杂度。一般AI或ML模型运算过程有6成以上都是矩阵的乘法运算,所以只要让乘法运算变少,就能减少运算量,这是能够降低运算和功耗的另一种方式。例如将复杂的矩阵运算domain转换到较简易Winograd卷积算法的domain做运算,就能降低乘法运算的复杂度。

最后一种方法是稀疏运算,像是运用Relu的激励函数,在CNN模型运算过程中,使其部分神经元的输出为零,可以让神经网络变得稀疏,在运算时只针对激励函数输入数值非零部分做运算,不处理数值为零的部分,透过这样的处理方式,同样能达到运算量与功耗降低的效果。

除了优化ML模型和架构外,现在硬件设计过程中,也有一些新作法,来因应TinyML需求。常见3种TinyML硬件平台,前两种是以低功耗和AI加速或优化的硬件设计为主,包括有低功耗通用SoC、低功耗micro-NPU,可分别对应到Arm Cortex-M55与Arm Ethos-U55系列IP产品。Arm Cortex-M55最大特色是支持最新的向量扩充指令,与Cortex-M44相比,在语音模型处理性能表现高出8倍之多。Arm Ethos-U55是ARM推出的另一款神经网络处理器IP产品,不仅省电,在AI处理效能获得百倍提升,甚至最新一款Arm Ethos-U6产品中,其运算能力可达到1 TOPS。

其中第3种硬件平台是采取内存运算的硬件架构平台,如Mythic IPU处理器等,就是采用闪存内运算来执行ML推论,足以支撑113M (百万)权重数量和每瓦4 TOPs运算能力。

目前TinyML技术上遇到的挑战,越来越多AI与ML应用,开始追求更高准确度,需要使用资源越来越多,包括运算、内存、功耗等,「但TinyML却又是要在有限资源下来实现或执行不同的模型或神经网络,这就是最大的Gap。」

举例来说,想要提高神经网络模型准确度,除了需要有大量的数据做训练,数据量越大需要做的矩阵运算就更多,还有大量的参数需要调整,而且随着架构越复杂,需要做很多层神经网络计算,使用海量存储器存取数据、参数和每一层计算结果。

尽管TinyML发展才刚起步,随着AIoT或Edge AI应用越来越火红,未来将会有越来越多嵌入式装置结合AI或ML功能,想要真正实现TinyML,这些装置硬件必须具备每秒兆次(trillions)的乘加法运算能力,而且这样的运算能力须考虑到硬件空间设计,还有兼顾功耗才行。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ARM
    ARM
    +关注

    关注

    134

    文章

    9021

    浏览量

    366382
  • ML
    ML
    +关注

    关注

    0

    文章

    144

    浏览量

    34574
  • 机器学习
    +关注

    关注

    66

    文章

    8340

    浏览量

    132277
  • TinyML
    +关注

    关注

    0

    文章

    42

    浏览量

    1210

原文标题:如何优化ML模型与硬件实现TinyML?Arm归纳出5种作法

文章出处:【微信号:易心Microbit编程,微信公众号:易心Microbit编程】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ML307A 4G模组硬件设计手册

    基于ML307A  4G模组的硬件设计指导手册
    发表于 10-24 16:50 0次下载

    AI大模型的性能优化方法

    AI大模型的性能优化是一个复杂而关键的任务,涉及多个方面和策略。以下是一些主要的性能优化方法: 一、模型压缩与优化
    的头像 发表于 10-23 15:01 306次阅读

    TI Arm内核三角函数的优化

    电子发烧友网站提供《TI Arm内核三角函数的优化.pdf》资料免费下载
    发表于 09-11 09:19 0次下载
    TI <b class='flag-5'>Arm</b>内核三角函数的<b class='flag-5'>优化</b>

    如何利用ARMxy ARM嵌入式计算机的NPU进行深度学习模型的训练和优化

    在正文开始前,我们先大致了解钡铼的ARMxy ARM嵌入式计算机,再来说说我们如何利用ARMxy ARM嵌入式计算机的NPU来实现深度学习模型的训练和
    的头像 发表于 08-20 13:43 270次阅读
    如何利用ARMxy <b class='flag-5'>ARM</b>嵌入式计算机的NPU进行深度学习<b class='flag-5'>模型</b>的训练和<b class='flag-5'>优化</b>?

    优化 FPGA HLS 设计

    迭代优化,只要每次迭代都显示改进,就会不断重复。如果达到时间目标或未能显示改进,它最终将自动停止。 经过两轮优化
    发表于 08-16 19:56

    如何训练一个有效的eIQ基本分类模型

    在 MCX CPU和eIQ Neutron NPU上。 eIQPortal它是一个直观的图形用户界面(GUI),简化了ML开发。开发人员可以创建、优化、调试和导出ML模型,以及导入数据
    的头像 发表于 08-01 09:29 1670次阅读
    如何训练一个有效的eIQ基本分类<b class='flag-5'>模型</b>

    深度学习的模型优化与调试方法

    深度学习模型在训练过程中,往往会遇到各种问题和挑战,如过拟合、欠拟合、梯度消失或爆炸等。因此,对深度学习模型进行优化与调试是确保其性能优越的关键步骤。本文将从数据预处理、模型设计、超参
    的头像 发表于 07-01 11:41 631次阅读

    基于助听器开发的一高效的语音增强神经网络

    的方法,由于帧和因果模型之间有50%的重叠,处理每帧的计算延迟约束为10ms。 HA形式因素强加了另一组约束,特别是在结合帧处理需求时。由于其体积小,采用了单片机(MCU)硬件平台。MCU实现了廉价
    发表于 06-07 11:29

    深度学习编译工具链中的核心——图优化

    、或优化数据流动,来提高模型推理的性能。图优化的出现很大程度上是因为算法开发人员不熟悉硬件,在算法层面上可以灵活表达的一计算方式,在
    的头像 发表于 05-16 14:24 729次阅读
    深度学习编译工具链中的核心——图<b class='flag-5'>优化</b>

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加速AI / ML网络验证和优化的创新。
    的头像 发表于 02-29 09:32 565次阅读
    是德科技推出AI数据中心测试平台旨在加速AI/<b class='flag-5'>ML</b>网络验证和<b class='flag-5'>优化</b>的创新

    使用ml configurator进行tflite网络模型的转换不成功怎么解决?

    使用ml configurator进行tflite网络模型的转换不成功,提示错误,请帮忙协助谢谢 [ERROR] Failed to run QEMU
    发表于 01-31 06:56

    深入探讨工业AI/ML技术的发展趋势及相关解决方案

    芯科科技已经创建了一套完整的硬件和软件解决方案,可支持开发用于工业市场的工业AI/ML解决方案。具体来说,我们的Sub-GHz、蓝牙和802.15.4产品内置了硬件加速功能,可优化边缘
    的头像 发表于 01-29 09:42 446次阅读

    【先楫HPM5361EVK开发板试用体验】:4、TinyML测试(1)

    设备的资源限制。此外,TinyML还依赖于优化的推理引擎和针对嵌入式设备的硬件加速器,以实现高效的模型推理。
    发表于 12-22 10:12

    模型+多模态的3实现方法

    我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上引入跨模态的信息,让其变得更强大、更通用呢?本节将介绍“大模型+多模态”的3实现
    的头像 发表于 12-13 13:55 1576次阅读
    大<b class='flag-5'>模型</b>+多模态的3<b class='flag-5'>种</b><b class='flag-5'>实现</b>方法

    基于深度学习的情感语音识别模型优化策略

    基于深度学习的情感语音识别模型优化策略,包括数据预处理、模型结构优化、损失函数改进、训练策略调整以及集成学习等方面的内容。
    的头像 发表于 11-09 16:34 630次阅读