0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何克服阿姆达尔(Amdahl)定律的影响?

瑞萨MCU小百科 来源:Arm 社区 2024-03-13 13:52 次阅读

RA8系列是瑞萨电子推出的全新超高性能产品业界首款基于Arm Cortex-M85处理器MCU,能够提供卓越的6.39 CoreMark/MHz,可满足工业自动化、家电、智能家居消费电子、楼宇/家庭自动化、医疗等广泛应用的各类图形显示和语音/视觉多模态AI要求。

所有RA8系列MCU均利用Arm Cortex-M85处理器和Arm的Helium技术所带来的高性能,结合矢量/SIMD指令集扩展,能够在数字信号处理器(DSP)和机器学习(ML)的实施方面获得相比Cortex-M7内核高4倍的性能提升。

人工智能 (AI) 下沉到各式各样的应用当中,作为市场上最大量的物联网设备也将被赋予智能性。ArmHelium 技术正是为基于Arm Cortex-M 处理器的设备带来关键机器学习与数字信号处理的性能提升。

Arm Helium 技术诞生的由来

在前几篇文章中,我们介绍了采用 Arm Helium 技术(也称为 MVE)的 Armv8.1-M 架构如何处理矢量指令。但问题是,每当代码被矢量化时,Amdahl 定律的影响很快便会显现,让人措手不及。如果您不了解 Amdahl 定律,可以简单理解为,Amdahl 定律表明算法中无法并行化的部分很快就会成为性能瓶颈。例如,如果有 50% 的工作负载可以并行化,那么即使这部分工作负载可以无限并行,最多也只能将速度提高二倍。不知您作何感受,如果我能将某件事情无限并行化,但速度却只能提升二倍,这种微不足道的提升一定会让我感到非常恼火!在设计 Helium 时,我们必须考虑矢量指令及其相关联的一切内容,这样才能最大限度地提高性能。

串行代码在循环处理中很常见,串行代码造成的开销可能相当大,特别是对于小循环。下面的内存复制代码就是一个很好的例子:

e7142350-e0f6-11ee-a297-92fbcf53809c.png

循环迭代计数的递减和返回循环顶端的条件分支占循环指令的 50%。许多小型 Cortex-M 处理器没有分支预测器(小型 Cortex-M 处理器的面积效率极高,这意味着许多分支预测器比整个 Cortex-M 处理器还要大几倍)。因此,由于分支损失,运行时开销实际上高于 50%。通过在多次迭代中摊销开销,循环展开可以帮助减少开销,但会增加代码大小,并使代码的矢量化过程更加复杂。鉴于许多 DSP 内核都有小循环,因此在 Helium 研究项目中解决这些问题至关重要。许多专用 DSP 处理器支持零开销循环。一种实现方法是使用 REPEAT 指令,告诉处理器将下面的指令重复 N 次:

e722480e-e0f6-11ee-a297-92fbcf53809c.png

处理器必须记录多项数据:

循环开始的地址

需要分支回到循环开始前所剩余的指令数

剩余的循环迭代次数

在处理中断时,跟踪记录所有这些数据可能会造成问题,因此一些 DSP 只需要延迟中断,直到循环完成。如果要执行大量的迭代,这可能需要相当长的时间,而且完全不符合 Cortex-M 处理器应该实现的快速和确定性中断延迟的需求。这种方法也不适用于处理精确故障,如权限违规导致的内存管理故障异常 (MemManage)。另一种方法是增加额外的寄存器来处理循环状态。但这些新寄存器必须在异常进入和返回时保存和恢复,而这又会增加中断延迟。为了解决这个问题,Armv8.1-M 采用了一对循环指令:

e751b756-e0f6-11ee-a297-92fbcf53809c.png

该循环首先执行 While Loop Start (WLS) 指令,该指令将循环迭代计数复制到 LR,循环迭代计数为零时,分支到循环结束。还有一条 Do Loop Start (DLS) 指令,可用于设置一个循环,在该循环中至少始终执行一次迭代。Loop End (LE) 指令检查 LR 以确认是否还需要一次迭代,如果需要,则分支返回起点。有趣的是,处理器可以缓存 LE 指令提供的信息(即循环开始和结束的位置),因此在下一次迭代时,处理器甚至可以在获取 LE 指令之前分支回到循环的起点。因此,处理器执行的指令序列如下所示:

e75c72d6-e0f6-11ee-a297-92fbcf53809c.png

在循环末尾添加循环指令有一个很好的副作用,如果缓存的循环信息刷新,该指令将重新执行。然后,重新执行 LE 指令将重新填充缓存。如下图所示,由于无需保存循环开始和结束地址,因此现有的快速中断处理功能得以保留。

e7668550-e0f6-11ee-a297-92fbcf53809c.png

除了第一次迭代和从中断恢复时的一些设置外,所有时间实际上都花在了内存复制而不是循环处理上。此外,由于处理器事先知道指令的顺序,因此总能用正确的指令填充流水线。这样就消除了流水线清空和由此导致的分支损失。因此,我们可以将这一循环矢量化,不必再担心 Amdahl 定律的影响,我们(暂时)克服了这些困难。

在对代码进行矢量化时,一个循环通常以不同类型的指令开始和结束,例如矢量加载 (VLDR) 和矢量乘加 (VMLA)。执行这样的循环时,会产生一长串不间断的交替 VLDR/VMLA 操作(如下图所示)。这种不间断的链条使处理器能够从指令重叠中获得最大益处,因为它甚至可以从一个循环迭代结束重叠到下一个迭代开始,从而进一步提高性能。关于指令重叠的更多信息,可参阅:《Arm Helium 技术诞生的由来:为何不直接采用 Neon?》

e7818ada-e0f6-11ee-a297-92fbcf53809c.png

当需要处理的数据量不是矢量长度的倍数时,矢量化代码就会出现问题。典型的解决方案是先处理全矢量,然后用一个串行/非矢量化尾部清理循环来处理剩余的元素。不知不觉中,Amdahl 定律又出现了,真是令人不胜其烦!Helium 中的矢量可容纳 16 个 8 位数值,因此在我们对 31 字节的 memcpy 函数进行矢量化时,仅有不到一半的拷贝将由尾部循环连续执行,而不是由矢量指令并行执行。

为了解决这个问题,我们增加了循环指令的尾部预测变体(如 WLSTP、LETP)。对于这些尾部预测循环,LR 保存的是要处理的矢量元素的个数,而不是要执行的循环迭代的次数。循环开始指令 (WLSTP) 有一个大小字段(下面 memcpy 函数示例中的“.8”),用于指定要处理的元素的宽度。

e79197e0-e0f6-11ee-a297-92fbcf53809c.png

如果您曾见过其他优化的 memcpy 例程,可能会对这个例子的简单程度感到惊讶,但对于 Helium 来说,这已经是最好的完全矢量化解决方案所需要的一切了。具体工作原理如下:处理器使用大小字段和剩余元素的数量来计算剩余迭代次数。如果最后一次迭代要处理的元素个数少于矢量长度,则矢量末尾相应数量的元素将被禁用。

因此,在上文复制 31 个字节的例子中,Helium 会在第一次迭代时并行复制 16 个字节,然后在下一次迭代时并行复制 15 个字节。这不仅可以避免 Amdahl 定律的影响,实现该有的性能,还可以完全消除串行尾码,减少代码量,简化开发过程。

由于面临高性能目标和严格的面积/中断延迟限制,我们在设计 Helium 时就像在设计一个多维拼图,且其中一半的形状是已经固定的。架构中看似毫不相干的部分可以相互作用,产生意想不到的效果或助力解决一些有趣的难题。

整个 Helium 研究团队和我都无比期待看到 Helium 技术能够为全新的应用带来有力的支持。目前 Cortex-M 已有三款产品支持 Helium 技术——Cortex-M52、Cortex-M55 和 Cortex-M85,我迫不及待看到 Helium 技术持续赋能我们生态伙伴的 AI 创新应用。


审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19118

    浏览量

    228872
  • 寄存器
    +关注

    关注

    31

    文章

    5302

    浏览量

    119873
  • 人工智能
    +关注

    关注

    1791

    文章

    46699

    浏览量

    237215
  • 机器学习
    +关注

    关注

    66

    文章

    8357

    浏览量

    132335
  • Cortex-M85
    +关注

    关注

    0

    文章

    13

    浏览量

    527

原文标题:Helium技术讲堂 | 克服Amdahl定律的影响

文章出处:【微信号:瑞萨MCU小百科,微信公众号:瑞萨MCU小百科】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    科技便携式节能速热恒温电烙铁试用体验】开箱收件

    `恒温电烙铁收到了,CL-018GE恒温电烙铁是科技针对环保无铅焊接工艺,结合手工焊接烙铁的特性,综合考虑,潜心为电子焊接量身打造的一款高性能,高品质,价廉物美的新一代恒温烙铁,具有很好
    发表于 02-24 14:49

    科技便携式节能速热恒温电烙铁免费试用】开箱与鸣谢

    ` 本帖最后由 可乐丸子 于 2021-2-25 15:44 编辑 感谢电子发烧友和深圳科技提供这次便携式速热节能恒温电烙铁的试用活动,这次有幸获得这款做工精致的便携式节能速热恒温电烙铁
    发表于 02-25 14:17

    科技便携式节能速热恒温电烙铁免费试用】焊接1.25mm排针

    `今天测试使用科技便携式节能速热恒温电烙铁焊接1.25mm排针到香蕉派开发板和CP2112模块CP2112模块如下,配两排排针设置温度旋钮到340度,十五秒左右达到融锡温度后即可开始焊接焊接
    发表于 02-26 19:00

    科技便携式节能速热恒温电烙铁试用体验】1、开箱测评

    ` 通过后没几天就收到这个电烙铁了,有点小激动,之前我在华秋上也买了电烙铁稍后可以进行一番对比,现在先来看看这个好东东:接下来看看里面都有什么东西 一份节能恒温电烙铁保修卡烙铁芯更换方法与步骤
    发表于 02-28 15:09

    科技便携式节能速热恒温电烙铁试用体验】节能烙铁试用体验及总结

    SMT贴片元件,再到QFN封装的元件,均都采用烙铁焊接过,常用的烙铁特点是体积笨重,且升稳比较缓慢,大约30秒以上,出差携带也十分方便。在论坛看到速热恒温便携烙铁,看其外观及性能介绍,已经感受到
    发表于 03-10 18:36

    高功率便携式节能速热恒温电烙铁 试用】非常不错的电洛铁

    很幸运能够试用高功率便携式节能速热恒温电烙铁,感谢,感谢电子发烧友。产品很有档次。焊
    发表于 08-25 09:46

    高功率便携式节能速热恒温电烙铁试用 体验】

    高功率便携式节能速热恒温电烙铁免费试用 体验非常感谢电子发烧友和深圳科技提供试用机会
    发表于 08-27 08:07

    H-30T恒温电烙铁试用体验】+使用体验

    大家好,很荣幸得到H-30T恒温电烙铁 的测试使用名额,感谢科技提供的样品,以及发烧
    发表于 11-12 18:57

    H-30T恒温电烙铁试用体验】一支很用心的烙铁,H-30T恒温电烙铁

    首先感谢 & 发烧友 给与的测试机会! 一、开箱 拿到STO快递后,一个简单的长方体盒子,里面就是
    发表于 11-13 23:00

    H-30T恒温电烙铁试用体验】H-30T恒温电烙铁试用体验

    作为一名DIY爱好者,我非常喜欢尝试各种新产品。最近,我有幸试用了H-30T高温休眠版恒温电烙铁,并分享一下我的使用体验。 首先,我要赞扬
    发表于 11-15 08:53

    H-30T恒温电烙铁试用体验】主要性能指标实测结果分享

    本帖最后由 jf_37047872 于 2023-12-2 12:56 编辑 上一篇针对H-30T恒温电烙铁的外观进行了解读,如果希望查看的可以点击以下链接: 【
    发表于 11-30 23:05

    斯奈定律,什么是斯奈定律

    斯奈定律,什么是斯
    发表于 05-04 19:45 9571次阅读
    斯奈<b class='flag-5'>尔</b><b class='flag-5'>定律</b>,什么是斯奈<b class='flag-5'>尔</b><b class='flag-5'>定律</b>

    的红外射频遥控盒子(二)

    的红外射频遥控盒子(二)
    发表于 12-08 10:06 3次下载
    <b class='flag-5'>阿</b><b class='flag-5'>达</b>的红外射频遥控盒子(二)

    斯维表盘开源构建

    电子发烧友网站提供《斯维表盘开源构建.zip》资料免费下载
    发表于 07-10 09:43 0次下载
    <b class='flag-5'>阿</b><b class='flag-5'>姆</b>斯维<b class='flag-5'>尔</b>表盘开源构建

    如何克服Amdahl定律的影响呢?

    在前几篇文章中,我们介绍了采用 Arm Helium 技术(也称为 MVE)的 Armv8.1-M 架构如何处理矢量指令。
    的头像 发表于 01-12 14:30 711次阅读
    如何<b class='flag-5'>克服</b><b class='flag-5'>Amdahl</b><b class='flag-5'>定律</b>的影响呢?