0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI从GPU席卷至MCU,内存的重要性与算力等同

E4Life 来源:电子发烧友网 作者:周凯扬 2023-11-29 01:04 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/周凯扬)在市场对AI的不懈追求中,似乎绝大多数人都把重心放在了算力上。然而决定真正AI计算表现的,还有内存这一重要组成部分。为此,除了传统的标准内存选项外,市面上也出现了专门针对AI进行优化的内存。

高性能AI芯片需要超高带宽内存

无论是英伟达最新的服务器GPU,还是一众初创公司推出的AI加速器,我们都可以看到HBM出现的越来越频繁,比如英伟达H100、谷歌TPU等等。美光、SK海力士和三星等厂商都在布局这类超高带宽内存,用于解决 AI计算中时常出现的内存墙问题。

以LLM模型的训练负载为例,HBM3内存与处理器可以与处理器以最高6.4Gb/s的接口速率相连,并实现3.2TB/s的超大带宽。而且在3D堆叠技术的支撑下,SoC芯片的面积依然控制在一个合理的范围内。超大的带宽显著减少了模型训练时间,所以我们才能看到如此快的LLM模型更迭速度。

当把模型推向终端应用时,效率就和效能一样重要了。推理带来的计算成本异常庞大,所以我们需要更低的系统功耗。而HBM内存恰好可以在维持“较低”速率的同时,实现与处理器的“近距离接触”和大带宽,从而进一步降低整体系统功耗。

当然了,HBM也并非那么完美,不然我们也不会只在服务器级别的产品上看到它们。随着HBM而来的是设计复杂度和更高的成本,比如需要额外设计硅中介层等等。但还是由于吃到了AI红利,HBM的成本也在慢慢降低,甚至有的初创公司在首个AI芯片上就直接采用HBM3内存,为的就是充分释放AI芯片的计算性能。

小芯片的AI梦

随着AI热潮的袭来,我们也看到了边缘端不少AIoT产品开始追逐这一风口,尤其是智能音箱等具备交互能力的设备。然而以这类设备主用的MCU芯片而言,本身计算性能就难以与GPU这样的高性能AI加速器媲美,更别说内存带宽了。

为此,英飞凌推出了HyperRAM这一高速内存,相较传统的pSRAM,HyperRAM成了更高效简洁的解决方案。HyperRAM基于HyperBus这一接口开发,相较于其他DRAM内存方案,HyperRAM并不见得有压倒性的带宽优势,比如最新的HyperRAM 3.0版本,其带宽最高可达800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同内存的工作功耗对比 / 华邦电子


但在同等带宽下工作时,HyperRAM可以提供更少的引脚数和更低的功耗,对于不少可穿戴应用来说,采用HyperRAM不仅降低所需的PCB面积,也进一步降低了功耗,提高了这类设备的续航能力。根据华邦电子提供的数据,同样64MB的内存,HyperRAM可以实现比SDRAM低数十倍的待机功耗。

时至今日,我们已经看到不少顶尖MCU厂商,诸如NXP瑞萨TI等,都已经提供了支持HyperBus接口的MCU。新思、Cadence等厂商也开始提供HyperBus控制IP,华邦电子也加入HyperRAM的供应生态链中来,HyperRAM已然成了AIoT应用中MCU乃至MPU外部RAM的理想选择。

写在最后

无论是HBM还是HyperRAM,都是AI时代下开始发光发热的内存选择。他们的出现不仅为市场提供了更灵活的设计选择,也进一步推动了内存技术在设计、工艺和封装上的进步。未来随着内存技术迈入下一个阶段,或许不只有AI应用能从中受益。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    147

    文章

    19127

    浏览量

    403875
  • AI
    AI
    +关注

    关注

    91

    文章

    41107

    浏览量

    302593
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    边缘AI临界点:深度解析176TOPS香橙派AI Station的产业价值

    内存革命:48GB/96GB LPDDR4X 背后的带宽博弈 很多开发者容易陷入唯论的误区,但在实际部署大模型时,内存容量和带宽往往是真正的性能瓶颈。OrangePi
    发表于 03-10 14:19

    AI爆发催生元器件短缺,智芯谷一站式供应如何破局?

    GPU紧缺”只是AI瓶颈的冰山一角——高端电容供货周期延长40周、高速内存价格季度涨幅超
    的头像 发表于 01-27 11:23 849次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>爆发催生元器件短缺,智芯谷一站式供应如何破局?

    GPU 利用率<30%?这款开源智云平台让不浪费 1%

    作为 AI 开发者,你是否早已受够这些困境:花数百万采购的 GPU 集群,利用率常年低于 30%,闲置如同烧钱;跨 CPU/GPU/NP
    的头像 发表于 01-26 14:20 282次阅读

    AI送上太空,是终极方案还是疯狂幻想?评论区说出你的阵营!

    AI
    江苏易安联
    发布于 :2026年01月06日 09:43:34

    应对端侧AI内存、功耗“三堵墙”困境,安谋科技Arm China “周易”X3给出技术锦囊

    AI大模型正加速云端向边缘与端侧渗透,然而,内存、功耗等却成了制约其规模化落地的“高墙”。专为A
    的头像 发表于 12-18 13:45 531次阅读
    应对端侧<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>、<b class='flag-5'>内存</b>、功耗“三堵墙”困境,安谋科技Arm China “周易”X3给出技术锦囊

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    CPU、GPU到NPU,美格智能持续优化异构计算效能

    前言AI已成为数字经济时代的核心生产,但全球AI产业正面临“供给不足、成本高企、生态待建”三重挑战。据行业统计,行业
    的头像 发表于 11-21 16:05 1313次阅读
    <b class='flag-5'>从</b>CPU、<b class='flag-5'>GPU</b>到NPU,美格智能持续优化异构<b class='flag-5'>算</b><b class='flag-5'>力</b>计算效能

    什么是AI模组?

    未来,腾视科技将继续深耕AI模组领域,全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展,腾视科技的
    的头像 发表于 09-19 15:26 2080次阅读
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模组?

    什么是AI模组?

    未来,腾视科技将继续深耕AI模组领域,全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展,腾视科技的
    的头像 发表于 09-19 15:25 1033次阅读
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模组?

    摩尔线程副总裁王华:AI工厂全栈技术重构基建,开启国产 GPU 黄金时代

    摩尔线程在世界人工智能大会(WAIC 2025)前夕举办以“进化,精度革命”为主题的技术分享会,创新提出“AI工厂” 理念。这一系统
    的头像 发表于 08-02 14:21 5783次阅读
    摩尔线程副总裁王华:<b class='flag-5'>AI</b>工厂全栈技术重构<b class='flag-5'>算</b><b class='flag-5'>力</b>基建,开启国产 <b class='flag-5'>GPU</b> 黄金时代

    一文看懂AI集群

    最近这几年,AI浪潮席卷全球,成为整个社会的关注焦点。大家在讨论AI的时候,经常会提到AI
    的头像 发表于 07-23 12:18 1938次阅读
    一文看懂<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>集群

    腾视科技TS-SG-SM7系列AI模组:32TOPS引擎,开启边缘智能新纪元

    城市管理到工业生产,物流运输到消费终端,TS-SG-SM7系列AI模组以 “超强
    的头像 发表于 07-07 16:44 2182次阅读
    腾视科技TS-SG-SM7系列<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模组:32TOPS<b class='flag-5'>算</b><b class='flag-5'>力</b>引擎,开启边缘智能新纪元

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术应用到原理

    自家GPU 提出的多卡互连技术,是早期为了应对深度学习对超高需求而单卡
    发表于 06-18 19:31

    摩尔线程与AI平台AutoDL达成深度合作

    近日,摩尔线程与国内领先的AI平台AutoDL宣布达成深度合作,双方联合推出面向个人开发者的“摩尔线程专区”,首次将国产GPU
    的头像 发表于 05-23 16:10 2067次阅读

    点动科技战略聚焦AI,领航服务新征程

    Al智业务收入占比已突破40%,标志着点动传统业务向智能化转型的战略跨越取得阶段胜利! 技术赋能构建核心壁垒,全栈能力驱动行业智能化升级 在技术布局上,点动科技聚焦行业模型和Al应用,以
    的头像 发表于 05-07 09:29 731次阅读