0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI从GPU席卷至MCU,内存的重要性与算力等同

E4Life 来源:电子发烧友网 作者:周凯扬 2023-11-29 01:04 次阅读

电子发烧友网报道(文/周凯扬)在市场对AI的不懈追求中,似乎绝大多数人都把重心放在了算力上。然而决定真正AI计算表现的,还有内存这一重要组成部分。为此,除了传统的标准内存选项外,市面上也出现了专门针对AI进行优化的内存。

高性能AI芯片需要超高带宽内存

无论是英伟达最新的服务器GPU,还是一众初创公司推出的AI加速器,我们都可以看到HBM出现的越来越频繁,比如英伟达H100、谷歌TPU等等。美光、SK海力士和三星厂商都在布局这类超高带宽内存,用于解决 AI计算中时常出现的内存墙问题。

以LLM模型的训练负载为例,HBM3内存与处理器可以与处理器以最高6.4Gb/s的接口速率相连,并实现3.2TB/s的超大带宽。而且在3D堆叠技术的支撑下,SoC芯片的面积依然控制在一个合理的范围内。超大的带宽显著减少了模型训练时间,所以我们才能看到如此快的LLM模型更迭速度。

当把模型推向终端应用时,效率就和效能一样重要了。推理带来的计算成本异常庞大,所以我们需要更低的系统功耗。而HBM内存恰好可以在维持“较低”速率的同时,实现与处理器的“近距离接触”和大带宽,从而进一步降低整体系统功耗。

当然了,HBM也并非那么完美,不然我们也不会只在服务器级别的产品上看到它们。随着HBM而来的是设计复杂度和更高的成本,比如需要额外设计硅中介层等等。但还是由于吃到了AI红利,HBM的成本也在慢慢降低,甚至有的初创公司在首个AI芯片上就直接采用HBM3内存,为的就是充分释放AI芯片的计算性能。

小芯片的AI梦

随着AI热潮的袭来,我们也看到了边缘端不少AIoT产品开始追逐这一风口,尤其是智能音箱等具备交互能力的设备。然而以这类设备主用的MCU芯片而言,本身计算性能就难以与GPU这样的高性能AI加速器媲美,更别说内存带宽了。

为此,英飞凌推出了HyperRAM这一高速内存,相较传统的pSRAM,HyperRAM成了更高效简洁的解决方案。HyperRAM基于HyperBus这一接口开发,相较于其他DRAM内存方案,HyperRAM并不见得有压倒性的带宽优势,比如最新的HyperRAM 3.0版本,其带宽最高可达800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同内存的工作功耗对比 / 华邦电子


但在同等带宽下工作时,HyperRAM可以提供更少的引脚数和更低的功耗,对于不少可穿戴应用来说,采用HyperRAM不仅降低所需的PCB面积,也进一步降低了功耗,提高了这类设备的续航能力。根据华邦电子提供的数据,同样64MB的内存,HyperRAM可以实现比SDRAM低数十倍的待机功耗。

时至今日,我们已经看到不少顶尖MCU厂商,诸如NXP瑞萨TI等,都已经提供了支持HyperBus接口的MCU。新思、Cadence等厂商也开始提供HyperBus控制IP,华邦电子也加入HyperRAM的供应生态链中来,HyperRAM已然成了AIoT应用中MCU乃至MPU外部RAM的理想选择。

写在最后

无论是HBM还是HyperRAM,都是AI时代下开始发光发热的内存选择。他们的出现不仅为市场提供了更灵活的设计选择,也进一步推动了内存技术在设计、工艺和封装上的进步。未来随着内存技术迈入下一个阶段,或许不只有AI应用能从中受益。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    146

    文章

    17316

    浏览量

    352457
  • AI
    AI
    +关注

    关注

    87

    文章

    31493

    浏览量

    270150
收藏 人收藏

    评论

    相关推荐

    AIGPU开始腾飞,背后是电源管理的持续支持

    AI PC元年。   不仅是AI PC,还包括AI服务器、AI手机、AI汽车等,众多AI实际应
    的头像 发表于 03-30 00:12 4943次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>GPU</b>开始腾飞,背后是电源管理的持续支持

    中心的如何衡量?

    作为当下科技发展的重要基础设施,其的衡量关乎其能否高效支撑人工智能、大数据分析等智能应用的运行。以下是对智中心算衡量的详细阐述:一、
    的头像 发表于 01-16 14:03 402次阅读
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    英国政府计划大幅提升AI

    满足学术界和公共服务领域对高性能计算能力的迫切需求。随着人工智能技术的快速发展,GPU作为AI计算的核心硬件之一,其重要性日益凸显。 斯塔默首相表示,通过采购这些GPU,英国将能够加速
    的头像 发表于 01-14 14:18 164次阅读

    芯片 高性能 CPUGPUNPU 微架构分析》第3篇阅读心得:GPU革命:图形引擎到AI加速器的蜕变

    CPU、GPU的演进历程,AI专用芯片或将引领未来计算平台的新方向。正如爱因斯坦所说:\"想象比知识更重要\" —— 在芯片设计领域,创新思维带来的突破往往令人惊叹。
    发表于 11-24 17:12

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。
    的头像 发表于 11-14 09:30 1075次阅读

    AI时代重要性及现状:平衡发展与优化配置的挑战

    AI时代,扮演着至关重要的角色。如果说数据是AI大模型的“燃料”,那么
    的头像 发表于 11-04 11:45 578次阅读

    GPU开发平台是什么

    随着AI技术的广泛应用,需求呈现出爆发式增长。AI租赁作为一种新兴的服务模式,正逐渐成为
    的头像 发表于 10-31 10:31 243次阅读

    【一文看懂】大白话解释“GPUGPU

    GPUGPU1.GPU是什么?2.GPU与CPU的区别?3.
    的头像 发表于 10-29 08:05 953次阅读
    【一文看懂】大白话解释“<b class='flag-5'>GPU</b>与<b class='flag-5'>GPU</b><b class='flag-5'>算</b><b class='flag-5'>力</b>”

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--全书概览

    1章 TOP500和MLPerf看芯片格局 1.1科学最前沿TOP500 1.2 AI
    发表于 10-15 22:08

    并重:数据时代的双刃剑

    在2024年的今天,人工智能(AI)技术已经全面渗透我们生活的方方面面,从医疗诊断到智能交通,金融分析到智能家居,AI正以前所未有的速度重塑我们的世界。这一变革背后,
    的头像 发表于 10-08 16:00 905次阅读

    名单公布!【书籍评测活动NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架构分析

    。这几年人工智能取得突破进展的时间关口,社会对芯片的需求将会更加旺盛,芯片在全社会中的重要性也将进一步增强。很高兴看到这本书的问世,看到作者在自己工作之余还能坚持对另一个领域的分
    发表于 09-02 10:09

    大模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问
    发表于 08-20 09:04

    论RISC-V的MCU中UART接口的重要性

    RISC-V的MCU(微控制器单元)中UART(通用异步收发器)接口的重要性主要体现在以下几个方面: 广泛的适用 : UART接口是一种用于连接两个计算机设备的接口,允许一个设备向另一个设备发送
    发表于 05-27 15:52

    Sora需求引发业界对集结国内AI企业的探讨

    据周鸿祎观察,Sora视频分析所需恐远超千亿规模模型。因而,考虑到如今国内芯片供应受限,问题至关重要。事实上,Meta已有约50万台
    的头像 发表于 02-25 10:03 631次阅读