0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

最新HBM3内存技术速率可达8.4Gbps

lPCU_elecfans 来源:电子发烧友网 作者:黄晶晶 2021-09-06 10:41 次阅读

电子发烧友网报道(文/黄晶晶)近几年,数据中心、云服务以及物联网设备保持需求的高速增长。在大数据的处理方面,人工智能机器学习AI/ML)的使用率也将日益提升,预计到2025年,超过25%的服务器出货将会专供于人工智能领域。在AI/ML当中,内存和I/O带宽是影响系统性能至关重要的因素,这又促进业界不断提供最新的技术,去满足内存和I/O的带宽性能需求。

英伟达AMDGPU/CPU芯片封装中,已经应用到了HBM内存技术,通过在一个2.5D封装中将GPU/CPU与HBM内存进行整合能够提升内存带宽、加速数据存储的速度,从而应对神经网络、AI训练等的内存带宽需求。据了解,燧原科技也在其GPU芯片中使用了HBM2技术,由Rambus提供IP支持。

现在,Rambus公司率先在业界推出支持HBM3的内存子系统,速率可达8.4Gbps,能够提供超过1TB/s的内存带宽,它的参数指标较HBM2实现了大幅的提升。

日前,Rambus IP核产品营销高级总监Frank Ferro,以及Rambus大中华区总经理苏雷接受包括电子发烧友网在内的媒体采访时,详解了Rambus HBM3-Ready内存子系统的亮点和市场。

Rambus于2016年进入HBM的市场,得益于之前在行业领域长期的专业知识累积,提供包括高速接口、芯片以及2.5D等复杂IP,从而在HBM市场保持领先。

Rambus HBM3的数据传输速率高达8.4Gbps/pin,带宽超过1TB/s,采用标准的16通道设置,可以达到1024位宽接口。能够支持市面上所有主流的供应商所提供的DRAM,并大幅提高整个产品的密度。除了针对AI/ML训练的市场之外,HBM3还可用于高性能计算及其他数据中心相关的主要应用场景、图形应用程序和具体网络应用。

HBM3达到8.4Gbps,提供更宽的设计裕度

从HBM性能的历史演进来看,最开始的HBM1,数据传输速率大概可以达到1Gbps左右;2016年的HBM2,最高数据传输速率可以达到2Gbps;接下来是2018年的HBM2E,最高数据传输速率可以达到3.6Gbps。

今年海力士发布了HBM3产品,公开的最高数据传输速率达到5.2Gbps。尽管JEDEC尚未发布HBM3相关的标准,但是Rambus也推出了HBM3产品,并将最高的数据传输速率提升到8.4Gbps。

Frank Ferro表示,Rambus与美光、海力士、三星厂商有着非常密切的合作,为这些DRAM厂商提供HBM PHY以及其他相关方面的支持。我们推出HBM3产品,目前为止在数据传输速率上比海力士更高,8.4Gbps的速率选择是出于未来产品规划的考量,同时也可以为客户和设计师提供更高的设计裕度,为未来的产品开发做好后续准备。

HBM3内存子系统的主要架构

如下图所示,最上面有4块DRAM内存条,通过TSV堆叠的方式叠加在一起,下面是SoC,再往下是中介层,在中介层下面就是绿色的封装。这些部分组成了整个2.5D的系统架构。

作为一个完整的内存子系统产品,Rambus提供的并不仅仅是IP,同时也提供泛IP,以及整个系统的具体设计,包括经过验证的PHY以及数字控制器。此外,还会在中介层和封装上给客户提供更好的参考设计支持和框架,因为这些也是整个内存子系统领域非常重要的环节。

Frank Ferro表示,得益于在HBM领域多年的经验和专业知识,Rambus在市场份额上排名第一,同时已经赢得了超过50个设计订单,这些订单来自数据中心、ASIC的设计方等。目前为止,我们的控制器已经应用在了HBM市场超过85%的产品当中。

Rambus生产经验的支持

Rambus有着对HBM生产经验的支持,这里展示的一款测试芯片,集成了PHY和控制器,基于HBM2E的DRAM,数据传输速率可以达到4Gbps,到目前为止依旧是行业的最高水平。芯片开发一次成功,无需返工,支持台积电等晶圆代工厂的多制程节点。

Rambus的PHY产品通过完全集成的硬核方式进行交付,在交付之时已经包括了完整的PHY、I/O以及Decap,方便客户进行系统集成。

对于I/O设备产品来说,客户也需要厂商提供非常强大的技术以及相关的调试纠错支持,Rambus不仅可以将产品提供给客户,还可提供针对ASIC power up的现场客户支持,帮助客户进行现场纠错,实现更好的设备调试启动。

不同的提供商的生产2.5D流程本身也不一样,是一个非常复杂的过程,不仅需要提供用于生产中介层的硅产品,还有根据厂商各有差异的封装以及最后组装。而Rambus可以同时支持OSAT和CoWoS生产2.5D流程。

此外,Rambus与各大DRAM供应商有着非常密切的合作关系,测试芯片已经过充分的双向验证以及测试。

2.5D封装的挑战

当前HBM采用2.5D封装需要考虑两个主要的挑战:

Frank Ferro分析,第一,确保信号的完整性,包括与中介层之间信号的互联,这是非常重要的环节,也是我们首要考虑的挑战,这同时要求在整个封装系统上具备非常良好的控制程序。

第二,2.5D封装整体的尺寸非常小,所以必须考虑可能产生的散热问题。不过HBM本身就是一个低功耗的解决方案,可以支持很大范围内的工作温度。

另外,Frank Ferro还指出,尽管目前HBM3的速率已经可以达到8.4Gbps,但对比GDDR DRAM已经达到16或者18Gbps的速率,还是有差距的。简单来讲,HBM发展的限制目前集中在中介层上。

在HBM2的时代,中介层本身的技术是有限制的,即一代和二代的中介层最高只能做到两层,它设计的线宽、金属层的厚度都是非常有限的。HBM3的速率达到8.4Gbps,为此需要在中介层的设计上实现进一步优化。随着中介层技术的发展,其本身的厚度、金属层和线宽都有了一定的增加,这也推动了HBM未来的发展。

HBM3面向哪些应用领域

Frank Ferro解析,数据中心是HBM3最主要的应用场景,但随着设备越来越多的边缘化,HBM3也可能被应用在5G设备上,特别是那些对带宽有更高要求的5G设备。

另一个应用场景是AI/ML,现在AI/ML的数据很多时候需要上传到云端进行处理,然后再重新回到本地。所以HBM3未来在这个领域也有一定的应用前景。

最后是HPC,它也可以充分发挥HBM在功耗以及性能上的强大优势。目前为止,已经有一些客户开始与Rambus进行早期接洽,在这个领域展开具体的应用尝试。

Rambus在中国市场的动作

当前,中国在数据中心、云计算以及AI等领域都走在了世界前列,因此许多国外厂商更加重视中国市场。Rambus也不例外,苏雷表示,从去年开始,Rambus年度的Design Summit除了总部以外,中国是全球唯一单独举办的区域。

围绕中国市场,Rambus已经规划了一系列的活动。例如,Rambus今年在全球范围内发布了CXL内存互联计划,将和中国的云服务商、数据中心、服务器OEM、ODM和内存公司等整个生态系统展开合作,以加快CXL内存互联计划的开发和应用、落地和发展。

据透露,Rambus的IP产品特别是HBM和GDDR6系列被业界广泛采用,覆盖一线的AI客户。另外缓冲芯片、DDR5市场也会和内存生态系统的合作伙伴开展合作。

Rambus在中国拥有强大的销售、市场、FAE和AE团队,并且还将持续扩大,做好长期耕耘,未来将用更好的产品和服务来践行Rambus“In China,for China”的承诺。

小结

虽然目前JEDEC还没有正式发布HBM3标准,也很难去推测下一代HBM(例如HBM4)的性能,不过,Frank Ferro表示,整个行业对带宽的需求几乎是无止境、并且快速上升的。这也是Rambus将要持续进行的技术突破,以始终保持领先,从而不断满足市场的新需求。

声明:本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5438

    浏览量

    133912
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10824

    浏览量

    211086
  • soc
    soc
    +关注

    关注

    38

    文章

    4115

    浏览量

    217896
  • HBM
    HBM
    +关注

    关注

    0

    文章

    372

    浏览量

    14704
  • HBM3
    +关注

    关注

    0

    文章

    74

    浏览量

    143

原文标题:最新HBM3内存技术,速率可达8.4Gbps,Rambus从IP到系统再到封装的全面优化

文章出处:【微信号:elecfans,微信公众号:电子发烧友网】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    HBM格局生变!传三星HBM3量产供货英伟达,国内厂商积极布局

    电子发烧友网报道(文/吴子鹏)根据韩媒sedaily 的最新报道,三星华城17号产线已开始量产并向英伟达供应HBM3内存。同时,美光已经为英伟达供应HBM3E。至此,高端HBM
    的头像 发表于 07-23 00:04 3634次阅读

    HBM与GDDR内存技术全解析

    在高性能图形处理领域,内存技术起着至关重要的作用。本文介绍两种主要的图形内存技术:高带宽内存HBM
    的头像 发表于 11-15 10:47 362次阅读
    <b class='flag-5'>HBM</b>与GDDR<b class='flag-5'>内存</b><b class='flag-5'>技术</b>全解析

    中国AI芯片和HBM市场的未来

     然而,全球HBM产能几乎被SK海力士、三星和美光垄断,其中SK海力士占据AI GPU市场80%份额,是Nvidia HBM3内存独家供应商,且已于今年3月启动
    的头像 发表于 05-28 09:40 828次阅读

    HBM3E起飞,冲锋战鼓已然擂响

    HBM3自2022年1月诞生,便凭借其独特的2.5D/3D内存架构,迅速成为高性能计算领域的翘楚。HBM3不仅继承了前代产品的优秀特性,更在技术
    的头像 发表于 03-30 14:34 2128次阅读
    <b class='flag-5'>HBM3</b>E起飞,冲锋战鼓已然擂响

    NVIDIA预定购三星独家供应的大量12层HBM3E内存

    据悉,HBM3E 12H内存具备高达1280GB/s的宽带速率以及36GB的超大存储容量,较8层堆叠的HBM3 8H,分别提升了50%以上的带宽及容量。
    的头像 发表于 03-25 15:36 397次阅读

    英伟达CEO赞誉三星HBM内存,计划采购

     提及此前有人预测英伟达可能向三星购买HBM3HBM3E等内存,黄仁勋在会上直接认可三星实力,称其为“极具价值的公司”。他透露目前已对三星HBM
    的头像 发表于 03-20 16:17 794次阅读

    什么是HBM3E内存?Rambus HBM3E/3内存控制器内核

    Rambus HBM3E/3 内存控制器内核针对高带宽和低延迟进行了优化,以紧凑的外形和高能效的封装为人工智能训练提供了最大的性能和灵活性。
    发表于 03-20 14:12 2286次阅读
    什么是<b class='flag-5'>HBM3</b>E<b class='flag-5'>内存</b>?Rambus <b class='flag-5'>HBM3</b>E/<b class='flag-5'>3</b><b class='flag-5'>内存</b>控制器内核

    HBMHBM2、HBM3HBM3e技术对比

    AI服务器出货量增长催化HBM需求爆发,且伴随服务器平均HBM容量增加,经测算,预期25年市场规模约150亿美元,增速超过50%。
    发表于 03-01 11:02 1181次阅读
    <b class='flag-5'>HBM</b>、<b class='flag-5'>HBM</b>2、<b class='flag-5'>HBM3</b>和<b class='flag-5'>HBM3</b>e<b class='flag-5'>技术</b>对比

    AMD MI300加速器将支持HBM3E内存

    据手机资讯网站IT之家了解,MI300加速器配备了HBM3内存模块,并面向HBM3E进行了重新设计。另外,该公司在供应链交付合作方面颇为深入,不仅与主要的存储器供应商建立了稳固的联系,同时也与如台积电等重要的基板供应商以及OSA
    的头像 发表于 02-27 15:45 614次阅读

    AMD发布HBM3e AI加速器升级版,2025年推新款Instinct MI

    目前,只有英伟达的Hopper GH200芯片配备了HBM3e内存。与现有的HBM3相比,HBM3e的速度提升了50%,单个平台可以达到10TB/s的带宽,单颗芯片能够实现5TB/s的
    的头像 发表于 02-25 11:22 569次阅读

    Rambus HBM3内存控制器IP速率达到9.6 Gbps

    在人工智能大模型浪潮的推动下,AI训练数据集正极速扩增。以ChatGPT为例,去年11月发布的GPT-3,使用1750亿个参数构建,今年3月发布的GPT-4使用超过1.5万亿个参数。海量的数据训练,这对算力提出了高需求。
    的头像 发表于 01-23 11:19 912次阅读
    Rambus <b class='flag-5'>HBM3</b><b class='flag-5'>内存</b>控制器IP<b class='flag-5'>速率</b>达到9.6 <b class='flag-5'>Gbps</b>

    英伟达斥资预购HBM3内存,为H200及超级芯片储备产能

    据最新传闻,英伟达正在筹划发布两款搭载HBM3E内存的新品——包括141GB HBM3E的H200 GPU及GH200超级芯片,这也进一步说明了对于HBM
    的头像 发表于 01-02 09:27 720次阅读

    AI大模型不断拉高上限,内存控制器IP提早部署,力拱HBM3E的到来

    数据量、复杂度在增加,HBM内存被彻底带火。这种高带宽高速的内存十分适合于AI训练场景。最近,内存芯片厂商已经不约而同地切入HBM3E竞争当
    的头像 发表于 12-13 15:33 1406次阅读
    AI大模型不断拉高上限,<b class='flag-5'>内存</b>控制器IP提早部署,力拱<b class='flag-5'>HBM3</b>E的到来

    Rambus通过9.6 Gbps HBM3内存控制器IP大幅提升AI性能

    Gbps 的性能,可支持 HBM3 标准的持续演进。相比 HBM3 Gen1 6.4 Gbps 的数据速率,Rambus
    的头像 发表于 12-07 14:16 716次阅读

    Rambus通过9.6 Gbps HBM3内存控制器IP大幅提升AI性能

    为增强AI/ML及其他高级数据中心工作负载打造的 Rambus 高性能内存 IP产品组合 高达9.6 Gbps的数据速率,支持HBM3内存
    发表于 12-07 11:01 243次阅读
     Rambus通过9.6 <b class='flag-5'>Gbps</b> <b class='flag-5'>HBM3</b><b class='flag-5'>内存</b>控制器IP大幅提升AI性能