0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一文简析HBM的应用

半导体产业纵横 来源:半导体产业纵横 2023-01-30 09:18 次阅读

新应用需要深入了解不同类型 DRAM 的权衡。

如何构建高性能芯片的选择越来越多,但附加内存的选择几乎没有变化。为了在汽车、消费和超大规模计算中实现最大性能,选择归结为一种或多种 DRAM,而最大的权衡是成本与速度。

DRAM 仍然是任何这些架构中的重要组成部分,尽管多年来一直在努力用更快、更便宜或更通用的内存取代它,甚至将其嵌入到 SoC 中。但 DRAM 制造商并没有保持不变,而是根据性能、功耗和成本推出了多种选择。这些仍然是基本的权衡,要驾驭这些因素,需要深入了解内存的使用方式、所有部件的连接方式,以及芯片或系统的关键属性是什么。

Rambus产品管理高级总监 Frank Ferro 表示:“我们继续看到对更多带宽内存需求的非常激进的趋势,即使在宏观经济形势下也是如此。有很多公司都在研究不同类型的内存架构。这包括解决带宽问题的各种方法,无论是具有大量片上内存的处理器还是其他方式。虽然这种方法将是最便宜和最快的,但容量非常低,因此人工智能算法必须针对这种类型的架构进行定制。”

Chiplets

Chiplets没有减少对附加内存的需求。总体而言,向异构计算(尤其是小芯片)的发展只会加速对高带宽内存的需求,无论是 HBM、GDDR6 还是 LPDDR6。

HBM 是三者中最快的。但到目前为止,HBM 一直基于 2.5D 架构,这限制了它的吸引力。“制作 2.5D 中介层仍然是相对昂贵的技术,”Ferro 说。“供应链问题并没有太大帮助。在过去的两年里,这种情况有所缓解,但它确实凸显了当你在做这些复杂的 2.5D 系统时的一些问题,因为你必须组合很多组件和基板。如果其中任何一件不可用,就会扰乱整个流程或造成很长的交付周期。”

31d8a498-a029-11ed-bfe3-dac502259ad0.png

用于最大数据吞吐量的 HBM 堆栈。来源:Rambus

将 HBM 连接到其他一些封装方法(例如扇出)或使用不同类型的中介层或桥接器堆叠芯片的工作已经进行了一段时间。这些将变得必不可少,因为更多的前沿设计包括某种类型的高级封装,这些封装具有可能在不同工艺节点开发的异构组件。

“很多 HBM 空间实际上更多地是关于制造问题而不是 IP 问题,” Cadence的 IP 集团产品营销集团总监 Marc Greenberg 说。“当你有一个内部带有硅中介层的系统时,你需要弄清楚如何构建一个带有硅中介层的系统。首先,如何在那里制造硅中介层?它比普通的硅芯片大得多。它必须变薄。它必须绑定到将要在其上的各种芯片。它需要封装。HBM 解决方案涉及很多专业制造。这最终超出了 IP 领域,更多地进入了 ASIC 供应商和 OSAT 所做的领域。”

汽车中的高带宽存储器

HBM 获得极大兴趣的领域之一是汽车。但仍有一些障碍需要克服,目前还没有解决这些障碍的时间表。

Synopsys产品营销总监 Brett Murdock表示:“HBM3 具有高带宽、低功耗和良好的密度”. “唯一的问题是它很贵。那是那个记忆的一个失败。HBM 的另一个缺点是它还没有资格用于汽车,尽管它非常适合汽车。在汽车领域,正在发生的一件有趣的事情是所有电子设备都在集中化。随着集中化的发生,基本上现在你的主干中有一个服务器。发生的事情太多了,不一定总是发生在单个 SoC 或单个 ASIC 上。因此,现在汽车公司开始关注小芯片,以及他们如何在他们的设计中使用小芯片来获得他们在该集中域中所需的所有计算能力。巧妙的是,小芯片的潜在用途之一是使用中介层。如果他们现在使用内插器,他们并没有解决 HBM 的内插器问题。他们正在解决小芯片的插入器问题,也许 HBM 会加入进来。然后,如果他们已经在为车辆进行小芯片设计,也许就不再那么昂贵了。”

HBM 非常适合这一领域,因为需要在车辆周围快速移动大量数据。“想想汽车中的摄像头数量,所有这些摄像头的数据速率和处理所有信息的速度都是天文数字。HBM 是所有汽车行业人士都想去的地方,”Murdock说。“成本对他们来说可能并没有那么高,因为它只是整理技术,整理汽车中的中介层,以及整理 HBM 设备的汽车温度。

不过,这可能需要一段时间。与此同时,GDDR 似乎是一颗冉冉升起的新星。虽然它的吞吐量比 HBM 更有限,但对于许多应用来说仍然足够,并且已经通过汽车认证。

Rambus 的 Ferro 说:“HBM 绝对会进入汽车应用领域,在这些应用中,汽车会与不动的东西对话。” “但在车辆方面,GDDR 做得很好。LPDDR 已经在汽车中,您可以用 GDDR 替换多个 LPDDR,获得更小的占用空间和更高的带宽。然后,随着 AI 处理的提升,LPDDR5 和 LPDDR6 开始达到一些相当可观的速度 [现在分别接近 8Gbps 和 10Gbps],它们也将成为汽车中非常可行的解决方案。仍然会有一些 DDR,但 LPDDR 和 GDDR 将成为汽车最喜欢的技术。”

根据 Cadence 的 Greenberg 的说法,这种方法可能会在相当长的一段时间内运作良好。“仅使用标准 PCB 和标准制造技术的解决方案似乎比尝试在方程式中引入硅中介层并使其符合温度或振动或 10 年的要求更明智。一生。与 GDDR-6 相比,在车辆中验证 HBM 解决方案似乎是一个更大的挑战,在 GDDR-6 中,可以将内存放在 PCB 上。如果我在一家汽车公司负责一些汽车项目,我只会选择 HBM 作为最后的选择。”

边缘 AI/ML 内存

GDDR 和 LPDDR5,甚至可能是 LPDDR6,在一些边缘加速卡上也开始看起来像是可行的解决方案。

“对于进行边缘 AI 推理的 PCIe 卡,多年来我们已经在 NVIDIA 等公司的加速卡中看到了 GDDR,”Ferro 说。“现在我们看到越来越多的公司愿意考虑替代方案。例如,Achronix 正在其加速卡中使用 GDDR6,并开始研究如何使用 LPDDR,尽管其速度仍然只有 GDDR 的一半左右。它在爬升,它提供了更多的密度。这是另一种解决方案。这些给出了一个很好的权衡。它们提供了性能和成本优势,因为它们仍然使用传统的 PCB。如果过去使用过 DDR,则可以扔掉很多 DDR,并用一个 GDPR 或两个 LPDDR 替换它们。这就是我们现在看到的很多情况,因为开发人员试图弄清楚如何在成本、功率和价格之间取得适当的平衡。这始终是边缘的挑战。”

与往常一样,权衡是许多因素的平衡。

格林伯格指出,在当前 AI 革命的早期阶段,第一批 HBM 存储器正在被使用。“人们正在采用一种成本是无目标/带宽是无目标的方法。HBM 很自然地融入其中,有人希望有一个典型的例子来说明他们可以从系统中获得多少带宽。他们会基于 HBM 构建一个芯片,根据他们对该芯片的性能指标获得风险投资资金,而且没有人真的太担心这一切的成本。现在我们看到的是,也许您需要一些好的指标,也许是您可以使用 HBM 实现的 75%,但您希望它的成本降低一半。我们该怎么做?我们所看到的 GDDR 的吸引力在于它可以实现成本更低的解决方案,但带宽绝对接近 HBM 空间。”

默多克也看到了做出正确记忆选择的困难。“对于高带宽要求,通常他们会做出成本权衡决定。我是否会去 HBM,如果不是因为成本因素,它通常非常适合该应用程序?我们有客户询问我们有关 HBM 的信息,试图在 HBM 和 LPDDR 之间做出选择。这确实是他们做出的选择,因为他们需要带宽。他们可以在这两个地方的任何一个地方得到它。我们已经看到工程团队在 SoC 周围放置了多达 16 个 LPDDR 接口实例,以满足他们的带宽需求。当你开始谈论那么多实例时,他们会说,'哦,哇,HBM 真的非常适合这个要求。但这仍然归结为成本,因为很多这些公司只是不想支付 HBM3 带来的溢价。”

HBM 还需要考虑架构方面的问题。“HBM 一开始就是一个多通道接口,因此使用 HBM,您可以在一个 HBM 堆栈上拥有 32 个伪通道,”Murdock 说。“有 16 个频道,所以实际上是 32 个伪频道。伪通道是您在每个伪通道的基础上执行实际工作负载的地方。因此,如果您在那里有 16 个伪通道,而不是如果您将大量不同的 LPDDR 实例放到您的 SoC 上,在这两种情况下,必须弄清楚您的流量将如何定位整个通道中的整体地址空间定义。”

对于 AI/机器学习开发人员,LPDDR 通常采用 bi-32 封装,然后具有 2-16 位通道。

“你可以在你的架构中做出一个基本的选择,”他解释道。“从系统的角度来看,是否将内存上的这两个 16 位通道视为真正独立的通道?或者是否将它们放在一起并使其看起来像一个 32 位通道?他们总是选择 16 位通道,因为这给了他们更高性能的接口。在内存中,我有两个通道。我有两倍的打开页面,我可能会从中点击并通过页面点击减少我的整体系统延迟。它使性能更好的系统拥有更多更小的通道,这就是我们在 HBM 上看到的情况。从 HBM2e 到 HBM3,我们非常明确地放弃了该通道和伪通道大小以应对此类市场。我们甚至在 DDR4 的 DDR5 中看到了这一点。

对于边缘 AI 推理,Greenberg 一直在观察这些应用走在前沿,并发现 GDDR-6 是一项很棒的技术。“有很多芯片都希望具有该功能。这使 AI 推理接近边缘,因此可能会接收多个摄像头输入或多个其他传感器输入。然后,在边缘使用人工智能,你可以深入了解你正在处理的数据,而不是将所有数据发送回服务器来执行该功能。”

Greenberg 预计很快就会有大量芯片问世,这些芯片将具有各种有趣的功能,而无需将大量数据发送回服务器。他希望 GDDR6 在那里发挥重要作用。

“前几代 GDDR 主要针对显卡,”他说。“GDDR6 具有很多特性,使其更适合作为通用内存。事实上,虽然我们确实有用户将其用于显卡,但大多数人实际上将其用于 AI 边缘应用程序,”Greenberg说。“如果需要尽可能多的带宽,而且不关心成本多少,那么 HBM 是很好的解决方案。但是,如果不需要那么多的带宽,或者如果成本是一个问题,那么 GDDR6 在该领域发挥有利作用。GDDR6的优势在于可以在标准的FR4 PCB上完成。制造过程中不需要特殊材料。没有特殊工艺,甚至PCB本身也不需要背钻。它不需要有隐藏的过孔或类似的东西。”

最后,GDDR 领域的最后一个趋势是努力使 GDDR 对消费者更加友好。“它仍然有一些非常有利于图形引擎的规范部分,但作为一项技术,GDDR 正在朝着消费者的方向发展,”他说。“随着 GDDR 类技术的更广泛部署,它将继续朝着这个方向发展。”






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DRAM
    +关注

    关注

    40

    文章

    2337

    浏览量

    184263
  • 存储器
    +关注

    关注

    38

    文章

    7552

    浏览量

    164892
  • soc
    soc
    +关注

    关注

    38

    文章

    4243

    浏览量

    219888
  • HBM
    HBM
    +关注

    关注

    0

    文章

    393

    浏览量

    14902
  • GDDR
    +关注

    关注

    0

    文章

    27

    浏览量

    4732

原文标题:探索HBM的应用

文章出处:【微信号:ICViews,微信公众号:半导体产业纵横】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    风景独好?12层HBM3E量产,16层HBM3E在研,产业链涌动

    电子发烧友网报道(/黄晶晶)在早前的报道中,对于HBM产能是否即将过剩,业界有不同的声音,但丝毫未影响存储芯片厂商对HBM产品升级的步伐。   三大厂商12 层HBM3E 进展  
    的头像 发表于 10-06 01:03 4060次阅读
    风景独好?12层<b class='flag-5'>HBM</b>3E量产,16层<b class='flag-5'>HBM</b>3E在研,产业链涌动

    HBM4到来前夕,HBM热出现两极分化

    电子发烧友网报道(/黄晶晶)高带宽存储器HBM由于生成式AI的到来而异军突起,成为AI训练不可或缺的存储产品。三大HBM厂商SK海力士、三星电子、美光科技也因HBM的供应迎来了业绩的
    的头像 发表于 09-23 12:00 2745次阅读

    HBM3E量产后,第六代HBM4要来了!

    电子发烧友网报道(/黄晶晶)眼下各家存储芯片厂商的HBM3E陆续量产,HBM4正在紧锣密鼓地研发,从规格标准到工艺制程、封装技术等都有所进展,原本SK海力士计划2026年量产HBM4
    的头像 发表于 07-28 00:58 5215次阅读
    <b class='flag-5'>HBM</b>3E量产后,第六代<b class='flag-5'>HBM</b>4要来了!

    HBM格局生变!传三星HBM3量产供货英伟达,国内厂商积极布局

    电子发烧友网报道(/吴子鹏)根据韩媒sedaily 的最新报道,三星华城17号产线已开始量产并向英伟达供应HBM3内存。同时,美光已经为英伟达供应HBM3E。至此,高端HBM内存的供
    的头像 发表于 07-23 00:04 4013次阅读

    美光发布HBM4与HBM4E项目新进展

    近日,据报道,全球知名半导体公司美光科技发布了其HBM4(High Bandwidth Memory 4,第四代高带宽内存)和HBM4E项目的最新研发进展。 据悉,美光科技的下HBM
    的头像 发表于 12-23 14:20 399次阅读

    特斯拉欲将HBM4用于自动驾驶,内存大厂加速HBM4进程

    电子发烧友网报道(/黄晶晶)近日据韩媒报道,特斯拉已向SK海力士和三星提交了HBM4的采购意向,并要求这两家公司提供通用HBM4芯片样品。特斯拉此次欲采购通用HBM4芯片,是为了强化
    的头像 发表于 11-28 00:22 2213次阅读

    ADS1000静电敏感ESD(HBM)等级是多少?

    ADS1000: 请问静电敏感ESD(HBM)等级是多少?规格书上没有
    发表于 11-18 06:04

    HBM上车之后,移动HBM有望用在手机上

    电子发烧友网报道(/黄晶晶)据韩媒报道,三星和海力士正在开发低功耗DRAM堆叠技术,以用于移动设备上,这类DRAM被称之为移动HBM存储器,并计划2026年左右实现商业化。   移动HBM是堆叠
    的头像 发表于 09-06 00:21 3864次阅读
    继<b class='flag-5'>HBM</b>上车之后,移动<b class='flag-5'>HBM</b>有望用在手机上

    HBM上车?HBM2E被用于自动驾驶汽车

    电子发烧友网报道(/黄晶晶)日前,韩媒报道SK海力士副总裁Kang Wook-sung透露,SK海力士HBM2E正用于Waymo自动驾驶汽车,并强调SK海力士是Waymo自动驾驶汽车这项先进内存
    的头像 发表于 08-23 00:10 6927次阅读

    SK海力士HBM4E存储器提前年量产

    SK海力士公司近日在首尔举办的IEEE 2024国际存储研讨会上,由先进HBM技术团队负责人Kim Kwi-wook宣布了项重要进展。SK海力士计划从2026年开始,提前年量产其第七代高带宽存储器
    的头像 发表于 05-15 11:32 930次阅读

    三星电子组建HBM4独立团队,力争夺回HBM市场领导地位

    具体而言,现有的DRAM设计团队将负责HBM3E内存的进步研发,而三月份新成立的HBM产能质量提升团队则专注于开发下HBM内存——
    的头像 发表于 05-10 14:44 653次阅读

    岩土工程监测中振弦采集仪的布设方案及实施步骤

    岩土工程监测中振弦采集仪的布设方案及实施步骤 岩土工程监测中,河北稳控科技振弦采集仪是种常用的地下水位和土层压缩性监测工具。它通过采集振弦的振动信号来确定地下水位和土层的压缩性,为岩土
    的头像 发表于 05-06 13:25 347次阅读
    岩土工程监测中振弦采集仪的布设方案及实施步骤<b class='flag-5'>简</b><b class='flag-5'>析</b>

    智慧灯杆键告警功能的实用场景

    智慧路灯杆是种兼具智能化和多功能的新型物联网基础设施,通过搭载键告警对讲盒,能够大大丰富安防及报警求助资源,对提升城市的安全性和管理效能具有重要的作用。本篇就结合城市中的不同场景,
    的头像 发表于 04-28 16:42 458次阅读
    <b class='flag-5'>简</b><b class='flag-5'>析</b>智慧灯杆<b class='flag-5'>一</b>键告警功能的实用场景

    城市综合管廊能效管理平台在火灾防控与消防设计

    城市综合管廊能效管理平台在火灾防控与消防设计 张颖姣 安科瑞电气股份有限公司 上海嘉定 201801 摘要:城市综合管廊中布置很多管线,将其称之为地下生命线,虽然没有大量人员聚集,但是旦这个
    的头像 发表于 04-11 16:39 389次阅读
    <b class='flag-5'>简</b><b class='flag-5'>析</b>城市综合管廊能效管理平台在火灾防控与消防设计

    电气火灾的原因及其对策

    电气火灾的原因及其对策 张颖姣 安科瑞电气股份有限公司 上海嘉定201801 摘要:随着人们生活水平的提高,电气已成为日常生活及生产作业中必不可少的能源。电给人们带来便利的同时,也存在着
    的头像 发表于 03-12 10:18 735次阅读
    <b class='flag-5'>简</b><b class='flag-5'>析</b>电气火灾的原因及其对策