HBM4进一步打破内存墙，Rambus控制器IP先行

电子发烧友网报道（文/黄晶晶）2022年11月发布的GPT-3使用1750亿个参数，而今年5月发布的最新版本GPT-4o则使用超过1.5万亿个参数。在过去几年里，这些大语言模型的规模增长了超过400倍。但我们看到，在相同时间内硬件内存的规模仅增长了两倍。

那么要完成这些AI模型的任务，就必须投入额外数量的GPU和AI加速器，才能满足对内存容量和带宽的需求。同时内存系统也必须不断升级。Rambus在内存系统领域拥有超过30年的高性能内存系统开发和研究经验，一直以来都是市场的领导者。近日，Rambus研究员兼杰出发明家Steven Woo博士和Rambus大中华区总经理苏雷先生接受媒体采访，分享了Rambus的HBM4控制器IP新品，以及对内存市场的看法。

HBM内存技术演进

HBM高性能内存具有非常高的带宽和密度，远高于市面上常见的普通DRAM。HBM内存非常适用于AI训练、高性能计算和网络应用。

Steven Woo博士解析，HBM的DRAM堆栈使用多层堆栈的架构，实现高内存带宽、高容量和高能效。其中一个内存晶片通过中介层的物理连接，与处理器进行相应的连接，每个HBM内存设备与处理器之间的数据通路由1024根“线”或信号路径组成。上面这些部分共同与一个基板相连接，最后基板焊接在PCB上面。


他进一步指出，随着命令、地址、时钟和其他附加信号的加入，HBM3所需的信号路径数量增加到约1700条。上千条信号路径远远超出了标准PCB所能支持的范围。因此，采用硅中介层作为桥梁，将内存设备和处理器连接起来。类似于集成电路，硅中介层上可以蚀刻出间距非常小的信号路径，从而实现所需数量的信号线来满足HBM接口的要求。正是由于这种精巧的结构设计和HBM DRAM的堆叠方式，HBM内存才能提供极高的内存带宽、优异的能效、极低的延迟，同时占用最小的面积。

下图可以看到，不同代际的HBM内存在数据传输速度、单个堆栈带宽、堆栈厚度以及最大设备容量等方面的具体参数。



可以看到，每一代HBM最明显变化就是单个堆栈带宽的急剧增加。HBM3E单个设备的带宽超过了1.2TB/s。HBM3设备正在变得非常流行，主要的DRAM制造商，如SK海力士、美光和三星，已经宣布推出HBM3E设备，数据传输速率最高可达9.6Gbps。从单个堆栈的角度来看，HBM4的带宽将达到1.6TB/s，而这只是单个堆栈的带宽，最终的实际带宽可能会更高。随着行业推出越来越快的HBM内存器件，Rambus作为内存控制器IP提供商，在这一过程中扮演着重要角色。

Rambus HBM4控制器IP

Rambus最新推出业内首款HBM4控制器IP，可以支持新一代HBM内存的部署，适用于最先进的处理器，包括AI加速器、图形处理器和高性能计算应用。

HBM4的控制器IP提供了32个独立通道的接口，总数据宽度可达2048位。基于这一数据宽度，当数据速率为6.4Gbps时，HBM4的总内存吞吐量将比HBM3高出两倍以上，达到1.64TB/s。与Rambus的HBM3E控制器一样，HBM4内存控制器IP也是一个模块化、高度可配置的解决方案。




根据客户在应用场景中的独特需求，可提供定制化服务，涵盖尺寸、性能和功能等方面。关键的可选功能包括ECC、RMW和错误清理等。此外，为了确保客户能够根据需要选择各种第三方PHY并应用于系统中，Rambus与领先的PHY供应商开展了合作，确保客户在开发过程中能够一次流片成功。

依托于多年来在HBM内存领域积累的丰富经验。在HBM市场上，Rambus的市场份额位居第一，并且已经成功完成了超过100次的HBM设计。此前，其成功交付了业界领先的HBM3E内存控制器，以及业界最高数据传输速率的HBM2E内存控制器，速率达到每秒4 Gbps。因此，客户可以放心选择Rambus，因为Rambus在构建成功系统方面拥有多年的经验，能够为他们提供所需的全方位支持。


为了帮助客户实现一次流片成功，Rambus提供的三大支持包括控制器测试平台、验证IP、物理层PHY支持，支持各种第三方PHY。



其IP产品组合提供了高性能芯片和处理器解决方案的核心构建模块，包括HBM和GDDR内存控制器、PCIe和CXL协议控制器，以及后量子密码学、Root of Trust和加密等安全功能。


Rambus大中华区总经理苏雷先生表示，得益于我们在HBM领域多年的经验和专业知识，在整个中华区，乃至于整个全球市场份额Rambus都是排名前列。Rambus的HBM控制器IP能够得到中国客户的认可，除了Rambus HBM的技术先进，比如说信号完整性、电源完整性，以及应对其他挑战等之外，也非常注重售中和售后的服务。针对客户的项目产品规格、配置方面我们会在技术方面给予一些最佳的建议和参考。帮助客户提前规避一些技术难题，并且更加快速地推出产品，这对客户来说是非常宝贵的产品附加值。这些都不断驱动着我们在HBM领域继续保持全球领先。

Rambus HBM4控制器IP现已开放授权，早期设计客户可立即申请。预计客户在2025年将其集成到芯片设计中，这些芯片设计预计将在2026年上市。


小结：

Rambus认为未来的人工智能将继续在性能、功效和内存容量方面取得重大改进。这将需要许多不同的公司共同努力，Rambus 这样的内存IP公司将改进内存系统，处理器厂商也必须通过压缩数据和使用新的数字格式等方式来改进处理。软件开发人员将来要与硬件开发人员更多地合作，进行软硬件协同设计。总之合力推动AI的应用进程。