0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

速度优势是HBM产品成功的关键

jf_pJlTbmA9 来源:SK海力士 作者:SK海力士 2023-11-29 16:22 次阅读

高带宽存储器(HBM, High Bandwidth Memory)是一种可以实现高带宽的高附加值DRAM产品,适用于超级计算机、AI加速器等对性能要求较高的计算系统。随着计算技术的发展,机器学习的应用日渐广泛,而机器学习的基础是自20世纪80年代以来一直作为研究热点的神经网络模型。作为速度最快的DRAM产品,HBM在克服计算技术的局限性方面发挥着关键的作用。

HBM的高带宽离不开各种基础技术和先进设计工艺的支持。由于HBM是在3D结构中将一个逻辑die与4-16个DRAM die堆叠在一起,因此开发过程极为复杂。鉴于技术上的复杂性,HBM是公认最能够展示厂商技术实力的旗舰产品。

从2015年推出HBM1到2021年10月开发业界第一款HBM3 DRAM1,SK海力士一直是HBM行业的领军企业。SK海力士的HBM产品大获成功的首要因素是产品特性,具体而言,产品设计在保证市场竞争力方面发挥了重要作用。SK海力士HBM设计团队负责将产品规格落实到实际电路中,同时开发配套的产品架构和设计技术,以确保准确实现产品功能、高性能和低功耗特性。得益于对产品的全面了解,HBM设计团队还在未来产品规划及规格定义方面发挥着至关重要的作用。此外,HBM设计团队会聆听客户反馈,并围绕问题展开分析。

产品特性通常分为三类:性能、功耗和面积,即PPA (Power, Performance, Area)。本文着重探讨如何通过卓越的设计工艺来提高产品性能或创造速度优势。如前所述,HBM支持高带宽,而带宽指的是在特定单位时间内可以传输的数据量。由于具有高带宽的特性,HBM主要应用于高性能计算场景。

通过机器学习解决偏移问题

过去八年来,HBM产品带宽增加了七倍,目前已接近1TB/秒的里程碑节点。鉴于同期内其他产品的带宽仅增加两到三倍,我们有理由将HBM产品的快速发展归功于存储器制造商之间激烈的竞争。

wKgZomVdhUuAR0K_AADTaO1O_Z8422.png

<图1:ISSCC上发表的HBM相关文章的趋势 >

存储器带宽指单位时间内可以传输的数据量,要想增加带宽,最简单的方法是增加数据传输线路的数量。事实上,每个HBM由多达1024个数据引脚组成,HBM内部的数据传输路径随着每一代产品的发展而显著增长,如图2所示。

wKgaomVdhVGAS4sZAACw98uIyow744.png

<图2:各代HBM产品的数据传输路径配置>

但是,芯片的尺寸限制了传输路径的增加。因为增加的不仅是数据传输线路,还有使用每条传输线路的传输/接收电路。此外,随着传输线路的增加,等量匹配每条传输线路长度和配置的难度加大,使得运行速度无法提升。

传输线路之间的时序差异就是我们所说的偏移。为了减少偏移,每条传输线路的总长度和电子元件应采用相似的设计。然而,HBM有数千条内部传输线路,逐一匹配几乎是不可能的任务。为此,SK海力士引入了机器学习。强化学习(Reinforcement learning)技术可以在每条传输线路上附加多余的传输路径,无需工程师手动作业,即可精确地优化偏移问题,由此减少整个传输路径间的偏移。

wKgZomVdhVeAAZyMAAHChtH5VY4259.png

<图3:基于机器学习技术的信号线路优化>

图3显示了这一优化过程。一些90度弯曲的线路具有不同的特性,因此必须通过增加红色附加线的方式来减少偏移(Skew)。与初始的随机解决方案(如图3左侧所示)相比,强化学习技术的使用可以带来最优结果(如右图所示)。通过这种方法,偏移从100皮秒(100 ps)缩短至70皮秒(70 ps),降幅达30%。

通过PVT感知时序优化来提高速度

即使偏移问题得到优化,各种信号之间相对时序关系的匹配仍然是一个难题。例如,每32个数据信号对应一个时钟信号(clock signal)*,如果需要由时钟信号来控制数据信号,那么时钟信号必须采用与数据信号不同的电路。电路配置的差异也会导致关系的变化,具体取决于工艺、电压、温度(PVT)的变化。无论何种情况下,时钟都必须位于数据的特定时序部分。但是,随着运行速度的提升,时序部分会减少,由此增加了设计复杂度。

* 时钟信号(clock signal):在同步数字电路中,时钟信号在高位和低位状态之间振荡,并且像节拍器一样用于协调数字电路的动作。

为了解决这一问题,SK海力士采用PVT感知时序优化技术来检测HBM3中的PVT变化,以找到最佳时序。这项技术可以确定单元电路的哪一个分级与精确循环的外部时钟输入具有相同的周期,并基于该数据自动优化主时序裕量电路(timing margin circuit)中的电路配置。如图4所示,随着PVT的变化,时钟时序通常会将时钟移动到一侧,而PVT感知时序优化技术可以在任何情况下让时钟始终保持在中心位置,以此来提高速度。

wKgZomVdhVmARwMWAAPPkgr6kvQ520.png

<图4:PVT感知时序优化技术>

为了增加作为HBM关键性能指标的带宽,SK海力士正在开发一系列设计技术,包括数据路径优化、基于机器学习的信号线路优化、PVT感知时序优化技术以及全新工艺技术等。基础die与典型DRAM工艺的不同之处在于基础die没有单元,利用这一特性,我们正在开发HBM优化工艺技术以及用于3D堆栈的先进封装技术。

通过上述一系列努力,SK海力士实现了HBM的快速发展。然而,为了满足客户不断增加的期望,打破现有框架进行新技术开发势在必行。此外,SK海力士还在与HBM生态系统中的参与者(客户、代工厂和IP公司等)通力合作,以提升生态系统等级。商业模式的转变同样是大势所趋。作为HBM领军企业,SK海力士将致力于在计算技术领域不断取得进步,全力实现HBM的长期发展。

wKgaomVdhWCABUEQAADSfvrqUVw088.png

文章来源:SK海力士

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DRAM
    +关注

    关注

    40

    文章

    2303

    浏览量

    183258
  • 带宽
    +关注

    关注

    3

    文章

    903

    浏览量

    40820
  • 机器学习
    +关注

    关注

    66

    文章

    8367

    浏览量

    132362
  • HBM
    HBM
    +关注

    关注

    0

    文章

    371

    浏览量

    14696
收藏 人收藏

    评论

    相关推荐

    风景独好?12层HBM3E量产,16层HBM3E在研,产业链涌动

    海力士宣布公司已开始量产12H HBM3E芯片,实现了现有HBM产品中最大的36GB容量。该产品堆叠12颗3GB DRAM芯片,实现与现有的8层产品
    的头像 发表于 10-06 01:03 3689次阅读
    风景独好?12层<b class='flag-5'>HBM</b>3E量产,16层<b class='flag-5'>HBM</b>3E在研,产业链涌动

    HBM4到来前夕,HBM热出现两极分化

    电子发烧友网报道(文/黄晶晶)高带宽存储器HBM由于生成式AI的到来而异军突起,成为AI训练不可或缺的存储产品。三大HBM厂商SK海力士、三星电子、美光科技也因HBM的供应迎来了业绩的
    的头像 发表于 09-23 12:00 2520次阅读

    SK海力士发布HBM3e 16hi产品

    在近日举办的SK AI Summit 2024活动中,SK hynix(SK海力士)透露了一项令人瞩目的新产品计划。据悉,该公司正在积极开发HBM3e 16hi产品,这款产品的每颗
    的头像 发表于 11-14 18:20 341次阅读

    SK海力士推出48GB 16层HBM3E产品

    近日在一次科技展览上,SK海力士惊艳亮相,展出了全球首款48GB 16层HBM3E(High Bandwidth Memory 3E)产品。这一突破性产品不仅展示了SK海力士在高端存储技术领域
    的头像 发表于 11-05 15:01 278次阅读

    SK海力士12层堆叠HBM3E率先量产

    SK海力士近日宣布了一项重大突破,公司已成功在全球范围内率先实现12层堆叠HBM3E的量产,这一里程碑式的成就标志着其在高端存储技术领域的持续领先地位。这款新品不仅将HBM产品的容量提
    的头像 发表于 09-27 16:49 487次阅读

    HBM上车之后,移动HBM有望用在手机上

    和连接LPDDR DRAM来增加内存带宽,它与HBM类似,通过将常规DRAM堆叠8层或12层来提高数据吞吐量,并具有低功耗的优势。   以LPDDR为代表的移动DRAM芯片由于其较小的尺寸,并不适用于与HBM相同的TSV连接方案
    的头像 发表于 09-06 00:21 3066次阅读
    继<b class='flag-5'>HBM</b>上车之后,移动<b class='flag-5'>HBM</b>有望用在手机上

    台积电携手创意电子斩获HBM4关键界面芯片大单

    在科技浪潮的涌动下,台积电再次展现其行业领导者的地位。据台媒《经济日报》6月24日报道,继独家代工英伟达、AMD等科技巨头AI芯片之后,台积电近日携手旗下创意电子,成功斩获下一代HBM4(高带宽内存
    的头像 发表于 06-24 15:06 704次阅读

    三星电子否认HBM产品未达标,多家合作公司保证质量

    针对媒体报道三星电子高带宽存储(HBM产品未达英伟达品质标准的传闻,三星予以明确否认。该报道列举了散热及功耗等问题,并称三星的HBM产品尚未经过英伟达严谨的测试环节。
    的头像 发表于 05-27 09:51 351次阅读

    台积电在欧洲技术研讨会上展示HBM4的12FFC+和N5制造工艺

    目前,我们正在携手众多HBM存储伙伴(如美光、三星、SK海力士等)共同推进HBM4在先进制程中的全面集成。12FFC+基础Dies在满足HBM性能需求的同时,具有显著的成本优势;而N5
    的头像 发表于 05-17 10:07 479次阅读

    HBM:突破AI算力内存瓶颈,技术迭代引领高性能存储新纪元

    HBM制造集成前道工艺与先进封装,TSV、EMC、键合工艺是关键HBM制造的关键在于TSV DRAM,以及每层TSV DRAM之间的连接方式。
    发表于 03-14 09:58 1095次阅读
    <b class='flag-5'>HBM</b>:突破AI算力内存瓶颈,技术迭代引领高性能存储新纪元

    三星电子发布业界最大容量HBM

    三星电子近日宣布,公司成功研发并发布了其首款12层堆叠HBM3E DRAM,即HBM3E 12H,该产品在带宽和容量上均实现了显著的提升,这也意味着三星已开发出业界迄今为止容量最大的新
    的头像 发表于 03-08 10:10 631次阅读

    HBMHBM2、HBM3和HBM3e技术对比

    AI服务器出货量增长催化HBM需求爆发,且伴随服务器平均HBM容量增加,经测算,预期25年市场规模约150亿美元,增速超过50%。
    发表于 03-01 11:02 1155次阅读
    <b class='flag-5'>HBM</b>、<b class='flag-5'>HBM</b>2、<b class='flag-5'>HBM</b>3和<b class='flag-5'>HBM</b>3e技术对比

    三星发布首款12层堆叠HBM3E DRAM

    近日,三星电子宣布,已成功发布其首款12层堆叠的高带宽内存(HBM3E)产品——HBM3E 12H,再次巩固了其在半导体技术领域的领先地位。据了解,
    的头像 发表于 02-27 14:28 991次阅读

    三星电子成功发布其首款12层堆叠HBM3E DRAM—HBM3E 12H

    2024年2月27日 - 三星电子今日宣布,公司成功发布其首款12层堆叠HBM3E DRAM——HBM3E 12H,这是三星目前为止容量最大的HBM
    的头像 发表于 02-27 11:07 734次阅读

    英伟达HBM3e 验证计划2024 Q1完成

    HBM4 预计将于 2026 年推出,具有针对英伟达和其他 CSP 未来产品量身定制的增强规格和性能。在更高速度的推动下,HBM4 将标志着其最底部逻辑芯片(基础芯片)首次使用 12
    发表于 11-28 09:45 504次阅读
    英伟达<b class='flag-5'>HBM</b>3e 验证计划2024 Q1完成