电子发烧友网报道(文/李弯弯)据报道,继英伟达之后,全球多个科技巨头都在竞购SK海力士的第五代高带宽内存HBM3E。半导体行业知情人士称,各大科技巨头都已经在向SK海力士请求获取HBM3E样本,包括AMD、微软和亚马逊等。
HBM(高带宽存储器),是由AMD和SK海力士发起的基于3D堆栈工艺的高性能DRAM,适用于高存储器带宽需求的应用场合。如今HBM已经发展出HBM2、HBM2e以及HBM3。HBM3E是HBM3的下一代产品,SK海力士目前是唯一能量产HBM3的厂商。
HBM成为AI芯片中存储主流方案
HBM是一种高带宽内存技术,它采用了3D堆叠技术,将多个DRAM芯片堆叠在一起,形成一个高密度、高带宽的内存模块。
随着时间发展,存储器与处理器性能差异逐渐扩大,当存储器访问速度跟不上处理器数据处理速度时,存储与运算之间便筑起了一道“内存墙”。而随着人工智能、高性能计算等应用市场兴起,数据量指数级增长,“内存墙”问题也愈发突出。
存储器带宽是指单位时间内可以传输的数据量,要想增加带宽,最简单的方法是增加数据传输线路的数量。HBM能够通过系统级封装(SIP)和硅通孔(TSV)技术实现垂直堆叠,拥有多达1024个数据引脚,可显著提升数据传输速度,因此成为AI芯片中存储的主流技术方案。
英伟达、AMD等企业高端AI芯片大多搭载HBM。据了解,英伟达历代主流训练芯片基本都配置HBM,其2016年发布的首个采用帕斯卡架构的显卡TeslaP100已搭载了HBM2,随后TeslaV100也采用了HBM2;2017年初,英伟达发布的Quadro系列专业卡中的旗舰GP100也采用了HBM2;2021年推出的TeslaA100计算卡也搭载了HBM2E,2022年推出了面向大陆地区的A800,同样也配置HBM2E;2022年推出了市面上最强的面向AI服务器的GPU卡H100,采用的HBM3。
AMD今年6月推出的号称是最强的AI芯片MI300X,就是搭载由SK海力士及三星电子供应的HBM。AMD称,MI300X提供的HBM密度最高是英伟达AI芯片H100的2.4倍,其HBM带宽最高是H100的1.6倍。这意味着,AMD的芯片可以运行比英伟达芯片更大的模型。
苏姿丰介绍,MI300X可以支持400亿个参数的Hugging Face AI模型运行,并演示了让这个LLM写一首关于旧金山的诗。这是全球首次在单个GPU上运行这么大的模型。单个MI300X可以运行一个参数多达800亿的模型。
另外,谷歌也将于2023年下半年扩大与Broadcom合作开发AISC,其AI加速芯片TPU亦采搭载HBM存储器,以扩建AI基础设施。
目前,英伟达、AMD、微软和亚马逊等科技巨头都在向SK海力士申请下一代HBM3E样本,SK海力士正忙于应对客户对HBM3E样品的大量请求。报道称,英伟达是第一家申请HBM3E送样的客户;申请的客户或许年底前即可收到样品。
由于HBM3E需求暴增,SK海力士已决定明年大扩产、采用最先进的10nm等级第五代(1b)技术,多数新增产能将用来生产HBM3E。
大模型带动HBM市场需求高增长
大模型的发展正在带动HBM的市场需求。近大半年时间,国内外科技互联网龙头企业都在参与大模型的研发,国外的包括谷歌、微软、Meta、Open AI,英伟达等,国内的包括百度、华为、阿里、腾讯、商汤、可达讯飞、昆仑万维、云知声等。
服务器是算力的核心基础设施,大模型数据量的指数级增长拉升AI服务器需求大幅提升。根据机构调研,目前高端AI服务器GPU搭载HBM芯片已成主流,预计2023年全球HBM需求量将增近六成,达到2.9亿GB,2024年将再增长30%。
这对于HBM企业及上游产业链来说无疑都是好消息。目前市场上的HBM主要由SK海力士、三星、美光三家厂商供应,根据2022年数据,三家公司的市场占有率分别为50%、40%、10%。其中,预计2023年SK海力士将受益HBM3产品的量产,市占率有望提升至53%。
在HBM领域,SK海力士走在业界前列,2014年SK海力士与AMD联合开发了全球首款硅穿孔HBM产品,其带宽高于GDDR5产品。2022年6月实现HBM3的量产,并向英伟达大量供货,配置在英伟达高性能GPUH100之中。
三星紧随其后,在HBM领域的发展也较为顺利,于2016年首次量产HBM2产品,同时发布了4GB和8GB的HBM2 DRAM。2024年预计实现接口速度高达7.2Gbps的HBM3P,2025年在新一代面向AI的GPU中见到HBM3P的应用。
在三家公司中,美光稍有落后,其于2020年7月宣布大规模量产HBM2E,HBM3在研发中。
除了这几家公司之外,上游相关半导体设备、材料等企业预计也将会在这波AI大模型浪潮中受益。比如,硅通孔技术(TSV)是HBM的核心技术之一,中微公司是TSV设备的主要供应商,TSV为连接硅晶圆两面并与硅衬底和其他通孔绝缘的电互连结构,可以穿过硅基板实现硅片内部垂直电互联,是实现2.5D、3D先进封装的关键技术之一,主要用于硅转接板、芯片三维堆叠等方面。
中微公司在2010年就推出了首台TSV深孔硅刻蚀设备Primo TSV®,提供的8英寸和12英寸硅通孔刻蚀设备,均可刻蚀孔径从低至1微米以下到几百微米的孔洞,并具有工艺协调性。
再比如,ALD沉积(单原子层沉积)在HBM工艺中不可或缺,雅克科技是ALD前驱体核心供应商,拓荆科技是ALD设备核心供应商。由于ALD设备可以实现高深宽比、极窄沟槽开口的优异台阶覆盖率及精确薄膜厚度控制,在HBM中先进DRAM加工工艺和TSV加工工艺中是必不可少的工艺环节。
雅克科技是国内ALD沉积主要材料前驱体供应商,公司前驱体产品供应HBM核心厂商SK海力士,High-K、硅金属前驱体产品覆盖先进1bDRAM、200层以上3DNAND以及3nm先进逻辑电路等。
拓荆科技是国内ALD设备的主要供应商之一,公司PEALD产品用于沉积SiO2、SiN等介质薄膜,在客户端验证顺利;Thermal-ALD产品已完成研发,主要用于沉积Al2O3等金属化合物薄膜。
此外,还有华海诚科、联瑞新材、国芯科技、长电科技等企业,也表示相关技术和产品可以用于HBM中。比如,华海诚科的颗粒状环氧塑封料用于HBM的封装,已通过部分客户认证;国芯科技表示,目前正在研究规划合封多HBM内存的2.5D的芯片封装技术。
小结
如今国内外互联网、科技企业都已经纷纷参与大模型的研发,而且从目前的情况来看,不少企业已经在推进大模型在各行业中的落地应用。无论是研究过程中的训练,还是落地部署中的推理,大模型由于数据量庞大,都离不开HBM的支持。
可以看到,在大模型发展的带动下,HBM的市场需求正在快速增长。而除了SK海力士、三星、美光等供应HBM的企业之外,上游相关的半导体设备、材料等企业也能从中获益。
-
英伟达
+关注
关注
22文章
3727浏览量
90754 -
HBM
+关注
关注
0文章
371浏览量
14696
发布评论请先 登录
相关推荐
评论