0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA最新GPU带动,液冷服务器市占有望从1%提升到15%

晶芯观察 来源:电子发烧友网 作者:黄晶晶 2024-06-14 09:11 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/黄晶晶)数据中心向来是耗电大户,过去出于更经济的考虑气冷型服务器占据主流,如今随着大语言模型的快速发展以及Meta的Llama-3和Mistral的Mixtral 8x22B等开源模型不断推出,采用液冷技术的总拥有成本效益更加突出。未来液冷服务器的比重将显著上升。

液冷产品简化AI基础设施


最近,Supermicro推出可立即部署式液冷型AI数据中心,此数据中心专为云原生解决方案而设计,通过SuperCluster加速各界企业对生成式AI的运用,并针对NVIDIA AI Enterprise软件平台优化,适用于生成式AI的开发与部署。

Supermicro的SuperCluster解决方案针对LLM训练、深度学习以及大规模与大批量推理优化Supermicro的SuperCluster支持NVIDIA AI Enterprise,其中包括NVIDIA NIM微服务和NVIDIA NeMo平台,能实现端对端生成式AI客制,并针对NVIDIA Quantum-2 InfiniBand以及具有每GPU 400Gb/s网速的新型NVIDIA Spectrum-X以太网络平台优化,可扩展到具有数万个GPU的大型计算丛集。

通过Supermicro的4U液冷技术,NVIDIA近期推出的Blackwell GPU能在单一GPU上充分发挥20 PetaFLOPS的AI性能,且与较早的GPU相比,能提供4倍的AI训练性能与30倍的推理性能,并节省额外成本。

Supermicro总裁兼首席执行官梁见后表示,我们的解决方案针对NVIDIA AI Enterprise软件优化,满足各行各业的客户需求,并提供世界规模级效率的全球制造产能。因此我们得以缩短交付时间,更快提供搭配NVIDIA HGX H100和H200,以及即将推出的B100、B200和GB200解决方案的可立即使用型液冷或气冷计算丛集。



液冷型被越来越多的采用


Supermicro提供的数据中心的液冷配置设计可几近免费,并通过能持续降低用电量的优势为客户提供额外价值。采用液冷方案的整体拥有成本将非常可观,例如来自于后期运营过程当中的电力消耗的减少,5年可以节省高达6000万美元的电费支出。Supermicro从液冷板到CDU乃至冷却塔,其机柜级全方位液冷解决方案最大可以降低数据中心40%的持续用电量。

液冷并非新的技术,它存在已经超过30年,不过在采访中,梁见后表示,之前液冷方案需求量小,并且交期长约4-12个月,以小型OEM为主。如今,Supermicro与客户重新进行子系统和组件设计来提升数据中心的性能,并改善了交期,满足更快的交付要求。

今年以来,客户要求新建数据中心时直接采用液冷方案,也希望将旧有的气冷数据中心部分转换成液冷配置。在此需求刺激下,公司液冷业务的增长非常快,产能处于供不应求的状态。

公司在荷兰、美国和马来西亚等全球各地扩大生产规模,预计2-3个月内马来西亚新厂区即可投产。产能爬坡,供应能力增加,令客户享受更低成本的初始投资方案以及更低的总拥有成本。

随着大语言模型的服务器集群的需求增长,液冷方案有望成为主流。过去三十年液冷的市场份额估计都不到1%,但数据中心对液冷方案的采用逐渐增多,这一市占有望提高到15%以上。

不断拓展液冷型产品线


NVIDIA创始人兼首席执行官黄仁勋对于Supermicro的设计给出高度评价,他表示生成式AI正在推动整个计算堆栈的重置,新的数据中心将会通过GPU进行计算加速,并针对AI优化。Supermicro设计了顶尖的NVIDIA加速计算和网络解决方案,使价值数兆美元的全球数据中心能够针对AI时代优化。

Supermicro目前的生成式AI SuperCluster液冷型产品包括Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256个H100/H200 GPU,为5个机柜规模的可扩展计算单元(包括1 个专用网络机柜)。即将推出的SuperCluster液冷型产品包括Supermicro NVIDIA HGX B200 SuperCluster液冷型,Supermicro NVIDIA GB200 NVL72 或NVL36 SuperCluster液冷型。

当然除了液冷型之外,也推出了气冷型产品,例如气冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256个HGX H100/H200 GPU,为9个机柜规模的可扩展计算单元(包括1个专用网络机柜),以及后续将推出的Supermicro NVIDIA HGX B100/B200 SuperCluster气冷型。

Supermicro是主流的AI 服务器制造商之一。受益于 ChatGPT 引发的人工智能热潮,再加上与英伟达的密切合作,这两年Supermicro业绩飙升,并受到资本市场的追捧。如今,Supermicro的液冷服务器技术直击 AI 处理器功耗高的痛点,技术创新和产能提升下,公司的液冷服务器业务将成为强劲的成长动力。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5721

    浏览量

    110230
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5317

    浏览量

    136178
  • Supermicro
    +关注

    关注

    0

    文章

    36

    浏览量

    9735
  • 液冷
    +关注

    关注

    5

    文章

    185

    浏览量

    5805
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    历史首次!AMD服务器CPU占率达50%

    英特尔持平。根据AMD的数据显示,自EPYC CPU推出以来,其在服务器领域的市场份额由2018年的2%提升到2024年上半年的34%。在持平之后未来竞争将变得更加激烈。       回看每一代AMD
    的头像 发表于 08-11 03:20 1.1w次阅读
    历史首次!AMD<b class='flag-5'>服务器</b>CPU<b class='flag-5'>市</b>占率达50%

    Supermicro率先发布NVIDIA BlueField-4 STX存储服务器提升AI推理性能

      Supermicro凭借其基于NVIDIA STX AI存储参考架构打造的上下文内存(CMX)存储服务器,进一步彰显其行业领先地位。 BlueField-4 STX存储服务器结合了NVID
    的头像 发表于 03-19 15:46 209次阅读
    Supermicro率先发布<b class='flag-5'>NVIDIA</b> BlueField-4 STX存储<b class='flag-5'>服务器</b>,<b class='flag-5'>提升</b>AI推理性能

    高端AI服务器液冷系统:压力传感的精度与稳定性选型逻辑解析

    随着AI技术的快速迭代,高端AI服务器(智算中心、大模型训练集群)的算力密度持续提升液冷系统已成为保障其稳定运行的核心散热方案。压力传感作为液冷
    的头像 发表于 03-12 12:46 859次阅读

    NTC温度传感液冷服务器散热故障的防线

    随着云计算、AI训练等高算力场景发展,液冷服务器因出色散热效率成为数据中心、AI计算中心的散热方案优选。温度作为影响液冷服务器稳定性与能效性的关键参数需实时监控,爱晟电子NTC温度传感
    的头像 发表于 03-12 11:45 448次阅读

    液冷服务器温控揭秘,NTC温度传感的应用

    在人工智能爆发式增长的推动下,数据中心热管理正面临前所未有的挑战。为有效降低数据中心运行过程中的热功耗,液冷服务器应运而生。同时,为满足液冷环境下对CPU、GPU、电池模组等关键部件的
    的头像 发表于 03-06 15:18 470次阅读
    <b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>温控揭秘,NTC温度传感<b class='flag-5'>器</b>的应用

    液冷服务器系统架构设计案例分享

    服务器的全液冷,一般都需要液冷板覆盖CPU、内存(DIMM)、硬盘(SSD)、电源、IO以及其他SOC的散热。今天给大家分享一款浪潮的全液冷冷板服务
    的头像 发表于 01-27 15:33 918次阅读
    全<b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>系统架构设计案例分享

    液冷重塑AI服务器电源?对材料器件有何要求

    随着AI服务器功率密度持续攀升,传统风冷方案正逐步逼近极限。单机柜功率过去的二三十千瓦,快速跃升至如今的几百千瓦,对散热提出了极致要求。高热流密度使散热系统成为制约服务器性能释放的关键瓶颈。在这一背景下,
    的头像 发表于 12-13 16:46 1992次阅读
    <b class='flag-5'>液冷</b>重塑AI<b class='flag-5'>服务器</b>电源?对材料器件有何要求

    液冷服务器成为AI黄金赛道!华为力挺,两大国际芯片巨头下场

    2024年以来,全球AI液冷服务器快速增长,中国液冷服务器市场进展如何?液冷技术出现哪些主流路线?代表厂商的旗舰产品有哪些?本文进行汇总。
    的头像 发表于 11-27 09:22 7720次阅读
    <b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>成为AI黄金赛道!华为力挺,两大国际芯片巨头下场

    液冷散热时代:AI服务器如何重构磁元件设计

    随着AI服务器功率密度的快速提升,传统的风冷散热方案在热管理方面逐渐面临挑战。在此背景下,液冷散热技术正加速应用于数据中心,特别是高算力的AI集群中。 这一散热方式的变革,并不仅仅是冷却介质的简单
    的头像 发表于 11-21 11:42 1293次阅读
    <b class='flag-5'>液冷</b>散热时代:AI<b class='flag-5'>服务器</b>如何重构磁元件设计

    液冷服务器驱动,eSSD用上冷板冷却技术

    电子发烧友网综合报道,近日,Solidigm宣布率先推出用于无风扇服务器环境的冷板冷却企业级SSD(eSSD)。   SolidigmD7-PS1010E1.SSSD率先引入了单面直触芯片液冷技术
    的头像 发表于 09-28 09:09 7335次阅读
    <b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>驱动,eSSD用上冷板冷却技术

    数据中心液冷服务器该配什么样的 UPS 不间断电源?

    在当今数字化飞速发展的时代,数据中心就像是整个数字世界的心脏,承载着海量的数据存储与处理任务。而液冷服务器作为数据中心的核心设备之一,因其高效的散热性能,正越来越广泛地被应用。不过,要保障液冷
    的头像 发表于 08-21 11:01 1171次阅读
    数据中心<b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>该配什么样的 UPS 不间断电源?

    NVIDIA Dynamo新增对亚马逊云科技服务的支持

    ) 和 AWS Elastic Fabric Adapter (EFA) 的现有集成。此次更新将大规模部署大语言模型 (LLM) 的性能、可扩展性和成本效益提升到了新的水平。
    的头像 发表于 07-28 14:31 1184次阅读
    <b class='flag-5'>NVIDIA</b> Dynamo新增对亚马逊云科技<b class='flag-5'>服务</b>的支持

    12kW到800V,AI服务器电源架构变革下,功率器件如何解题?

    随着数据中心及AI服务器的算力需求迅猛增长,带动服务器电源功率呈几何级上升,过去常见的1~2kW提升
    的头像 发表于 07-22 13:18 1611次阅读
    <b class='flag-5'>从</b>12kW到800V,AI<b class='flag-5'>服务器</b>电源架构变革下,功率器件如何解题?

    硅谷GPU服务器是什么意思?使用指南详解

    硅谷GPU服务器本质上是一种IaaS(基础设施即服务)产品,它将物理服务器上的GPU资源通过虚拟化技术分割成可弹性调配的云
    的头像 发表于 06-16 09:41 789次阅读

    高密度ARM服务器的散热设计

    高密度ARM服务器的散热设计融合了硬件创新与系统级优化技术,以应对高集成度下的散热挑战,具体方案如下: 一、核心散热技术方案 高效散热架构‌ 液冷技术主导‌:冷板式液冷方案通过直接接触CPU/
    的头像 发表于 06-09 09:19 1124次阅读
    高密度ARM<b class='flag-5'>服务器</b>的散热设计