0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA最新GPU带动,液冷服务器市占有望从1%提升到15%

花茶晶晶 来源:电子发烧友网 作者:黄晶晶 2024-06-14 09:11 次阅读

电子发烧友网报道(文/黄晶晶)数据中心向来是耗电大户,过去出于更经济的考虑气冷型服务器占据主流,如今随着大语言模型的快速发展以及Meta的Llama-3和Mistral的Mixtral 8x22B等开源模型不断推出,采用液冷技术的总拥有成本效益更加突出。未来液冷服务器的比重将显著上升。

液冷产品简化AI基础设施


最近,Supermicro推出可立即部署式液冷型AI数据中心,此数据中心专为云原生解决方案而设计,通过SuperCluster加速各界企业对生成式AI的运用,并针对NVIDIA AI Enterprise软件平台优化,适用于生成式AI的开发与部署。

Supermicro的SuperCluster解决方案针对LLM训练、深度学习以及大规模与大批量推理优化Supermicro的SuperCluster支持NVIDIA AI Enterprise,其中包括NVIDIA NIM微服务和NVIDIA NeMo平台,能实现端对端生成式AI客制,并针对NVIDIA Quantum-2 InfiniBand以及具有每GPU 400Gb/s网速的新型NVIDIA Spectrum-X以太网络平台优化,可扩展到具有数万个GPU的大型计算丛集。

通过Supermicro的4U液冷技术,NVIDIA近期推出的Blackwell GPU能在单一GPU上充分发挥20 PetaFLOPS的AI性能,且与较早的GPU相比,能提供4倍的AI训练性能与30倍的推理性能,并节省额外成本。

Supermicro总裁兼首席执行官梁见后表示,我们的解决方案针对NVIDIA AI Enterprise软件优化,满足各行各业的客户需求,并提供世界规模级效率的全球制造产能。因此我们得以缩短交付时间,更快提供搭配NVIDIA HGX H100和H200,以及即将推出的B100、B200和GB200解决方案的可立即使用型液冷或气冷计算丛集。



液冷型被越来越多的采用


Supermicro提供的数据中心的液冷配置设计可几近免费,并通过能持续降低用电量的优势为客户提供额外价值。采用液冷方案的整体拥有成本将非常可观,例如来自于后期运营过程当中的电力消耗的减少,5年可以节省高达6000万美元的电费支出。Supermicro从液冷板到CDU乃至冷却塔,其机柜级全方位液冷解决方案最大可以降低数据中心40%的持续用电量。

液冷并非新的技术,它存在已经超过30年,不过在采访中,梁见后表示,之前液冷方案需求量小,并且交期长约4-12个月,以小型OEM为主。如今,Supermicro与客户重新进行子系统和组件设计来提升数据中心的性能,并改善了交期,满足更快的交付要求。

今年以来,客户要求新建数据中心时直接采用液冷方案,也希望将旧有的气冷数据中心部分转换成液冷配置。在此需求刺激下,公司液冷业务的增长非常快,产能处于供不应求的状态。

公司在荷兰、美国和马来西亚等全球各地扩大生产规模,预计2-3个月内马来西亚新厂区即可投产。产能爬坡,供应能力增加,令客户享受更低成本的初始投资方案以及更低的总拥有成本。

随着大语言模型的服务器集群的需求增长,液冷方案有望成为主流。过去三十年液冷的市场份额估计都不到1%,但数据中心对液冷方案的采用逐渐增多,这一市占有望提高到15%以上。

不断拓展液冷型产品线


NVIDIA创始人兼首席执行官黄仁勋对于Supermicro的设计给出高度评价,他表示生成式AI正在推动整个计算堆栈的重置,新的数据中心将会通过GPU进行计算加速,并针对AI优化。Supermicro设计了顶尖的NVIDIA加速计算和网络解决方案,使价值数兆美元的全球数据中心能够针对AI时代优化。

Supermicro目前的生成式AI SuperCluster液冷型产品包括Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256个H100/H200 GPU,为5个机柜规模的可扩展计算单元(包括1 个专用网络机柜)。即将推出的SuperCluster液冷型产品包括Supermicro NVIDIA HGX B200 SuperCluster液冷型,Supermicro NVIDIA GB200 NVL72 或NVL36 SuperCluster液冷型。

当然除了液冷型之外,也推出了气冷型产品,例如气冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256个HGX H100/H200 GPU,为9个机柜规模的可扩展计算单元(包括1个专用网络机柜),以及后续将推出的Supermicro NVIDIA HGX B100/B200 SuperCluster气冷型。

Supermicro是主流的AI 服务器制造商之一。受益于 ChatGPT 引发的人工智能热潮,再加上与英伟达的密切合作,这两年Supermicro业绩飙升,并受到资本市场的追捧。如今,Supermicro的液冷服务器技术直击 AI 处理器功耗高的痛点,技术创新和产能提升下,公司的液冷服务器业务将成为强劲的成长动力。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4795

    浏览量

    102462
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4603

    浏览量

    128200
  • Supermicro
    +关注

    关注

    0

    文章

    26

    浏览量

    9246
  • 液冷
    +关注

    关注

    4

    文章

    85

    浏览量

    4892
收藏 人收藏

    评论

    相关推荐

    gpu服务器与cpu服务器的区别对比,终于知道怎么选了!

    gpu服务器与cpu服务器的区别主要体现在架构设计、性能特点、能耗效率、应用场景、市场定位等方面,在以上几个方面均存在显著差异。CPU服务器更适合数据库管理和企业应用,而
    的头像 发表于 08-01 11:41 316次阅读

    算力服务器为什么选择GPU

    随着人工智能技术的快速普及,算力需求日益增长。智算中心的服务器作为支撑大规模数据处理和计算的核心设备,其性能优化显得尤为关键。而GPU服务器也进入了大众的视野,成为高性能计算的首选。那么,为什么算力
    的头像 发表于 07-25 08:28 300次阅读
    算力<b class='flag-5'>服务器</b>为什么选择<b class='flag-5'>GPU</b>

    基于ESP32S进行BLE MESH开发,基于的是BLE4.2,是否可以提升到BLE5.0?

    1.现在基于ESP32S进行BLE MESH开发,基于的是BLE4.2,是否可以提升到BLE5.0? 2.BLE4.2是否可以接收到BLE5.0 Beacon?Code: Select all
    发表于 06-12 07:49

    新手小白怎么学GPU服务器跑深度学习?

    新手小白想用GPU服务器跑深度学习应该怎么做? 用个人主机通常pytorch可以跑但是LexNet,AlexNet可能就直接就跑不动,如何实现更经济便捷的实现GPU服务器深度学习?
    发表于 06-11 17:09

    PUE的拯救者,液冷服务器

    下,要想借助GPU密集的计算集群打造智算网络,是肯定不能在散热上马虎的。为此,自19年起组建开展商业化应用的液冷服务器,开始慢慢抢占更多的市场份额。   液冷的必要性   随着英伟达B
    的头像 发表于 06-06 00:23 2405次阅读
    PUE的拯救者,<b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>

    利用NVIDIA组件提升GPU推理的吞吐

    本实践中,唯品会 AI 平台与 NVIDIA 团队合作,结合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)将推理的稠密网络和热 Embedding 全置于
    的头像 发表于 04-20 09:39 523次阅读

    gpu服务器是干什么的 gpu服务器与cpu服务器的区别有哪些

    gpu服务器是干什么的 gpu服务器与cpu服务器的区别 GPU
    的头像 发表于 01-30 15:31 703次阅读

    浪潮信息与英特尔联合发布全球首个全液冷冷板服务器参考设计

    北京2024年1月19日 /美通社/ -- 1月18日,浪潮信息与英特尔联合发布全球首个全液冷冷板服务器参考设计,并面向业界开放,为全球液冷
    的头像 发表于 01-19 16:52 432次阅读
    浪潮信息与英特尔联合发布全球首个全<b class='flag-5'>液冷</b>冷板<b class='flag-5'>服务器</b>参考设计

    利用NVIDIA产品技术组合提升用户体验

    本案例通过利用NVIDIA TensorRT-LLM加速指令识别深度学习模型,并借助NVIDIA Triton推理服务器NVIDIA V100 G
    的头像 发表于 01-17 09:30 576次阅读

    超微gpu服务器评测

    GPU服务器进行评测。 一、超微GPU服务器概述 超微GPU服务器是一种基于超微
    的头像 发表于 01-10 10:37 1069次阅读

    液冷服务器行业分类及产业链分析

    中国液冷服务器行业市场规模将持续高速增长,其原因在于:1. 国家绿色能源和可持续发展扶持政策,推动液冷服务器广泛应用。2. 数字化转型促进
    的头像 发表于 12-18 14:13 2585次阅读
    <b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>行业分类及产业链分析

    液冷服务器发展历程及产业链分析

    根据散热方法,可以将液冷服务器分为直接液冷和间接液冷两类。其中直接液冷包括喷淋式液冷系统和浸没式
    的头像 发表于 12-04 11:24 3025次阅读
    <b class='flag-5'>液冷</b><b class='flag-5'>服务器</b>发展历程及产业链分析

    gpu服务器是干什么的 gpu服务器与cpu服务器的区别

     相比于传统的CPU服务器GPU服务器支持同时计算大量相似的计算操作,可以实现更强的并行计算性能。GPU服务器通常配备多个高性能的
    的头像 发表于 12-02 17:20 1735次阅读

    5V脉冲信号怎么可以提升到28V脉冲?

    PCF8591,5V脉冲信号怎么可以提升到28V脉冲?
    发表于 10-25 08:29

    请问单片机如何控制5V脉冲信号提升到28V脉冲?

    单片机如何控制5V脉冲信号提升到28V脉冲?
    发表于 10-20 06:23