0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

利用NVIDIA HGX H100加速计算数据中心平台应用

星星科技指导员 来源:NVIDIA 作者:William Tsu 2022-04-20 10:54 次阅读

NVIDIA 的使命是加快我们的时代达芬奇和爱因斯坦的工作,并赋予他们解决社会的巨大挑战。随着 人工智能AI )、 高性能计算 ( HPC )和数据分析的复杂性呈指数级增长,科学家需要一个先进的计算平台,能够在一个十年内实现百万次的加速,以解决这些非同寻常的挑战。

为了回答这个需求,我们介绍了NVIDIA HGX H100 ,一个由 NVIDIA Hopper 架构 供电的密钥 GPU 服务器构建块。这一最先进的平台安全地提供了低延迟的高性能,并集成了从网络到数据中心级计算(新的计算单元)的全套功能。

在这篇文章中,我将讨论NVIDIA HGX H100 是如何帮助我们加速计算数据中心平台的下一个巨大飞跃。

HGX H100 8-GPU

HGX H100 8- GPU 是新一代 Hopper GPU 服务器的关键组成部分。它拥有八个 H100 张量核 GPU 和四个第三代 NV 交换机。每个 H100 GPU 都有多个第四代 NVLink 端口,并连接到所有四个 NVLink 交换机。每个 NVSwitch 都是一个完全无阻塞的交换机,完全连接所有八个 H100 Tensor Core GPU 。

The HGX H100 8-GPU represents the key building block of the new Hopper generation GPU server and hosts eight H100 Tensor Core GPUs and four third generation NVSwitch.

图 1 。 HGX H100 8-GPU 的高级框图

NVSwitch 的这种完全连接的拓扑结构使任何 H100 都可以同时与任何其他 H100 通话。值得注意的是,这种通信以每秒 900 千兆字节( GB / s )的 NVLink 双向速度运行,这是当前 PCIe Gen4 x16 总线带宽的 14 倍多。

第三代 NVSwitch 还为集体运营提供了新的硬件加速,多播和 NVIDIA 的网络规模大幅缩减。结合更快的 NVLink 速度,像all-reduce这样的普通人工智能集体操作的有效带宽比 HGX A100 增加了 3 倍。集体的 NVSwitch 加速也显著降低了 GPU 上的负载。

表 1 。将 HGX A100 8- GPU 与新的 HGX H100 8-GPU 进行比较

*注: FP 性能包括稀疏性

HGX H100 8- GPU 支持 NVLink 网络

新兴的 exascale HPC 和万亿参数人工智能模型(用于精确对话人工智能等任务)需要数月的训练,即使是在超级计算机上。将其压缩到业务速度并在数小时内完成培训需要服务器集群中每个 GPU 之间的高速、无缝通信。

为了解决这些大的使用案例,新的 NVLink 和 NVSwitch 旨在使 HGX H100 8- GPU 能够通过新的 NVLink 网络扩展并支持更大的 NVLink 域。 HGX H100 8- GPU 的另一个版本具有这种新的 NVLink 网络支持。

The HGX H100 8-GPU was designed to scale up to support a larger NVLink domain with the new NVLink-Network.

图 2 。支持 NVLink 网络的 HGX H100 8- GPU 的高级框图

使用 HGX H100 8- GPU 和 NVLink 网络支持构建的系统节点可以通过八进制小尺寸可插拔( OSFP ) LinkX 电缆和新的外部 NVLink 交换机完全连接到其他系统。此连接最多支持 256 个 GPU NVLink 域。图 3 显示了集群拓扑。

表 2 。比较 256 个 A100 GPU 吊舱和 256 个 H100 GPU 吊舱

*注: FP 性能包括稀疏性

目标用例和性能优势

随着 HGX H100 计算和网络能力的大幅增加, AI 和 HPC 应用程序的性能得到了极大的提高。

今天的主流 AI 和 HPC 模型可以完全驻留在单个节点的聚合 GPU 内存中。例如, BERT -Large 、 Mask R-CNN 和 HGX H100 是最高效的培训解决方案。

对于更先进、更大的 AI 和 HPC 模型,该模型需要多个聚合 GPU 内存节点才能适应。例如,具有 TB 级嵌入式表的深度学习推荐模型( DLRM )、大量混合专家( MoE )自然语言处理模型,以及具有 NVLink 网络的 HGX H100 加速了关键通信瓶颈,是此类工作负载的最佳解决方案。

图 4 来自 NVIDIA H100 GPU 体系结构 白皮书显示了 NVLink 网络带来的额外性能提升。

所有性能数据都是基于当前预期的初步数据,可能会随着运输产品的变化而变化。 A100 集群: HDR IB 网络。 H100 集群: NDR IB 网络和 NVLink 网络,如图所示。

# GPU :气候建模 1K , LQCD 1K ,基因组学 8 , 3D-FFT 256 , MT-NLG 32 (批次大小: A100 为 4 , 1 秒 H100 为 60 , A100 为 8 , 1.5 和 2 秒 H100 为 64 ), MRCNN 8 (批次 32 ), GPT-3 16B 512 (批次 256 ), DLRM 128 (批次 64K ), GPT-3 16K (批次 512 ), MoE 8K (批次 512 ,每个 GPU 一名专家)​

HGX H100 4-GPU

除了 8- GPU 版本外, HGX 系列还具有一个 4-GPU 版本,该版本直接与第四代 NVLink 连接。

H100 对 H100 点对点对等 NVLink 带宽为 300 GB / s 双向,比今天的 PCIe Gen4 x16 总线快约 5 倍。

HGX H100 4- GPU 外形经过优化,可用于密集 HPC 部署:

多个 HGX H100 4- GPU 可以装在 1U 高液体冷却系统中,以最大化每个机架的 GPU 密度。

带有 HGX H100 4- GPU 的完全无 PCIe 交换机架构直接连接到 CPU ,降低了系统材料清单并节省了电源

对于 CPU 更密集的工作负载, HGX H100 4- GPU 可以与两个 CPU 插槽配对,以提高 CPU 与 GPU 的比率,从而实现更平衡的系统配置。

人工智能和高性能计算的加速服务器平台

NVIDIA 正与我们的生态系统密切合作,在今年晚些时候将基于 HGX H100 的服务器平台推向市场。我们期待着把这个强大的计算工具交给你们,使你们能够以人类历史上最快的速度创新和完成你们一生的工作。

关于作者

William Tsu NVIDIA HGX 数据中心产品线的产品管理。他与客户和合作伙伴合作,将世界上性能最高的人工智能、深度学习和 HPC 服务器平台推向市场。威廉最初加入NVIDIA 是作为一名图形处理器芯片设计师。他是最初的 PCI Express 行业标准规范的共同作者,也是 12 项专利的共同发明人。威廉获得了他的学士学位,硕士学位在计算机科学和 MBA 从加利福尼亚大学,伯克利。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5103

    浏览量

    104344
  • 数据中心
    +关注

    关注

    16

    文章

    4946

    浏览量

    72628
  • 人工智能
    +关注

    关注

    1799

    文章

    48050

    浏览量

    241949
  • H100
    +关注

    关注

    0

    文章

    32

    浏览量

    333
收藏 人收藏

    评论

    相关推荐

    英伟达A100H100比较

    英伟达A100H100都是针对高性能计算和人工智能任务设计的GPU,但在性能和特性上存在显著差异。以下是对这两款GPU的比较: 1. 架构与核心规格: A100: 架构: 基于Amp
    的头像 发表于 02-10 17:05 1710次阅读
    英伟达A<b class='flag-5'>100</b>和<b class='flag-5'>H100</b>比较

    NIDA发布《智算数据中心网络建设技术要求》

    Alliance,以下简称 “NIDA”)携手中国信息通信研究院等9家组织成员共同发布了《智算数据中心网络建设技术要求》(以下简称 “技术要求”)。该技术要求明确了智算场景下数据中心网络建设的技术要求与执行标准,旨在加速企业智
    的头像 发表于 12-04 11:13 510次阅读

    Supermicro推出直接液冷优化的NVIDIA Blackwell解决方案

    机架中的NVIDIA HGX B200 8-GPU系统数量,与Supermicro目前领先业界的搭载NVIDIA HGX H100
    发表于 11-25 10:39 559次阅读
    Supermicro推出直接液冷优化的<b class='flag-5'>NVIDIA</b> Blackwell解决方案

    华为致力于打造安全可靠的智算数据中心

    数据中心能源产品与解决方案亮相盛会,同时,华为数字能源数据中心能源及关键供电产品线副总裁阳必飞受邀参与此次盛会,并发表《智算数据中心建设之道》主题演讲。   站在AI时代、智算中心发展
    的头像 发表于 11-23 14:05 429次阅读

    NVIDIA向开放计算项目捐赠Blackwell平台设计

    近日,在美国加利福尼亚州举行的 OCP 全球峰会上,NVIDIA 宣布已把 NVIDIA Blackwell 加速计算平台的一些基础元素捐赠
    的头像 发表于 11-19 15:30 320次阅读

    华迅光通AI计算加速800G光模块部署

    400G光模块。更多信息可以在这篇文章中找到:NVIDIA DGX H100简介。这表明在叶脊架构下,数据中心对高速光模块的需求呈指数级增长。随着数据中心规模的扩大,特别是对AI大型模
    发表于 11-13 10:16

    英伟达H100芯片市场降温

    随着英伟达新一代AI芯片GB200需求的不断攀升,其上一代明星产品H100芯片却遭遇了市场的冷落。据业内人士透露,搭载H100的服务器通常以8卡的形式进行出售或出租,而在去年,这类服务器的售价普遍
    的头像 发表于 10-28 15:42 1069次阅读

    计算数据中心的关系

    计算数据中心之间存在着密切且复杂的关系,它们相互依存、互相促进。 一、数据中心是云计算的基础设施 数据中心是一整套复杂的设施,用于传递、
    的头像 发表于 10-24 16:15 957次阅读

    利用NVIDIA RAPIDS加速DolphinDB Shark平台提升计算性能

    DolphinDB 是一家高性能数据库研发企业,也是 NVIDIA 初创加速计划成员,其开发的产品基于高性能分布式时序数据库,是支持复杂计算
    的头像 发表于 09-09 09:57 571次阅读
    <b class='flag-5'>利用</b><b class='flag-5'>NVIDIA</b> RAPIDS<b class='flag-5'>加速</b>DolphinDB Shark<b class='flag-5'>平台</b>提升<b class='flag-5'>计算</b>性能

    SK电讯将与Lambda合作打造AI数据中心

    韩国领先的电信巨头SK电讯(SK Telecom)宣布了一项重要合作计划,将与美国知名的云GPU服务提供商Lambda携手,于2024年12月在首尔共同推出一个先进的人工智能(AI)数据中心。该中心将依托英伟达最新一代的H100
    的头像 发表于 08-23 17:29 1407次阅读

    Supermicro推出适配NVIDIA Blackwell和NVIDIA HGX H100/H200的机柜级即插即用液冷AI SuperCluster

    制造商,推出可立即部署式液冷型AI数据中心。此数据中心专为云原生解决方案而设计,通过SuperCluster加速各界企业对生成式AI的运用,并针对NVIDIA AI Enterpris
    发表于 06-07 15:12 381次阅读
    Supermicro推出适配<b class='flag-5'>NVIDIA</b> Blackwell和<b class='flag-5'>NVIDIA</b> <b class='flag-5'>HGX</b> <b class='flag-5'>H100</b>/<b class='flag-5'>H</b>200的机柜级即插即用液冷AI SuperCluster

    首批1024块H100 GPU,正崴集团将建中国台湾最大AI计算中心

    中国台湾当地正崴集团5月27日宣布,将与日本公司Ubitus共同打造人工智能(AI)计算中心,其中第一期将导入128个机柜,共计1024张英伟达H100旗舰计算卡,旨在构建台湾最大的AI计算中
    的头像 发表于 05-29 10:05 1380次阅读

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    冷却技术,提高计算密度,减少占地面积,并通过高带宽、低延迟的GPU通信,有效减少数据中心的碳足迹和能源消耗。相较于传统的NVIDIA H100风冷基础设施,GB200在相同功耗下实现2
    发表于 05-13 17:16

    NVIDIA 通过 CUDA-Q 平台为全球各地的量子计算中心提供加速

    德国、日本和波兰的超级计算利用 Grace-Hopper 和量子-经典加速超算平台推进量子计算研究     德国汉堡 —— 国际超算大会(
    发表于 05-13 15:21 249次阅读
    <b class='flag-5'>NVIDIA</b> 通过 CUDA-Q <b class='flag-5'>平台</b>为全球各地的量子<b class='flag-5'>计算中心</b>提供<b class='flag-5'>加速</b>

    英伟达H200和H100的比较

    英伟达H200和H100是两款不同的AI芯片,它们各自具有独特的特点和优势。以下是关于这两款芯片的一些比较。
    的头像 发表于 03-07 15:53 6428次阅读