0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是 NVLink?

NVIDIA英伟达 来源:未知 2023-04-19 04:05 次阅读

NVLink 是加速系统中 GPUCPU 处理器的高速互连技术,推动数据和计算加速得出可执行结果。

加速计算是一项曾经只有政府研究实验室中才有的高性能计算能力。如今,它已成为主流技术。

银行、汽车制造商、工厂、医院、零售商等机构需要处理和理解的数据日益增加,他们现在正在采用 AI 超级计算机来处理这些堆积如山的数据。

这些强大、高效的系统如同一条条“超级计算高速公路”。它们在多条并行路径上同时传输数据和计算,可以瞬间得出可执行结果。

GPU 和 CPU 处理器是“公路”沿途的资源,而快速互连通道是通往它们的“匝道”。NVLink 是加速计算互连通道的黄金标准。

那么,什么是 NVLink?

NVLink 是 GPU 和 CPU 之间的高速连接通道。它由一个强大的软件协议组成,通常通过印在计算机板上的多对导线实现,可以让处理器以闪电般的速度收发共享内存池中的数据。

如今,第四代 NVLink 连接主机和加速处理器的速度高达每秒 900GB/s。

这是传统 x86 服务器的互连通道——PCIe 5.0 带宽的 7 倍多。由于每传输 1 字节数据仅消耗 1.3 皮焦,因此 NVLink 的能效是 PCIe 5.0 的 5 倍。

NVLink 的历史

NVLink 最初作为 NVIDIA P100 GPU 的互连通道推出,之后便与每一代新的 NVIDIA GPU 架构同步发展。

daa33fec-de23-11ed-bfe3-dac502259ad0.jpg

2018 年,NVLink 首次亮相便被用于连接两台超级计算机——Summit 和 Sierra 的 GPU 和 CPU,成为了高性能计算领域的焦点。

这两套安装在美国橡树岭国家实验室和美国劳伦斯利弗莫尔国家实验室的系统正在推动药物研发、自然灾害预测等科学领域的发展。

带宽翻倍,继续发展

2020 年,第三代 NVLink 将每个 GPU 的最大带宽翻倍提高至 600GB/s,每个 NVIDIA A100 Tensor Core GPU 中都有十几条互连通道。

A100 为全球各地企业数据中心云计算服务和 HPC 实验室的 AI 超级计算机提供动力。

如今,一个 NVIDIA H100 Tensor Core GPU 中包含 18 条第四代 NVLink 互连通道。这项技术已承担了一项新的战略任务——帮助打造全球领先的 CPU 和加速器。

芯片到芯片互联

NVIDIA NVLink-C2C 是一种板级互连技术,它能够在单个封装中将两个处理器连接成一块超级芯片。比如它通过连接两块 CPU 芯片,使 NVIDIA Grace CPU 超级芯片具有 144 个 Arm Neoverse V2 核心,为云、企业和 HPC 用户带来了高能效性能。

NVIDIA NVLink-C2C 还将 Grace CPU 和 Hopper GPU 连接成 Grace Hopper 超级芯片,将用于处理最棘手的 HPC 和 AI 工作的加速计算能力集合到一块芯片中。

计划在瑞士国家计算中心投入使用的 AI 超级计算机 Alps 将是首批使用 Grace Hopper 的计算机之一。这套高性能系统将在今年晚些时候上线,用于处理从天体物理学到量子化学等领域的大型科学问题。

Grace 和 Grace Hopper 还非常适合用于提升高要求云计算工作负载的能效。

例如 Grace Hopper 是最适合用于推荐系统的处理器。这些互联网的经济引擎需要快速、高效地访问大量数据,才能每天向数十亿用户提供数万亿条结果。

dab5048e-de23-11ed-bfe3-dac502259ad0.jpg

与使用传统 CPU 的 Hopper 相比,采用 Grace Hopper 的推荐系统的性能提高了 4 倍,并且效率更高。

另外,NVLink 还被用于为汽车制造商提供的强大系统级芯片,包括 NVIDIA Hopper、Grace 和 Ada Lovelace 处理器等。车载计算平台 NVIDIA DRIVE Thor 将数字仪表板、车载信息娱乐、自动驾驶、泊车等诸多智能功能统一整合到单个架构中。

“乐高式”计算链路

NVLink 的作用就像是乐高积木的凸粒和凹槽。它是构建超级系统以处理超大型 HPC 和 AI 工作的基础。

例如,NVIDIA DGX 系统中的八个 GPU 上的 NVLink 通过 NVSwitch 芯片共享快速、直接的连接。它们共同组成了一个 NVLink 网络,使服务器中的每一个 GPU 都是一套系统的一部分。

为了获得更强大的性能,DGX 系统本身可以堆叠成由 32 台服务器组成的模块化单元,形成一个强大、高效的计算集群。

用户可以利用 DGX 内部的 NVLink 网络与两者之间的 NVIDIA Quantum-2 InfiniBand 交换以太网,将 32 个 DGX 系统模块连接成一台 AI 超级计算机。例如,一台 NVIDIA DGX H100 SuperPOD 包含 256 个 H100 GPU,可提供最高 1 EXAFLOP 的峰值 AI 性能。

如要进一步提高性能,用户还可以使用云中的 AI 超级计算机,例如微软Azure使用数万个 A100 和 H100 GPU 打造的超级计算机。OpenAI 等团队正在使用这项服务训练一些全球最大的生成式 AI 模型。

这再次印证了加速计算的力量。


原文标题:什么是 NVLink?

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3772

    浏览量

    91019

原文标题:什么是 NVLink?

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    挑战英伟达NVLink!英特尔/谷歌等成立联盟,推出UALink 1.0

    ,UALink推广组正在抓紧制定一项新的行业标准,用于推进数据中心内连接的大规模AI系统的高速和低延迟通信,摆脱英伟达NVLink在AI加速器连接方面的统治。   对于这项新的行业标准,AMD数据中心
    的头像 发表于 06-03 06:31 2749次阅读
    挑战英伟达<b class='flag-5'>NVLink</b>!英特尔/谷歌等成立联盟,推出UALink 1.0

    分布式通信的原理和实现高效分布式通信背后的技术NVLink的演进

    大型模型的大小已经超出了单个 GPU 的范围。所以就需要实现跨多个 GPU 的模型训练,这种训练方式就涉及到了分布式通信和 NVLink。 当谈及分布式通信和 NVLink 时,我们进入了一个引人入胜且不断演进的技术领域,下面我们将简单介绍分布式通信的原理和实
    的头像 发表于 11-18 09:39 420次阅读
    分布式通信的原理和实现高效分布式通信背后的技术<b class='flag-5'>NVLink</b>的演进

    鸿海再获AI领域大单,独家供货英伟达GB200 NVLink交换器

    在人工智能(AI)领域的激烈竞争中,鸿海集团再次传来捷报。继成功获得英伟达(NVIDIA)GB200 AI服务器代工订单的大份额后,鸿海又独家揽获了GB200关键元件——被誉为“提升算力法宝”的NVLink交换器(switch)的巨额订单。
    的头像 发表于 06-19 15:04 981次阅读

    科技巨头组建“复仇者联盟”,挑战英伟达的NVLink技术

    据报导,包括 AMD、谷歌、微软、英特尔(Intel)、博通(Broadcom)和思科(Cisco)在内的多家国际科技龙头联手,组成“复仇者联盟”,欲挑战 NVIDIA 的 NVLink 技术。
    的头像 发表于 05-31 11:54 621次阅读

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    带宽和1.8TB/s的NVLink带宽,使处理能力翻倍,大幅增加内存容量和带宽,为处理大规模人工智能模型和复杂计算提供必要资源。 针对大规模模型如GPT-MoE-1.8T,HGX B200的推理性
    发表于 05-13 17:16

    一文详解基于以太网的GPU Scale-UP网络

    最近Intel Gaudi-3的发布,基于RoCE的Scale-UP互联,再加上Jim Keller也在谈用以太网替代NVLink
    的头像 发表于 04-22 17:22 3739次阅读
    一文详解基于以太网的GPU Scale-UP网络

    全面解读英伟达NVLink技术

    NVLink是一种解决服务器内GPU之间通信限制的协议。与传统的PCIe交换机不同,NVLink带宽有限,可以在服务器内的GPU之间实现高速直接互连。第四代NVLink提供更高的带宽,每条通道达到112Gbps,比PCIe Ge
    发表于 04-22 11:01 1326次阅读
    全面解读英伟达<b class='flag-5'>NVLink</b>技术

    什么是NVIDIA?InfiniBand网络VSNVLink网络

    NVSwitch物理交换机将多个NVLink GPU服务器连接成一个大型Fabric网络,即NVLink网络,解决了GPU之间的高速通信带宽和效率问题。
    发表于 04-16 09:56 1344次阅读
    什么是NVIDIA?InfiniBand网络VSNVLink网络

    NVLink的演进:从内部互联到超级网络

    NVLink是NVIDIA开发的一种高速、低延迟的互联技术,旨在连接多个GPU以实现高性能并行计算。与传统的PCIe总线相比,NVLink提供了更高的带宽和更低的延迟,使得GPU之间可以更加高效地共享数据和通信。
    的头像 发表于 04-13 11:22 1128次阅读
    <b class='flag-5'>NVLink</b>的演进:从内部互联到超级网络

    NVLink技术之GPU与GPU的通信

    在多 GPU 系统内部,GPU 间通信的带宽通常在数百GB/s以上,PCIe总线的数据传输速率容易成为瓶颈,且PCIe链路接口的串并转换会产生较大延时,影响GPU并行计算的效率和性能。
    发表于 03-27 09:40 3901次阅读
    <b class='flag-5'>NVLink</b>技术之GPU与GPU的通信

    NVIDIA宣布推出NVIDIA Blackwell平台以赋能计算新时代

    全新 Blackwell GPU、NVLink 和可靠性技术赋能万亿参数规模的 AI 模型
    的头像 发表于 03-20 09:44 610次阅读

    英伟达AI服务器NVLink版与PCIe版有何区别?又如何选择呢?

    在人工智能领域,英伟达作为行业领军者,推出了两种主要的GPU版本供AI服务器选择——NVLink版(实为SXM版)与PCIe版。这两者有何本质区别?又该如何根据应用场景做出最佳选择呢?让我们深入探讨一下。
    的头像 发表于 03-19 11:21 5513次阅读
    英伟达AI服务器<b class='flag-5'>NVLink</b>版与PCIe版有何区别?又如何选择呢?

    深度解读Nvidia AI芯片路线图

    Nvidia是一个同时拥有 GPU、CPU和DPU的计算芯片和系统公司。Nvidia通过NVLink、NVSwitch和NVLink C2C技术将CPU、GPU进行灵活连接组合形成统一的硬件架构,并于CUDA一起形成完整的软硬件生态。
    发表于 03-13 09:25 933次阅读
    深度解读Nvidia AI芯片路线图

    英伟达推出为中国大陆定制的H20 AI GPU芯片

    尽管英伟达H20降低了AI算力,但其具有更低的售价、支持NVLink高速互联技术以及CUDA等优势。
    的头像 发表于 01-03 14:30 1928次阅读

    英伟达和华为/海思主流GPU型号性能参考

    一句话总结,H100 vs. A100:3 倍性能,2 倍价格 值得注意的是,HCCS vs. NVLINK的GPU 间带宽。 对于 8 卡 A800 和 910B 模块而言,910B HCCS 的总带宽为392GB/s,与 A800 NVLink (400GB/
    发表于 12-29 11:43 6038次阅读
    英伟达和华为/海思主流GPU型号性能参考