InfiniBand网络内计算的关键技术和应用

InfiniBand在高性能计算（HPC）和人工智能（AI）应用中发挥着关键作用，体现在它提供了高速、低延迟的网络通信能力，以支持大规模数据传输和复杂计算任务。而InfiniBand的重要性还延伸至网络内计算领域，其在此领域的应用正在逐步扩大。通过在网络内部执行计算任务，InfiniBand进一步降低了延迟并提升了整体系统效率，有力推动了HPC和AI领域向更高性能和更强智能迈进。

InfiniBand网络内计算：它是什么？

InfiniBand网络内计算（INC）是InfiniBand技术的一种延伸设计，旨在通过将计算能力引入网络来提升系统性能。在网络计算领域中，它有效地解决了AI和HPC应用中的集体通信问题以及点对点瓶颈问题，为数据中心的可扩展性提供了新颖的视角和解决方案。。

In-Network Computing的理念在于将计算功能集成到InfiniBand网络中的交换机和InfiniBand适配器中。这样一来，可以在数据传输的同时执行简单的计算任务，无需将数据传输至服务器等终端节点进行处理，从而消除了这一环节的需求

数据中心中的InfiniBand网络内计算

近年来，现代数据中心的发展体现为一种新型的分布式并行处理架构，这一趋势由云计算、大数据、高性能计算和人工智能驱动。CPU、内存和存储等资源在整个数据中心中分散，并通过诸如InfiniBand、以太网、光纤通道以及Omni-Path等高速网络技术相互连接。协同设计与分工合作共同实现了数据处理任务的集体完成，构建了一个围绕业务数据为核心、平衡的系统架构。

InfiniBand网络内计算通过在网络内部执行计算任务，将数据处理职责从CPU转移到网络，从而实现集成化的网络内计算，减少延迟并提升系统性能。借助网络协议卸载、远程直接内存访问（RDMA）、GPUDirect等关键技术，InfiniBand实现了在线计算、通信延迟降低及数据传输效率优化等功能。这种深度集成的网络内计算为高性能计算和人工智能应用提供了有力的支持。

InfiniBand网络内计算的关键技术

网络协议卸载

网络协议卸载是指通过将与网络相关的协议处理任务转移到专用硬件上，从而减轻CPU的处理负担。

InfiniBand网络适配器和InfiniBand交换机负责处理整个网络通信协议栈的处理工作，涵盖物理层、链路层、网络层以及传输层。这种卸载技术在数据传输过程中消除了对额外软件和CPU处理资源的需求，显著提升了通信性能。

RDMA

远程直接内存访问（RDMA）技术是为了解决网络传输中服务器端数据处理延迟的问题而开发的。RDMA允许从一台计算机的内存直接将数据传输到另一台计算机的内存，无需CPU介入，从而降低数据处理延迟并提升网络传输效率。

RDMA使得用户应用程序可以直接将数据传输至服务器存储区域，这些数据随后能够通过网络快速传送到远程系统的存储区域。这一过程消除了传输过程中多次数据复制和文本交换操作的需求，从而显著降低了CPU负载。

GPUDirect RDMA

GPUDirect RDMA是一项利用RDMA能力促进GPU节点之间直接通信的技术，从而提升GPU集群的通信效率。

在集群内部不同节点上的两个GPU进程需要进行通信的情况下，GPUDirect RDMA技术允许RDMA网络适配器直接在两个节点的GPU内存之间传输数据。这消除了CPU参与数据复制的需求，减少了对PCIe总线的访问次数，最大限度地减少了不必要的数据复制操作，并显著提高了通信性能。

SHARP

可扩展层级聚合与减少协议（SHARP）是一种针对涉及集体通信的高性能计算和人工智能应用而设计的集体通信网络卸载技术，旨在优化效率。

SHARP将计算引擎单元集成到InfiniBand交换机芯片中，支持各种定点或浮点计算。在包含多个交换机的集群环境中，SHARP在物理拓扑结构上建立一个逻辑树形结构，使得多个交换机能够并行且分布式地处理集体通信操作。这种SHARP树状结构的并行和分布式处理极大地减少了集体通信的延迟，减轻了网络拥塞，并提高了集群系统的可扩展性。该协议支持诸如屏障（Barrier）、Reduce、All-Reduce等操作，从而提升了大规模计算环境中的集体通信效率。

InfiniBand网络内计算应用：HPC与AI

由于其能够提升整体系统性能和效率，InfiniBand网络内计算在HPC和AI领域得到了显著的应用。

InfiniBand在网络内计算在高性能计算中的应用

在以计算密集型任务为主的高性能计算（HPC）领域中，InfiniBand对于缓解CPU/GPU资源竞争至关重要。高性能计算任务的通信密集特性，包括点对点通信和集体通信，需要有效的通信协议支持。在此背景下，卸载技术、RDMA、GPUDirect以及SHARP等技术被广泛采用，以优化计算性能。

InfiniBand网络内计算在人工智能中的应用

作为前沿技术的人工智能，极大程度上依赖于InfiniBand网络内计算来加快训练过程并获得高精度模型。在当前环境下，GPU或专用AI芯片是AI训练平台的计算核心。这些平台利用InfiniBand加速训练过程，众所周知这是一个计算密集型的过程。卸载应用程序通信协议对于减少AI训练期间的延迟至关重要。GPUDirect RDMA技术被用于提升GPU集群之间的通信带宽，有效减少了通信延迟。

结论

InfiniBand网络内计算作为一种创新的网络计算技术，为HPC和AI领域提供了高效且可靠的计算支持。作为信息技术领域的重要创新之一，InfiniBand网络内计算将持续引领网络计算技术的进步和发展。