基于无损数据中心的AI训练网络均衡技术实践

2022年7月，在山东济南举行的2022中国算力大会上，紫金山实验室研究员高新平作了“基于无损数据中心的AI训练网络均衡技术实践”的主题演讲。

紫金山实验室是江苏省和南京市共同推进建设的重大科技创新平台。紫金山实验室面向网络通信与安全领域国家重大战略需求，以引领全球信息科技发展方向、解决行业重大科技问题为使命，通过聚集全球高端人才，开展前瞻性、基础性研究，力图突破关键核心技术，开展重大示范应用，促进成果在国家经济建设中落地。紫金山实验室力图成为国家科技创新的重要力量，建成具有世界一流水平的战略科技创新基地。

紫金山实验室与华为依托紫金山实验室无损数据中心展开面向AI训练场景的网络均衡技术的联合创新，解决AI集群中网络负载不均而导致的AI训练任务性能下降的问题。

高新平研究员指出AI训练使用的集合通信算法，当前主流的有Ring算法、Tree算法和Halving Doubling算法等，在运行时通信流量都呈现出了共同的特征：周期性、流数量少、长连接，并行任务间有强实时同步性要求，通信效率取决于最慢的节点。同时，AI训练时，各节点之间传输的数据量大。以上这些流量特性使计算集群网络容易出现负载不均导致AI训练任务性能下降的问题。

现有网络均衡的主流技术大体分为三种，逐流ECMP均衡、基于子流flowlet均衡和逐包的负载分担均衡。逐流ECMP均衡技术，是当前最为常用的负载均衡算法，适用于流链接较多场景，它优势在于无乱序，劣势在于流数量较少时，例如AI训练场景下，存在HASH冲突问题，网络均衡效果不佳。基于子流flowlet均衡技术，它依赖于子流之间的时间间隔GAP值的正确配置来实现均衡，但全局路径级时延信息不可知、无法配置，且存在接收端侧乱序的问题。逐包的负载分担均衡技术，理论均衡度最好，但实际在接收端侧存在大量报文乱序问题，现实中几乎无使用案例。

发表“基于无损数据中心的AI训练网络均衡技术实践”主题演讲

在紫金山实验室无损数据中心AI训练集群中验证了华为创新的网络均衡技术NSLB（Network Service Load Balance）。基于华为交换芯片高精度telemetry能力，采集流量矩阵作为路由算法输入，用以控制AI流量的转发路径，避免负载不均，提升AI训练效率。

Ring算法场景，运行单个计算任务下，使用NSLB技术对比典型ECMP负载分担技术，网络实现100%均衡、平均链路利用率34%、比ECMP提升35%，AI训练集性能最高提升113.41%；

Ring算法场景，同时运行两个计算任务下，使用NSLB技术对比典型ECMP负载分担技术，网络实现100%均衡、平均链路利用率29%、比ECMP提升15.6%，AI训练集性能最高提升57.29%；

Tree算法场景下，运行单个计算任务下，使用NSLB技术对比典型ECMP负载分担技术，网络实现100%均衡、平均链路利用率13.8%、比ECMP提升1%，AI训练集性能最高提升6.50%；

Tree算法场景下，运行两个计算任务下，使用NSLB技术对比典型ECMP负载分担技术，网络实现100%均衡、平均链路利用率14%、比ECMP提升10.5%，AI训练集性能最高提升15.81%。

未来，紫金山实验将与华为在无损数据中心网络领域就网络新拓扑、DCN高性能互联等方向展开持续的联合创新，推动无损数据中心网络在低时延、高吞吐等方向进一步的发展，为高算力提供强有力的底座。

审核编辑：彭静