深入了解224Gbps电气接口

通过 PCI Express (PCIe) 和以太网连接的分散计算资源网络可创建超大规模数据中心基础设施，从而构建超聚合计算平台。如图 1 所示的计算资源网络主要依赖于两种接口：PCIe/Compute Express Link (CXL) 和以太网接口，其中PCIe/CXL用于芯片到芯片或机架内连接，以太网用于机架外连接。PCIe 网络接口卡 (NIC) 将 PCIe 转换为以太网接口，并允许通过多层网络交换机实现以太网结构。本文解释了下一代高性能计算 (HPC) 设计中对 224Gbps 电气接口的要求，包括信道、信号调制和 SerDes 技术。

图 1：HPC 作为通过 PCIe 和以太网链接的计算资源网络  

下一代电气接口的需求

    如图 2 所示，四通道 PCIe 的吞吐量与单通道以太网数据速率最为匹配，比如PCIe 2.0 带宽 10Gbps、PCIe 3.0 带宽 25Gbps、PCIe 4.0 带宽 50Gbps、PCIe 5.0 带宽 100Gbps。在过去的十多年中，这种奇偶校验允许 x16 PCIe NIC 与 40G/100G/200G 和 400G 以太网端口连接，无需额外的变速器，从而降低了系统总功率并最大限度地减少了延迟。

 

图 2：x16 PCIe 吞吐量相当于 x4 以太网端口带宽  

PCIe 6.0 以 64Gbps 的速度运行，为高于 100Gbps 的每通道电气以太网接口铺平了道路，使 x16 PCIe 6.0 能够高效地支持 800G 以太网端口。   此外，数据中心光学器件正在不断发展，以支持更高的网络带宽。表 1 总结了 100G/200G λ 光学器件的发展时间表。带有 100G λ 光收发器的 800G-DR8/FR8 模块已开始在 HPC 数据中心部署。四通道 800G 光学模块和 102.4T 交换机将网络带宽翻倍，但这将取决于 200G λ 光学器件和相应的 200Gbps 电气接口的发展情况。

 
表 1：采用 100G/200G λ 光学器件  

 

最后，对于现代高基数交换机，HPC 机架的交换带宽受到最高密度以太网端口的限制。当前的 400G/800G 以太网端口使用 100Gbps 电气/光学收发器的四/八通道。表 2 突出显示了以太网端口带宽时间表，显示需要 200Gbps SerDes 才能推出带有 800G 以太网端口的 102.4T 交换机。  
表格 2：工业以太网交换机/SerDes/端口时间表  

根据这些趋势，IEEE 802.3、OTN ITU-T G 和 OIF-CEI 已经启动了标准化工作，目标是每通道电信号传输速率高于 112Gbps。  

为什么选择 224Gbps？

    OIF-CEI 旨在标准化一个可与以太网、光纤通道和 Interlaken 等多种协议配合使用的电气接口。以太网数据速率是媒体访问控制 (MAC) 层的净数字吞吐量，以太网建议采用端到端正向纠错 (FEC) 和编码方案，从而使产生的原始 SerDes 电气或线路速率高于每通道以太网吞吐量。例如，使用 Reed Solomon (514-544) 和 256/257 编码的四通道 400G 以太网需要 106.25Gbps 的有效线路速率。那么，问题来了，当数据速率翻倍后，为什么线路速率不是直接翻倍到 212.5Gbps？反而要谈论 224Gbps呢？   一些关于行业论坛的早期讨论表明，800G 以太网/1.6T 以太网可能会与串联或端到端 FEC 配合使用。此外，还要考虑各种 FEC 因素，例如 800G 一致性链路的 staircase/zipper 代码，所有这些都会增加不同的开销。此外，光纤通道和 InfiniBand 也将会产生不同的开销。因此，OIF 已开始起草下一代 CEI-224G 电气接口。  

哪种调制方案？

    高阶调制可增加每个符号位数或每个单位间隔 (UI) 位数，并在信道带宽和信号振幅之间提供权衡。标准通常探索更高阶数的调制方案以及更高的数据速率。2012 年，PAM-4/6/8 被考虑用于 100Gbps 线路速率，最终 PAM-4 成为 56Gbps 和 112Gbps SerDes 的调制选择。从整体电气光学电气 (E-O-E) 系统视图，可以很明显地看出，如果光收发器和电气 SerDes 的调制方案和数据速率不同，任何 E-O-E 转换都需要变速器并增加额外的功耗和延迟开销。因此，电调制方案的选择与 200G λ 中采用的相同调制方案密切相关。200G λ 光收发器的初步工作显示 PAM-4 或 PAM-6 调制方案似乎是合理的。  

PAM-4 调制提供与前几代产品的向后兼容性，与更高调制方案相比，可提供更好的信噪比 (SNR)，并允许产生延迟的更低 FEC 开销架构。然而，由于模拟带宽限制和通过创新 DSP 方案实现高级均衡，实现则需要更好的模拟前端 (AFE)。   PAM-6 调制可编码每个符号 2.5 位，与 PAM-4 相比，其使用 DSQ-32 实现的 SNR 损耗增加了约 3.2dB。它提供了一种实现 SerDes 的方法，其 AFE 带宽比 PAM-4 SerDes 低，但 SNR 更高。PAM-6 调制方案增加了更高的 FEC 开销，从而增加了面积、功耗并降低了编码效率。  

新通道达到 224Gbps 电气接口

    高速电气 SerDes 应用不断发展。OIF 于 2016 年 8 月启动首个 112G-VSR 项目，并于 2017/18 年增加了多芯片模块 (MCM)、超短距离 (XSR)、中等距离 (MR) 和长距离 (LR)。2021 年，OIF 启动了两个 112G 线性和 112G 超短距离 (XSR)+ 的新项目。OIF 目前正在制定 CEI-224G 标准，以识别和定义典型系统中的下一代电气接口，用于通过背板/中间板或铜电缆在两个 PCBA 之间（甚至在两个机箱之间）的印刷电路板组件 (PCBA) 内的晶粒到晶粒、晶粒到 OE（光学引擎）、芯片到模块，以及芯片到芯片。  

在类似线路中，IEEE 标准委员会最近批准了 IEEE P802.3df 项目授权请求 (PAR)，以定义 200Gbps、400Gbps、800Gbps 和 1.6Tbps 电气接口的媒体访问控制参数、物理层和管理参数。工作组将为附件单元接口 (AUI) 和电气物理介质依赖 (PMD) 的 1/2/4/8 通道变体制定每通道 200Gbps 的电信号标准。

 

图 3：224Gbps 电气 SerDes 的早期用例  

图 3 显示了 224Gbps 电气 SerDes 的早期用例，业界认为 102.4T 交换机和 800G/1.6T 相干光学模块将采用该案例，这些模块需要 224Gbps XSR/XSR＋/VSR/LR SerDes。  

224Gbps SerDes 架构

    224Gbps 数据速率将单位间隔 (UI) 设计减少到逻辑延迟的序列。即使采用 PAM-6 调制，224Gbps 数据速率的 UI 也将约为 11ps。从 HPC 数据中心通道的演变角度考虑封装和 PCB 材料的改进/变化，很明显，224Gbps 收发器将需要灵活的高带宽 AFE，以扩展可用晶体管带宽的边界。  
图 4：端到端 224Gbps 电气链路，突出显示接收器 DSP  

如图 4 所示，224Gbps 接收器必须具有自适应和差异化 DSP，才能在传统 VSR/MR/LR 通道中工作。使用 224Gbps 接口时，在某些信道上采用最大似然序列检测器 (MLSD)是一个常见的选项，但是，提高信道的比特误码率 (BER) 并不是一个魔法棒。图 5 显示了端到端 224G 发射器到接收器的仿真结果，与 BER 相比，实际 HPC 通道的链路损耗各不相同。

 

图 5：224Gbps 时的 BER 与信道损耗  

图 5 中的红点和蓝点表示具有或不具有 MLSD 的 BER。BER 跨信道损耗的分布和发散需要先进的 DSP 算法，该算法可在图中以绿点表示的信道损耗之间提供一致的 BER。  

总结

    需要 224G SerDes 来继续 HPC 数据中心的数据处理步伐。以太网已成为现代 HPC 数据中心服务器间通信的事实标准。因此，组织正在定义和开发包括 224Gbps 在内的下一代电气接口。新思科技提供完整的 200G/400G 和 800G 以太网控制器和 PHY IP 解决方案，包括物理编码子层 (PCS)、物理介质依赖 (PMD)、物理介质附件 (PMA) 和自动协商功能。虽然 800G 以太网和 1.6T 以太网的定义仍在进行中，但新思科技 的以太网 IP 解决方案已经在每端口带宽为224G SerDes的 800G/1.6T 早期方案中得到应用了。