再发三大服务器芯片，自研实力愈发强悍的亚马逊

电子发烧友网报道（文/周凯扬）在近期举办的Re:Invent大会上，亚马逊为其AWS云服务公布了上线全新的EC2实例，分别是C7gn、HPC7g和R7iz。R7iz用到了英特尔最新的第四代Xeon Scalable处理器Sapphire Rapids，而HPC7g则是由新处理器Graviton3E来驱动的。与此同时，AWS还在本次会议上公布了第五代Nitro芯片Nitro v5和第二代推理芯片AWS Inferentia 2，其中Graviton3E和Nitro v5都是基于Arm架构打造的。

性能更上一层楼的Graviton3E

在HPC领域，Arm的出镜率还是比较低的，除了像富岳超算这样的顶级存在外，我们很少看到云服务厂商基于Arm芯片来打造HPC计算集群，Graviton的出现可谓改变了这一点。AWS在2020年推出的C6gn实例，就是基于其Graviton2处理器打造的，相较基于第二代AMD EPYC处理器的C5实例，C6gn做到了成本低上20%，性能却高上40%的表现。

Graviton3E在不同负载下的性能提升 / 亚马逊

根据亚马逊给出的数据，Graviton3E在Graviton3的基础上再加改良，以测试浮点性能的基准HPL为例，Graviton3E将矢量指令处理性能再度提高了35%。而HPC7g实例相比基于Graviton2的C6gn实例，更是将浮点性能拔高至两倍，比基于第3代AMD EPYC 7003系列48核处理器的HPC6a实例，性能上也能高出20%，可以说是AWS上性价比最高的HPC实例了。

如今的亚马逊已经有了100多个不同的Graviton实例，供使用者灵活选择。而且让Graviton充分发挥作用的不仅是AWS EC2这样的弹性计算云服务，还有Fargate这样无需管理实例的服务，也获得了不小的性能提升。

然而对于大部分云服务厂商来说，他们首推的实例很多依然是基于x86的，这不禁让人深思，真的会有大型公司选择了Arm服务器芯片吗？亚马逊给出了肯定的答案，也介绍了Graviton极快的普及速度。

从亚马逊给出的合作伙伴中，我们可以看到大宇无限、Epic、Lyft、Zoom等公司，都选了围绕Graviton芯片来构造他们的产品服务。比如美国电视串流服务DirectTV在使用Graviton 3的实例后，成本减少了20%的同时，延迟也有了最高50%的降低，使得他们能在访问流量变化巨大的同时灵活扩展容量，还能保证性能不受影响。

加剧DPU和AI芯片内卷的Nitro和Inferentia

对于多数超大规模数据中心和云服务厂商来说，他们的DPU往往来自第三方，比如英伟达的BlueField、AMD的Pensando等，而亚马逊旗下的Annapurna Labs，则成了AWS DPU产品的Nitro的幕后功臣。

Nitro v5芯片 / 亚马逊

而这次Annapurna Labs设计的Nitro v5在性能上再度实现了飞跃，亚马逊展示的数据上提到，Nitro v5相较上一代集成了两倍的晶体管数目，在算力上提升近两倍，拥有快上50%的DRAM速度，PCIe带宽也提升至两倍。由此可以看出，Nitro v5应该选择了更先进的工艺，DRAM和PCIe也换成了最新一代。

在实际测试中，Nitro v5可以提高最多60%的吞吐量，降低30%的延迟，在能效比上也有了40%的提升。正是因为有着这样强大的性能，AWS选择了将其集成到C7gn、HPC7g实例中去，与Graviton3和Graviton3E一起实现200Gbps的超高网络性能。

大型语言模型的出现推动深度学习进入了下一个阶段，但庞大的参数量加大了推理所需的算力和成本。2019年，AWS的Inferentia芯片第一代出现在Inf1实例上，为用户提供了性价比优于GPU实例的选项，但彼时的深度学习模型还大多数停留在数百万个，如今某些深度学习模型的参数已经超过了数百亿，比如百度的PLATO-XL对话生成模型、亚马逊的AlexaTM等。

为此，Annapurna Labs拿出了全新的Inferentia2芯片，最高可支持到1750亿参数的大型深度学习模型。基于Inferentia2芯片的Inf2实例也首次支持到分布式推理，将大型模型分布到多个芯片上进行推理。与上一代Inf1实例相比，Inf2可以提供高达4倍的吞吐量和10分之一的延迟，与GPU实例相比更是将能效提高了50%之多。

小结

这样频繁的芯片发布节奏，足以看出亚马逊在自研服务器芯片上已经到了一个新的高度。不得不承认，亚马逊早在2016年就收购Annapurna Labs是一个多么具有前瞻性的战略决策，在云服务厂商竞争愈演愈烈的当下，拥有自研可控的服务器芯片无疑是杀手锏。虽然谷歌、阿里巴巴等厂商也都加入到了自研服务器芯片的行列中来，但与亚马逊的AWS相比，在产品阵容和布局时间上还是有所差距。