横向扩展存储的挑战

一般来说，有两种公认的扩展存储架构的方法：纵向扩展和横向扩展。纵向扩展主要通过增加单个硬件平台的容量和功能来工作，而横向扩展通过额外的服务器或节点提高功能。从历史上看，横向扩展实施起来比较复杂，但随着NVMe over Fabrics的出现，这可能会发生变化。

对于横向扩展存储架构所面临的挑战，NVMe over Fabrics已被证明是一种有用的解决方案，而存储供应商和用户都注意到了这一点。

一般来说，有两种公认的扩展存储架构的方法：纵向扩展和横向扩展。纵向扩展主要通过增加单个硬件平台的容量和功能来工作，而横向扩展通过额外的服务器或节点提高功能。从历史上看，横向扩展实施起来比较复杂，但随着NVMe over Fabrics的出现，这可能会发生变化。

为了降低光纤网络的性能开销，可以使用NVMe over Fabrics来解决某些横向扩展存储架构所面临的限制。随着越来越多的组织寻求高可扩展性，供应商开始将NVMe over Fabrics技术融入其产品中，以降低横向扩展存储所涉及的复杂性。

|| 横向扩展存储的挑战

横向扩展存储往往分为两类：

(1)紧密耦合：存储节点或服务器彼此紧密结合，具有共享内存和专有高速背板等功能。人们认为是单片或向上扩展的一些产品实际上是横向扩展架构，例如Dell EMC的PowerMax。

(2)松散耦合：在这种情况下，很多节点没有紧密绑定在一起，但可以单独操作。节点使用一些高速网络连接(通常是以太网)，不直接内置在平台中。NetApp的SolidFire就是一个很好的例子，它使用多个1U服务器和标准万兆以太网(GbE)网络。

NVMe开发的下一个合乎逻辑的步骤是通过结构或网络启用协议。

紧密耦合的横向扩展产品通常提供更高级别的弹性和更加一致的性能，而松散耦合的体系结构可以扩展得更多，但必须处理存储驱动器和节点故障的影响。

实施横向扩展存储是一项挑战，因为数据需要受到保护和保持一致。这意味着在平台中实施技术以检测节点何时发生故障，并在设备或节点发生故障时通过横向扩展集群重新保护数据。

|| 什么是NVMe over Fabrics?

随着数据中心性能需求的增加，存储一直是提供快速高效应用程序的瓶颈。NVMe是一种旨在通过固态介质降低存储协议性能开销的技术。基于NVMe的SSD硬盘使用外围组件互连高速(PCIe)连接到服务器，在IOPS和吞吐量方面提供更大的带宽，并且比SAS和SATA SSD硬盘具有更低的延迟。

|| NVMe over Fabrics的工作原理

NVMe开发的下一个合乎逻辑的步骤是通过结构或网络启用协议。NVMe over Fabrics描述了一些已经开发的标准，这些标准是为通过光纤通道(FC)，以太网或InfiniBand网络传输NVMe协议而开发的。 NVM express传输是一个提供NVMe命令和数据传输抽象协议层。

如今，NVMe over FC和NVMe over Fabrics的存储产品通过融合以太网(RoCE),NVMe over InfiniBand和NVMe/TCP使用标准以太网网络接口卡进行远程直接内存访问。

|| NVMe over Fabrics如何为实现横向扩展存储提供帮助?

人们看到的一种情况是典型存储设备中的组件分解。该架构支持主机和存储介质之间更直接的路径，从而无需通过集中控制器传输数据。即使是目前的横向扩展存储产品也存在这种限制，这可能导致不能充分利用SSD硬盘的能力。通过提供更直接的I/O路径，单个主机可以与多个驱动器通信，反之亦然。这减少了延迟并增加了横向扩展能力。

NVMe规范的一部分提供了使这些工具工作的功能集。使用SAS和SATA驱动器，I/O堆叠在一个队列中，在读取内部NAND介质时会产生瓶颈。NVMe引入了65,535个队列的功能，每个队列最多可容纳65,535个队列元素。这使得在主机和驱动器之间实现高度并行的多对多的体系结构成为可能，并为每个主机/驱动器关系提供单独的队列。

在实施这种技术的供应商中，E8 Storage公司提供E8 NVMe设备和基于主机的软件驱动程序。该设备充当元数据服务器和以太网到PCIe桥，将传统存储任务(如快照)加载到每个连接的主机。

Excelero公司拥有一个基于软件的产品，可将许多服务器连接到一个存储消费者和提供商网络中。NVMesh软件使任何存储消费者都可以访问任何服务器中的任何驱动器，而无需采用目标服务器CPU。其结果是一种可以实现额外容量增加的架构，而现有应用程序的开销几乎可以忽略不计。

WekaIO公司使用类似的技术来提供称为Matrix的横向扩展文件系统架构。NVMe跨网络的低延迟以及分布式处理使得Matrix文件系统能够以比本地驱动器更快的速度运行。

|| 关注的硬件重点

供应商还专注于构建只支持高可扩展性的硬件工具。Pavilion Data Systems公司开发了一个平台，该平台使用多达20个自定义硬件刀片服务器和72个NVMe驱动器来创建机架级架构，能够在100微秒时支持每秒120千兆字节的带宽。应用程序主机使用标准的40 GbE或100 GbE RoCE网络适配器和NVMe over Fabrics驱动程序。

Vexata公司开发了一种架构，该架构使用商用硬件组件来扩展以太网中的容量和性能。后端可扩展性通过基于硬件的企业存储模块(ESM)实现，而前端连接提供NVMe over Fabrics功能和带有I/O模块(IOM)的直接硬件I/O路径。现有的实现目前提供多达16个企业存储模块(ESM)和两个I/O模块(IOM)，尽管该体系结构可以扩展到更多。

Apeiron Data Systems公司是一家遵循硬件模型的初创公司。Apeiron ADS1000平台使用NVMe over Ethernet和自定义主机总线适配器，提供横向扩展架构，可在单一配置中增长，支持数千个驱动器。

NVMe over Fabrics提供了消除传统架构约束的能力，并创建了更具分布性的产品。所有这些供应商产品的共同点是减少从主机到介质的I/O路径的长度和影响。这将成为未来存储设计的一个特征，因为延迟仍然是存储技术需要克服的最大挑战。