数据中心存储结构的未来也许会是RDMA

　　RDMA这种技术以前只能运行在IB网络下，为了将这种技术用在以太网环境下，就逐步发展出了RoCE/iWarp两种协议。据市场的统计，RDMA这种在企业中应用广泛，在数据中心存储结构中会是最好的选择。

　　像闪存，NVMe，以及英特尔公司Optane这样的存储级内存正大幅提升存储容量，非常适合推动存储需求最大化的工作负载，如容器，大数据，机器学习，以及超融合基础设施，所有这些技术与应用都使用文件和对象存储，而不是SAN的块存储。但是除了高速存储之外，这些工作负载还需要低延迟网络，线程不会阻塞的CPU，尤其是使用软件定义网络的超融合系统。

　　以太网是一个众所周知的协议，安装以太网的网络并没有光纤通道那样的复杂性和脆弱性，而在这种情况下，必须考虑到安装时弯曲电缆的角度，以及限制电缆的长度，其网络传输速度不限于10Gb/s，还可以移动到25Gb/s，40Gb/s或100GB/s。

　　但是TCP（传输控制协议）有很多开销，这意味着CPU花费了大量的时间来管理网络传输，用于写入密集型工作负载（如数据库），从而降低了这些工作负载的整体性能。这就是RDMA（远程直接内存访问）发挥重要作用的地方。

　　Windows Server的首席项目经理Jeff Woolsey最近在微软的Ignite技术大会上指出，“当你对系统进行大量写操作时，超融合系统的性能将会下降。如果你有一个单一的节点正在进行70％的写入，并且必须尽可能快地复制到另一个节点，如果你没有采用RDMA，CPU必须介入执行操作，而在10Gb的以太网网络接口卡（NIC）上写入很容易完全占用一两个CPU的资源。”

　　RDMA的直接连接可以减少对CPU的影响，并且像NVMe或SCM这样的快速存储可以使得网络延迟从毫秒降低到微秒。

　　“在存储网络开始采用RDMA（特别是面向NVMe的架构，因为这似乎是将成为这个领域的标准），是为了满足日益严格的大数据分析存储性能的要求，特别是那些实时工作负载，更大的数据库和更密集的工作负载整合。”IDC企业存储研究总监Eric Burgener说。

　　他补充道，虽然NVMe协议目前还不成熟，但是他预测说：“在未来三到四年内，外部存储平台将在协议栈NVMe方向发展，阵列背板，控制器和结构。”

　　今年早些时候，英特尔公司将RDMA技术直接应用在至强服务器的主板上。DataON公司正在使用新型Lightning Trac System Windows Server2016超融合系统，这些系统包括Optane固态硬盘，用于快速缓存层的NVMe，以及SMB3RDMA结构。

　　现在，HPE公司在其新的Store FabricM系列存储优化交换机中使用了Mellanox基于RDMA的以太网存储结构，为客户提供了用于光纤通道的存储管理工具。

　　同样在今年召开的Ignite大会上，一家名为Chelsio的公司展示了运行速度为25Gbps使用RDMA网卡的SMB3的Windows Server 2016存储副本，而光纤环路超过了50公里（不需要用于这种城域连接的扩展设备）。

　　在Windows10中甚至支持RMDA。好莱坞后期制作公司使用NVMe将大多数Mac工作站和六位数光纤通道SAN与Windows PC和Windows Server存储空间直接进行替换，以便他们可以使用RDMA快速访问4K文件以进行视频编辑和VR的创建。

　　Storage Mojo公司的分析师Robin Harris表示，为了获得高效的存储系统，企业必须做出权衡。“采用光纤通道是有意义的，因为存储阵列非常昂贵，共享它们需要投资支付。

　　如今，企业可以拥有独立的PCIe卡，与大多数存储阵列一样快，并提供了更大的带宽，而其成本只有存储阵列成本的一小部分。因此，在这种情况下，人们关注的重点已经从如何共享昂贵的资源转移到如何共享廉价资源。

　　“鉴于成本在这种情况下的首要地位，经济学家倾向于采用成本最低的网络。以太网就是那个低成本的网络吗？是的。一旦这个协议和技术广泛使用，我预计大多数新建的存储网络将将基于以太网，RDMA是提供共享基于服务器存储的一种经济和低延迟解决方案的关键因素。

　　Harris表示，HPE公司的交换机采用RDMA的事实证明了该技术的可行性。他说，“从市场的角度来看，更大的问题是其他厂商是否会效仿HPE公司的做法。”

　　扩展光纤通道

　　尽管下一代架构并不是在光纤通道的基础上发展起来的，但这并不意味着它正在消失。Harris说，“我相信光纤通道的鼎盛时期已经过去了。但是，至少在未来十年内，将有一个庞大的安装基础将继续推动光纤通道市场发展。”

　　Burgener对此表示认同：“以太网在存储领域的应用显然正在兴起，但根据我们对市场的收入预测，2017年光纤通道市场规模更为显著（以太网为9.6亿美元，光纤通道为117亿美元）。NVMe可以通过光纤或以太网运行，我认为以太网将继续慢慢占据光纤市场的收入，但是我们的预测2021年以太网和光纤通道的收入分别为9.8亿美元和115亿美元。

　　Burgener说，“企业数据中心往往更多地投资于光纤通道，并继续购买，这样他们就可以继续利用现有的光纤通道网络和管理专长。随着以太网的发展，越来越多的企业开始使用这种方法。”

　　“很少有客户会从以太网转向光纤通道，但人们会看到基于以太网的存储网络出现在已经在光纤通道上投入大量资金用于新项目或部门项目的企业中。

　　对于网络成本可能过高的小型系统来说（例如，对于分支机构中的节点或其他任何希望用于边缘计算的数TB存储），Thunderbolt证明是RDMA的一个替代方案。英特尔Thunderbolt 3 USB-C适配器现已通过Windows Server 2016认证，DataON公司推出双节点超融合存储系统，为用户提供40Gbps和200K IOPS，CPU占用率仅为20％，虽然不如RDMA好，但比以太网提高更多的CPU效率，其10TB的存储成本只有9000美元。