0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DPU应用场景系列(二) 存储功能卸载

中科驭数(北京)科技有限公司 2022-05-19 14:34 次阅读

DPU应用场景系列(二)存储功能卸载

一、NVMe-oF硬件加速

NVMe over Fabric(又名NVMe-oF)是一个相对较新的协议规范,旨在使用NVMe通过网络结构将主机连接到存储,支持对数据中心的计算和存储进行分解。NVMe-oF协议定义了使用各种通用的传输协议来实现NVMe功能的方式。

在NVMe-oF诞生之前,数据存储协议可以分为三种:

(1)iSCSI:是一种基于IP的存储网络标准,在TCP/IP网络上通过发送SCSI命令来访问块存储服务。

(2)光纤通道(Fibre Channel):是一种高速的数据传输协议,提供有序无损的块数据传输。主要用于关键高可靠要求的业务上。

(3)SAS(Serial Attached SCSI):一种点对点串行协议,通过SAS线缆传输数据。

上述数据存储协议,在当今数据爆发的时代,已经无法满足大数据量的传输。NVMe-oF的出现,不仅解决了上述协议的性能瓶颈问题,它还允许组织为高度分布式、高度可用的应用程序实施横向扩展的存储。通过将NVMe协议扩展到SAN设备,NVMe-oF提高了CPU的使用效率,同时提高了服务器和存储应用程序之间的连接速度。

NVMe-oF主要支持三大类Fabric传输选项,分别是FC、RDMA和TCP,其中RDMA支持InfiniBand、RoCEv2和iWARP。

NVMe-oF/FC和第六代FC可以共存于同一基础设施中,避免了数据中心的叉车升级。但是,NVMe-oF/FC不具有软件定义存储的能力。

NVMe-oF/RDMA利用了RDMA网络的优势,是理想的Fabric,提供了低延迟、低抖动和低CPU使用率低传输层协议,可以最大限度利用硬件加速,避免软件协议栈开销。同时,由于RDMA是一种内存读写技术,可以应用在众多场景中,如GPUDirect Storage的应用场景。

NVMe-oF/TCP利用了TCP协议的可靠性传输的特点,以及TCP/IP网络的通用性和良好的互操作性,可以完美的应用于现代数据中心网络。在相对性能要求不是非常高的场景,NVMe-oF/TCP可作为备选。

NVMe支持Host端(Initiator或Client)和Controller端(Target或Server),目前DPU智能网卡硬件加速的场景中,包括如下四种情况:

(1)普通智能网卡硬件加速NVMe-oF Initiator。智能网卡支持NVMe-oF/TCP和NVMe-oF/RoCEv2作为Initiator,通过硬件卸载NVMe-oF/TCP或NVMe-oF/RoCEv2,用于计算和存储之间,来达到较高性能。

(2)支持GPUDirect Storage的智能网卡加速NVMe-oF Initiator和Target。GPUDirect Storage是NVIDIA提出的GPU可以绕过CPU直接访问存储磁盘的技术,RDMA技术是GPUDirect Storage的基础。这类网卡可以通过硬件卸载NVMe-oF/RDMA来实现GPU与远端存储服务的直接访问。常见的如NVMe-oF/RDMA IB和NVMe-oF/RoCEv2。

(3)智能网卡硬件加速NVMe-oF Target。该场景主要是通过智能网卡提供PCIe Root Complex能力和NVMe-oF Controller端的硬件卸载加速,来实现NVMe存储服务器。如Broadcom Stingray PS1100R是这个场景的代表之一。

(4)DPU芯片硬件加速NVMe-oF Target。该场景是通过DPU芯片提供多个PCIe Root Complex通道以及多个100Gbps的网卡实现的超大吞吐的存储服务器。Fungible FS1600 12x100Gbps带宽吞吐的存储服务器是这个场景的典型代表。

pYYBAGKFupmAbU6GAAFYS2wa4kA531.png

图NVMe-oF硬件卸载方式

OpenStack从Rocky版本已经支持了NVMe-oF,通过OpenStack Cinder通过消息在NVMe-oF Target上来创建,查询和删除卷等,OpenStack Nova在主机上通过NVMe-oF Initiator发现NVMe-oF存储设备,并将存储设备信息传递给Hypervisor来实现虚拟机挂载磁盘。另外,OpenStack集成Ceph做块存储和对象存储已经非常成熟,Ceph的后端存储也渐渐的从使用本地磁盘的方式转向远端NVMe存储,这样NVMe-oF为Ceph存储服务提供了容量可伸缩的能力。

二、Virtio-blk硬件加速

基于virtio的virtio-blk是KVM-Qemu虚拟化生态中的虚拟化块存储的一种实现方式,利用了virtio共享内存的机制,提供了一种高效的块存储挂载的方法。GuestOS内核通过加载virtio-blk驱动,实现块存储的读写,无需额外的厂家专用驱动。Virtio-blk设备在虚拟机以一个磁盘的方式呈现,是目前应用最广泛的虚拟存储控制器

poYBAGKFupmAdQV5AAEoXHEAVQs832.png

图基于vDPA架构的virtio-blk硬件卸载

由于virtio机制通过硬件实现加速已经是通用做法,所以利用这个优势,virtio-blk卸载到硬件,已经是必然趋势。在智能网卡中,将virtio-blk到后端映射到如NVMe-oF的远端磁盘上,这样相比较当前virtio-blk的用法,不需要在主机系统中挂载很多的远端NVMe磁盘,由智能网卡直接完成映射,更加安全。

在2021年KVM论坛会议中,Redhat提出统一软硬件卸载virtio-blk方案,正式将virtio-blk加入vDPA框架,同virtio-net公用相同的框架,来完成硬件卸载控制平面。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DPU
    DPU
    +关注

    关注

    0

    文章

    357

    浏览量

    24169
收藏 人收藏

    评论

    相关推荐

    测试接收机的技术原理和应用场景

    、数字信号、射频信号等,并进行相应的测量和分析。此外,它还具有多种优秀性能,如高灵敏度、低噪声、宽频带等,以及本振抑制、镜像抑制等能力,能够有效抑制干扰信号。、应用场景测试接收机在多个领域都有广泛
    发表于 12-03 14:23

    倍频器的技术原理和应用场景

    倍频器是一种用于将输入信号的频率倍增的电子设备,以下是关于倍频器的技术原理和应用场景的详细解释:技术原理倍频器的技术原理主要基于非线性元件(如极管、晶体管等)的特性和频率变换技术。 非线性元件
    发表于 11-29 14:49

    模块化仪器的技术原理和应用场景

    模块化仪器是插拔式的计算机板卡,功能类似于传统的台式仪器,其技术原理和应用场景可以归纳如下:一、技术原理 模块化设计:模块化仪器使用一个框架,可以将不同类型或不同数量的功能卡插入其中,从而适应一
    发表于 11-28 15:09

    边缘计算网关的作用是什么,有什么功能和使用场景

    、边缘计算、协议转换、地址转换等功能,从而实现不同网络、设备及系统之间的通信 。 安科瑞Anet系列网关功能众多,下面我们来看一下他的功能和使用场景
    的头像 发表于 11-08 16:32 326次阅读
    边缘计算网关的作用是什么,有什么<b class='flag-5'>功能</b>和使<b class='flag-5'>用场景</b>

    实时示波器的技术原理和应用场景

    波形图像。在信号处理方面,示波器首先将接收到的被测信号进行放大和滤波等处理,以确保信号的准确性和稳定性。然后,通过A/D转换技术,将模拟信号转换为数字信号,以便进行后续的数字处理和显示。、应用场景
    发表于 10-23 14:22

    源测量单元设备的技术原理和应用场景

    源测量单元(SMU)设备是一种集成了精密电源(PPS)和高性能数字万用表(DMM)功能的测试设备。以下是对其技术原理和应用场景的详细解析:一、技术原理 集成功能: SMU在单个仪器中集成了电源
    发表于 10-22 11:10

    高速数字化仪的技术原理和应用场景

    。FPGA可以实现高速的数字信号处理、存储和数据分析功能。同时,高速数字化仪还可以通过接口将数据传输到计算机或其他设备上进行进一步分析和处理。 、应用场景 科研与工程测试:在物理大类
    发表于 10-21 14:34

    智能IC卡测试设备的技术原理和应用场景

    ,如数据存储能力、数据处理能力、安全性能等。 应用场景智能IC卡测试设备在多个领域都有广泛的应用场景,主要包括以下几个方面: 卡片制造行业: 在卡片生产过程中,需要对IC卡进行严格的测试,以确保其
    发表于 09-26 14:27

    简述半导体存储器的应用场景

    半导体存储器,作为现代电子系统的核心组成部分,其应用场景极为广泛,几乎涵盖了所有需要数据存储和处理的领域。以下将从多个方面详细阐述半导体存储器的应
    的头像 发表于 08-20 10:01 1450次阅读

    IaaS+on+DPU(IoD)+下一代高性能算力底座技术白皮书

    数据中心的第三颗“主力芯片”,主要通过其专用处理器优化数据中心的网络、存储、安全等处理性能,助力服务器运行效率显著提升,有效降低成本。因此,在新型数据中心建设时,围绕 DPU 构建数据中心网络的基础设施
    发表于 07-24 15:32

    工业数据中台的功能和应用场景

    工业数据中台是一个集数据采集、存储、处理、分析和应用于一体的综合性平台,其主要功能和应用场景如下: 功能 1.数据采集与接入: 支持多种数据源接入,包括传感器、设备、SCADA系统、E
    的头像 发表于 07-04 16:18 350次阅读

    能耗监测网关的功能和应用场景

    能耗监测网关是一种用于采集、处理和传输能耗数据的智能设备。它通常连接到一系列能源使用设备(如电表、水表、气表等)并通过网络将数据发送到中央管理系统。以下是能耗监测网关的主要功能和应用场景
    的头像 发表于 06-19 14:21 445次阅读
    能耗监测网关的<b class='flag-5'>功能</b>和应<b class='flag-5'>用场景</b>

    STM32待机模式适合用于那些应用场景

    对于查看STM32低功耗模式,共有三种,其中最省电的为待机模式,但是待机模式唤醒后相当于软件复位了,ram及寄存器中的值都复位了,仅仅是备份域的寄存器除外,因此有个疑问,待机模式适合用于那些应用场景
    发表于 05-07 07:46

    AG32VF-MIPI应用场景

    的基础上,集成了MIPI接口协议,提供了丰富的功能和特性,能够满足不同应用场景的需求,为用户提供更加全面、便捷、高效的数据传输方案。 基本参数: MIPI up to 1.5Gbps LVDS up
    发表于 01-22 08:56

    《数据处理器:DPU编程入门》DPU计算入门书籍测评

    的架构服务,同时它一般不直接面向于数据存储,通信接口等底层应用。也不直接架构顶层的服务。 因此对于DPU系统来说,现在CPU仍然是GPU于DPU架构异构计算中必须存在的内容。 、学习
    发表于 12-24 10:54