0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

打造大规模共享闪存基础架构

存储D1net 来源:lp 2019-04-16 17:18 次阅读

从概念上讲,RSI为不同的架构整合服务器部件(CPUGPU、存储系统、内存和网络),使每个部件都能够在标准机架设备中进行调整和升级,通过高容量/低延迟PCIe链路进行连接。在这上面安装虚拟服务器软件,可以利用一个个机架级部件构建虚拟服务器,并且你拥有了一种意义重大的配置,使企业基础架构能够与云服务相竞争。

不过,在网络上使用非易失性内存和存储系统通常意味着不可接受的延迟。斯坦福大学团队的ReFlex(软件存储服务器 )这时就有了用武之地。

ReFlex

使远程闪存访问可以接受面临几个难题,最大的难题是实现低延迟。

管理共享闪存池中的多租户需要隔离机制,那样应用程序不会干扰对方。共享闪存方面最好具有高度灵活性,预计还会遇到其他部署问题,比如规模和网络协议。

斯坦福大学的团队在测试中发现,ReFlex获得的远程闪存性能相当于使用TCP/IP基于10Gb以太网的本地闪存访问。他们解释道:“ReFlex使用一种紧密集成网络和存储的新型数据平面内核,在计算要求有限的情况下实现了高性能。这种数据平面设计避免了中断和数据拷贝的开销,针对局部性进行了优化,并兼顾了高吞吐量(IOPS)和低尾延迟。”

多租户

闪存设备上多租户的一大问题是,读取性能和写入性能之间存在巨大的差异。写入可能需要几毫秒,而读取是亚毫秒级事务。这意味着执行大量写入操作的应用(比如元数据更新或流视频)耗用NVMe设备的大量资源。

斯坦福大学的团队实施了QoS调度程序,它可以全面了解所有租户的整个工作负载。最大的IOPS取决于所有请求的读取/写入比。调度程序查看每个工作负载的服务级别目标(SLO),优先考虑注重延迟的应用而不是尽力的应用,并确保应用的SLO得到实现。

由于诸如此类的优化,ReFlex能够做到每个核心提供高达850K的IOPS,同时仅比直接访问本地闪存增加21µs的延迟。这非常好。

英特尔的远见卓识者多年来一直在倡导RSI概念,但看起来正是在2018年,所有必要部分(尤其是PCIe v4)汇集起来,使这个概念在技术上和经济上都切实可行。随着闪存价格暴跌,塞满闪存的机架比以往任何时候都更经济实惠,哪怕是数百TB的闪存。

这对我们数据密集型的未来来说是好消息。是否有任何企业存储供应商使类似ReFlex的技术实现产品化值得拭目以待。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1770

    浏览量

    114763
  • 网络协议
    +关注

    关注

    3

    文章

    262

    浏览量

    21493
  • 存储系统
    +关注

    关注

    2

    文章

    402

    浏览量

    40823

原文标题:打造大规模共享闪存基础架构

文章出处:【微信号:D1Net11,微信公众号:存储D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Zettabyte与纬创携手打造台湾首个超大规模AI数据中心

    在推动亚太地区AI计算领域迈向新纪元的征程中,Zettabyte与纬创资通(Wistron Corporation)携手宣布了一项重大合作——共同建设台湾地区首个超大规模AI数据中心,这一里程碑式的项目不仅标志着台湾AI基础设施的飞跃,也预示着亚太区AI计算格局的深刻变革。
    的头像 发表于 09-05 16:26 314次阅读

    SAS 24G+规范发布,为超大规模数据中心HDD和SSD

    最新发布的SAS 24G+规范中得到了有力证明。该规范由SNIA SCSI贸易协会论坛(STA)与INCITS/SCSI标准组织携手推出,专为下一代超大规模数据中心中的机械硬盘(HDD)与固态硬盘(SSD)量身打造
    的头像 发表于 07-25 15:13 690次阅读

    谷歌云部门进行大规模裁员

    谷歌云部门近日进行了大规模裁员,多个Cloud团队的员工收到了工作取消的通知。据一名知情员工透露,尽管受影响员工的总人数尚未明确,但亚太地区“Go To Market”团队约有100名员工被裁。
    的头像 发表于 06-05 09:48 601次阅读

    专用集成电路都是大规模的吗为什么呢

    的集成度和性能优势。然而,并非所有专用集成电路都是大规模的,因为集成度的大小取决于设计和制造的要求。 在探讨专用集成电路是否大规模之前,我们首先需要了解什么是大规模集成电路(Very Large Scale Integratio
    的头像 发表于 04-21 09:15 469次阅读

    专用集成电路都是大规模的吗

    Integrated Circuit,简称GPIC)相比,专用集成电路更加定制化和特定化,因此常被视为大规模的集成电路。但是,并不是所有的专用集成电路都是大规模的,这取决于具体的设计需求和应用场景。 在
    的头像 发表于 04-19 14:39 425次阅读

    专用集成电路都是大规模的吗为什么

    Integrated Circuit, GPIC)相比,ASIC针对特定的应用程序进行了优化和定制,以实现更高的性能、更低的功耗和更小的面积。 专用集成电路之所以通常是大规模的,是因为它们需要集成
    的头像 发表于 04-14 10:48 527次阅读

    专用集成电路都是大规模的吗对吗

    。与通用型集成电路(General Purpose Integrated Circuit,简称GPIC)相比,专用集成电路在特定的应用领域中更为专注和高效。在关于专用集成电路是否都是大规模的这个问题上,答案
    的头像 发表于 04-14 10:45 435次阅读

    大规模数据中心网络演进的七大主流趋势

    自动驾驶已经变成可能,大规模应用只是一个时间问题。大规模网络运维的自动化也必然是业界的趋势,要达到自动驾驶或自动化运维都需要两个共同的条件:一是有足够有效的数据,二是要有对数据的智能分析和处理能力。
    发表于 03-11 11:21 406次阅读

    大规模储能-碱性水系钠离子电池开发

    当前,对大规模储能的需求不断增长,推动了具有安全性、环保性和低成本的电池系统的开发。
    的头像 发表于 01-24 09:29 1067次阅读
    <b class='flag-5'>大规模</b>储能-碱性水系钠离子电池开发

    谷歌YouTube部门进行大规模内部调整,裁员约100人

    根据Tubefilter获得的一份内部备忘录,谷歌YouTube部门正在进行大规模的内部调整,其中包括裁员约100人。
    的头像 发表于 01-18 18:29 1348次阅读

    谷歌将进行大规模重组和裁员

    谷歌近日宣布对其硬件团队进行大规模重组,包括Pixel、Nest和Fitbit在内的多个硬件部门将受到影响。同时,Google Assistant部门也将裁员数百人,而增强现实(AR)团队的大多数员工也将面临被解雇的命运。
    的头像 发表于 01-12 15:06 708次阅读

    GGII预计2024快充大规模应用元年将至

    GGII预计2024年中国新上市2C以上快充车型将超过15款,快充大规模应用元年正在到来。
    的头像 发表于 01-05 10:05 751次阅读
    GGII预计2024快充<b class='flag-5'>大规模</b>应用元年将至

    对话国产EDA和IP厂商,如何攻克大规模数字电路设计挑战?

    随着先进制程不断推进,以及AI、大数据、云计算等一系列新技术的快速发展,数字电路的处理能力越来越强,电路规模越来越大,对大规模数字芯片的需求也越来越多。因此,如何加速大规模数字电路设计就成为了业内
    的头像 发表于 12-28 08:23 1152次阅读
    对话国产EDA和IP厂商,如何攻克<b class='flag-5'>大规模</b>数字电路设计挑战?

    大规模神经网络优化:超参最佳实践与规模

    从理论分析入手把握大规模神经网络优化的规律,可以指导实践中的超参数选择。反过来,实践中的超参数选择也可以指导理论分析。本篇文章聚焦于大语言模型,介绍从 GPT 以来大家普遍使用的训练超参数的变化
    的头像 发表于 12-10 21:45 943次阅读

    6G超大规模多天线的技术演进历程

    从3G到5G时代,天线规模发生了显著的变化,5G超大规模天线技术具有许多优势,但面向6G的极致性能要求还需持续演进
    发表于 11-21 09:19 767次阅读
    6G超<b class='flag-5'>大规模</b>多天线的技术演进历程