0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

SSD控制器采用硬件加速方式来提升EC的计算能力

lhl545545 来源:DOIT 作者:朱 朋博 2020-09-01 16:33 次阅读

UCloud发布了新一代归档存储产品,通过自研的归档存储架构,UCloud把归档存储的价格压到了0.024元/GB/月,比国内友商的价格要低大约三分之一,价格新低背后有怎样的创新呢?

参照上图中的成本构成,存储业务成本主要由硬件成本和运营成本构成。而UCloud新一代归档存储产品,从硬件和运营方面,都将成本压到极低。

创新1:国内首次SMR+JBOD高密机型商用落地,性价比新基石

UCloud新一代归档存储采用了西数的SMR磁盘来提升单位容量的性价比。从CMR到SMR是磁盘技术的演进方向,不过,为了追求更大的存储密度和存储容量,不得不做出一些取舍,结果就是SMR虽然不支持随机写,但非常适合归档存储大量顺序写少量随机读的场景。

其实SMR磁盘的争议很多,关于SMR是否可靠,是否容易损坏的说法很多,但其实完全不用担心。本质上,就跟当年NAND颗粒处于MLC到TLC的过渡期一样,后者能带来容量上的提升,但是是以寿命或者性能作为代价换来的,为了安全地用上TLC,SSD需要在控制器上做许多针对性的优化,而用SMR同样也要解决许多问题。

由于SMR与CMR的磁道分布不同,导致SMR只支持每次在每个Zone里进行顺序写操作,于是便与原本的CMR的读写操作有很大差异,这对于文件系统和软件层面带来了很大的挑战,为此,UCloud在自研的归档存储架构上做出了许多调整,向下兼容了CMR和SMR两种类型磁盘,向上融合到了UFile对象存储体系当中。

SMR磁盘属于新生事物,目前只在部分国外市场上用的比较多,而UCloud是国内最早采用JBOD加SMR磁盘的厂商(首次商用落地),在使用过程中也发现了一些有趣的问题,比如,由于过于追求容量密度,导致触及机房地板的承重上限,一番调整后,最后就有了容量上的大幅提升。

SMR降低了单位容量成本是一方面,同时,由于单机架整体容量的提升,意味着单位容量占用的CPU和内存资源降低,在降低成本方面也有加成。通过采用西数的SMR大容量磁盘,还有JBOD磁盘柜,将容量密度抬到了新高度,单盘空间提升150%,硬盘数量增加59%,单机架容量提升5.375倍。

SMR磁盘的采用从根本上提升了单盘存储空间,降低了单位容量成本,降幅大约在10%到20%之间。

创新2:支持磁盘上下电的IO调度,省电费的新高度

硬件以外,接下来的成本优化主要就是靠优化运营了,运营成本的一个大头就是电费。

为了省电费,大家都很拼。许多数据中心都构建在比较偏远的地方,占地费用是一方面,主要是因为偏远的地方电费会有减免,如果当地温度较低,那还可以省一些空调电费。国外还有人把数据中心放到海里,优势是可以使用潮汐这个清洁可再生能源,用海水的低温来降低冷却成本。

UCloud归档存储的架构中采用了支持上下电的IO调配技术来降低电费能耗,说白了就是:不干活儿的磁盘就不供电,需要干活儿的时候再给它供电。这一做法能降低90%的硬盘能耗,在纯写入场景下,耗能的硬盘数仅为原来的5%,效果还是非常显著的。

那么,部分硬盘断电后的性能如何保证呢?UCloud存储平台资深研发工程师方然介绍,写的话是会始终保持有一定的磁盘进行写操作,读的话磁盘上下电操作有一定的冷却时间,在时间内进行IO操作,无需再进行上下电操作就能满足IO请求。

至于磁盘寿命的问题,方然解释说,虽然磁盘上下电的次数是有限的,但将上下电的次数分配给寿命期内的每一天每一个小时,并根据这个寿命维护上下电的冷却时间,这就使得磁盘在寿命期内可以正常使用,无需担心频繁上下电造成的寿命问题。

创新3:价格打折,可靠性和可用性不打折

对于在线归档服务来说,成本降低绝对不能牺牲可靠性和可用性。

在高可用设计方面,考虑到归档存储使用了大容量磁盘,数据恢复的耗时比较长,而且浪费的存储资源比较多。

于是UCloud的归档存储架构除了采用较小的Zone为故障修复单位之外还采用双机头带JBOD的架构,每一块磁盘在同一时间双机头可见,当故障发生时候,其中的一个机头能在一定时间接管所有磁盘。

最终,UCloud归档存储的高可用能达到3个9。

在高可靠设计方面,采用的是大比例EC纠删码的做法,为了避免对性能造成影响,UCloud采用了硬件加速方式来提升EC的计算能力。

由于冷存储的时间跨度比较大,数据量也比较大,磁盘中可能会出现一些静默错误,为了解决这一问题,UCloud在全链路上都保留了CRC校验,保障了数据的安全性。

最终,UCloud归档存储的可靠性能达到11个9的业内主流水平。

为什么不用磁带和蓝光光盘呢?

说到归档存储,许多人都能想到磁带和蓝光光盘存储,这两种介质的成本优势也非常明显,为什么不用呢?

UCloud存储平台研发总监吴斌炜表示,之所以不用主要还是因为UCloud一直以来的技术积累还是在于磁盘方面,有丰富的自研文件系统的经验和直接操作裸块设备的经验。许多主流的云计算厂商也很少有用磁带和光盘的,磁带和光盘存储主要出现在部分企业数据中心内部。

在实际使用中,归档存储也并不是绝对不修改数据,有时候也会需要修改一些数据,由于光盘完全不支持重新写入,磁带的擦写需要花费大量的时间,这也是选择磁盘的一项原因。

更重要的是,磁盘未来有发展,磁盘厂商都宣布了更大容量盘的发布计划,这意味着云厂商的用户将在未来享受技术进步带来的收益,让成本一降再降。值得一提的是, UCloud老用户可以使用新一代归档存储产品,通过配置灵活的生命周期策略将冷数据进行迁移来节省成本。

结语

看完UCloud归档存储的创新,最大的感受就是,云计算不愧是讲究规模效应的行业,需要精益求精算成本,才能有竞争力,这样的创新让我想起了AWS Nitro将虚拟化层硬化到专有设备里,从而减少主机资源占用的做法,为用户交付更多资源,最终实现降本增效。

云计算的竞争是方方面面的,但像这种创新是必然要有的。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    7837

    浏览量

    137540
  • 硬件
    +关注

    关注

    11

    文章

    3345

    浏览量

    66294
  • 数据中心
    +关注

    关注

    16

    文章

    4806

    浏览量

    72208
收藏 人收藏

    评论

    相关推荐

    GPU加速计算平台是什么

    GPU加速计算平台,简而言之,是利用图形处理(GPU)的强大并行计算能力
    的头像 发表于 10-25 09:23 260次阅读

    TDA4VM上的硬件加速运动恢复结构算法

    电子发烧友网站提供《TDA4VM上的硬件加速运动恢复结构算法.pdf》资料免费下载
    发表于 09-24 11:39 0次下载
    TDA4VM上的<b class='flag-5'>硬件加速</b>运动恢复结构算法

    AM62A SoC通过硬件加速视觉处理改进条形码读取

    电子发烧友网站提供《AM62A SoC通过硬件加速视觉处理改进条形码读取.pdf》资料免费下载
    发表于 09-04 09:52 0次下载
    AM62A SoC通过<b class='flag-5'>硬件加速</b>视觉处理改进条形码读取<b class='flag-5'>器</b>

    SSD控制器的作用、构成及功能

    SSD控制器是固态硬盘(Solid State Drive,简称SSD)的核心组件之一,承担着管理和控制NAND介质、数据传输以及错误校验等重要任务。
    的头像 发表于 09-02 11:42 967次阅读
    <b class='flag-5'>SSD</b><b class='flag-5'>控制器</b>的作用、构成及功能

    适用于数据中心应用中的硬件加速器的直流/直流转换解决方案

    电子发烧友网站提供《适用于数据中心应用中的硬件加速器的直流/直流转换解决方案.pdf》资料免费下载
    发表于 08-26 09:38 0次下载
    适用于数据中心应用中的<b class='flag-5'>硬件加速器</b>的直流/直流转换<b class='flag-5'>器</b>解决方案

    控制器采用哪些控制方式进行

    控制器是自动化控制系统中的核心部件,负责接收传感信号、处理数据、发出控制指令,以实现对被控对象的精确控制
    的头像 发表于 06-30 10:35 1332次阅读

    控制器有哪两种实现方式?各有何优缺点?

    控制器计算机系统中的一个关键组件,负责协调和管理计算机硬件和软件资源。在不同的应用场景和系统中,控制器的实现方式可能会有所不同。以下是两种
    的头像 发表于 06-30 10:33 1364次阅读

    组合逻辑控制器与微程序控制器各有什么特点?

    逻辑,因此具有很高的执行速度。 1.2 灵活性:组合逻辑控制器的设计可以根据不同的计算机系统进行定制,以满足特定的需求。 1.3 可扩展性:组合逻辑控制器可以通过添加更多的逻辑门和电路
    的头像 发表于 06-30 10:09 1329次阅读

    如何提升嵌入式编程能力?

    如何提升嵌入式编程能力? 要提升嵌入式编程的能力,可以从以下几点学习: 1. 理解硬件:熟悉你正在编程的
    发表于 06-21 10:01

    PSoC 6 MCUBoot和mbedTLS是否支持加密硬件加速

    v3.0,它的上限是 MCUBoot v1.8.1。 当前版本基于 MCUBoot v1.9.1,似乎支持加密硬件加速。 有什么最简单的方法可以更新我的旧版引导加载,以便运行 MCUBoot v1.9.1? 顺便说一下,我的 PSoC 是 CY8C624ABZI-S2
    发表于 05-29 08:17

    新思科技硬件加速解决方案技术日在成都和西安站成功举办

    近日,【新思科技技术日】硬件加速验证解决方案专场成都站和西安站顺利举行,来自国内领先的系统级公司、芯片设计公司以及高校的250多名开发者们积极参与。
    的头像 发表于 04-19 17:35 461次阅读

    Elektrobit利用其首创的硬件加速软件优化汽车通信网络的性能

    Elektrobit今日宣布推出 EB zoneo GatewayCore——首款支持、配置和集成现代微控制器新一代硬件加速器的软件产品,可应用于先进的汽车电子/电气架构(基于被广泛采用
    的头像 发表于 04-17 09:51 379次阅读

    用DE1-SOC进行硬件加速的2D N-Body重力模拟设计

    该项目的目标是创建一个用DE1-SOC进行硬件加速的2D N-Body重力模拟
    的头像 发表于 04-09 11:08 579次阅读
    用DE1-SOC进行<b class='flag-5'>硬件加速</b>的2D N-Body重力模拟<b class='flag-5'>器</b>设计

    【国产FPGA+OMAPL138开发板体验】(原创)7.硬件加速Sora文生视频源代码

    其他控制或状态信号 ); 请注意,上述代码可以使用一个握手信号启动硬件加速器,并在加速器完成处理后通过done信号触发video_frame_ready信号。 现在用我的语言解释
    发表于 02-22 09:49

    音视频解码硬件加速:实现更流畅的播放效果

    思想是利用专门的硬件资源,如GPU或专用的解码芯片,分担原本由CPU承担的解码任务。这种方式不仅可以大幅提高解码速度,还能降低CPU的负载,从而实现更流畅的播放效果。 硬件加速的优势
    的头像 发表于 02-21 14:40 995次阅读
    音视频解码<b class='flag-5'>器</b><b class='flag-5'>硬件加速</b>:实现更流畅的播放效果