0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

让CPU更接近数据 Serverless成为计算存储的关键

SSDFans 作者:工程师飞燕 2018-09-08 10:25 次阅读

目前CPU的速度已经很快了,但是我们近年来面临的一个大问题是想办法最大限度地减少等待时间,快速获取结果,从而使系统整体效率保持在最佳水平。最近的熔断和幽灵漏洞不仅带来了很多安全问题,从另一方面,它们也暴露了现代CPU的工作原理、优化程度以及数据损耗问题。

传统的通过CPU优化数据流的方法已经达到了极限,目前大家开始将方向转移到用存储平台运行某些计算任务。

将数据和CPU紧密结合

多年来,由于技术发展的限制,存储行业只能通过缓存和自动分层来加速存储访问。不过这种办法是在成本和效率之间的折中,延迟和吞吐量并不能完全满足CPU、RAM网络的需求。

闪存改变了这一状况,其延迟、吞吐量和IOPS都不是问题,闪存的出现让数据比以往任何时候都要接近CPU。如:NVMe消除了传统接口的复杂性和局限性,现在则可以将存储设备直接连接到服务器的PCIe总线。

最近,随着新型存储设备的引入,延迟大幅降低,已经可以满足CPU对延迟的要求。但是问题解决了吗?并不完全是。

现在我们面临的问题是数据大量增加,并且增长速度极快,数据在大型共享设备之间进行传输的时候产生了新的瓶颈,如网络带宽。当硬件出现故障时更会引发一系列别的问题。目前广泛使用的仍然是横向扩展架构,这种架构增加了延迟,并且使数据迁移变得更加复杂,成本更高。

让CPU更接近数据

之前就有人提出将CPU任务卸载到存储基础架构这一概念,自从RAID控制器及其提供的数据服务兴起依赖,这一概念更是得到了广泛应用。例如卷克隆之类的功能都是通过在阵列内部复制数据来消除服务器和存储阵列之间的流量。

现在芯片技术发展很快,通过在设备上执行一些过去在CPU上执行的一些计算任务可以减少数据迁移,节省带宽,提高整体并行性从而提高整个系统的效率。

我们无法将最新Intel X86 CPU和小型双核ARM设备进行比较,但是我们可以拥有数十个小的CPU,通过足够的RAM和连接让他们执行许多简单的任务。由存储设备执行的这些操作可以将数据保持在本地,将延迟降到最低,同时可以提高整体并行性和系统效率。另外由于故障域较小,可以提高整个基础架构的可扩展性。

OpenIO是一家计算存储公司,它们把开源软件运行在标准的硬件上,已经在计算存储方面取得了巨大进展,nano-node就是一个例子。

最近,OpenIO正在与硬件公司合作,工作成果很快就可以展示出来。目前一些初创公司已经在设计旨在加速特定工作负载的计算存储设备,不过这只是一个开始。这方面的明星创业公司包括ScaleFlux和NGD System。

Serverless成为计算存储的关键

为了使计算存储能够广泛使用,我们必须将它简单化。目前最简单的编程模型就是Serverless计算。

其函数是一小段代码,它的运行时间很短,通常由事件触发。它们通常对底层硬件一无所知。另外对象存储非常适合Serverless计算。如果有支持KV存储的SSD,就更方便了。

计算存储的过程非常简单。设备读取或删除的每个数据位都可以创建可触发功能的事件。功能暂时存在于缓存容器中,并执行简单的任务,如检查数据的有效性,过滤不必要的信息,扫描特定的模式,甚至进行更复杂的操作,如图像识别,视频采样等。应用程序范围很广,这样就可以通过隐藏基础架构的复杂性来解决可伸缩性问题。

开发人员只需编写于特定文件类型、事件或操作相关联的几行代码即可,存储结构件在有需要时部署此代码完成相应的工作。

让CPU接近数据和让数据接近CPU还是有很大不同的。

未来已来

目前这些设备已经可以投入使用,而且这些强大的开发软件是开源的。

我们坚信对象存储和Serverless计算的结合是对可扩展性,性能优化和效率问题的最好解决方案。对象存储带来了可靠的分布式存储层,Serverless计算以轻量级和超级扩展的方式在本地对数据进行操作,这不止是超融合(hyperconvergence)。

可惜的是上述模型仅仅适用于非结构化数据,不过一些初创公司已经采取类似的方法在具有嵌入式计算功能的主板设备上进行计算工作。

闭环操作

计算存储还没有被广泛使用,目前它只被应用于大规模基础设施中。但是相关应用程序的数量正在迅速增长。如工业物联网和边缘计算需要简单但功能强大的基础设施,同时必须具有持久、可靠的传感器数据存储,还需要CPU来验证数据,对其进行优化,同时决定应将那些内容发送到用于长期存储,大数据分析或其他操作的云。

在不久的将来,随着价格的降低和闪存技术的成熟,相信我们会看到越来越多的计算存储设备和无服务器框架,纳米节点、微服务器和专用PCIe卡只是一个开始。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10827

    浏览量

    211175
  • 数据
    +关注

    关注

    8

    文章

    6899

    浏览量

    88844
  • serverless
    +关注

    关注

    0

    文章

    65

    浏览量

    4500

原文标题:把CPU放到存储中:提升计算存储性能

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    一文详解计算存储协议框架

    近年来,AI应用态势迅猛增加,对计算侧的算力和内存提出了更高的要求。GPU、HBM这些高性能高密计算部件和内存部件,在AI计算场景中作为必需品,成为市场热点。业界也在讨论能否把
    的头像 发表于 10-31 14:20 268次阅读
    一文详解<b class='flag-5'>计算</b>型<b class='flag-5'>存储</b>协议框架

    存储器主要用来存储什么

    存储器(内部存储器)是计算机硬件的重要组成部分,它直接与中央处理器(CPU)相连,用于存储正在运行的程序和当前处理的
    的头像 发表于 10-14 09:55 446次阅读

    选购边缘计算网关时需要注意什么

    在当今数字化转型的浪潮中,边缘计算作为云计算的重要补充,正逐步成为提升数据处理效率、降低延迟、增强数据安全性的
    的头像 发表于 09-30 14:39 223次阅读
    选购边缘<b class='flag-5'>计算</b>网关时需要注意什么

    华为云全域 Serverless 8 月更新盘点

    CCE Autopilot、Serverless 应用托管 CAE、云数据仓库 DWS、事件网格 EventGrid 等。华为云函数工作流 FunctionGraph 一项基于事件驱动的函数托管计算
    的头像 发表于 09-27 00:06 645次阅读
    华为云全域 <b class='flag-5'>Serverless</b> 8 月更新盘点

    内存、存储系统和CPU的区别

    计算机系统中,内存、存储系统和CPU是三个至关重要的组件,它们各自承担着不同的职责,共同协作以完成数据处理和运算任务。以下是对这三者之间区别的详细阐述。
    的头像 发表于 07-15 18:11 2099次阅读

    EEPROM存储器:实现数据持久化存储关键组件

    计算机系统中,存储器是用于存储数据和程序指令的关键部件。其中,EEPROM(电可擦除可编程只读存储
    的头像 发表于 05-27 16:36 1315次阅读

    佰维存储赋能企业级SSD RAID应用,助力数据中心强化效能与安全

    人工智能和物联网等先进技术的普及将推动对数据存储的需求升级,企业将需要更快、安全、密集的SSD,以实现各种高性能计算。随着固态硬盘技术的
    的头像 发表于 04-17 16:23 518次阅读
    佰维<b class='flag-5'>存储</b>赋能企业级SSD RAID应用,助力<b class='flag-5'>数据</b>中心强化效能与安全

    华为云 Serverless 应用中心:一键开启 AI 文生图新时代,引领行业创新浪潮

    随着数字化时代的快速发展,AI 技术已成为推动行业创新的关键动力。华为云紧跟时代步伐,全新上线 Serverless 应用中心,为用户提供海量应用模板,实现一键部署函数和周边依赖资源,
    的头像 发表于 03-19 22:57 441次阅读

    S7-1200 CPU 存储卡的应用分析

    S7-1200 CPU 使用的存储卡为 SD 卡,存储卡中可以存储用户项目文件,有如下3种功能: 作为 CPU 的装载
    发表于 03-15 11:11 1013次阅读
    S7-1200 <b class='flag-5'>CPU</b> <b class='flag-5'>存储</b>卡的应用分析

    分布式存储计算:大数据时代的解决方案

    分布式存储计算技术应运而生,并迅速成为处理大数据的首选方案。本文将深入探讨分布式存储计算的概
    的头像 发表于 03-07 14:42 699次阅读

    鸿蒙原生应用元服务实战-Serverless华为账户认证登录需尽快适配

    一、ArkTS\\\\API9,服务器端基于serverless开发的应用与元服务华为账号注册登录功能暂时是不支持的 二、3月1日后的审核要求 3月1日的时间是快到了。 三、会导致的结果
    发表于 02-20 10:14

    鸿蒙应用/元服务开发实战-Serverless存储没法创建处理方式

    新账户,Serverless存储没法创建 ,没法进行下一步。 解决方式 请按照这个方式修改一下就能正常创建了,浏览器中打开控制台输入 window.top.cfpConfig.cloudStorageSwitch=‘off’ 后再创建桶
    发表于 02-19 11:21

    ram中存储数据在断电后是否会丢失?

    篇文章中将详细讨论RAM的工作原理以及为什么它会丢失数据。 一、RAM的工作原理 随机存取存储器(RAM)是一种常见的计算机内存类型,用于临时存储
    的头像 发表于 01-16 16:30 8801次阅读

    数据处理器:DPU编程入门》DPU计算入门书籍测评

    的架构服务,同时它一般不直接面向于数据存储,通信接口等底层应用。也不直接架构顶层的服务。 因此对于DPU系统来说,现在CPU仍然是GPU于DPU架构异构计算中必须存在的内容。 二、学习
    发表于 12-24 10:54

    数据处理器:DPU编程入门》读书笔记

    用户可以不用关注DPU的底层硬件接口而直接对硬件进行编程。 此外,DPU是数据中心基础架构的处理芯片,预测至少30%的CPU资源用于执行数据中心基础设施架构,而这些任务都可以卸载到
    发表于 12-21 10:47