0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

存储软件CORTX进入市场,为海量数据找到价格更便宜的存身之处

ss 来源:IT创事记 作者:IT创事记 2020-11-17 10:36 次阅读

这些年在科学界,国际顶级机构一直在做着同一件事,那就是为他们持续增长的海量数据找到价格更便宜的存身之处。现在,他们中的一些说:找到了。

由于已经受益于此,在他们的合作伙伴希捷把这个“秘密”——CORTX,一款独立于硬件的100%开源对象存储软件——推向市场的时候,这些机构很乐意地站了出来,并对它表达了赞赏。法国原子能和替代能源委员会(CEA)和英国原子能机构(UKAEA)都是CORTX未发布前,就已经采用了它的早期用户。CEA项目经理Jacques-Charles Lafoucriere,和UKAEA的百万兆级算法专家Debasmita Samadder博士用“强大”、“灵活”、“高效”和“新颖”等词汇去描述了他们眼中的CORTX。这些机构用它来支持超大规模的数据存储,实现并行文件系统接口(pNFS)和分层存储管理工具等。

兼容TensorFlow人工智能深度学习AI/DL) 工具也是他们的关注点——这些国际顶级机构永远都会站在科技的最前沿。事实上,CORTX的用例非常广泛,除人工智能和机器学习,还包括了混合云、边缘、高性能计算等领域。那些机构负责人对CORTX的高度赞赏有着很高的可信度,因为这些机构中的一些已经不满足于仅仅是去使用它了。“CORTX将降低EB级数据的存储成本。”洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)高性能计算部门负责人Gary Grider断言。他们已经决定参与到CORTX协作开源社区中去。目前,CORTX已经可从GitHub下载,以及协作开发。

希捷科技全球副总裁暨中国区总裁孙丹:通过生态协作,CORTX将使超大规模存储架构更为普及。

除了用户,整个科技生态对CORTX的兴趣也都相当浓厚。英特尔很清楚开源创新在高性能存储领域的价值。英特尔数据平台事业部副总裁Bryan Jorgensen认为,它将推高未来数据时代中云、高性能计算、人工智能和通信网络等的性能水平。

目前英特尔已计划在CORTX社区内结合相关的平台功能,包括英特尔傲腾持久内存、英特尔QuickAssist加速器,和DAOS文件系统,以共同实现和优化这一开源技术。全球知名的文件系统提供商WekaIO也表达了同样的意愿。WekaIO人工智能和战略联盟负责人Shailesh Manjrekar描绘了一个未来——在参与到CORTX开源项目开发中后,市场将可以利用创新的Weka AI解决方案框架,创建端到端解决方案:通过WekaFS提供卓越性能,而CORTX提供容量和耐用性。

在中国市场,目前已有8家希捷的客户以及合作伙伴——新华三集团、同有科技、宏杉科技、UIT创新科、五舟科技、鲸鲨软件、极道科技以及柏科数据等,决定将就CORTX开源软件与开源社区与希捷展开合作。这个开源社区是在希捷发布CORTX时一同发布的。同时发布的还有一个可作为融合基础架构部署的参考架构Lyve Drive Rack。

这个参考架构可以让用户部署CORTX并构建自己的大容量私有云——Lyve Drive Rack的机箱容量由1.34PB起。希捷在Datasphere峰会上展示它时,它的盘位上插满了20TB HAMR硬盘。希捷消息称,这款大容量硬盘计划在12月开始供货。这是希捷布局开源对象存储软件的目的之一。大容量硬盘已经为云服务商降低了成本,但它远没有到普及到程度。

受限于软件实力,并不是每个想要用好海量数据的企业用户,都能享受到它的好处——硬盘容量越大,I/O性能就会下降,这需要用户有一定的优化能力对系统进行调优。“谷歌、百度和腾讯等互联网和云计算企业,会第一时间使用我们的大容量硬盘,”希捷科技全球副总裁暨中国区总裁孙丹说,“因为他们通过采用大容量硬盘获得了商业价值。”要知道,当今天的云服务商已经使用16T硬盘的时候,传统企业才部署到8T。希捷相信免费和开源的CORTX能解决这一难题。

在推出它之前的数年间,“希捷已经为此写出了百万行代码”,希捷科技中国区资深解决方案工程师李蓁说,考虑到未来人工智能、机器学习会是未来数据领域当中主流的应用,希捷已经在设计之初,专门针对AI以及机器学习做了调优。“我们在CORTX上面有一个内置的内存介质,通过这种设计,用户可以直接在CORTX上对数据进行标注,同时可以进行非常高效的检索。”李蓁说。Lyve Drive Rack上还设置有一颗专用芯片,它可以降低在使用纠删码的时候所需配置的内存——这达到了降低部署成本的效果。

孙丹相信,通过生态协作,CORTX将使超大规模存储架构更为普及,科技实力相对较弱的企业也将可以经济、快速地部署对象存储,通过对海量数据进行标记来探索有数据价值的洞见。如果一切如预期般顺利,CORTX和CORTX社区将是希捷给对象存储带来的巨大贡献。事实上,希捷一直在对象存储的协作开发中发挥关键作用。九十年代后期,希捷是行业联盟的创始成员。该联盟建立了第一个对象存储规范:SNIA OSD标准。在这一点上,希捷对于对象存储的创新和协作的承诺贯穿在 CORTX及其众多架构优化中。“我觉得希捷做这件事,还是挺伟大的。”孙丹说,希捷内部对CORTX已经做出了新的5年规划;而接下来要做的,就是让它的生态变得更加繁荣。

责任编辑:xj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6914

    浏览量

    88850
  • 存储
    +关注

    关注

    13

    文章

    4267

    浏览量

    85692
  • 软件
    +关注

    关注

    69

    文章

    4801

    浏览量

    87191
  • AI
    AI
    +关注

    关注

    87

    文章

    30277

    浏览量

    268509
收藏 人收藏

    评论

    相关推荐

    WDS分布式存储系统软件助力电信工程海量数据存储项目

    WDS分布式存储系统软件助力电信工程海量数据存储项目
    的头像 发表于 11-11 09:59 134次阅读
    WDS分布式<b class='flag-5'>存储系统软件</b>助力电信工程<b class='flag-5'>海量</b><b class='flag-5'>数据</b><b class='flag-5'>存储</b>项目

    海量数据处理需要多少RAM内存

    海量数据处理所需的RAM(随机存取存储器)内存量取决于多个因素,包括数据的具体规模、处理任务的复杂性、数据库管理系统的效率以及所使用
    的头像 发表于 11-11 09:56 171次阅读

    存储的费用是多少?2024年最新价格

    存储的费用通常基于多个因素确定,包括存储容量、访问流量、请求次数、服务类型(如对象存储、文件存储、块存储等)、计费方式(按量计费或包年包月
    的头像 发表于 10-30 11:02 220次阅读
    云<b class='flag-5'>存储</b>的费用是多少?2024年最新<b class='flag-5'>价格</b>表

    设计软件核心移动存储主机数据手册

    电子发烧友网站提供《设计软件核心移动存储主机数据手册.pdf》资料免费下载
    发表于 10-29 10:20 0次下载

    有哪些便宜的8位单片机可供选择?

    便宜的8位单片机在市场上有多种选择,这些单片机因其低成本、高性能和丰富的外设接口而受到广泛应用。以下是一些性价比较高的8位单片机型号及其特点: 1. 英锐恩ENMCU系列 特点:基于RISC内核
    发表于 09-26 10:26

    PC存储价格持续攀升

    近期,个人电脑中广泛应用的存储价格再度走高,尤其是固态硬盘(SSD)市场数据显示,7至9月期间,大单优惠价较上一季度(4至6月)上涨约10%,这已是连续第四个季度呈现上涨趋势。此番
    的头像 发表于 09-04 16:35 409次阅读

    Perforce白皮书:解读ISO26262、ISO 21434、MISRA等功能安全标准,分享SAST工具如Helix QAC和Klocwork如何帮助确保代码质

    持续加速创新,不断推出新车型,并争取率先进入市场,以抢占关键的市场份额。 助力电动汽车初创企业深入理解市场现状并加速市场
    的头像 发表于 07-29 11:57 350次阅读
    Perforce白皮书:解读ISO26262、ISO 21434、MISRA等功能安全标准,分享SAST工具如Helix QAC和Klocwork如何帮助确保代码质

    三星电子存储芯片价格大幅上调,中国市场面临挑战与机遇

    近日,三星电子宣布了一项重大市场决策,计划在第三季度对其DRAM和NAND闪存存储芯片进行15%-20%的价格调整。这一举措背后,是人工智能领域对高性能存储芯片需求的急剧攀升,预示着
    的头像 发表于 07-18 09:50 680次阅读

    闪存的哪些扇区可用于用户数据存储

    我想问一下闪存的哪些扇区可用于用户数据存储(例如配置、登录名/密码)。目前,我正在使用外部存储器,但使用板载闪存的某些扇区会更便宜。我尝试在用 blank.bin 编写的一些扇区中写入
    发表于 07-12 08:13

    Perforce发布白皮书,解读电动汽车初创公司如何加速进入市场并降低软件开发中的风险和成本

    持续加速创新,不断推出新车型,并争取率先进入市场,以抢占关键的市场份额。 助力电动汽车初创企业深入理解市场现状并加速市场
    的头像 发表于 07-08 16:18 347次阅读
    Perforce发布白皮书,解读电动汽车初创公司如何加速<b class='flag-5'>进入市场</b>并降低<b class='flag-5'>软件</b>开发中的风险和成本

    OpenAI推出更快更便宜的大语言模型GPT-4o

    美国人工智能公司OpenAI于14日凌晨正式推出了一个更快、更便宜的人工智能模型来支持其聊天机器人ChatGPT。
    的头像 发表于 05-15 15:12 572次阅读

    中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉

    近日,天津市总工会公布2024年“天津市五一劳动奖”和“工人先锋号”表彰,中科曙光海量数据存储研发团队荣获“天津市工人先锋号”荣誉。
    的头像 发表于 05-10 09:59 507次阅读

    华为P70系列或将于4月发布,供应链已批量供货

    据悉,近日华为手机供应链证实,已开始向该品牌高端旗舰手机P70系列供应大批量产品,这标志着该新品正在逐步进入市场
    的头像 发表于 03-27 09:31 1085次阅读

    BCP为什么只有在收集数据后才存储数据

    有很多不便之处,因为可以存储在 BCP 中的收集数据的数量限制为 10,000。 为什么只有在收集数据后才存储
    发表于 01-22 07:06

    使用Chiplet的三个优势介绍

    小芯片的第三个主要好处是,即使是首次设计,它们也可以显著加快上市时间,从而使芯片制造商能够更快地进入市场
    的头像 发表于 12-27 14:34 688次阅读
    使用Chiplet的三个优势介绍