0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能和深度学习的对象存储挑战

存储D1net 来源:企业网D1Net 2020-06-13 11:06 次阅读

对象存储非常适合长期备份和归档,如何将高性能对象存储扩展到大规模、高容量的工作负载,人们对此需要进行了解。

对象存储最有趣的方面之一是其用途的多样性。尽管对象存储通常用作归档存储区、原有数据的目的地,以及文件服务器的替代品,但实际上有许多方法可以应用对象存储。随着供应商开始提供性能优化的对象存储,该技术已经为用于一组全新的工作负载准备就绪。

高性能对象存储不仅仅需要从基于硬盘的对象存储系统切换到全闪存对象存储。向全闪存介质的迁移无疑会有所帮助,但是对象存储系统(很大程度上要归功于其丰富的元数据)通常具有太多延迟,无法有效利用闪存性能。

创建高性能对象存储系统的另一个挑战是基础设施的横向扩展特性。为了满足容量需求,对象存储将大量节点添加到存储集群中。每个节点的容量都被吸收到集群中,从而创建一个存储池。在大型横向扩展集群中,具有数十个节点都是比较常见的。聚合和管理这些节点的等待时间可能很长。

人工智能深度学习的对象存储挑战

非结构化的大型数据工作负载(例如人工智能和机器学习以及深度学习)是对象存储架构如何成为高性能工作负载的一个很好的例子。理论上,这些工作负载对于对象存储而言应该是理想的。它们拥有数百万甚至数十亿个文件,而存储所有这些数据需要大量的SSD硬盘或HDD硬盘,因此需要许多节点。这些过程也是受吞吐量驱动的。

所有这些因素的结合使人工智能和深度学习针对对象存储的高节点数存储集群量身定制。大多数与人工智能通信的框架(例如TensorFlow)用于驱动人工智能和机器学习工作负载,它们都使用Amazon S3协议。大多数对象存储系统也是基于S3存储桶,并且S3存储桶本身是高度并行的。从理论上讲,对象存储基础设施应该能够满足人工智能和机器或深度学习工作负载的需求。

但是,此方法不仅仅需要创建一个全闪存对象存储系统。该系统必须能够解决这样一个问题,即可能会有数十个(即使不是数百个)节点,而元数据以及集群管理也带来了挑战。

应对元数据挑战

元数据是关于数据的数据,它对高性能对象存储带来了挑战,其原因有两个:第一个挑战是,对象存储系统需要更多时间来管理其丰富的元数据。由于大多数对象存储供应商会在集群中指定一定数量的节点来管理和存储元数据,因此管理更加复杂。在人工智能和深度学习等工作负载中,专用的元数据控制器通常不堪重负,并成为系统瓶颈。因此,闪存驱动器甚至硬盘无法充分发挥其潜力。

第二个挑战是集群通信。大多数横向扩展NAS或块存储系统的节点数都比较少。在网络附属存储(NAS)和块用例中,拥有六个节点的存储集群被认为是大型的存储系统,但在许多对象存储部署中,六个节点只是一个入门级别。而节点间的通信成为一个大问题,尤其是在不涉及性能的归档的用例中。

要创建高性能的大规模对象存储解决方案,需要解决元数据性能和集群管理问题。下一代对象存储将元数据分布在集群中的每个节点上,而不仅仅是几个控制器。元数据的分布可确保每个节点都具有响应I/O请求所需的所有信息

其他高性能对象存储问题

对象存储系统还必须解决节点间联网的问题。元数据的分布在这里有所帮助,因为它减少了东西流向的流量。供应商必须优化其节点间网络,因此它不会成为性能瓶颈。它们极有可能必须优化网络通信,以最大程度地减少传输频率。

需要优化的另一个领域是协议仿真。例如,大多数对象存储系统都支持网络文件系统(NFS)。网络文件系统(NFS)的支持至关重要,因为许多物联网设备不是内部部署S3存储桶,而是使用网络文件系统(NFS)。其挑战在于,许多对象存储系统都使用一个单独的组件在网络文件系统(NFS)和S3存储桶之间进行转换,而不是在其软件中内部部署运行网络文件系统(NFS)。其转移的开销很大,并且在高性能情况下会显示出来。

网络文件系统(NFS)在对象存储代码中的原生集成可实现更高的性能,并同时访问相同的数据。并发访问意味着物联网设备可以通过网络文件系统(NFS)将数据发送到对象存储卷,同时人工智能或深度学习框架可以通过S3存储桶对象对其进行处理,而无需对其进行复制或移动。

NAS适用的位置

网络附属存储(NAS)系统仍在数据中心中发挥作用。对象存储是长期归档和备份的理想选择,虽然大容量网络附属存储(NAS)仍可以在备份存储市场上竞争。对象存储还适合作为文件服务器的替代品,以替代性能不太重要的工作负载(例如用户主目录)。

高性能对象存储非常适合需要数十或数百个节点以及数十PB容量的大规模工作负载。这些工作负载还取决于吞吐量,并且在I/O访问中高度并行。在这两个极端之间是高性能、非结构化的数据工作负载,这些工作负载本质上是随机I/O,节点数量很少。在这些用例中,网络附属存储(NAS)可能仍然是一个更好的选择。

版权声明:本文为企业网D1Net编译,转载需注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1789

    文章

    46576

    浏览量

    236899
  • 对象存储
    +关注

    关注

    0

    文章

    67

    浏览量

    11956
  • 深度学习
    +关注

    关注

    73

    文章

    5459

    浏览量

    120863

原文标题:现代数据中心高性能对象存储面临的挑战

文章出处:【微信号:D1Net11,微信公众号:存储D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    人工智能、机器学习深度学习存在什么区别

    人工智能指的是在某种程度上显示出类似人类智能的设备。AI有很多技术,但其中一个很大的子集是机器学习——让算法从数据中学习
    发表于 10-24 17:22 2401次阅读
    <b class='flag-5'>人工智能</b>、机器<b class='flag-5'>学习</b>和<b class='flag-5'>深度</b><b class='flag-5'>学习</b>存在什么区别

    《AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    、优化等方面的应用有了更清晰的认识。特别是书中提到的基于大数据和机器学习的能源管理系统,通过实时监测和分析能源数据,实现了能源的高效利用和智能化管理。 其次,第6章通过多个案例展示了人工智能在能源科学中
    发表于 10-14 09:27

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    很幸运社区给我一个阅读此书的机会,感谢平台。 《AI for Science:人工智能驱动科学创新》第4章关于AI与生命科学的部分,为我们揭示了人工智能技术在生命科学领域中的广泛应用和深远影响。在
    发表于 10-14 09:21

    《AI for Science:人工智能驱动科学创新》第二章AI for Science的技术支撑学习心得

    人工智能在科学研究中的核心技术,包括机器学习深度学习、神经网络等。这些技术构成了AI for Science的基石,使得AI能够处理和分析复杂的数据集,从而发现隐藏在数据中的模式和规
    发表于 10-14 09:16

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    人工智能:科学研究的加速器 第一章清晰地阐述了人工智能作为科学研究工具的强大功能。通过机器学习深度学习等先进技术,AI能够处理和分析海量
    发表于 10-14 09:12

    risc-v在人工智能图像处理应用前景分析

    人工智能推荐系统中强大的图形处理器(GPU)一争高下。其独特的设计使得该处理器在功耗受限的条件下仍能实现高性能的图像处理任务。 Ceremorphic公司 :该公司开发的分层学习处理器结合了
    发表于 09-28 11:00

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    、污染治理、碳减排三个方面介绍了人工智能为环境科学引入的新价值和新机遇。 第8章探讨了AI for Science在快速发展过程中面临的机遇和挑战,并对“平台科研”模式进行了展望。 申请时间
    发表于 09-09 13:54

    报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI

    ,得到了华为、腾讯、优必选、中煤科工、中国联通、云天励飞、考拉悠然、智航、力维智联等国内人工智能企业的深度参与和大力支持。 报名后即可到现场领取礼品,总计5000份,先到先选! 点击报名:https://bbs.elecfans.com/jishu_2447254_1
    发表于 08-22 15:00

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度
    发表于 07-29 17:05

    人工智能、机器学习深度学习是什么

    在科技日新月异的今天,人工智能(Artificial Intelligence, AI)、机器学习(Machine Learning, ML)和深度学习(Deep Learning,
    的头像 发表于 07-03 18:22 983次阅读

    人工智能深度学习的五大模型及其应用领域

    随着科技的飞速发展,人工智能(AI)技术特别是深度学习在各个领域展现出了强大的潜力和广泛的应用价值。深度学习作为人工智能的一个核心分支,通过
    的头像 发表于 07-03 18:20 3292次阅读

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V1)

    ://t.elecfans.com/v/25653.html 人工智能 初学者完整学习流程实现手写数字识别案例 28分55秒 https://t.elecfans.com/v/27184.html
    发表于 04-01 10:40

    FPGA在深度学习应用中或将取代GPU

    现场可编程门阵列 (FPGA) 解决了 GPU 在运行深度学习模型时面临的许多问题 在过去的十年里,人工智能的再一次兴起使显卡行业受益匪浅。英伟达 (Nvidia) 和 AMD 等公司的股价也大幅
    发表于 03-21 15:19

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17

    深度学习人工智能中的 8 种常见应用

    深度学习简介深度学习人工智能(AI)的一个分支,它教神经网络学习和推理。近年来,它解决复杂问题
    的头像 发表于 12-01 08:27 3180次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b>在<b class='flag-5'>人工智能</b>中的 8 种常见应用