0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

洛斯阿拉莫斯实验室联手希捷,尝试将计算与机械硬盘相结合

存储界 来源:存储界 2023-03-22 11:20 次阅读

用于模拟各类场景的高性能计算(HPC)类工作负载,总会产生大量有待筛选的数据。事实上,这也正是HPC与AI的最大区别:前者输入数据少,输出数据多;后者则需要输入大量信息,通过训练转化为神经网络中的少量参数和权重。

但在HPC模拟所生成的数万亿个粒子当中,真正值得研究人员关注的可能只是几百或几千个粒子的实际行为。

洛斯阿拉莫斯国家实验室副部门负责人加里·格里德(Gary Grider)在采访中表示,“这就像是大海捞针,实际要寻找的只是总体数据中的小小一部分。”这个问题在体量较小的数据集上相对好些,但阿拉莫斯实验室却向来以超大规模研究著称。“我们可能会运行一个内存占用量高达PB级别的实验,而它往往每隔几分钟就输出一次PB级数据”,且整个过程会持续半年之久。

为了筛选这些数据,科学家们使用一套分析工具来查明到底哪些信息真正具有价值。过去几年来,阿拉莫斯实验室一直在想办法让分析负载跟数据尽可能接近,甚至考虑把计算转移到闪存或硬盘控制器上。从某种意义上说,阿拉莫斯实验室及其合作伙伴想要构建一套大型磁盘控制器集群,利用上面的空闲时钟周期来处理分析功能。

阿拉莫斯实验室的研究人员已经取得了一定进展。通过与SK海力士合作,他们实现了将规约功能引入控制器的概念验证,借此获得了几个数量级的性能改进。

格里德表示,“我们已经证明,通过对规约这类简单分析的全速执行,磁盘驱动器自身就能从磁盘内提取数据,从而彻底消除了传输带宽产生的成本。”

跟能源部下辖的其他HPC实验室一样,阿拉莫斯实验室同样采用分层存储架构,目前已经开始在更大的磁盘池上做类似的探索。为了更进一步,阿拉莫斯实验室与希捷签订了合作研发协议。

“事实证明,希捷方面也在尝试将部分负载转移到存储设备上。他们已经拥有原型方案,处理器就部署在磁盘驱动器旁边。”

弹性问题

但大家都知道,机械硬盘与闪存不同。闪存内部不存在移动部件,而且在使用寿命之内具有相对更可预测的故障率。相比之下,硬盘驱动器内部存在机械结构,随时都有可能发生故障。这就要求对硬盘做一定程度的弹性化改造——换言之,引入擦除码或RAID。

“但这也会增加分析流程的复杂度。要进行分析,我们必须了解数据是什么。但磁盘驱动器往往做不到它一点,它只会把所有信息都看作数据块。”

因此加里德的团队必须从零开始构建一套专用于存储加速分析的文件系统,否则一切都只是空谈。

“我们不希望这事只有阿拉莫斯实验室自己参与,毕竟我们后续得定期采购、还需要厂商提供售后支持。”

于是,阿拉莫斯实验室选择对现有文件系统做“魔改”,选择的则是Sun Microsystems早年间打造的Zettabyte文件系统。这是一套专门管理大型弹性磁盘驱动器池的系统,如今被人们亲切称为Spinning Rust。ZFS还能配合Gluster实现多节点扩展,Gluster则是Red Hat当初收购来的集群文件系统。至于分析任务,工程师们将努力调整文件系统,让它能与Apache的分析堆栈配合运作。

“我们希望努力打造出任何人都能使用的标准工具。”

虽然阿拉莫斯实验室及其合作伙伴有望构建起一套能够直驱分析处理的文件系统,但其初期部署难度绝不是一般用户所能承受的。

因此,格里德希望进一步完善文件系统和分析工具,吸引标准机构和软件开发者为其添加更多功能,最终打造出一款面向主流受众的新方案。

任重而道远

格里德也承认,这方面还有很多工作要做。“要达到消费级应用的程度,可谓是任重而道远。我们接下来要做的是将其转化成某种对象模型,而不再是文件中的一个个块。”

目前,阿拉莫斯实验室的初步目标是将少量分析功能转移至磁盘控制器。

“我们还没有将完整的分析工作负载转移到磁盘驱动器上,目前做的主要是规约还有一部分合并。但总体来看,规约已经可以在设备层次上实现,之后还有合并和排序这类通常在闪存或内存中实现的操作。”

目前最大的障碍并不是算力,而是磁盘所内置的有限内存。格里德坦言,“现在磁盘的内置内存太小,不足以做排序,只能完成选择操作。所以接下来的问题是,我们要怎样增加磁盘的内置内存容量来提升操作复杂度。”

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 驱动器
    +关注

    关注

    52

    文章

    8149

    浏览量

    145946
  • 控制器
    +关注

    关注

    112

    文章

    16185

    浏览量

    177337
  • 机械硬盘
    +关注

    关注

    1

    文章

    221

    浏览量

    25367

原文标题:洛斯阿拉莫斯实验室联手希捷,尝试将计算与机械硬盘相结合

文章出处:【微信号:cunchujie,微信公众号:存储界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    LIMS系统在芯片实验室中的应用

    在高速发展的芯片行业中,芯片实验室作为技术创新和产品验证的核心部门,面临着诸多挑战与问题。这些问题不仅影响了实验室的工作效率,还可能对芯片产品的质量和研发周期产生不利影响。幸运的是,LIMS系统
    的头像 发表于 11-07 17:59 201次阅读

    LIMS实验室管理平台的实施步骤

    实验室信息管理系统(LIMS)是现代实验室管理的核心,它通过集成各种实验室操作流程,提高实验室的工作效率和数据管理能力。实施LIMS系统是一个系统化的过程,需要精心规划和执行。以下是实
    的头像 发表于 10-29 09:10 173次阅读

    实验室数据管理与LIMS平台的关系

    实验室数据管理(Laboratory Data Management)是指对实验室产生的数据进行收集、存储、处理、分析和报告的过程。这包括了样品的接收、测试结果的记录、质量控制数据的跟踪以及最终报告
    的头像 发表于 10-28 18:10 388次阅读

    如何选择合适的LIMS实验室管理软件

    选择合适的实验室信息管理系统(LIMS)对于确保实验室的效率、准确性和合规性至关重要。 需求分析 : 确定实验室的具体需求,包括测试类型、样品管理、数据报告、分析方法、质量控制等。 考虑实验室
    的头像 发表于 10-28 16:56 169次阅读

    苹果深圳应用研究实验室正式运营

    近日,苹果公司宣布其在河套深圳园区的应用研究实验室已正式建成并开始运营。该实验室被定位为苹果公司粤港澳大湾区研发中心,是苹果在美国本土以外覆盖范围最广泛的实验室之一。
    的头像 发表于 10-11 15:52 269次阅读

    麦和IMEC联合光刻实验室启用

    近日,比利时微电子研究中心(IMEC)与全球光刻技术领军企业阿麦(ASML)共同宣布,在荷兰费尔德霍芬正式启用联合High-NA EUV光刻实验室
    的头像 发表于 06-06 10:09 623次阅读

    联与中国科学院共建边缘智能计算重庆市重点实验室

    近日,特联与中国科学院重庆绿色智能技术研究院(简称重庆研究院)携手共建的“边缘智能计算重庆市重点实验室”在重庆高新区正式揭牌。这一合作标志着双方在智能科技领域的深度合作进入新阶段。
    的头像 发表于 06-04 09:25 473次阅读

    DEKRA德凯为Hisense海信实验室授予CTF实验室资质

    近日,全球领先的检验检测认证机构DEKRA德凯为海信家电集团洗护技术测试研究中心(以下简称:Hisense海信)实验室授予CTF实验室资质。
    的头像 发表于 04-10 14:52 491次阅读

    三星成立半导体AGI计算实验室

    三星电子近日迎来重要战略部署,其半导体业务CEO庆桂显正式宣布,公司将在美国和韩国设立全新的半导体AGI计算实验室,并已启动相关招聘工作。此次实验室的成立,标志着三星在人工智能领域迈出了坚实的一步。
    的头像 发表于 03-22 11:10 627次阅读

    要让量子计算走出实验室

    转自环球时报环球时报记者张蔚蓝陈子帅原稿标题:中国科学院量子信息重点实验室副主任郭国平:要让量子计算走出实验室原文链接:https://m.huanqiu.com/article
    的头像 发表于 03-06 08:21 297次阅读
    要让量子<b class='flag-5'>计算</b>走出<b class='flag-5'>实验室</b>

    上海AI实验室发布新一代书生·视觉大模型

    近日,上海人工智能实验室(上海AI实验室联手多所知名高校及科技公司共同研发出新一代书生·视觉大模型(InternVL)。
    的头像 发表于 02-04 11:25 1048次阅读

    实验室设备定位管理系统

    实验室设备定位管理系统是一种用于实验室设备管理和定位的系统。它利用物联网技术和定位技术,帮助实验室管理人员实时了解实验室内设备的位置和状态,提高设备的利用率和管理效率。 该系统使用传感
    的头像 发表于 01-10 16:13 792次阅读

    SiBORG实验室使用OpenUSD和NVIDIA Omniverse改进可达性设计

    SiBORG 实验室负责人 Mathew Schwartz 将研究与设计相结合,帮助团队优化建筑物的可达性设计。
    的头像 发表于 12-22 17:11 433次阅读

    浅析RFID技术在学校实验室管理中的应用

    一直以来,多数高校实验室设备管理采取传统手工方式,无法满足当前高校的发展需求。同时,对于实验室设备的资产进行清查时也多是通过扫描手写编码或是条形码标签的方式进行核实,这样的盘查效率极低,且极易出现错误,很难实现实验室设备的账物核
    的头像 发表于 12-13 16:48 454次阅读
    浅析RFID技术在学校<b class='flag-5'>实验室</b>管理中的应用

    阿里达摩院裁撤量子实验室证实!

    据阿里达摩院证实,他们已经决定裁撤量子实验室,并将实验室及仪器设备捐赠给浙江大学。这一举措的目的是为了促进量子科技的协同发展,并将捐赠的实验室和设备开放给浙江大学及其他高校和科研机构使用。
    的头像 发表于 11-28 18:20 1068次阅读