0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮为中汽创智提供高性能AS13000G5-H型号和13000G5-M存储组合方案

浪潮存储 来源:浪潮存储 作者:浪潮存储 2021-12-10 17:15 次阅读

中汽创智科技有限公司由中国一汽、东风公司、长安汽车、南京江宁经开科技等企业共同出资160亿元设立,落户南京江宁经济技术开发区。

中汽创智选择浪潮分布式存储AS13000G5系列的M和H节点,构建了自动驾驶训练模型,进一步提升GPU集群自动驾驶模型训练过程中的数据读写速度,大大加快研发速度。

中汽创智科技有限公司的成立,是落实制造强国、科技强国、汽车强国等国家战略的重要举措。央企新能源汽车整车领域的产业投资、技术研发将集中在中汽创智,有利于推动产业资源整合和开放合作,加快在制约当前产业发展的“卡脖子”技术和下一代关键核心技术领域的集中攻关和突破。中汽创智聚焦智能底盘、氢燃料动力、智能网联三大业务领域,致力于成为汽车行业技术创新的引领者、产业孵化的践行者、数据服务的驱动者。

部署自动驾驶训练平台

推进自动驾驶技术发展

中汽创智计划建设一套自动驾驶模型训练平台。借助平台的运算能力和存储能力,为自动驾驶、人工智能等领域相关技术的研发,提供IT资源支撑。

模型训练需要频繁在存储设备中读写数据,对存储系统性能要求较高,原始模型开发的过程中需要调用TB级的图片数据集,且模型在开发的过程中也会产生很多中间数据需要存储。

除了数据读写和大量图片的处理,中汽创智自动驾驶训练模型的搭建还给数据传输带来挑战,传统存储在面对数据短时间内增长迅速,传统硬盘效率低,无法发挥数据的及时性和准确性。

浪潮AS13000-H

如何HOLD住海量数据?

浪潮为中汽创智提供了高性能AS13000G5-H型号和13000G5-M存储组合方案。提供了不低于50GB/s的聚合带宽和PB级存储空间,满足了自动驾驶训练模型对大量图片处理和数据频繁读写的需求。助力中汽创智自动驾驶训练模型平台的建设。

浪潮AS13000-H分布式文件存储系统采用元数据节点与数据节点分离的网络架构,元数据与数据的读写互不影响。同时,AS13000-H的软件系统面向小文件进行了专门的调优和设计,使得AS13000-H更加适合图片数据集训练这种小文件频繁读写的场景。从而进一步提升GPU集群自动驾驶模型训练过程中的数据读写速度,推荐配置2个元数据节点和2个数据节点。元数据节点之间,数据节点之间开启镜像模式,实现元数据和数据的两副本存储,通过双副本机制,保障中汽创智自动驾驶模型训练过程中数据的安全。每台元数据节点和数据节点均配有2套网络。一套为10Gb万兆以太网络,接入业务交换机,实现研发人员和管理人员对于存储设备的前端接入和访问。另外一套为100Gb EDR Infiniband网络,接入集群内部用于数据交换的IB交换机,实现模型训练过程中计算节点与存储节点之间的数据读写,最大化保障数据传输效率。

考虑到用于模型训练的图片数据集及部分中间结果需要在开发机之间共享,因此,存储设备应具备共享网盘功能,以便不同开发机之间对同一份训练数据集进行读写,并对中间结果进行共享。浪潮存储采用3台4U36盘位存储服务器构成分布式存储系统的硬件平台;软件层面,使用浪潮自研的分布式软件文件系统。通过软件定义存储技术,将3台存储服务器定义为一台分布式存储系统。该系统可以同时支持文件、对象、块多种存储类型,本项目中使用文件存储格式进行开发及存储环境搭建,帮助用户实现对存储资源的最大化利用,有效降低存储开销,实现高效数据存取和维护,确保数据安全可靠。

目前,中汽创智自动驾驶训练模型平台已经全面投入使用,在智能座舱、仿真与测试、自动驾驶等多个业务中开展大数据分析和高性能训练,与中汽创智的云平台进行对接,形成统一的数据中心级别的大平台。

原文标题:浪潮存储:为中汽创智自动驾驶训练提速

文章出处:【微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储系统
    +关注

    关注

    2

    文章

    413

    浏览量

    40890
  • 人工智能
    +关注

    关注

    1793

    文章

    47590

    浏览量

    239485
  • 自动驾驶
    +关注

    关注

    784

    文章

    13915

    浏览量

    166771

原文标题:浪潮存储:为中汽创智自动驾驶训练提速

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    浪潮信息AS13000G7荣获MLPerf™ AI存储基准测试五项性能全球第一

    北京2024年9月27日 /美通社/ -- 9月25日,MLCommons协会发布最新MLPerf™ Storage v1.0 AI存储基准测试成绩。浪潮信息分布式存储平台AS13000G
    的头像 发表于 09-28 16:46 236次阅读
    <b class='flag-5'>浪潮</b>信息AS<b class='flag-5'>13000G</b>7荣获MLPerf™ AI<b class='flag-5'>存储</b>基准测试五项<b class='flag-5'>性能</b>全球第一

    5G赋能新能源,工业5G路由器实现充电桩远程高效管理

    随着5G技术的广泛应用,新能源充电桩的5G应用正逐步构建起全新的生态系统。在数字化转型的浪潮,新能源充电桩行业正迎来数字化改革。工业5G
    的头像 发表于 07-22 17:38 405次阅读
    <b class='flag-5'>5G</b>赋能新能源,工业<b class='flag-5'>5G</b>路由器实现充电桩远程高效管理

    浪潮信息推出AIGC存储解决方案

    信息隆重推出了基于其新一代分布式存储平台AS13000G7的AIGC存储解决方案,这一创新成果无疑为当前大模型应用面临的存储挑战
    的头像 发表于 07-03 11:16 767次阅读

    浪潮信息推出基于新一代分布式存储平台AS13000G7的AIGC存储解决方案

    、新一代分布式存储AS13000G7自身产品优势,新方案从容应对大模型应用对存储性能、容量以及数据管理等方面的苛刻要求。同时,
    的头像 发表于 07-01 19:00 1474次阅读
    <b class='flag-5'>浪潮</b>信息推出基于新一代分布式<b class='flag-5'>存储</b>平台AS<b class='flag-5'>13000G</b>7的AIGC<b class='flag-5'>存储</b>解决<b class='flag-5'>方案</b>

    爱立信:5G-A时代下,推进Open Gateway发展

    Gateway发展”论坛,发表了主题为“高性能可编程网络是5G下一步发展的关键”的演讲,分享了爱立信未来5-10年的行业愿景,并深入阐述了“高性
    的头像 发表于 07-01 14:43 1.1w次阅读

    浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配

    近日,浪潮信息分布式存储AS13000完成英特尔至强6能效核处理器适配,实现每瓦性能提升2.3倍,以更高的效率、更优的成本满足海量多态数据的存储
    的头像 发表于 06-19 10:05 904次阅读
    <b class='flag-5'>浪潮</b>信息分布式<b class='flag-5'>存储</b>AS<b class='flag-5'>13000</b>完成英特尔至强6能效核处理器适配

    芯光电5G射频线焊接

    5G射频
    jf_87022464
    发布于 :2024年06月17日 10:34:31

    5G技术的热管理挑战与解决方案高性能材料的创新应用

    需求,使其产生的热量远超以往,这对设备的可靠性和性能构成了严峻考验。正是在此背景下,高性能热管理材料成为了5G时代不可或缺的关键要素。本文将深入探讨热管理材料在5G应用
    的头像 发表于 05-16 16:12 917次阅读

    浪潮信息发布AS13000G7-N系列分布式全闪存储

    浪潮信息近日推出了专为大型AI模型优化的AS13000G7-N系列分布式全闪存储。该系列基于浪潮信息自研的分布式文件系统,结合新一代数据加速引擎DataTurbo,
    的头像 发表于 05-14 10:03 596次阅读

    大模型专门优化 浪潮信息发布分布式全闪存储AS13000G7-N系列

    北京2024年5月10日 /美通社/ -- 近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托
    的头像 发表于 05-10 16:37 461次阅读
    <b class='flag-5'>为</b>大模型专门优化 <b class='flag-5'>浪潮</b>信息发布分布式全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000G</b>7-N系列

    浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列

    近日,浪潮信息发布大模型专门优化的分布式全闪存储AS13000G7-N系列。该系列依托浪潮信息自研分布式文件系统,搭载新一代数据加速引擎D
    的头像 发表于 05-08 09:38 593次阅读
    <b class='flag-5'>浪潮</b>信息发布<b class='flag-5'>为</b>大模型专门优化的分布式全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000G</b>7-N系列

    一图读懂浪潮信息新一代分布式全闪存储AS13000G7-N系列

    一图读懂浪潮信息新一代分布式全闪存储AS13000G7-N系列
    的头像 发表于 05-08 09:35 1330次阅读
    一图读懂<b class='flag-5'>浪潮</b>信息新一代分布式全闪<b class='flag-5'>存储</b>AS<b class='flag-5'>13000G</b>7-N系列

    美格智能发布全新5G-A模组及FWA解决方案

    解决方案SRT858M5G-A MiFi解决方案SRT878H5G-A ODU解决
    的头像 发表于 02-29 10:54 1454次阅读

    MWC 2024丨美格智能发布全新5G-A模组及FWA解决方案,将5.5G带入现实

    解决方案SRT878H5G-A ODU解决方案SRT853MX,旨在进一步提升网络性能,将5.5G
    的头像 发表于 02-26 17:53 1337次阅读
    MWC 2024丨美格智能发布全新<b class='flag-5'>5G</b>-A模组及FWA解决<b class='flag-5'>方案</b>,将5.5<b class='flag-5'>G</b>带入现实

    MWC 2024丨美格智能发布全新5G-A模组及FWA解决方案,将5.5G带入现实

    解决方案SRT878H5G-A ODU解决方案SRT853MX,旨在进一步提升网络性能,将5.5G
    的头像 发表于 02-26 17:51 684次阅读