0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

新数据时代行业应用场景日益细化带来新挑战

浪潮存储 来源:lq 2018-12-13 09:18 次阅读

当AlphaZero在2018年12月登上顶级期刊Science的封面——基于神经网络在数据和算法上的突破以及5000个TPU提供的强大算力,AlphaZero从零训练8小时击败最强围棋AI(李世石版AlphaGo);当自动驾驶、人脸识别、4K/8K以及VR 2K等加速商用……接踵而来的新应用催生了新数据时代的到来,指数级增长的数据需要存储做出根本性改变。

12月11-12日,2018中国存储与数据峰会(DSS2018)在北京国际饭店举办。浪潮存储研发总监李辉在现场做了题为“新数据时代,新存储之道”的主题演讲。李辉表示:“当前,客户和组织已经走入了一个由数据变化带来的新数据时代,数据在数据形态、 部署环境、应用模式和价值需求四大方面均出现了更为精细化的需求,并在不同行业和场景中出现了更为差异化的体现。在这一时代下,应用不仅是把基础设施的资源价值最大化地挖掘出来,更需要把整个数据资源——无论是关键数据还是沉睡数据的价值都能够最大化地挖掘、贡献出来。”

新数据时代,新存储之道

新数据时代 行业应用场景日益细化带来新挑战

根据IDC预测,随着数据的指数级增长,全球数据总量预计2020年达到44个ZB,中国数据量将达到8060个EB,占全球数据总量的18%。随着数据量的增长,数据类型的多样性和数据源也在增加,因而提高了IT基础设施的复杂性。

5G云计算物联网、大数据、人工智能区块链……不断发展的新技术逐渐让世界连成了一张大网,并驱动了自动驾驶、人脸识别等大量新应用的涌现。而IT新技术的连续性迭代,更加速推动了物理世界与数字世界的融合,构建了一个新数据时代。在新数据时代下,各个垂直行业的业务需求呈现新的特点,并为IT和存储带来新需求特点,存储系统也在架构、容量、性能和管理上面临更为差异化的挑战。

例如,在超大规模的互联网云数据中心和企业的中大型数据中心里,服务器变得越来越多,数据计算集群和处理应用的集群规模都非常大,会用虚拟化技术跑各种各样的应用,在这样的虚拟化环境下,存储需要支撑上万台的物理机和数十万台虚拟机的运行,这成为当今存储碰到的一大挑战。

云计算、大数据、AI等新技术驱动数据存储变革

在AI应用中,要拿到很多原始的数据进行标记、处理,如从视频、图片、语音、文本里拿出数据,从而会拿出很多小文件进行模型训练,有时一个大型AI应用需要处理的小文件会达到万亿级别,这同样对存储的性能提出挑战。

再以行业应用为例,在科研与航空卫星行业,以生物科学研究为代表的科研应用和航空航天卫星技术的持续升级,带来了越来越精细化的应用需求,实时处理、极速响应成为常态。在广电媒资行业,从4K到8K到VR 2K,一方面观众对高品质、零等待的浸入式体验追求了无止境,另一方面短视频、直播平台等新产业发展,亟需广电企业进行多元化融合,以提升用户粘性、实现资源整合和创新。这一切,不仅对存储提出了容量、性能、架构及管理上的新挑战,并且要求供应商必须以场景化应用为核心,驱动产品技术与解决方案的开发。

“场景驱动开发” 赋能浪潮超大规模软件定义存储

浪潮聚焦新数据时代的新数据形态、新部署环境、新应用模式和新价值需求的“四新”产业趋势,以超大规模软件定义存储(Large-ScaleSDS)满足新数据时代的EB容量、亿级IOPS、弹性架构及智能管理需求。

由于容量和性能能够随着非结构化数据的增长实现线性扩展,软件定义存储将成为新数据时代的主要存储方式。这一观点得到了分析机构的印证。据Gartner调研,目前大约40%的企业数据存储在可横向扩展的企业数据中心或云数据中心,到2022年,这一比例将超过80%。据IDC预测,2017年至2021年,全球软件定义存储(SDS)市场年复合增长率将达到13.5%,2021年营收达到约162亿美元。

基于对新数据时代市场需求的洞察,浪潮积蓄力量持续发力Large-Scale SDS。李辉表示,浪潮SDS在技术上的优势在于,依托“软件定义+硬件重构”理念,面向客户的实际应用,对软件和硬件进行集成测试,并对整个研发过程的性能、可用性、适用性等进行严格控制,实现软硬件紧密协同,最大程度发挥软件定义存储的效能,以“极致容量、极致性能、极致简单”满足新数据时代存储在容量、性能、架构及管理上的需求。

浪潮超大规模软件定义存储

当然,在当今复杂的应用环境下,单纯发力技术,是无法适配和支撑用户大规模海量数据应用的。浪潮SDS可以作为应用场景群和技术场景群的桥梁,以场景为核心深度优化,把场景间的个性需求、场景内的共性需求、及其对应的最优技术实现路线和方案,在浪潮SDS上真正实现,从而保障各种场景的个性化需求真正得到满足。浪潮SDS力图做到“个性化量产”,为各类有个性需求的场景进行定向深度开发和优化,可以针对EB级数据的处理进行定制开发与战略合作。

例如,通过与交通领域合作伙伴在平安城市应用方面的交流,浪潮以插卡的模式,将GPU引用软件定义存储产品中,合作伙伴由此可以抽取图像帧对视频图像进行大数据分析。又如,为满足广电媒资视频云对云数据中心统一管理的需求,浪潮对管理接口进行深度开发。再如,在动漫制作领域,浪潮基于软件定义存储AS13000为用户的动漫影视制作提供了千万级小文件并发的SDS大平台。

翻开浪潮存储的PB级大工程名单,可以看到软件定义存储AS13000实现了在某资源中心一套70PB、某运营商数十套每套PB级系统、某省政务云90个节点、20PB容量、成都三环路视频监控系统中108节点、20PB容量、广电总局141个节点、10PB的云平台、华强方特5PB、千万级小文件并发性能的动漫制作平台、中石油东方物探34个节点、5PB容量的高性能计算平台的应用部署。

正因为将应用与技术在浪潮的软件定义存储产品上实现了对接,浪潮连续3年浪潮软件定义存储销售额同比增长超100%,在金融、通信、政府、企业、互联网、媒资、医疗、教育等行业,进行了众多大规模部署。2018年,浪潮存储入围Gartner分布式存储魔力象限。

李辉分享软件定义存储的PB级大工程

李辉表示,过去3年,浪潮累计投入超过10个亿,倾力开发浪潮新存储,重构原有架构,满足以智慧场景为代表的应用。未来,浪潮存储将继续坚持以“数据与介质的连接者”形象,帮助企业更好的掌握“新数据时代”下的新场景,让企业和组织用好“新”数据,在市场上占得先机。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4733

    浏览量

    100410
  • 云计算
    +关注

    关注

    39

    文章

    7701

    浏览量

    137096
  • 大数据
    +关注

    关注

    64

    文章

    8854

    浏览量

    137207

原文标题:新数据时代,做好数据与介质的连接者

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    便携式示波器的技术原理和应用场景

    便携式示波器作为示波器的一种,具有体积小、重量轻、便于携带等特点,在多个领域有着广泛的应用。以下是对其技术原理和应用场景的详细介绍:一、技术原理便携式示波器的基本原理与传统示波器相同,都是通过采集
    发表于 10-24 14:31

    实时示波器的技术原理和应用场景

    实时示波器是一种高性能的电子测量仪器,其技术原理和应用场景对于电子工程和通信技术领域具有重要意义。以下是对实时示波器的技术原理和应用场景的详细解释:一、技术原理实时示波器的工作原理基于电子束在荧光屏
    发表于 10-23 14:22

    源测量单元设备的技术原理和应用场景

    源测量单元(SMU)设备是一种集成了精密电源(PPS)和高性能数字万用表(DMM)功能的测试设备。以下是对其技术原理和应用场景的详细解析:一、技术原理 集成功能: SMU在单个仪器中集成了电源
    发表于 10-22 11:10

    光学透过率测量仪的技术原理和应用场景

    率测量仪支持多波长测量功能,可以选择不同的光源和滤光片来覆盖紫外、可见光和红外等多个波长范围,以满足不同材料的透过率测量需求。 应用场景光学透过率测量仪的应用场景广泛,涵盖了多个行业和领域: 建筑领域
    发表于 10-16 14:38

    太阳膜测试仪的技术原理和应用场景

    。 应用场景太阳膜测试仪具有广泛的应用场景,主要包括以下几个方面: 汽车行业:在汽车制造和维修过程中,太阳膜测试仪被用于检测车窗玻璃上太阳膜的质量。通过测量太阳膜的反射率和透过率,可以确保车窗玻璃具有良好
    发表于 09-29 14:18

    超声波测厚仪的技术原理和应用场景

    超声波测厚仪的技术原理和应用场景详细如下:技术原理超声波测厚仪利用超声波脉冲反射原理来测量材料的厚度。具体工作原理如下: 发射超声波脉冲:测厚仪的探头(也称为换能器)向被测物体发射一束高频超声波脉冲
    发表于 09-27 15:06

    智能IC卡测试设备的技术原理和应用场景

    ,如数据存储能力、数据处理能力、安全性能等。 应用场景智能IC卡测试设备在多个领域都有广泛的应用场景,主要包括以下几个方面: 卡片制造行业
    发表于 09-26 14:27

    USB协议分析仪的技术原理和应用场景

    USB协议分析仪的技术原理和应用场景可以详细阐述如下:技术原理USB协议分析仪的技术原理主要基于以下几个方面: 总线监听:USB协议分析仪通过监听USB总线上的数据传输过程,实时捕获USB设备之间
    发表于 09-24 14:29

    LCR数字电桥的技术原理和应用场景

    计算出待测物体的电学参数值。应用场景LCR数字电桥广泛应用于电子行业的各个领域,包括但不限于以下几个方面: 电子元器件测试: 准确测量电阻、电感和电容等电子元器件的参数,帮助工程师快速验证元器件性能
    发表于 09-19 16:47

    脉冲式线圈测试仪的技术原理和应用场景

    能是否良好。电晕放电是绝缘不良的一种表现,通过检测电晕放电的发生,测试仪能够及时发现并定位绝缘问题。 应用场景脉冲式线圈测试仪广泛应用于各种需要检测线圈质量的场景,包括但不限于: 电机行业:用于电机
    发表于 09-18 14:29

    FPGA与MCU的应用场景

    FPGA的应用场景有这些: 快速原型设计 FPGA可以快速配置成多种定制数字电路,允许在不需要昂贵且耗时的制造过程的情况下进行快速部署和修改。 硬件加速 在需要高性能和低延迟的应用中,FPGA的并行
    发表于 07-29 15:45

    工业元宇宙的应用场景有哪些

    的应用场景日益丰富,为企业带来了前所未有的发展机遇。本文将详细介绍工业元宇宙的应用场景,探讨其在数字化转型和创新中的重要性。 一、工业元宇宙的概念 工业元宇宙是指将元宇宙技术应用于工业
    的头像 发表于 06-11 10:24 548次阅读

    STM32待机模式适合用于那些应用场景

    对于查看STM32低功耗模式,共有三种,其中最省电的为待机模式,但是待机模式唤醒后相当于软件复位了,ram及寄存器中的值都复位了,仅仅是备份域的寄存器除外,因此有个疑问,待机模式适合用于那些应用场景
    发表于 05-07 07:46

    NanoEdge AI的技术原理、应用场景及优势

    能耗并提高数据安全性。本文将对 NanoEdge AI 的技术原理、应用场景以及优势进行综述。 1、技术原理 NanoEdge AI 的核心技术包括边缘计算、神经网络压缩和低功耗硬件设计。边缘计算
    发表于 03-12 08:09

    AG32VF-MIPI应用场景

    的基础上,集成了MIPI接口协议,提供了丰富的功能和特性,能够满足不同应用场景的需求,为用户提供更加全面、便捷、高效的数据传输方案。 基本参数: MIPI up to 1.5Gbps LVDS up
    发表于 01-22 08:56