“新基建”正在成为业界关注的热点,5G、大数据中心、人工智能、工业互联网等新型基础设施建设正在加速推进。“新基建”主要包含 5G 基建、特高压、城际高速铁路和城际轨道交通、新能源汽车充电桩、大数据中心、人工智能、工业互联网等七大领域的建设,涉及到通信、电力、交通、数字等多个社会民生重点行业。
在新基建中,尤其引人注目的是大数据中心。IT从业者都知道,大数据中心是承载海量数据的平台,新兴产业的未来发展将大量依赖于数字世界,从国家治理、政务服务到各个产业 ,建好数据中心将有助于促进行业转型和发展数字经济。
大数据中心的最重要的特征是数据量和规模的高速增长:到2025年全球新创建的数据将达到175ZB;企业对实时数据需求增加,到2023年实时数据占全球数据圈24.5%的份额;核心数据中心的数据存储容量占比将超过50%。
随着数据量和数据中心规模的扩大,以及各种新存储介质和技术的应用,存储系统变得越来越复杂。用户需要的存储专业知识越来越多,而用好存储对用户来说越来越难。
AI智能化技术可以解决存储系统使用的复杂性问题。AI系统会不断地从存储及其运行环境中采集存储的各种状态信息和性能数据,用机器学习算法分析,学习用户的存储使用情况,进而自动化的调整并优化存储系统,使存储服务能更好地适应用户的需求。
比如:智能化的把数据保存在合适的区域;自动的完成数据均衡;预测未来的需求;预防潜在的问题;智能调优等。有AI加持的智能化存储可以增强系统的可靠性,降低存储的复杂性和维护成本。因此,“新基建”需要智能化的“新存储”。
1
客户的未来,从智能化新存储开始
IDC在2018年6月完成了一项全球存储客户的智能化特性调查,客户对使用AI / ML算法推动存储系统的改进抱以积极的态度,如下图,
IDC调研:客户对AI智能化存储的需求同时,IDC还调研了已经使用了智能化存储的客户,询问他们从中得到了哪些好处。下图展示了客户目前最关心的五项智能服务。其中,排名第一的是改善系统的整体可用性;其次是加快问题解决速度及提高性能容量规划,预测性地识别任何即将发生的故障,监视与存储相关的其他IT基础架构也被客户重点关注。
IDC调研:用户最希望使用的智能化存储特性
2
智能化存储的关键技术
一个完整的智能化存储框架包括下图所示的5个过程:
存储的AIOps框架
1) 监控:系统首先通过日志、SNMP、RestAPI等技术手段抓取并保存存储系统中的运行状态、性能和故障报错数据,这为AI自优化系统创造了数据基础。
2) 学习:在长时间、海量的监控数据基础上,AI会不断分析用户的IO模型和系统状态信息,学习最佳的应用实践,并自动分析问题根因和发现异常行为。
3) 预测:对于新发现的问题,AI算法都可以自动学习并提取可重复的模式,并将新的算法模型应用到其他尚未发现该问题的设备上,从而准确预测风险和故障。
4) 推荐:除了智能化预测新问题外,AI还会学习出解决和优化问题的具体建议。如修改内外部配置参数、更换部件、系统软件升级等。
5) 实施:AI系统可以自动运行优化措施并解决问题。如果处于安全考虑,也可以停止自动优化系统,人工操作来解决现场问题。
学术界也非常关注智能化存储技术。国外的存储和系统领域的顶级会议FAST、ATC、SRE、KDD有很多相关文章,清华大学、中科院、华中科技大学等国内科研机构也在故障预测、根因分析、异常检测、自动调优等方面有优秀的科研成果。
清华大学在《计算机学会通讯》上系统地阐述了智能化存储的关键技术。文中把存储的智能化归纳为历史事件、当前事件、未来事件三类应用场景。
历史事件场景中瓶颈分析指的是制约存储或系统服务的硬件或软件瓶颈;热点分析指的是自动挖掘出大于正常阈值性能指标;KPI聚类是对类似的指标曲线进行聚类;KPI曲线关联挖掘是针对两条曲线的关联关系进行挖掘;全链路模块调用分析能分析出模块间的调用关系;异常事件关联挖掘是指对异常事件之间的关系进行关联分析;故障传播关系图融合了以上四种技术,推断出异常事件之间的故障传播关系。
当前事件场景主要是根据当前的日志和告警、快速检测和定位异常,并完成故障的根因分析,最终实现快速止损,控制故障的影响范围。
未来事件场景的技术原理都是通过AI技术自动挖掘故障发生前的日志、性能参数指标,找到故障前可重复的模式,从而在今后出现类似的日志模式时,提前预测故障、性能容量变化趋势以及系统可能的热点瓶颈。根据IDC的客户调查来看,针对未来事件的预测场景是存储用户关注的重点。
存储智能化的关键场景和技术
3
智能化存储的实践应用
在存储产业界中,Nimble Storage在2010年推出了智能化的存储软件Infosight,提供了预测性分析、端到端的故障定位、性能洞察等一系列的智能化功能。帮助用户分析复杂应用环境下从虚拟机到后端存储端到端的性能瓶颈,确定影响性能瓶颈的主要因素,并最终给出可行的优化或解决问题的建议。
全球存储厂商Netapp、IBM、DELL EMC也在2017年以后推出了自己的智能化产品ActiveIQ、StorageInsights和CloudIQ。
作为新数据时代下“新存储”的引领者,浪潮存储也推出了领先且独具特色的智能化存储管理平台InView,实现了磁盘故障预测、性能容量预测的智能化功能,帮助客户预判硬件故障,规避硬件故障带来的风险和损失,并给出具体的扩容建议,为客户提供更好的存储服务。
责任编辑:pj
-
人工智能
+关注
关注
1789文章
46584浏览量
236904 -
大数据
+关注
关注
64文章
8851浏览量
137182 -
工业互联网
+关注
关注
28文章
4287浏览量
94020
发布评论请先 登录
相关推荐
评论