0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何用神经网络模型处理SSD稳态控制问题

科技绿洲 来源:北京忆芯科技有限公司 作者:北京忆芯科技有限 2022-06-08 15:41 次阅读

在企业级或数据中心的存储应用中,对固态闪存盘的特性有着比桌面应用更加严苛的多项要求。其中IO延迟稳定性和QoS(服务质量)是其中最重要的指标,其含义表征着SSD在各种场景轻重压力下能否提供稳定的IO性能指标,将IO的抖动和延迟控制在尽量小的范围内,而提升上层应用的响应。

近年神经网络在各行各业有很多有趣的实际应用,其在模式识别、智能机器人、自动控制、预测估计、医学和经济等领域已成功解决了许多现代计算机难以解决的实际问题,表现出很好的智能特性。忆芯科技的技术团队经过大胆创新实践,在固态企业级算法领域,将神经网络应用到SSD QoS算法调优中,获得了相较于比传统算法的大幅提升。为企业级SSD IO延迟稳定性和 QoS设计开辟了全新的思路和方向。

稳态性能是指什么?

关于SSD的性能测试有很多项,文章下面跟大家分享下PTS测试中的Write Saturation(WSAT)写饱和测试的优化内容。PTS是固态存储的性能测试规范,可参见《Solid State Storage Performance Test Specification 》

在PTS中,将SSD的性能状态分为了3个阶段:

a) 出厂阶段(Fresh Out of the Box, FOB)

出厂状态,一般称为空盘状态。SSD 的NAND区域没有进行数据写入, 安全擦除命令可以将设备恢复出厂状态,该阶段的写性能可以达到峰值性能,SSD后台任务不会启动。

b) 转换阶段(Transition)

随着非重复数据的不断写入,SSD的可写空间变小,当降低到一定阈值时就会触发SSD的垃圾回收(GC)任务释放空闲空间。该阶段性能下降较多,波动也较大,下降的幅度,取决于GC回收空闲空间的负载。

c) 稳定阶段(Steady State)

当GC回收的负载和主机写入负载趋于平衡时,SSD 的性能会逐渐平稳下来,并长期维持在这个状态,称为稳态。稳态性能对于企业SSD应用有很大的实际意义。

稳态性能的指标评估

稳态的性能不仅仅是IO处理的速度有多快,还要看处理IO是否平稳。衡量平稳的方式,一般有两种:

a) 一致性=最小的IOPS/平均的IOPS

b) 一致性=超出平均IOPS的±5%的采样次数/总的采样次数

前者着重于表现单点向下跌落的程度,后者着重于表现上下振动的幅度。

传统的Qos控制算法

传统的控制算法(如自适应控制算法)的优势在于处理该问题时,表现出在不同硬件(如NAND,DDR)配置下都有较好的性能控制能力。

但是,其难点是在转换阶段时容易出现扰动,并传递到稳定阶段,影响IO的一致性。而且不同硬件配置下扰动的程度可能不同,所以还需要开发人员分别精心地调校。

下面我们来看下如何用神经网络模型处理SSD的稳态控制问题,以及效果怎样。

构建和准备数据

主机先要对SSD的性能参数调节模块配置一组参数,然后在特定训练的IO场景中对SSD发送IO命令,同时主机实时地采集SSD内部的性能监测模块上报的各项工作数据。

抽样的数据有很多,且时间段也较长,要能实际表示出实际情形,需要在后面的整个流程中,不断反复且持续的进行工作并修正需要训练的数据集。

构建和训练模型

a) 建立神经网络模型

为了方便理解,可将模型简化为一个三输入二输出的模型。输入输出的参数如下:

输入参数host_w_iops:采样主机写通路的IOPS

输入参数host_r_iops:采样主机读通路的IOPS

输入参数vtc:SSD内部启动GC(垃圾回收)任务时,最小单位数据的有效数量

输出参数host_w_limit:主机写通路的流量限制参数

输出参数gc_limit:GC通路的流量限制参数

注:流量限制是指单位时间(如100ms)内可以处理单元数据(一般是4K)的数量。

通过软件定时器实现的单位时间精度一般是在ms毫秒级,忆芯科技的新一代主控芯片STAR2000在硬件上实现了流量管理功能,时间精度可以达到ns纳秒级,精度相对提高了100万倍。

b) 训练模型

i. 分析收集到的数据集,配置给模型一组期望的目标值。

ii. 用收集到的数据集训练神经网络,并评估训练结果,若目标偏差较大,需要反复迭代训练该过程。

iii. 训练完成后,将相关参数集部署到SSD中,并执行训练场景的IO测试。

iv. 若实际结果与目标偏差较大,则反馈到前端进行调整。

v. 最后训练完成后,就可以进入评估阶段,验证下实际的效果。

评估模型

a) 转换阶段:

从下图中看到转换过程中没有超调的情况,在退出转换阶段时无明显的扰动。

b) 稳定阶段:

从下图中可看到,使用神经网络模型的方式,在振动的幅度上有一定的改善。单点向下抖动的程度也有一定改善,具体的一致性数值则从之前的91%提升至97%。

总结

较传统企业级QoS优化手段,利用神经网络模型可轻松实现应对各种复杂场景,并能实现更加精确的自适应参数调优,取得更高的IO稳定性。

然而,在嵌入式里执行神经网络计算会带来一定的计算开销,新一代主控芯片STAR2000则专门集成了硬件神经网络处理单元,结合8TOPS的算力,可以轻松应对新的业务挑战。

神经网络控制作为智能控制的一个新的分支,由神经网络与控制理论相结合而发展起来,可以为解决复杂的非线性,不确定的控制问题提供一种新的途径。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4773

    浏览量

    100877
  • SSD
    SSD
    +关注

    关注

    21

    文章

    2864

    浏览量

    117505
  • 数据中心
    +关注

    关注

    16

    文章

    4800

    浏览量

    72200
  • 主控芯片
    +关注

    关注

    2

    文章

    199

    浏览量

    24674
收藏 人收藏

    评论

    相关推荐

    神经网络辨识模型具有什么特点

    神经网络辨识模型是一种基于人工神经网络的系统辨识方法,它具有以下特点: 非线性映射能力 :神经网络能够处理非线性问题,可以很好地拟合复杂的非
    的头像 发表于 07-11 11:12 479次阅读

    pytorch中有神经网络模型

    处理、语音识别等领域取得了显著的成果。PyTorch是一个开源的深度学习框架,由Facebook的AI研究团队开发。它以其易用性、灵活性和高效性而受到广泛欢迎。在PyTorch中,有许多预训练的神经网络模型可供选择,这些
    的头像 发表于 07-11 09:59 715次阅读

    PyTorch神经网络模型构建过程

    PyTorch,作为一个广泛使用的开源深度学习库,提供了丰富的工具和模块,帮助开发者构建、训练和部署神经网络模型。在神经网络模型中,输出层是尤为关键的部分,它负责将
    的头像 发表于 07-10 14:57 522次阅读

    基于神经网络的语言模型有哪些

    基于神经网络的语言模型(Neural Language Models, NLMs)是现代自然语言处理(NLP)领域的一个重要组成部分,它们通过神经网络来捕捉语言的统计特性和语义信息,从
    的头像 发表于 07-10 11:15 791次阅读

    神经网络控制的优势与挑战

    是一种模拟人脑神经元网络的计算模型,由大量的简单处理单元(神经元)组成,这些神经元通过权重连接在一起。
    的头像 发表于 07-09 09:47 635次阅读

    rnn是什么神经网络模型

    RNN(Recurrent Neural Network,循环神经网络)是一种具有循环结构的神经网络模型,它能够处理序列数据,并对序列中的元素进行建模。RNN在自然语言
    的头像 发表于 07-05 09:50 633次阅读

    人工神经网络模型包含哪些层次

    人工神经网络(Artificial Neural Network,ANN)是一种模拟人脑神经网络的计算模型,具有自适应、自学习、泛化能力强等特点。本文将详细介绍人工神经网络
    的头像 发表于 07-05 09:17 622次阅读

    人工神经网络模型的分类有哪些

    人工神经网络(Artificial Neural Networks, ANNs)是一种模拟人脑神经元网络的计算模型,它在许多领域,如图像识别、语音识别、自然语言处理、预测分析等有着广泛
    的头像 发表于 07-05 09:13 1260次阅读

    卷积神经网络的原理是什么

    卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,广泛应用于图像识别、语音识别、自然语言处理等领域。本文将详细介绍卷积神经网络的原
    的头像 发表于 07-02 14:44 673次阅读

    数学建模神经网络模型的优缺点有哪些

    数学建模神经网络模型是一种基于人工神经网络的数学建模方法,它通过模拟人脑神经元的连接和信息传递机制,对复杂系统进行建模和分析。神经网络
    的头像 发表于 07-02 11:36 939次阅读

    神经网络模型的原理、类型及应用领域

    数学建模神经网络模型是一种基于人工神经网络的数学建模方法,它通过模拟人脑神经元的工作机制,实现对复杂问题的建模和求解。神经网络
    的头像 发表于 07-02 11:31 1182次阅读

    基于神经网络算法的模型构建方法

    神经网络是一种强大的机器学习算法,广泛应用于各种领域,如图像识别、自然语言处理、语音识别等。本文详细介绍了基于神经网络算法的模型构建方法,包括数据预
    的头像 发表于 07-02 11:21 570次阅读

    人工神经网络模型及其应用有哪些

    人工神经网络(Artificial Neural Networks,ANNs)是一种受生物神经网络启发的计算模型,它通过模拟人脑神经元的连接和交互来实现对数据的学习和
    的头像 发表于 07-02 10:04 1092次阅读

    深度神经网络模型有哪些

    深度神经网络(Deep Neural Networks,DNNs)是一类具有多个隐藏层的神经网络,它们在许多领域取得了显著的成功,如计算机视觉、自然语言处理、语音识别等。以下是一些常见的深度
    的头像 发表于 07-02 10:00 1503次阅读

    神经网络模型的原理、类型、应用场景及优缺点

    神经网络模型是一种基于人工神经元的数学模型,用于模拟人脑的神经网络结构和功能。神经网络
    的头像 发表于 07-02 09:56 1467次阅读