0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

【AIOps】一种全新的日志异常检测评估框架:LightAD,相关成果已被软工顶会ICSE 2024录用

华为DevCloud 来源:未知 2023-11-29 17:40 次阅读
深度学习(DL)虽然在日志异常检测中得到了不少应用,但在实际轻量级运维模型选择中,必须仔细考虑异常检测方法与计算成本的关系。具体来说,尽管深度学习方法在日志异常检测方面取得了出色的性能,但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断,从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。


本文对现有的基于经典机器学习和深度学习方法的日志异常检测方法进行了实证研究,并提出了一种自动化日志异常检测评估框架LightAD


1. 日志异常检测介绍

日志是AIOps领域需要处理的常见数据,是程序运行过程中由代码打印出的一些非结构化的文本信息,日志通常由时间戳和文本信息组成。日志实时记录了系统的运行状态,包括正常运行状态和故障发生时的状态。因此通过收集和分析日志,可以快速检测和定位出系统中存在的异常。


本文研究了深度学习方法在日志异常检测中与更简单技术相比的优越性,在五个公共的日志异常检测数据集上对轻量级传统机器学习方法(如KNN、SLFN)和深度学习方法(如CNN、NeuralLog)进行了全面的评估。


本文的研究结果表明,通过合适的数据处理方式,轻量级机器学习方法能够在时间效率和准确性方面都优于深度学习方法。为了评估深度学习方法的必要性,本文提出了一种自动化的日志异常检测模型评估框架LightAD。LightAD是一种基于贝叶斯优化器的优化训练时间、推断时间和性能得分的评估框架。通过自动化超参数调优,LightAD可以实现在日志异常检测模型之间进行公正的比较,使运维工程师能够针对不同的在线异常检测目标来选择合适的异常检测模型。


2. 对现有方法的全面评估

深度学习方法除了本身拥有更多的参数量外,其使用的数据处理方式通常也比较耗时。例如,CNN方法需要使用日志解析工具对日志进行解析,NeuralLog需要用深度语言模型BERT来对日志进行处理。本文对轻量级传统机器学习方法采用了更高效的日志处理方式。


具体而言,本文在处理以日志块来聚合的数据集(如HDFS)时,从每个文本日志消息中提取标记,以空格分隔,并删除包含数字的标记。本文使用每个块的ID将日志消息分组成日志序列,并用事件频率对其进行编码。整个预处理工作流程如下图所示。


3. 全新的日志异常检测评估框架:LightAD

为全面综合评估日志异常检测算法,本文提出了基于贝叶斯优化起的自动化算法优化和评估框架LightAD,LightAD结构如下图所示。本文首先准备了一组简单的基准模型及其初始的超参数空间,对于每个模型,本文会自动化的优化模型的超参数。通过综合考虑三个维度的模型收益打分:

(1)准确性

(2)每个日志序列的训练时间

(3)每个日志序列的推断时间

最终抉择出模型收益分数最高的异常检测算法。

模型收益的多目标优化公式如下:

下图是在去除重复数据的HDFS数据集上使用LightAD进行异常检测方法优化和评估的结果,最高模型收益的分数由黑色加粗标识。从图中可以看出,LightAD挑选出的模型都是轻量级的机器学习方法。

4.总结

本文来自华为云PaaS技术创新Lab和香港中文大学(深圳)贺品嘉助理教授团队合作项目成果产出,相关研究成果已被软件工程领域顶会ICSE 2024(CCF A类)正式录用,文章详细内容即将公开,敬请关注。


文章来自 PaaS技术创新Lab,PaaS技术创新Lab隶属于华为云,致力于综合利用软件分析、数据挖掘、机器学习等技术,为软件研发人员提供下一代智能研发工具服务的核心引擎和智慧大脑。我们将聚焦软件工程领域硬核能力,不断构筑研发利器,持续交付高价值商业特性!加入我们,一起开创研发新“境界”!


详情欢迎联系:

mayuchi1@huawei.com;bianpan@huawei.com



 戳“阅读原文”,直达PaaS技术创新Lab!


原文标题:【AIOps】一种全新的日志异常检测评估框架:LightAD,相关成果已被软工顶会ICSE 2024录用

文章出处:【微信公众号:华为DevCloud】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    34292

    浏览量

    251145

原文标题:【AIOps】一种全新的日志异常检测评估框架:LightAD,相关成果已被软工顶会ICSE 2024录用

文章出处:【微信号:华为DevCloud,微信公众号:华为DevCloud】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    一种让你的MCU日志可无线查看和实时记录跟踪的方法

    想象下你是位批量设备的管理员,这些设备分布在市面上的各个环境下,如在屋顶上的光照设备,在充电桩的充电设备,在火车站汽车站的共享设备等等;当这些设备有异常的时候你是如何查看设备日志
    的头像 发表于 11-17 01:01 73次阅读
    <b class='flag-5'>一种</b>让你的MCU<b class='flag-5'>日志</b>可无线查看和实时记录跟踪的方法

    通动力荣获2024鲲鹏应用创新大赛金奖

    近日,在2024智能发展会议暨华为数字中国行西安雁塔新质生产力大会上,鲲鹏应用创新大赛2024陕西赛区决赛结果正式揭晓,通动力荣获鲲鹏原生开发赛道金奖。这也是继在华为全联接大会
    的头像 发表于 11-08 17:39 413次阅读

    通动力亮相2024中国国际数字经济博览

    近日,备受瞩目的2024中国国际数字经济博览会在石家庄(正定)盛大召开,吸引了众多行业领军企业积极参与。其中,通动力作为业内佼佼者,也亮相此次盛会,展示了其在数字经济领域的最新成果
    的头像 发表于 10-30 17:19 277次阅读

    日志框架简介-Slf4j+Logback入门实践

    结果不受日志的有无影响,但没有日志的应用程序是不完整的,甚至可以说是有缺陷的。优秀的日志系统可以 记录操作轨迹 、 监控系统运行状态 和 解决系统故障 。 Java 日志
    的头像 发表于 07-30 10:00 1050次阅读
    <b class='flag-5'>日志</b><b class='flag-5'>框架</b>简介-Slf4j+Logback入门实践

    地平线科研论文入选国际计算机视觉ECCV 2024

    近日,地平线两篇论文入选国际计算机视觉ECCV 2024,自动驾驶算法技术再有新突破。
    的头像 发表于 07-27 11:10 855次阅读
    地平线科研论文入选国际计算机视觉<b class='flag-5'>顶</b><b class='flag-5'>会</b>ECCV <b class='flag-5'>2024</b>

    铁威马教程 如何收集NAS的日志

    时,重启后TOS网页的系统报告缺失相关日志,不利于异常原因的分析。 故障原因: 当TNAS设备出现宕机重启TNAS后,系统相关部份日志会被清
    的头像 发表于 07-16 18:02 586次阅读
    铁威马教程 如何收集NAS的<b class='flag-5'>日志</b>

    ESP32-WROOM-32E-N16串口报错如何解决?

    如图,之前调试过跑样机正常的程序,重新烧录了批esp32程序之后,发现多数板子读串口信息有此报错,循环报日志异常,如何解决,请帮忙解惑谢谢
    发表于 06-05 08:30

    通动力召开2023年度及2024年第季度业绩说明

    5月22日,通动力信息技术(集团)股份有限公司(301236.SZ)举行2023年度及2024年第季度业绩说明
    的头像 发表于 05-23 10:03 389次阅读

    通动力受邀参加华为举办的“昇思AI框架及大模型技术论坛”

    5月11日,鲲鹏昇腾开发者大会2024期间,华为举办“昇思AI框架及大模型技术论坛”,通动力数字基础设施与集成事业部总经理谢睿受邀出席、通动力数字基础设施与集成事业部技术总监单继岭
    的头像 发表于 05-13 09:30 480次阅读

    负载开关电流检测评估板NTMFS4854NSGEVB数据手册

    电子发烧友网站提供《负载开关电流检测评估板NTMFS4854NSGEVB数据手册.rar》资料免费下载
    发表于 04-22 17:14 0次下载
    负载开关电流<b class='flag-5'>检测评估</b>板NTMFS4854NSGEVB数据手册

    昇思人工智能框架峰会2024圆满落幕|通动力大模型体机发布

    人工智能框架峰会2024在北京国家会议中心举办,旨在汇聚AI产业界创新力量,推动根技术持续创新,共建人工智能开源新生态。通动力作为联合承办方深度参与该峰会。   大会期间,昇思MindSpore开源社区理事
    的头像 发表于 03-26 17:42 644次阅读
    昇思人工智能<b class='flag-5'>框架</b>峰会<b class='flag-5'>2024</b>圆满落幕|<b class='flag-5'>软</b>通动力大模型<b class='flag-5'>一</b>体机发布

    一种高效的KV缓存压缩框架--GEAR

    GEAR框架通过结合三互补的技术来解决这挑战:首先对大多数相似幅度的条目应用超低精度量化;然后使用低秩矩阵来近似量化误差。
    发表于 03-19 10:12 309次阅读
    <b class='flag-5'>一种</b>高效的KV缓存压缩<b class='flag-5'>框架</b>--GEAR

    科技携系列重磅产品亮相MWC 2024

    科技在2024年的世界移动通信大会(MWC)上展示了其在计算摄影、AIGC和XR空间计算等多个领域的最新技术成果和创新应用,吸引了众多行业内外人士的关注和赞誉。
    的头像 发表于 02-27 10:34 650次阅读

    基于transformer和自监督学习的路面异常检测方法分享

    铺设异常检测可以帮助减少数据存储、传输、标记和处理的压力。本论文描述了一种基于Transformer和自监督学习的新方法,有助于定位异常区域。
    的头像 发表于 12-06 14:57 1451次阅读
    基于transformer和自监督学习的路面<b class='flag-5'>异常</b><b class='flag-5'>检测</b>方法分享

    oracle数据库alert日志作用

    Oracle数据库alert日志的作用、结构和重要内容。 、alert日志的作用 异常检测和排查:alert
    的头像 发表于 12-06 10:08 1190次阅读