采用数据挖掘技术的告警过滤机制及实现方案

作者：张现飞，徐润萍，李淑静

1 引言

近年来，我国电力通信网络的发展迅速。但是，与此相对应的监视、控制、维护能力却较落后．电力通信网络的运行存在维护难度大，响应速度慢，服务质量差，人力成本和管理成本高，维护工作不透明，不量化，不主动等问题，使之无法适应现代化和自动化的总体需求。为彻底解决上述问题，需要开发和建设综合化、集中化、智能化的网管系统，以提升电力通信网的综合化集中维护水平，变被动维护为主动维护，变面向设备为面向客户、面向业务，从而有效提高客户服务质量、业务响应能力和网络管控能力嘲。为了有效防止因采集和处理来自交换、传输、数据、动力环境等专业网的海量告警数据，保证关注告警，确保快速发现、定位和处理故障，必须设计和实施有效的告警过滤机制。为此，通过详细分析告警数据，提出了一种新的告警过滤模型和策略。将告警过滤规则以知识库的形式存储，使网管人员直接参与规则的定制和维护，大大减少了综合化集中维护系统的成本，提高系统的灵活性。

2 告警相关性

2．1 告警相关性分析

告警相关性分析是指合并和转化告警，即将多个告警合并成一条具有更多信息量的告警，以确定能否反应故障根本原因的告警，并准确定位故障。告警事件关联可形式化定义为告警事件a与告警事件集合{a1，a2，…，ak}关联，表示为：a=》a{a1，a2，…，ak}。

告警事件关联的类型可形式化定义为：①告警压缩；②告警过滤；③告警抑制；④告警记数；⑤告警泛化；⑥告警特化；⑦告警时序关系。其具体定义形式参见参考文献。

2．2 告警相关性方法

传统的告警相关性分析方法主要有：一是通过实验，人为制造一些故障并记录导致的告警信息；二是充分利用电信领域专家平时维护通信网积累的经验和知识。为了克服传统方法人为因素不确定性的缺陷，目前采用的告警关联方法有范例推理法、模糊逻辑法、贝叶斯网络法、神经网络法、规则法、关联规则挖掘法等。

2．3 知识库

知识的获取源自知识工程师、智能编辑程序和归纳学习程序。其一，领域专家通过与知识工程师的反复接触、交谈，把自己拥有的知识告诉给知识工程师，由知识工程师和专家一起将这些知识归纳整理成专家系统知识。其二，通过智能编辑程序将专家的经验知识送到专家系统知识库中。该程序应具备灵活的人机对话能力和有关知识库结构方面的知识。其三，通过归纳和总结大量的实验数据，得到一些新的规律和知识。利用归纳学程序，模拟人类思维过程，以便从有关知识库中发现新知识，然后将这些新知识添加到知识库中，供专家系统使用。在此，基于归纳学习和知识工程师编写智能程序，自动形成关联规则，将其写入知识库。

3 告警过滤机制设计

3．1 告警过滤功能和目标

告警过滤的主要功能有支持告警收敛功能、支持告警次数的阈值越界告警功能、支持告警延时功能、支持制定网元和时间段进行忽略性过滤功能、支持屏蔽衍生告警功能及支持告警呈现过滤功能。

告警过滤机制的目标是：①设计合理的告警过滤机制，以实现快速、准确的过滤瞬断告警、无效告警和次要告警，从而有效防止告警风暴，保证关注告警，降低故障时延，提高系统的稳定性、适应性和软件质量，增强客户满意度；②能快速地确定故障位置，快速地进行故障处理和故障恢复；③改善网络性能和网络管理员工作。

3．2 告警过滤模型

为保证告警过滤的正确性、有效性和灵活性，系统采用多层过滤机制。图1给出多层过滤模型。其中，采集层的过滤策略主要是抑制和忽略。它依据设定的过滤规则，对原始告警数据实施预过滤，屏蔽无用或无需关心的告警数据，以减轻数据处理负荷。处理层过滤是整个过滤机制中的重点。主要用于建立高度收敛的告警过滤模型。其基本流程是：原始告警数据经过采集层过滤后开始分流，并进行延时、闭值、归并、压缩等处理．以对滤掉不关心的告警数据。过滤策略是可修正的，经过修正后的策略进行前转，对此后的告警数据实施新的策略。表现层过滤按照告警属性域设定组合条件，过滤出关心的告警类型。发布层过滤根据设定的过滤规则，从而决定相关信息的发布形式、时间及内容等。

4 实验与分析

告警压缩率=（系统采集的告警总数一系统呈现的告警总数）/系统采集的告警总数。采用告警压缩率体现告警过滤效果。对某本地电力通信网网管综合化集中维护系统的用户提供的统计数据进行测试，测试时间为10 h，测试规则满足瞬断告警不入库，重复告警归并，较低级别告警不呈现的原则。表1给出测试结果。需说明的是，在计算告警压缩率时，关联告警中只计算了根告警数量，而系统呈现的告警数量中没有计入衍生告警数量。

由实验结果可见，经过模型过滤后，电力通信网发布的告警数量明显降低，这说明了该方法的有效性。另外，由此还可见，告警主要来源于交换告警和数据方面，因此应关注这两个方面告警数据的关联性研究。

5 结语

采用数据挖掘技术获取告警关联规则，构建了告警规则知识库，形成了用于实际系统的较完整的告警过滤机制及实现方案。该过滤机制能依据告警的重要程度不同，分别从采集层、处理层、呈现层、发布层对告警逐层收敛，从而实现快速、准确地过滤瞬断告警、无效告警和次要告警，以防止告警风暴，保证关注告警，并快速发现、定位和处理故障，降低故障时延，提高客户响应速度，改进服务质量。实验证明了该告警过滤机制的实用性和有效性。

责任编辑：gt