一种网络大数据协作融合算法

摘要：

为了改善网络大数据传输效率及其精度，降低网络数据传输负荷，基于多层概率网络模型和联合决策研究了一种网络大数据协作融合算法。首先，以复杂异构多层网络的数据采集与缓存为对象，以实时感知数据及其准确处理为优化目标，设计了一种多层概率联合决策模型。接着，通过主层-分层和信号强度进行网络大数据的多维描述，结合3步分解和三性融合，以逆变换去噪为驱动，提出了网络大数据协作数据融合算法。最后，实验和仿真结果表明，与实验统计值相比，所提算法在数据融合精度和效率等方面具有明显优势。

0 引言

复杂网络控制与大数据传输已经成为大数据质量保障面临的关键研究问题[1]，特别是，复杂网络时滞扩散性[1]、同步控制[2]、应急通信网络的大数据分析[3]、空地跨域大数据通信[4-5]等问题对大数据质量的影响严重。为有效解决上述问题，数据融合[6]被引入，并得到广泛应用[7]。不过，复杂网络的大数据融合性能依然受到网络复杂度、数据碰撞和外界干扰等因素[8]制约，这些问题亟待解决。

在充分考虑网络状况及服务器之间的通信关联等基础上，文献[9]基于OpenFlow网络控制器，集中管理网络状态信息，提出了基于OpenFlow网络的数据中心服务器负载均衡策略，从而有效改善虚拟机迁移后网络拥塞而影响系统性能。文献[10]研究了具有随机噪声和随机概率分布的随机链路网络的最优控制问题。为了应对大数据的影响，文献[11]将传统的个人计算、通信和存储系统结合起来，讨论了一种有效的信息系统容量，以便在更有自由度的新范式下挖掘信息系统的潜力。文献[12]首先提出了一个通用的建模框架，描述了在大数据流处理所有的任务关系语义间的代表，在此基础上解决了通信成本最小化的问题。文献[13]提出了一种系统和自动化的方法来建立一个混合的入侵检测系统，学习基于时域的电力系统场景的规范，包括干扰、正常控制操作和网络攻击等。文献[14]所提出的区间自适应加权波长选择算法采用多模型融合方案，通过减少波长数量来精准预测，自适应优化选择波长。在异构信息空间中，文献[15]通过查询时间上下文关键字，研究了一种时间感知的查询时实体识别与数据融合方法。

在已有复杂网络控制、大数据传输和数据融合的一系列研究基础上，本文从多层概率模型、数据传输联合决策和网络写作控制等多维角度出发，研究了一种具有高传输精度、高传输效率和低数据融合误差的网络大数据协作融合机制。

1 多层概率联合决策模型

复杂异构多层网络的数据采集与缓存机制以实时感知数据和准确处理决策信息为核心，消除外界环境的冗余信息与各类型干扰对网络数据的质量制约。但对于多层网络的数据采集与传输概率控制和维护系统稳定性的决策机制，成为网络大数据融合的瓶颈问题。

首先，假设一个多层离散线性随机网络系统如式(1)所示：

其中，N表示多层网络的分层数。

2 网络大数据协作融合算法

基于多层概率联合决策的网络收集的大数据，从主层-分层角度出发采用S、L描述，如式（7）所示，还可以从信号强度出发采用H、M、L描述，如式（9）所示。

综上所述，网络大数据协作融合算法实施过程如图3所示。其中，根据分解3步进行三性融合，结合联合决策，以逆变换去噪为驱动，实现协作数据融合。

3 实验结果分析

通过在200 m2的室内环境部署50个传感器节点，持续采集100小时的温度数据为网络大数据源。传感器节点采用无源供电方式，会因电池耗尽而消亡，网络拓扑会发生动态变化。每个传感器节点间隔10 s发送一次数据。可通过是否供电来激活传感器节点。本文所提出的网络大数据协作融合算法记为CFA-MJD，伪代码如下：

采用Java与C++相结合的方式实现上述算法，测试不同传输精度下的数据传输速率以及数据融合误差。实验环境参数详见表1。

图4和图5给出了两种不同传输精度下所提出CFA-MJD算法的数据传输速率与实验速率统计值的对比结果。对比发现，当传输精度为40%时，CFA-MJD算法的传输率与实验值较为接近；当传输精度为90%时，CFA-MJD算法的传输率反而高于实验值。这表明，所提算法可以有效改进网络大数据传输率并且保障较高的传输精度。这是因为所提算法采用了多层随机网络架构。基于分层信号干扰和局部不确定因素集，结合网络整体信号传输优化目标需求，通过联合决策保持了大数据的一致性，并有效降低了数据发生冲突的概率。

图6给出了服务器响应延迟为5 s、10 s、15 s和20 s时，所提算法的数据融合误差与实际统计误差的对比结果。分析发现，所提算法所采用的在分层协作控制下对联合决策下的接收信号yU分解即对yU按层还原，消除冗余信号和逐层更新yU，以及三性融合，确保了网络大数据融合精度，并且可以很好地化解服务器大延迟造成的数据误差。

4 结束语

复杂异构网络的大数据传输面临着效率低下、精度难以得到保障等问题，同时网络数据传输负荷较大，导致资源利用率较低。为了有效解决上述问题，本文提出了一种基于多层概率网络模型和联合决策的网络大数据协作融合算法。一方面，为多层网络的数据源及其存储控制建立实时感知和分层传输处理模型，在此基础上提出一种具有多层概率协作的网络大数据传输联合决策模型；另一方面，从主层-分层和多层接收信号强度出发，给出了网络大数据的多维描述，通过接收信号的3步分解和网络的三性融合，提出了网络大数据协作数据融合算法。实验统计和仿真表明，所提算法可以有效改善网络大数据融合精度、传输精度和网络效率等性能。