资料介绍
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。
关键词:爬虫;并行;流水线;负载平衡
关键词:爬虫;并行;流水线;负载平衡
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 负载平衡监控系统设计源码分享 3次下载
- 嵌入式_流水线
- 12bit200MSPS时间交织流水线ADC研究与设计
- EE-383:基于MDMA的双SHARC+并行流水线音频直通
- 使用FPGA设计流水线的资料和程序详细概述 3次下载
- 移植到全新的PIC24F流水线ADC和Σ-ΔADC免费下载.pdf
- 负载平衡云存储算法 0次下载
- 电能计量设备自动检定流水线调度优化研究_方彦军 1次下载
- 装配流水线控制系统设计 14次下载
- 电镀流水线的PLC控制 36次下载
- 流水线ADC的行为级仿真 21次下载
- 基于流水线结构的多级数字混沌编码方案 32次下载
- 基于流水线的并行FIR滤波器设计 63次下载
- 周期精确的流水线仿真模型
- MPI并行程序设计的负载平衡实现方法
- 新版本Jenkins推荐使用声明式流水线 604次阅读
- Google GPipe为代表的流水线并行范式 891次阅读
- 以Gpipe作为流水线并行的范例进行介绍 932次阅读
- 如何通过Vivado Synthesis中的URAM矩阵自动流水线化来实现最佳时序性能 1436次阅读
- 一个典型的流水线设计 1095次阅读
- 报文解析规则定义 流水线划分提取方案 811次阅读
- CPU流水线优缺点 3912次阅读
- 一文详细了解流水线设计 4610次阅读
- FPGA中流水线的原因和方式 5710次阅读
- 通过并行流水线结构实现直接型FIR滤波器的系统设计方案 3321次阅读
- 流水线设计的思想介绍与设计实例 7896次阅读
- OYES 200系列PLC在瓶装流水线中的应用 1215次阅读
- 浅谈GPU的渲染流水线实现 3759次阅读
- 一文读懂处理器流水线 2.2w次阅读
- 新型流水线实现高速低功耗ADC的原理及方法 4427次阅读
下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 11次下载 | 免费
- 6100W短波放大电路图
- 0.05 MB | 4次下载 | 3 积分
- 7基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
评论
查看更多