电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
Spark的原生调度策略建立在集群同质化的基本假设上。然而随着硬件的更迭以及高性能硬件的引入，集群异质化现象日趋显著。因此现有的调度策略在异构集群环境下并不高效，短板效应严重。针对这个问题，本文提出了一种新的调度策略以优化Spark在异构集群下的表现。新策略引入了分层调度的思想，调度时综合考量了任务复杂度、节点性能及节点资源使用情况等因素，实现了更加高效公平的任务调度算法。通过仿真和真机实验，证明了新策略的效果相对于原策略有明显提升。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 大规模异构计算集群的双层作业调度系统 1次下载
- 云环境下HEDSM工作流调度策略综述 6次下载
- 异构云环境中二级实时密码服务调度策略 9次下载
- 基于约束关键路径的代价优化调度算法 2次下载
- 一种5G网络云原生应用资源调度优化策略 9次下载
- 一种全新的综合能源系统动态经济调度方法 0次下载
- 在Storm环境下如何进行拓扑结构的任务调度策略 9次下载
- 如何使用Spark进行并行FP-Growth算法优化及实现 4次下载
- 基于Docker的云资源弹性调度策略 0次下载
- 异构Hadoop集群下的负载自适应反馈调度策略 11次下载
- 一种新的多级能量异构WSNs簇优化算法 0次下载
- 一种可重构流媒体调度算法
- 一种面向应用优化的片上总线调度策略
- 一种解决函数优化问题的免疫算法
- 一种动态并行I/O调度新策略的研究
- 解读 OM3 多模光纤在测试行业的应用，最后一种令人称奇！ 737次阅读
- 深度神经网络(DNN)架构解析与优化策略 2066次阅读
- FusionCompute集群重点知识点梳理 879次阅读
- Blaze: 用Rust重写Spark执行层，平均提升30%算力 1150次阅读
- 解析优化的调度逻辑和cuda实现 1382次阅读
- 基于matlab遗传算法求解柔性车间调度问题 785次阅读
- 基于边界点优化和多步路径规划的机器人自主探索策略 1571次阅读
- RTOS应用中的调度策略 702次阅读
- Kubernetes的集群部署 1760次阅读
- Efinity优化策略扫描与运行 2456次阅读
- 基于下界函数的最优化这样一种优化思路 2577次阅读
- 什么是Hadoop? Spark和Hadoop对比 6845次阅读
- 一文读懂 Spark 内存管理 974次阅读
- 构建机器学习管道和使用Apache Spark时的一些经验 5290次阅读
- 数字集群对讲机的定义及功能解读 1.8w次阅读
上传资料赚积分 广告![]()
下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 3次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
工商网监
评论