Hadoop自适应任务调度算法
大小：0.76 MB 人气： 2017-12-20 需要积分：1
针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题，提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度，并通过节点与任务速率的动态反馈及时更新快慢节点集，提高节点集资源利用率与任务并行度。在两节点集中，利用动态调整任务进度比例判别落后任务，主动选择采用替代执行方式为落后任务执行备份任务的快节点，从而提升任务执行效率。与最长近似结束时间（ LATE）算法的实验对比结果表明，该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.2l%、20. 51%、23. 86%，启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异，在减少备份任务的同时有效提高作业整体执行效率。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%