您好，欢迎来电子发烧友网！ ，新用户？[免费注册]

您的位置：电子发烧友网>源码下载>数值算法/人工智能>

Spark渐进填充分区映射算法

大小：1.17 MB 人气： 2018-01-14 需要积分：3

推荐 + 挑错 + 收藏(0) + 用户评论（0）

前往下载地址

分享到:

标签：SPARK(19784)

　　分析Spark的作业执行机制，建立了执行效率模型和Shuffle过程模型，给出了分配适应度（AFD，allocation　fitness degree）的定义，提出了算法的优化目标。根据模型的相关定义求解，设计了渐进填充分区映射算法（PFPM，progressive filling partitioning and mapping algorithm），通过扩展式分区和渐进填充映射，建立适应Reducer计算能力的数据分配方案，有效缩减Shuffle过程的同步延时，提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性，优化了并行计算框架Spark的作业执行效率。

Spark渐进填充分区映射算法

非常好我支持^.^

(0) 0%

不好我反对

(0) 0%

用户评论

发表评论即可获得积分！ 详见积分规则

      发表评论

      用户评论
      评价:好评中评差评

      发表评论，获取积分！ 请遵守相关规定！