电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题，提出一种内存计算框架的迭代填充分区映射算法（IFPM）。首先，分析Spark作业的执行机制，建立作业效率模型和分区映射模型，给出作业执行时间和分配倾斜度的定义，证明这些定义与作业执行效率的因果逻辑关系；然后，根据模型和定义求解，设计扩展式数据分区算法（EPA）和迭代式分区映射算法（IMA），在Map端建立一对多分区函数，并通过分区函数将部分数据填入扩展区内，在数据分布局部感知后再执行扩展区迭代式的多轮数据分配，根据Reduce端已分配数据量建立适应性的扩展区映射规则，对原生区的数据倾斜进行逐步修正，以此保障数据分配的均衡性。实验结果表明，在不同源数据分布条件下，算法均提高了作业Shuffle过程分区映射合理性，缩减了宽依赖Stage的同步时间，提高了作业执行效率。
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- 基于向量分区和三维骨架化的CT图像算法 22次下载
- 基于低秩矩阵填充技术的推荐算法 14次下载
- 基于无约束优化的无参数填充函数算法 9次下载
- 汉语的零形式识别与填充方法研究综述 2次下载
- 基于虚拟网络功能组合的服务功能链及映射算法 5次下载
- 基于最优子网的虚拟网络映射算法 5次下载
- 基于拓扑和权值的虚拟网络映射算法 4次下载
- 一种高效节能的虚拟网络映射算法 6次下载
- 基于循环移位和多混沌映射的图像加密算法 3次下载
- 一种多目标虚拟网络映射VNE-MOPSO算法 16次下载
- 基于双重分组和对位映射的防碰撞查询树算法 7次下载
- 一种新的邻近节点分组映射算法 6次下载
- 基于包簇映射的资源管理框架 0次下载
- 纹理映射算法的改进研究 11次下载
- 一种简单的图案填充算法
- 拆解mmap内存映射的本质！ 861次阅读
- EC SRAM映射到CPU Memory空间的共享内存设计 1231次阅读
- 边缘计算计算卸载与资源分配联合优化算法 1033次阅读
- 单片机的内存映射图解析 1032次阅读
- 单片机的内存映射图解析 1507次阅读
- LINS算法的框架与代码分析 2926次阅读
- 一文详细了解mmap内存映射 2221次阅读
- 电工基础：如何计算电缆桥架填充率 8143次阅读
- 虚拟机：linux高端内存管理之永久内核映射 3560次阅读
- 浅析linux内存映射原理 1549次阅读
- 存储器的分区内存管理与分区存储管理 3019次阅读
- 基于多元LDPC码迭代编码算法的混合校验矩阵构造算法 4633次阅读
- Linux内核地址映射模型与Linux内核高端内存详解 3397次阅读
- 简单剖析虚拟内存与交换分区 6115次阅读
- 一种FFT插值正弦波快速频率估计算法 9269次阅读
上传资料赚积分下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 3次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
工商网监
评论