电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
MPP最开始的设计目的是为了消除共享资源的使用，即每个executor有独立的cpu、内存和磁盘等资源，每个executor一般不能访问其他executor的资源。但是有一种情况例外，那就是当数据必须要通过网络进行交换的时候（译者注：即shuffle）。这种设计理念效果很好，使MPP具有了比较凑合的扩展性。
MPP的第二个重概念是“并发”，即每个executor执行同样的数据处理逻辑，处理的数据则是这个executor所在的节点的本地存储的数据分片，在这些执行步骤中，有一些被称为同步点（synchronization points）的东东，这些同步点多数情况下是在执行节点间的数据交换，比如spark和mr中得shuffle操作。下图是一个典型的MPP查询时间线，垂直的虚线表示同步点，例如，如果遇到join或者aggregation（译者注：即sql中的group by）操作，就需要一个同步操作来完成shuffle，而task本身（译者注：executor是进程级概念，task是executor内部的线程）则执行的是数据聚合、join、排序以及其他可以在本节点独立完成的任务。
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- ChatGPT:AI模型框架研究 1次下载
- 开源雾计算软件框架FogLAMP介绍（二）：FogLAMP介绍
- 开源雾计算软件框架FogLAMP介绍（三）：FogLAMP架构分析
- 基于boosting框架的混合秩矩阵分解模型 13次下载
- 一种基于框架特征的共指消解方法 7次下载
- 什么是框架？MATLAB的单元测试框架中文版资料详细概述 0次下载
- C++的框架、库和资源资料汇总大全
- 如何使用Spark计算框架进行分布式文本分类方法的研究 3次下载
- 基于迭代填充的内存计算框架分区映射算法 0次下载
- 基于云计算的监控与统计 10次下载
- MFC框架窗口界面设计 0次下载
- LC谐振计算器(C# .NET2.0框架) 0次下载
- Struts和Spring两种MVC框架的比较 0次下载
- 手把手教你写批处理-批处理的介绍
- 批处理常用命令大全 0次下载
- TensorFlow与PyTorch深度学习框架的比较与选择 529次阅读
- Python自动化测试框架及其应用 353次阅读
- GPT推断中的批处理（Batching）效应简析 574次阅读
- API测试框架Grillon概述 1895次阅读
- qiling框架和AFLplusplus安装 1667次阅读
- 基于SSM框架的新闻管理系统 1120次阅读
- 一个高性能异步计算框架介绍 710次阅读
- cartography框架安装与建图测试 1330次阅读
- 可信增强的Flask访问控制框架的总体应用设计和实施方法 2664次阅读
- 现在流行的Web APP开发框架有哪些 1.1w次阅读
- Facebook与CMU联手打造开源框架PyRobot 3746次阅读
- 边缘计算的两种处理机制介绍 3956次阅读
- 嵌入式应用框架EAF详解 2699次阅读
- 什么是Hibernate?Hibernate框架架构与框架原理分析 5234次阅读
- 采用Xilinx Zynq SoC 为云计算提速 1033次阅读
上传资料赚积分下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 93次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 3次下载 | 免费
- 8基于单片机的红外风扇遥控
- 0.23 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
工商网监
评论