您好，欢迎来电子发烧友网！ ，新用户？[免费注册]

您的位置：电子发烧友网>源码下载>数值算法/人工智能>

Spark环境结合MDBF的星型连接算法

大小：0.75 MB 人气： 2017-12-23 需要积分：1

推荐 + 挑错 + 收藏(0) + 用户评论（0）

前往下载地址

分享到:

标签：SPARK(19784)MDBF(2381)

　　为了适应联机分析处理（ OLAP）系统中实时数据高性能分析需求不断提高的需求，提出一种能够适合Spark环境并结合多维Bloom Filter（ MDBF）的星型连接算法SMDBFSJ。首先，根据多个维表构建MDBF，利用其占用空间小的特点，广播到所有节点；然后，在本地节点完成事实表过滤操作，事实表不需要在节点间移动数据；最后，过滤后的事实表与维表采用重划分方式进行连接，进而得到最终结果。SMDBFSJ算法避免了事实表数据移动，通过MDBF减小了需要广播的数据量，充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性，在单机和集群环境下，该算法相比重划分连接均获得了3倍左右的性能提升。

Spark环境结合MDBF的星型连接算法

非常好我支持^.^

(0) 0%

不好我反对

(0) 0%

用户评论

发表评论即可获得积分！ 详见积分规则

      发表评论

      用户评论
      评价:好评中评差评

      发表评论，获取积分！ 请遵守相关规定！