Spark下的并行多标签最近邻算法
大小：1.06 MB 人气： 2017-11-22 需要积分：2
标签：SPARK(19784)
随着大数据时代的到来，大规模多标签数据挖掘方法受到广泛关注。多标签最近邻算法ML_KNN是一种简单高效、应用广泛的多标签分类方法，其分类精度在很多应用中都高于其他常见的多标签学习方法。然而随着需要处理的数据规模越来越大，传统串行ML-KNN算法已经难以满足大数据应用中时间和存储空间上的限制。结合Spark的并行机制和其基于内存的迭代计算特点，提出了一种基于Spark并行框架的ML_KNN算法SML-KNN。在Map阶段分别找到待预测样本每个分区的K近邻，随后Reduce阶段根据每个分区的近邻集合确定最终的K近邻，最后并行地对近邻的标签集合进行聚合，通过最大化后验概率准则输出待预测样本的目标标签集合。串行和并行环境下的对比实验结果表明，SML_KNN在保证分类精度的前提下性能与计算资源呈近似线性关系，提高了ML_KNN算法对大规模多标签数据的处理能力。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
Spark下的并行多标签最近邻算法下载
相关电子资料下载
- 天数智芯主导的DeepSpark开源社区发布百大应用开放平台24.06版本 436
- spark运行的基本流程 91
- Spark基于DPU的Native引擎算子卸载方案 180
- 百度前高管景鲲与朱凯华创立AI搜索公司，Genspark产品惊艳上线 458
- 关于Spark的从0实现30s内实时监控指标计算 111
- “Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书（24版）DPU部分 212
- 芯科科技和Arduino合作创建SparkFun Thing Plus Matter板 234
- Sparkle撼与科技发布TBX-750FA-V2显卡坞，支持3.5槽厚显 243
- 如何注册星闪Sparklink设备媒体接入层标识、地址码? 246
- 如何利用DPU加速Spark大数据处理？ | 总结篇 661