基于Spark框架与聚类优化的高效KNN分类算法
大小:0.91 MB 人气: 2017-12-08 需要积分:1
针对K-最近邻(KNN)分类算法时间复杂度与训练样本数量成正比而导致的计算量大的问题以及当前大数据背景下面临的传统架构处理速度慢的问题,提出了一种基于Spark框架与聚类优化的高效KNN分类算法。该算法首先利用引入收缩因子的优化K-medoids聚类算法对训练集进行两次裁剪;然后在分类过程中迭代K值获得分类结果,并在计算过程中结合Spark计算框架对数据进行分区迭代实现并行化。实验结果表明,在不同数据集中传统K最近邻算法、基于K-medoids的K-最近邻算法所耗费时间是所提Spark框架下的K-最近邻算法的3.92 - 31. 90倍,所提算法具有较高的计算效率,相较于Hadoop平台有较好的加速比,可有效地对大数据进行分类处理。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
基于Spark框架与聚类优化的高效KNN分类算法下载
相关电子资料下载
- 天数智芯主导的DeepSpark开源社区发布百大应用开放平台24.06版本 436
- spark运行的基本流程 91
- Spark基于DPU的Native引擎算子卸载方案 180
- 百度前高管景鲲与朱凯华创立AI搜索公司,Genspark产品惊艳上线 458
- 关于Spark的从0实现30s内实时监控指标计算 111
- “Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书(24版)DPU部分 212
- 芯科科技和Arduino合作创建SparkFun Thing Plus Matter板 234
- 应用于MEMS执行器的8英寸硅晶圆上的KNN无铅技术介绍 345
- Sparkle撼与科技发布TBX-750FA-V2显卡坞,支持3.5槽厚显 243
- 如何注册星闪Sparklink设备媒体接入层标识、地址码? 246