您好，欢迎来电子发烧友网！ ，新用户？[免费注册]

您的位置：电子发烧友网>源码下载>数值算法/人工智能>

基于分段聚类压缩和Hash recoding压缩方法

大小：0.95 MB 人气： 2017-11-24 需要积分：0

推荐 + 挑错 + 收藏(0) + 用户评论（0）

前往下载地址

分享到:

标签：压缩(19296)聚类(14184)

　　今日头条的服务器每天都会产生规模庞大的训练数据，为方便进行训练，这些数据都具有特定的格式和分布特征。使用不同类型的通用压缩算法（字典类型及非字典类型）进行测试，发现单独任何一种算法都无法在满足业务需求（速率需求和CPU占比等）的同时获得较为可观的压缩比。针对今日头条的训练数据，提出了分段聚类压缩和Hash recoding压缩两种策略。实验结果表明，分段聚类压缩方式在更好地保证了压缩率的同时提高了压缩速率的目的；Hash recoding压缩方式则更好地达到了以少量压缩速率的损失换取更可观的压缩率的目的。分段聚类方式搭配Gzip压缩算法的组合能使压缩速率提高300%以上；Hash recoding方式匹配Snappy压缩算法能使压缩率缩小50%以上。根据实际需求，不论选择哪种策略，对于降低今日头条的运营成本，提升业务处理的效率，提供更好的用户体验，都有一定意义。

非常好我支持^.^

(0) 0%

不好我反对

(0) 0%

用户评论

发表评论即可获得积分！ 详见积分规则

      发表评论

      用户评论
      评价:好评中评差评

      发表评论，获取积分！ 请遵守相关规定！