BigDL是基于Apache Spark的分布式深度学习框架,借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载。
1、丰富的深度学习支持。模拟Torch之后,BigDL为深入学习提供全面支持,包括数字计算(通过Tensor)和高级神经网络 ; 此外,用户可以使用BigDL将预先训练好的Caffe或Torch模型加载到Spark程序中。
2、极高的性能。为了实现高性能,BigDL在每个Spark任务中使用英特尔MKL和多线程编程。因此,在单节点Xeon(即与主流GPU 相当)上,它比开箱即用开源Caffe,Torch或TensorFlow快了数量级。
3、有效地横向扩展。BigDL可以通过利用Apache Spark(快速分布式数据处理框架),以及高效实施同步SGD和全面减少Spark的通信,从而有效地扩展到“大数据规模”上的数据分析
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
英特尔
+关注
关注
61文章
9915浏览量
171590 -
AI
+关注
关注
87文章
30348浏览量
268607 -
大数据
+关注
关注
64文章
8866浏览量
137332 -
深度学习
+关注
关注
73文章
5495浏览量
121044
发布评论请先 登录
相关推荐
基于局部分类精度的多源在线迁移学习算法
近年来,迁移学习得到越来越多的关注,现有的在线迁移学习算法一般从单个源领域迁移知识。然而,当源领域与目标领域相似度较低时,很难进行有效的
发表于 12-25 11:04
•0次下载
评论