加载模型 - 基于Spark和BigDL的深度学习技术的案例解析

这个样例的预处理流水线将一个原始RDD通过一系列的转换，转成一个Batch的RDD。其中，ByteToMat把Byte图片转换成OpenCV的Mat存储格式，Resize将图片的调整为300x300的大小，MatToFloats将Mat里的像素存成Float数组的格式，并减去对应通道的均值。最后，RoiImageToBatch把数据组成Batch，作为模型的输入，用于预测或训练。

加载模型

用户可以方便地使用BigDL加载预训练好的模型，在Spark程序中直接使用。给定BigDL模型文件，即可调用Module.load得到模型。

另外，BigDL也支持第三方深度学习框架模型的导入，如Caffe，Torch，TensorFlow。

用户可以很方便地加载已经训练好的模型，用于数据预测，特征提取，模型微调等。以Caffe为例，Caffe的模型由两个文件组成，模型prototxt定义文件和模型参数文件。如下所示，用户可以很容易地将预训练好的Caffe模型加载到Spark和BigDL程序中。

性能

我们对基于Caffe的GPU集群解决方案和基于BigDL的Xeon集群解决方案进行了性能基准测试，测试均运行在京东的内部集群环境里。

测试标准

端到端的图片处理和分析流水线，包括：

从分布式的开源数据库中读取图片（从图片源下载图片到内存）

输入到目标检测模型和特征提取模型进行特征抽取

将结果（图片路径和特征）保存到文件系统

注：下载因素成为端到端总体吞吐率的重要影响因素，在这个案例里面，这部分耗时占处理总耗时（下载+检测+特征）约一半。GPU服务器对下载这部分的处理是无法利用GPU加速的。

测试环境

GPU: NVIDIA Tesla K40，20张卡并发执行
CPU: Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz，共1200个逻辑核 （每台服务器有24个物理核，启用超线程，配置成YARN的50个逻辑核）

测试结果

Figure 2显示了Caffe在20个K40并发处理图片的吞吐量约为540图片/秒，而BigDL在1200个逻辑核的YARN（Xeon）集群上对应的吞吐量约为2070图片/秒。BigDL在Xeon集群上吞吐量上约是GPU集群的3.83倍，极大地缩短了大规模图片的处理时间。

测试结果表明，BigDL在大规模图片特征提取应用中提供了更好的支持。BigDL的高扩展性，高性能和易用性，帮助京东更轻松地应对海量，爆炸式增长的图片规模。基于这样的测试结果，京东正在将基于GPU集群的Caffe图片特征提取实现，升级为基于Xeon集群的BigDL方案部署到Spark集群生产环境中。

Figure 2比较 K40和Xeon在图片特征提取流水线的吞吐量 结论

BigDL的高扩展性，高性能和易用性，帮助京东更容易地使用深度学习技术处理海量图片。京东会继续将BigDL应用到更广泛的深度学习应用中，如分布式模型训练等。

引用

[1]. Liu, Wei, et al. “SSD: Single Shot Multibox Detector.” European conference on computer vision. Springer, Cham, 2016.
[2]. Lin, Kevin, et al. “Learning compact binary descriptors with unsupervised deep neural networks.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
[3]. https://github.com/intel-analytics/BigDL
[4]. https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision
[5].