看看Arm与合作伙伴设计了哪些有大脑的智能手机摄像头

移动仍然是一个充满活力的行业，技术创新为这个行业带来了繁荣，特别是围绕摄像头相关技术。2017 年，使用移动设备拍摄的照片有超过 1.2 万亿（即 1,200,000,000,000）张，智能手机每年的出货量超过 15 亿部，它不仅是驱动技术创新的平台和创造经济收益的主要载体，还是能够触及全球大多数人的平台。Arm近期在该领域展开一系列协作，我们一起来看看。

与 Facebook 合作优化面向移动设备的机器学习

Facebook 利用各种先进技术帮助开发人员打造创新型移动体验，将全世界用户连接在一起，去年在 Facebook F8 会议上推出的 Camera Effects Platform 就是一例。

这些功能采用 Facebook 的机器学习技术来增强移动用户摄像头的智能和性能，Arm 与 Facebook 携手合作，共同优化 Arm Mali 图形处理单元 (GPU) 的 Caffe2 机器学习框架。

2017 年，两家公司共同优化了 Arm Mali GPU 的关键机器学习神经网络，我们荣幸地宣布这些代码现在可供开发人员免费下载。可从 Compute Library 直接获取这些代码，或与 Caffe2 框架结合使用。

Caffe2 是一种轻型可扩展框架，用于机器学习模型的开发和部署。从数据中心到移动设备和嵌入式设备，Caffe2 的使用范围非常广泛，模块化和灵活性使其成为机器学习开发人员的理想之选。

多亏 Arm 和 Facebook 的协作，Caffe 2 开发人员现在能够在采用 Arm GPU 的移动设备上实现性能改进。这种协作还将通过 Compute Library 的现有 API 延伸到未来的 Arm ML 处理器。

Caffe2 框架可兼容新型 Arm 机器学习平台，还能通过 Compute Library 的现有 API 以及新发布的 Arm NN 软件，充分利用当前和未来的 Arm 机器学习处理器。

此外，Arm 致力于打造开放标准，正因如此，我们加入了由 Amazon、 Facebook 和 Microsoft 发起的 ONNX 社区项目，努力实现各种人工智能网络模型之间的互操作性 (http://onnx.ai)。

更智能、更高能效的摄像头

多年以来，Arm 与 ArcSoft 密切协作，优化了多家移动设备 OEM 的摄像头技术。在今年的世界移动大会上，Arm演示ArcSoft PicSelfie 技术，该技术即得益于新的 Google Android 神经网络 API。

ArcSoft PicSelfie 技术工作原理

1.拍照时，用户一般会将智能手机摄像头指向拍摄主体：拍摄主体可能是一个人、一群人、一件物体，甚至是风景。

2.ArcSoft PicSelfie 引擎通过智能化方式区分照片的拍摄主体，确定哪些要素构成背景，然后针对每个要素应用不同的处理技术。

3.对于背景，算法将应用 Bokeh 效果，让背景变得模糊，从而突出拍摄主体。

4.对于照片的主要拍摄主体，算法将自动应用美化。

所有这些工作实时进行，由软件通过智能化方式动态完成。这种技术适用于单镜头和双镜头设备，但在双镜头设备中，由于深度计算更加精确，因而性能和质量都得以改进。

ArcSoft PicSelfie - 该算法的双镜头版本

这种技术是独一无二的，因为该应用程序使用去年新推出的 Google Android 神经网络 API (NNAPI)，运行 Android 8.1（API 级别 27）或更高版本的设备都能支持。这种技术将适用于搭载了使用 Arm NEON 加速技术的 Arm Cortex CPU 的所有设备。但是，通过上文提及的 Arm NN 和 Compute Library，应用程序能够利用 Mali GPU 等其他硬件，提高性能和响应能力。

在只有单个摄像头（无深度信息）的设备上，该算法使用传统的分割算法，将拍摄主体与背景隔离开。它使用 Mali GPU，通过 Google Android NNAPI 加快分隔阶段，该 API 已经可以充分利用 Arm NN 软件。

下图是单摄像头设备的各个处理阶段的概览，其中的分隔算法由使用 Arm NN 的 GPU 执行：

ArcSoft PicSelfie - 算法的单镜头版本（框图）

ArcSoft PicSelfie - 算法的双镜头版本（框图）

ArcSoft 的初始分析表明，当使用 GPU 来加快机器学习工作负载时，通常可将性能提升 30%，同时将能耗降低 20%。