AI或将与5G一起重新定义智能手机

NPU、APU、AIE，手机 AI 究竟是什么？它能给手机体验带来哪些变革？

4 月 19 日下午，荣耀在上海召开了一场颇为重磅的新品发布会，核心产品有两款：荣耀 10 智能手机和荣耀 MagicBook 笔记本电脑。

其中，MagicBook 是荣耀推出的第一款笔记本电脑，它兼具了全金属轻薄机身、八代酷睿 + MX150、57Wh 大电池等主流轻薄本特性，起售价 4999 元。

荣耀 10 则是荣耀手机在 2000—3000 元这个所有手机品牌的必争价格区间的最新产品，它采用了流行的变色极光玻璃、隐形超声波指纹以及流行的“刘海屏”。不过要说荣耀 10 最大的卖点，还是非 AI 莫属。

荣耀 10 搭载了麒麟 970 芯片，内置为 AI 运算专门打造的 NPU 模块。此外，荣耀还提出了“AI 手机 2.0”的概念，并在发布会上花了大量的篇幅讲述 AI 对手机拍照的加成。

在手机上提出 AI 并不是什么新鲜事，早在 2016 年底，荣耀就在 Magic 这款“致未来”的产品上提出了 AI 手机的概念。不过到了 2018 年，AI 在手机发布会上的“戏份”突然变得格外多，近期几乎每一款手机新品的发布会，AI 都常常要占据半小时甚至更久的时间。

不过与此同时，虽然所有厂商都在大谈 AI，不过对于用户来说，AI 依然是一个有点“虚”的概念。这一方面是因为 AI 不像全面屏、快充那样有一个对应的具象特性，另一方面也是因为一些手机厂商在产品没有落地的情况下习惯于“概念先行”，把一些有的没的东西都冠上“AI”的名字。

AI 手机究竟指的是什么？它到底能给智能手机带来哪些变革？就着荣耀 10 这款产品，在对它进行常规的产品体验前，我们先和大家聊聊 AI 手机这件事。

手机为什么需要 AI？

提到 AI，可能很多人会想到的是 AlphaGo 或者自动驾驶等比较“大”的应用。不过对于手机来说，受到体积和性能的限制，显然是无法像 Google 的 TPU、NVIDIA 的 Xavier 那样使用巨大的数据来训练神经网络模型的。

目前手机中常见的 AI 应用，其实是将已经训练好的神经网络模型编译成离线模型，然后跑在手机本地的硬件上。之所以要把 AI 运算移植到手机上而不是留在“云端”，主要原因有两个。

第一是速度。虽然通讯技术的发展已经大大提高了网络带宽，降低了时延，但在一些需要实时性的操作中，依然需要在设备本地进行计算来保证速度。

为高通 AI Engine 提供人脸解锁算法支持的商汤科技

以目前应用广泛的人脸解锁为例，手机在检测到人脸时，如果还是像 Siri 等智能语音助手那样，先将数据传输到云端，然后在云端进行特征点的比对，再向手机返回结果，就会导致处理时长明显增加，严重影响使用体验。

再比如已经成为 AI 手机“标配”的拍照场景识别功能，手机需要在用户取景的同时对画面里的物体进行识别，在检测到对应的场景后自动对拍照参数进行调整，如果说这个处理过程搬到云端，即使网络状况再好，也会造成明显的延迟，直接导致这个功能变得不可用。

除了速度，由于手机本身是一个生产力型的工具，为了保证隐私数据的安全，部分数据也只能在手机端进行处理。

真假 AI 指的是什么？

经过了过去一两年的探索，将部分 AI 运算移植到手机、让手机设备本身具备处理 AI 运算能力（端侧 AI）已经成为行业共识，不过在如何让手机 AI 运算更快更高效这个问题上，几家芯片厂商的做法有着明显的不同，具体可以分为三种。

第一种方式是为增加专用的 AI 芯片来进行 AI 运算。代表产品是麒麟 970（内置 NPU）和苹果 A11 Bionic（神经网络专用加速模块），其中 A11 Bionic 的神经网络专用加速模块比较特别，目前只是用在了 Face ID 人脸解锁上，没有开放给第三方。

高通 AI Engine

第二种方式是调用 SoC 中原有的模块来进行 AI 运算。代表产品是高通的 AI Engine 平台（支持的骁龙 660、820、835、845），具体是通过骁龙神经处理引擎（Neural Processing Engine， NPE）软件框架，根据需求从 CPU（非并发小数据处理）、GPU（并发大数据处理）、DSP（向量运算）中使用最适合的内核进行数据处理。

第三种方案是联发科在 Helio P60 里采用的 APU 设计。这个核心有些像 NPU，不过 APU 的设计更像是改进版的多核 DSP，擅长图像处理，具备一定的 AI 运算能力但并没有 NPU 那样“专一”和高效，这个思路有点像找一个数学不错的物理老师来给学生教数学。

芯片厂商不同的做法，延伸到宣传和营销中，就有了所谓的“真假 AI”的概念，有人认为芯片必须有独立的 AI 芯片才能算是“真 AI”，有人则认为决定手机是不是“真 AI”的应该是具体的功能，而不是芯片的设计。

那么独立的 AI 芯片究竟有多少意义？这里我们就以麒麟 970 的 NPU 为例聊聊。

NPU 模块的意义

大家可能还记得，AI 手机这个概念是荣耀 Magic 上第一次提出的。

Magic 是荣耀在 2016 年底发布的一款产品，也是荣耀和华为 2012 实验室 4 年磨一剑的作品。在这款手机上，荣耀展示了具备自然语义理解、计算机视觉、深度学习能力的 Magic Live 智慧引擎，即使放在 2018 年，荣耀 Magic 上的很多理念依然很有前瞻性。

同时，也正是在研发 Magic 的过程中，华为和荣耀的工程师发现，为了让 AI 在手机中发挥更大的作用，需要更加算力更强并且更加省电的芯片进行支撑，最终决定在麒麟 970 上增加一颗行业里还没有先例的 NPU 模块，即使这意味着芯片制造的成本会有明显的增加（成本也是高通没有使用 NPU 的主要原因）。

麒麟 970 的 NPU 实际效果相比起高通 AIE、联发科 P60 的“非专用”方案会有一定的优势。这种优势不仅仅是体现在单纯的算力层面，还体现在执行效率上。

在去年 9 月麒麟 970 的发布会上，华为消费者 BG CEO 余承东展示了上面这组图，在 AI 运算性能上，NPU 相比起 CPU 和 GPU 分别有着 25 倍和 6.25 倍的优势，而更重要的是 PPT 右边这组数据，能效比上，NPU 更是达到了 CPU 的 50 倍，GPU 的 6.25 倍。

我们知道，受限于手机的体积，功耗和发热会大大制约手机芯片的性能表现，而 NPU 在运算效率上的巨大优势意味着在功耗和发热允许的范围内，可以在手机上跑更加复杂、对算力要求更高的算法，提供更多有价值的功能。

NPU 高效的优势在发布之初、应用场景还相对简单的时候表现并不明显，不过随着华为和荣耀对 NPU 应用的深入，NPU 正在逐步地兑现它的潜力。

还是以拍照时的智能场景识别为例，目前无论是采用高通的 AIE 平台的机型，还是搭载麒麟 970 的手机，都已经可以做到数十个拍照场景的识别，不过在华为 P20 系列、荣耀 10 这两款新上市的麒麟 970 机型上，又把场景识别的复杂程度进行了大幅度的提升。

在荣耀 10 发布会上，荣耀 CEO 赵明展示了下面这个使用 AI 来优化拍照的实例。

这张照片中，在麒麟 970 NPU 的帮助下，荣耀 10 可以实时地识别出人物、动物、植物、蓝天 4 个层级，然后对每一个部分进行单独的优化，这可要比单独的识别出某一个场景然后进行整体微调来的复杂多了。

再比如在这张主体为人像的拍摄中，荣耀 10 可以在识别出人像然后将人景分离之后，还可以使用 AI 算法对边缘头发部分进行单独的优化，同时对人物的五官进行分区然后结合识别出的性别、年龄信息进行精确美颜，如果人物的位置不太合适，荣耀 10 甚至还可以智能地对构图进行微调。

这些都是 AI 赋予手机相机的能力，随着算法的进步和手机本地 AI 算力的提升，手机可以“识别”出得东西会越来越多，对拍照的优化会越来越明显。对于用户来说，这意味着拍出好照片的成本会越来越低。

AI 手机还能干什么？

半年多以前，当第一款搭载麒麟 970 的机型华为 Mate 10、Mate 10 Pro 上市的时候，华为已经展示了不少 NPU 参与实现的功能，比如拍照时的场景识别、通话时的 AI 降噪、使用 NPU 加速的微软翻译。不过要想真正让 AI 变革手机体验，手机厂商自己的力量是不够的，还要开放给更多的第三方开发者，共同打造 AI 生态。在这方面，高通和华为都已经完成了很多的布局。

今年 2 月份，高通正式发布了 AI Engine。AI Engien 包含了 3 个硬件和 3 个核心软件，硬件部分为 CPU、GPU、DSP 三个部分，软件部分则分别是骁龙神经处理引擎（NPE）软件框架（帮助开发者从 DSP、GPU、CPU 中选择合适的内核）、随 Android 8.0 发布的 Android NN API（一个用于在移动设备上进行深度学习的 C 语言 API）和 Hexagon Neutral Network 库（让开发者的 AI 算法在 DSP 上运行）。

在此基础上，高通和多家算法提供商联合推出了多个利用 AI Engine 的应用优化，比如商汤科技和旷视 Face++提供的多种预先训练的用于背景虚化、面部解锁、场景识别的神经网络，虹软提供的单摄和双摄算法，创通联达针对人工智能视觉用例和终端提供完整的解决方案，而腾讯、百度等云服务厂商也在利用 AI Engine 进行应用优化。

相比高通，华为海思的进度整体还要更快一些。

如果你使用的是华为和荣耀的搭载麒麟 970 的手机，在应用商店里应该已经能够找到一个为人工智能优化过的应用专区，其中的 app 目前大都是知名度很高的主流 app，有淘宝、抖音、百度、有道翻译官、Prisma、WPS。

通过使用接入华为的 HiKey970 开发平台，开发者可以通过调用 NPU，对神经网络计算进行硬件级的加速，实际的效果还是很明显的，比如淘宝的扫码购物，使用 NPU 优化后识别速度可以最高缩短到原来的 1/10，再比如抖音的 AR 画面特效，使用 NPU 优化后画面的精度和识别的速度都有明显的提高。

虽然目前手机 AI 发展依然处在比较早期的阶段，不过随着 AI 芯片的发展和开发工具、分发平台的完善，在未来可预见的一段时间里，芯片厂商、手机厂商和第三方开发者会持续在手机 AI 上进行投入，AI 对手机体验的加成会越来越明显。

在即将到来的 5G 时代，AI 很可能和 5G 一起，成为未来智能手机的一项“基本能力”，共同定义下一代的智能手机体验。