IoT装置将配备针对本地AI处理而优化的SoC

人工智能(AI)正在藉由智能型手机和消费电子产品内建的脸部辨识、语音辨识、影像分析和自然语言处理功能渗透到每个人的生活中。未来几年中，大多数消费装置将在本地运行AI，而越来越多功能将自动化。为解决AI应用过于耗电及占用大量资源的问题，芯片大厂正在积极研发AI系统单芯片(SoC)。

根据Silicon Angle报导，目前大多数行动装置中的处理器并未针对AI最佳化，因此AI在手机和物联网(IoT)终端上运行速度缓慢，快速消耗电池电力及过多带宽，并因数据在云端往返传输而会暴露敏感的本地信息(local information)。

因此越来越多行动和IoT装置将配备针对本地AI处理而优化的SoC。AI SoC具有专用神经网络处理器，如GPU、TPU及FPGA。这些AI最佳化芯片可从装置的CPU中卸载神经网络处理，从而实现更多的本地自主AI处理，并减少云端通讯的需求。

目前一般会将多个专用处理器芯片，如CPU、GPU和数码讯号处理器(DSP)整合到行动或IoT终端外型设计(form factor)中。整个配置可能是针对非常特定的工作负载，如脸部辨识、语音辨识、自然语言处理或扩增实境(AR)，也可能是针对可在行动装置上直接执行的一系列AI功能进行最佳化。

此外，AI SoC通常有应用程序接口、程序库和工具，让开发人员可从头开发在装置上执行的AI，或导入机器学习和TensorFlow、Caffe2、PyTorch等架构内建的深度学习模型。

近几个月来有迹象显示，越来越多复杂的AI SoC芯片正在进入市场。可驱动iPhone X的Face ID功能的苹果(Apple)A11 Bionic SoC亦为这类芯片。而英特尔(Intel)亦于2017年推出Movidius Myriad X SoC，用于智能相机和其它边缘装置中的AI视觉处理。而华为麒麟970亦内建嵌入式AI神经处理引擎。有传闻指出，Google和亚马逊(Amazon)正在为其商业装置开发AI SoC。

NVIDIA最近宣布与安谋(ARM)合作，将NVIDIA深度学习加速器(NVDLA)整合到ARM Prroject Trillium机器学习平台中。Project Trillium能在整合CPU、GPU、DSP和硬件加速器，以及搭配第二代ARM物体检测处理器(object detection processor)和ARM神经网络软件的SoC上，实现高效的AI推论或机器学习算法操作。

ARM会向制造商授权芯片设计，这意味着最终的NVDLA/Trillium SoC设计将可整合到各种IoT边缘装置中，以实现高性能、低功耗的行动AI推论。

此外，高通(Qualcomm)亦推出两款低功耗AI SoC，QCS605和QCS603。这两款SoC用于计算机视觉应用，特别是在安全、运动、穿戴装置、虚拟实境(VR)和机器人上使用的智能视讯/静态镜头。其嵌入式AI功能可协助镜头在极低光条件下运行，确保镜头在移动或不稳定平台时的影像稳定性，并为诸如无人机等平台提供避障指引。

这两款高通SoC包含大量行动/IoT终端功能。每种技术都包含Adreno GPU、多个Cryo ARM CPU核心、Hexagon 685矢量处理器、Snapdragon神经处理引擎，双14位元Spectra 270影像讯号处理器、双1,600万画素传感器和Wi-Fi网络。

8核心QCS605可同时处理高达60 fps的4K和1080p视讯输入讯号，以及更低分辨率的同步视讯串流．而功耗更低、体积更小的4核心QCS603能以30 fps进行4K和720p视讯串流。对于深度神经网络推论，这两颗SoC每秒运算性能可达2.1 TOPS。支持此功能的是双14位元Spectra 270影像讯号处理器。

高通软件开发套件能让在TensorFlow、Caffe和Caffe2中创建的机器学习、深度学习模型，以及Android Neural Networks API和高通的Hexagon神经网络库移植到这两款SoC的AI引擎。

而在2018年肯定能看到更多AI SoC上市。许多AI芯片供应商正在积极为各种行动和IoT边缘装置应用建构SoC。