关于张量加速器性能分析和应用

在骁龙技术峰会第二天，高通正式公布了其新旗舰骁龙855的技术细节。

据介绍，这款使用7nm工艺打造的全新款旗舰搭载基于Arm Cortex 技术打造，拥有超过超过60亿的晶体管，在其上面，搭载了Kryo 485 CPU、自研的Adreno 640 GPU、Hexagon 690 DSP、Spectra 380 ISP和Snapdragon X24 Modem等一系列单元。需要说明一下的是，高通这个全新的SoC是全球首款支持WIFI 6的手机SoC；另外，如果想要使用5G，那就需要外挂X50 modem；为了更好地支持AI，高通在其Hexagon 690里面加入了全新的张量加速器。

下面，我们来详细看一下这款号称全球最强的旗舰。

Kryo 485：引入超级内核的概念CPU

近年来，因为手机处理的任务的多样性，这就给处理器提出了更多的新需求，这就使得之前被业界广泛接受的Big.Little架构显得有些不合时宜了，为此高通提出了一个叫做Prime Core的概念，通过“一个大核（超级内核）+三个中核（性能内核）+四个小核（效率内核）”的八核设置。按照高通的说法，这个新的架构能够很好地支持现有的任务处理，能够更好地兼顾效率与功耗。

高通Kryo 485架构

据介绍，高通基于Arm Cortex 技术打造的64bit Kryo 485 CPU，与前代旗舰平台相比，骁龙855能够带来最高达45%的性能提升。其中超级内核的的最大频率可以做到2.84Ghz，而中核的最高性能可以做到2.42Ghz，至于那个效率内核可以做到1.8Ghz。据外媒anandtech的报道，高通的这个配置同样是基于Arm Cortex A76+ Arm Cortex A55。

华为值得一提的是，早前国内发布的华为Kirin 980同样使用的是2颗Cortex A76@2.6GHz+2颗Cortex A76@1.92GHz+4颗Cortex A55@1.8GHz。单从数字上看，高通在大中小核上的最高频率表现是优于华为Kirin 980的。

Kryo 485的细节

在与竞争对手对比方面，从高通公布的几组对比来看，骁龙855是领先于竞争对手。另外高通还强调了他们的旗舰芯片在持续的表现性能上面也是首屈一指的。

骁龙855在打开一些主流APP所需的时间与竞争对手对比

Adreno 640：世界第一款支持vulkan 1.1的GPU

高通自研的Adreno GPU也是高通的杀手锏之一。

据介绍，高通在骁龙855上搭载的是新款Adreno 640 GPU。与前代相比，Adreno 640带来20%的图形渲染速度提升，同时还能继续保持业界领先水平的每瓦特能效。另外，高通方面表示，Adreno图形所支持的Vulkan 1.1、高动态范围（HDR）和基于物理渲染（PBR）将带来全新水平的逼真游戏体验。这也是业界首次在移动SoC上支持Vulkan 1.1。

高通Andreno 640的细节

根据之前的介绍，Vulkan 1.1的新功能包括子集操作，实现了多任务在一个GPU上同时运行时高效的数据共享和操作。Vulkan 1.1还实现应用可以通过他们无法获取或复制的源完成渲染和显示操作，用于受保护的多媒体内容的安全回放和显示。当然Vulkan 1.0中的扩展也得到了保留，包括多图片查看同步渲染，多个GPU在一个单独系统内使用，普遍用于例如虚拟现实的广泛引用中的高级渲染和编辑操作程序跨流程API交互操作。这些核心功能还包括16位内存获取高级计算，HLSL内存分布支持，视频流的显示，处理和编程，通过许多视频编辑解码器生成的YCbcRr颜色格式化纹理的直接抽样。

高通方面也表示，骁龙640能够支持HDR游戏（10位色深、Rec 2020色域）、最高终端侧显示屏支持高达4K HDR、最高外接显示屏也支持两个4K HDR显示屏，可实现硬件加速H.265和VP9解码、HDR播放编码器支持HDR10+、HDR10、HLG和Dolby Vision，Volumetric VR视频播放和8K 360 VR视频播放。同时，这个GPU还可以作为高通AI引擎的一个重要“能量”来源。

Hexagon 690：引入张量加速器的DSP

面对大家一直诟病的，没有给骁龙处理器加入NPU的问题，高通选择了在其骁龙的DSP Hexagon 690中加入一个张量加速器（Tensor Accelerator）。在被中国媒体问到，是否可以把这个张量加速器看作一个NPU的时候，高通的发言人笑着说，如果这样叫可以在中国卖出去更多芯片，你也可以这样叫。

据高通方面介绍，全新的Hexagon 690处理器包含一个全新设计的Hexagon张量加速器（Hexagon Tensor Accelerator，HTA）和四个Hexagon向量扩展内核（Hexagon Vector eXtensions，HVX），这是前代旗舰产品向量处理的两倍，并且还增加了四线程标量内核，综合实现了专有的、可编程的AI加速。

高通Hexagon 690 细节

从某个角度看，Hexagon 690是高通第四代AI Engine的重要部分。根据高通介绍，这个集合了GPU、CPU和DSP的骁龙855在AI方面实现每秒超过7万亿次运算（7TOPs），AI性能较前代旗舰移动平台相比提升3倍。这个新一代的引擎套件可以为Qualcom神经处理器SDK、Google Android NN-API以及Hexagon NN和Qualcomm Math Library带来一系列的提升。

高通AI Engine的动力来源

对于更广范围网络精度的优化和神经网络类别，能够实现对终端侧AI语音、拍摄、游戏和XR体验的支持，目前上述许多体验已经可以通过Qualcomm Technologies的AI软件合作伙伴实现，并将在下一代搭载骁龙855终端上支持。

高通第四代AI Engine的框架图

Spectra 380：带有机器视觉的ISP

这也是骁龙855的一个亮点之一。从拍摄的角度看，因为给ISP带来了机器视觉，很多相关的图像和视频处理可以直接在ISP上用硬件完成，这就带来了更加好的体验。

高通方面也表示，这个全新的、双14位计算机视觉ISP（CV-ISP）能够支持2200万像素@30fps的并行双摄像头和4800万像素@30fps的单摄像头的配置，可以实现包括对象侦测与追踪（梯度方向直方图、Harris角点检测、归一化互相关、线性分类与光流），以及立体景深处理的支持，还能实现摄像头子系统中的硬件稳像解决。

Spectra 380细节

全新模块ISP设计，支持图像管线输出更高的灵活性，包括RAW和YUV像素域， 支持人像模式（背景虚化）的4K 60 HDR视频拍摄（HRD10、HDR10+和HLG），10位色深，Rec 2020色域。提供了先进的HDR解决方案，包括增强的zzHDR、三重曝光四色滤波阵列（QCFA）HDR。另外，该ISP还让高通骁龙855支持HEIF照片拍摄和HEVC（H.265）视频拍摄。其中HEIF编码格式硬件加速可以将文件减小50%以便于更高效地存储或对用户自己生成的内容进行传输。高通方面表面，作为业界首个支持HDR10+视频拍摄的ISP，以卓越的对比度和视觉效果呈现超过10亿色，同时在功耗方面也有很大的优势。

Spectra 380的功耗对比

另外，作为全球第一款同时支持毫米波和Sub-6Ghz波段的处理器平台，骁龙855能通过集成的骁龙 X24 LTE调制解调器支持最佳的数千兆比特4G连接，也可以利用外挂X50 5G调制解调器的方式，带来5G方面的体验。

高通也为这个新旗舰引入了对Wi-Fi 6-ready的支持，其带来的诸如8×8探测机制的先进特性可以更高效地服务更多终端（与4 x4探测终端相比，效率提升高达2倍），目标唤醒时间（Target Wakeup Time）能效比也提升了高达67%。“该业界首款基于802.11ay的平台将Wi-Fi速度提升至前所未有的10Gbps”，高通强调。

从高通的发布会上的表达看来，他们对这个全新旗舰充满信心，一加手机刘作虎也表示将会在明年上半年推出基于骁龙855的5G手机。半导体行业观察也认为，高通的AI方面的策略再次证明，留给那些给手机芯片厂商供应加速器的IP厂商的时间已经不多了。

对于手机厂和芯片厂来说，下一步是推广AI应用在5G时代的大爆发，是下一个工作重点。