Imagination 的神经网络加速器在边缘计算领域的应用

今天，2019 SiFive Tech workshop在深圳举行，IC芯片领域的两百多位设计人员到场参会交流目前最热门的RISC-V处理器开发，作为SiFive的DesignShare生态系统合伙伙伴，Imagination Technologies不仅在现场演示了最新新神经网络加速演示，公司高级技术专家李安也发表《神经网络加速赋能端侧智能》介绍了Imagination 的神经网络加速器在边缘计算领域的应用。

目前，由于在商业模式上的创新，RISC-V在嵌入式处理器领域广受欢迎，大量IC设计公司拥抱RISC-V，其中不乏英特尔、高通、华为、西部数据等这样的半导体巨头，不过由于RISC-V处理器导入市场较短，其生态系统还在建设当中，尤其IP是其短板，因此SiFive 启动了DesignShare项目，DesignShare提供高效的、预集成的IP解決方案，从而使各种规模的公司和团队都能够更快捷地完成SoC芯片的原型设计，DesignShare初衷是降低系统级芯片（SoC）原型设计获取相关IP的前期成本。

Imagination Technologie宣布加入DesignShare，让系统设计人员能够轻松地获取其业界领先的PowerVR图形处理器（GPU）和神经网络加速器（Neural Network Accelerator，NNA）硅知识产权（IP）内核。PowerVR GPU也是首个通过SiFive DesignShare生态系统来向客户提供的、支持Vulkan®应用编程接口（API）的全功能GPU。

基于PowerVR GPU的手机AR演示

目前很多公司都加入了DesignShare，极大丰富了RISC-V的生态建设，目前这块短板在弥补中。

DesignShare生态技术伙伴

目前，边缘端侧的人工智能应用呈现从云到边缘端的加速趋势，在手机、平板、无人家、安防摄像头等领域都急需能进行人工智能处理的方案。

在今天的演讲中，李安着重介绍了在端侧领域Imagination的解决方案。

他指出Imagination的解决方案可以帮助用户在边缘端以低功耗实现智能应应用。

以摄像头为例（如下图所示），传统摄像头是把所有视频都存储起来，这样不但浪费了存储空间也增加了视频检查的难度，而加入了运动检测的涉嫌头，只对运动物体有兴趣，进行记录，而有人工智能功能的摄像头，在边缘端进行识别和检测，把庞大的视频变成了一串特征值或者字符串，这样的节省是非常大的。

他表示，Imagination的GPU可以满足不同市场对人工知道算力的需求，小到安防摄像头大到自动驾驶都可以用GPU完成人工智能运算，如果同时搭配Imagination的PowerVR Series2NX NNA神经网络加速器，则可以实现灵活性和性能的双丰收。

他指出一般运算其实都是做性能、面积和功耗的均衡，比如要提升新能就要牺牲面积和功耗以及成本，而把GPU和NNA神经网络加速器结合据可以做很好的均衡，这是因为，NNA的加速性能非常出色。

如果以CPU为标准，如果使用NNA加速器，其16bit能效提升450倍，而4bit能效提升850倍！这是非常惊人的提升！

Imagination最新的3NX神经网络加速器算力提升到10TPOS，可以大幅度改善PPA性能。

而且神经网络加速器适应市场各种神经网络框架，可以灵活应对跟中人工智能需求。

他举例说，如果你想设计一台高清电视，这时如果把Power VR GPU和NNA结合起来就可以实现高度的灵活性和高性能，如果有新的神经网络算法，则用GPU去完成，这样还可以适应未来需求。

他表示，Imagination的PowerVR集成化GPU和NNA软件栈可以帮助客户实现最佳性能及灵活性，PowerVR软件在设计之初就考虑到与所有处理器架构能协同工作，当然也包括开放的、发展迅猛的RISC-V指令集架构，这是SiFive DesignShare生态系统的核心所在。

另外，PowerVR对包括Vulkan、OpenCL™、Android NNAPI和SYCL等各种API的支持可以给IC公司提供了新的机遇，可以帮助客户研发出极具开创性的定制芯片。

共赢RISC-V！