学技术 | 浅谈MediaTek NeuroPilot.

在开始介绍MediaTek NeuroPilot之前，我想先帮各位伙伴们科普一下什么是Edge AI。

许多人工智慧仍远在云端，且可能无法如你所愿，快速地传送到达终端。伙伴们也许会思考，为什么不让人工智慧离你近些呢？

MTK将人工智慧技术应用到你周边的终端装置，充分地实现终端人工智慧，这意味着伙伴们无需等待，也无需上网，就能立即享受到人工智慧。

使用上可以得到更快速地响应、更好的隐私保护、更多的功能。

Faster response

Better privacy

More Functionality

然而，为了优化终端人工智慧，MediaTek为神经网络运算，设计了一个全新的人工智慧处理单元APU，和CPU相比，它可以节省高达95%的电力（SAVE 95% ENERGY CONSUMPTION），让你能有更多的时间处理更多任务

MTK还建立了一个创新的异构运算构架（HETEROGENEOUS COMPUTING），能即时导引正确的任务到正确的位置，让每个处理器都能发挥最佳性能和最大化的能源效率，这就是MTK的终端人工智慧平台–NeuroPilot

NeuroPilot支持业界所有主流的人工智慧构架如下列所示。

Google: TENSORFLOW/TENSORFLOW LITE

AMAZON: MXNET

CAFFE

SONY: NNABLA

Other NN Frameworks

如果伙伴们是开发人员，只要开发一次，便可应用NeuroPilot到任何可支持的终端装置。

CROSS PRODUCT

CROSS OPERATING SYSTEM

Android / Linux / RTOS / Others

NeuroPilot大致可分为三个层级，如下图所示，最顶层是各种应用程序，也是我们日常就能接触的一些应用，像是一些脸部识别、面部美化、场景检测、手势检测、语音识别等等。

中间层用于程序编写和异构运算，主要由软件算法所构置的，包括神经网络运行（NN Runtime），异构运行（Heterogeneous Runtime）。

这些基于个别级别的API进行程序编写的框架，我们称之为AI framewrok，像Google的tensorflow（Lite）、caffe、Amazon的MXNet、Sony的NNabla等。

联发科技的NeuroPilot支持市面上主流且常用的所有AI framework，意思就是说，我们的伙伴们就能够很方便地在NeuroPilot平台上进行程序开发，同时也能够很好地与云端对接。

再来最底层是各种硬件处理器CPU、GPU、APU。

一般情况下，我们在处理这个model太大，然后想要把它缩小，做优化来讲，有几个大家比较常用的手法。

我先讲一下什么是优化，优化工具主要专注的地方是在training那个阶段。会把训练好的model来做优化。伙伴们可能会想，为什么要在training好的model来做优化呢？

这是因为我们很多AI model在训练好的时候，其实占用很大的容量，动不动就几百兆字节。这样大小的model放在设备端来执行的话，可以想象，第一个跑起来会很慢，第二个是非常的耗电。所以我们会用一些手法来做一些优化，让这个model变比较小，比较适合在设备端来执行。

第一个手法是有些Model本身就比较小，如下列图标，而它的准确度，不会因为他model小就被影响，例如像是我们看到MobileNet、SqueezeNet和Shufflenet，这几种来执行。

或是我们可以使用程序的方式去探索硬件，知道这个硬件适合什么样的Model在什么样的硬件上会跑比较快，这种方法叫做NAS，Neuron Architecture Search，这个手法，直接用程序去跑，看找什么样的Model比较适合的。

另外底下三个手法，它就是用程序，去达成让Model缩小，首先是Quantization，或是中文我们叫做量化，这样的手法其实是去改变我们原本Model的储存数字和参数。

把它从Floating point这种比较大的格式，转换成integer这种比较小的格式。你可以想象，转换变小之后，它的Model也会跟着转换缩小，缩小之后，这个Model就可以在设备端，跑起来比较快，比较省电。

第四个方法，这边写到是Network Reduction，或者是我们在软件上称做Pruning，中文可能会叫做剪枝，这个手法我们可以想像它是一个Model压缩的技术，它可以把一个比较大的Model，压缩成一个比较小的Model。

另外也有人用另一个方法，它把一个大的Model，然后再用一个小的Model去学这个大的Model，就是用原本training完大的Model，用小Model去学它，然后最后在设备端上来执行，这是叫做distilling的手法。

关于NeuroPilot基本的介绍就到此，有兴趣的伙伴们，可以随时与我们探讨和研究，谢谢。