- 智能物联网与MCU智能化

ARM的机器学习加速器系列产品即Project Trillium，其中包括了机器学习处理器（ML Processor），物体检测处理器等硬件IP，同时还包括可以在这些加速器以及Cortex核和Mali GPU上最优化执行相关算法的软件栈ARM NN。以ARM ML Processor为例（如下图），其架构包含了用于加速专用函数的加速引擎Fixed-function Engine，用于加速神经网络的可编程层引擎Programmable Layer Engine，片上内存，用于控制加速器执行的网络控制单元以及用于访问片外内存的DMA。

ARM ML Processor是典型的加速器架构，它有自己的指令集，只能执行和机器学习相关的运算加速而无法运行其他程序，因此必须搭配Cortex核才能发挥作用。ARM ML Processor可以最高实现4.6TOPS的算力，同时最高能效比可达3TOPS／W，性能实属优秀，对于算力需求不高的场合也可以通过降低运行速度来降低功耗，以满足MCU的需求。

除了ARM之外，其他MCU巨头也在纷纷布局AI加速器，其中意法半导体属于技术领先的位置。在去年，意法发布了其用于超低功耗MCU的专用卷积神经网络加速器，代号为Orlando Project，在28nm FD-SOI上可以实现2.9TOPS／W的超高能效比，相信随着技术和市场需求的进一步需求将会转为商用化。

应该说目前基于专用机器学习加速器IP的智能MCU尚处于蓄势待发阶段。顾名思义，专用机器学习加速器通过专用化的设计实现了很高的能效比，然而这也限制了应用范围，只能加速一部分机器学习算法，而无法顾及通用性。

目前，机器学习加速器最主要的加速对象算法是神经网络算法，尤其是卷积神经网络。从技术上说，卷积神经网络在执行过程中并行度高，存在加速空间，一个加速器相比传统处理器往往能把神经网络的执行速度和能效比提升几个数量级。从人工智能的发展脉络来看，这一波人工智能中最成功的应用也是基于卷积神经网络的机器视觉应用，因此大家都专注于卷积神经网络的加速也是顺理成章。

然而，对于MCU来说，专注于卷积神经网络加速却未必是一个最优化的选择。首先，MCU市场的应用存在一定碎片化，而一个专用的加速器很难覆盖多个应用，因此对于习惯了设计标准化MCU并走量覆盖许多个市场的半导体厂商来说是否使用专用化加速器是一个需要仔细考虑的选择。换句话说，许多应用中希望智能MCU能高效执行基于非卷积神经网络的机器学习算法（例如SVM，决策树等等），那么这些应用就无法被一个专用的卷积神经网络加速器覆盖到，而需要设计另外一套加速器。当然，这对于IP商ARM来说不是件坏事，因为ARM可以快速提升其机器学习加速器的IP品类数量并从中获利，但是对于半导体公司来说却有些头疼。

此外，卷积神经网络最成功的应用是机器视觉，然而在MCU应用中除了机器视觉之外还有许多其他应用，甚至可以说智能MCU的应用中机器视觉并非最大的市场，这也限制了只能处理卷积神经网络的专用加速器IP的市场。

智能化路径二：处理器架构改良

根据上面的讨论，ARM因为之前使用Cortex核占领了MCU市场，因此其保留Cortex架构不变并力推能搭配Cortex核使用的专用加速器IP也是必然的商业逻辑。然而，基于专用机器学习加速器IP的智能MCU在碎片化应用中会遇到应用覆盖过窄的问题，这也就是为什么还存在第二条MCU智能化的技术路径——改良处理器架构。

处理器架构改良意味着直接设计一个低功耗高算力的通用处理器，这样就可以覆盖几乎所有MCU应用，从而避免了专用加速器的通用性问题。当然，在处理器设计中，往往需要从指令集开始全盘重新设计，因此需要很大的投入。

根据半导体行业的传统，从头设计一套新的自有指令集往往是吃力而不讨好，因为指令集的设计、验证、可扩展性考虑等等往往不是一个团队就能完成的，而是需要大量人长时间的努力。然而，最近随着RISC-V开源指令集得到越来越多的认可，使用基于RISC-V指令集去做新处理器架构可以大大节省指令集和架构开发的成本以及风险。RISC-V指令集经过开源社区的认证，已经证明非常靠谱，可以无需从头造轮子，而只需要把精力集中在需要改良的部分，因此在这个时间点做新处理器架构可谓是正逢其时。