- FPGA与ASIC，谁将引领移动端人工智能潮流？

我把FPGA和ASIC的比较总结在下面表格里。FPGA上市速度快，但性能较低。ASIC上市速度慢，需要大量时间开发，而且一次性成本（光刻掩模制作成本）远高于FPGA，但是性能远高于FPGA且量产后平均成本远低于FPGA。FPGA可以完全重配置，但是ASIC也有一定的可配置能力，只要在设计的时候就把电路做成某些参数可调的即可。目标市场方面，FPGA成本太高，所以适合对价格不是很敏感的地方，比如企业应用，军事和工业电子等等（在这些领域可重配置可能真的需要）。而ASIC由于低成本则适合消费电子类应用，而且在消费电子中可配置是否是一个伪需求还有待商榷。我们看到的市场现状也是如此：使用FPGA做深度学习加速的多是企业用户，百度、微软、IBM等公司都有专门做FPGA的团队为服务器加速，而做FPGA方案的初创公司Teradeep的目标市场也是服务器。而ASIC则主要瞄准消费电子，如Movidius。由于移动终端属于消费电子领域，所以未来使用的方案应当是以ASIC为主。

 

 

 

 

SoC+IP模式

 

说到这里，不少读者可能有疑问：现在深度学习的网络结构日新月异，但是ASIC上市速度那么慢而且一旦制作完成（流片）就无法更改，如何能跟上深度学习的发展速度呢？针对这个问题，我想首先需要厘清一个概念，即用于深度学习加速的ASIC到底要做什么？有人认为神经网络ASIC就是真的实现一个神经网络结构在芯片上，因此网络结构一改（例如从12层变成15层，或者权重参数变一下）该ASIC就不能用了。其实这样的理解是不对的：ASIC加速器做的是帮助CPU快速完成深度学习中的运算（例如卷积），当CPU在执行人工智能算法时只要遇到这种运算就交给加速器去做。因此只要神经网络的主要运算不变，则ASIC加速器完全可以使用。网络结构会影响ASIC加速器的性能，一种ASIC加速器可能是针对GoogleNet优化过的所以执行GoogleNet会特别快；当你换到VGG Net的时候这款ASIC还是可以用的，只是执行效率相比执行GoogleNet时要打个折扣，不过无论如何都要比CPU快得多。

 

至于ASIC上市时间慢的问题，目前也是有办法可以解决的，就是使用SoC+IP的方法。既然设计ASIC一家公司做太花时间，那能不能外包甚至众筹呢？完全可以！许多SoC芯片就是这样做出来的。这里首先要向大家介绍SoC的概念。SoC全称是“片上系统(System-on-chip)”，亦即集成了许多不同模块的芯片。就拿多媒体应用的芯片举例，早些年每一个多媒体应用的模块（音频编解码，MPEG播放编解码，3D加速等等）自己都是一块ASIC。后来电子业界发现每个模块都做ASIC成本太高，而且最后电子产品的体积也很难做小，不如把所有的模块都集成到同一块芯片上。这块芯片集成了多个模块，并由一个中央控制单元通过总线控制每个模块的运作，就是SoC。例如，现在高通公司的Snapdragon就是一块典型的SoC，上面集成了GPU，视频/音频编解码，相机图像信号处理单元（ISP），GPS以及有线/无线连接单元等等。SoC上面的每一个模块都可以称为IP，这些IP既可以是自己公司设计的（如Snapdragon上面的调制解调器就是高通自己设计的），也可以是购买其他公司的设计并整合到自己的芯片上，例如苹果A系列处理器里用的GPU就使用了Imagination的PowerVR IP。SoC+IP提供了一种灵活而快速的模式，可以想象如果苹果不是购买IP而是自己组建团队慢慢做GPU，其A系列处理器芯片上市的时间至少要被延迟一年。

 

 

 

高通的Snapdragon SoC，芯片上集成了众多IP

 

对于深度学习加速器而言，做成IP也是一个加速上市速度的模式。当深度加速器成为IP时，它就不再自己做成ASIC，而是成为SoC的一部分，当SoC需要做深度学习相关运算时就交给加速器去做。而且做成IP对于加速器来说能够更灵活地满足客户的需求。例如，某加速器IP设计可以实现100GFlops的运算速度并消耗功耗150 mW，这时A客户说我们需要算得快一点的加速器（150 Gflops），而且不在乎功耗（300 mW也可以）和芯片面积，那么IP公司可以根据客户的需求快速微调自己的设计并在一两个月内交付（由于并不需要真正生产芯片，只需要交付设计）。但是如果加速器已经做成ASIC，那要改动设计就必须重新做一块芯片，这个过程牵扯到耗时巨大的物理设计和验证，改动完的芯片上市时间可能是一年之后了。在SoC+IP的模式下，IP公司可以专注于加速器的前端设计并且根据客户的需求量体裁衣，大公司则做自己擅长的后端以及芯片/封装级验证，可以说是大公司和小公司都可以扬长避短，各取所需，最终实现快速加速器设计迭代（如半年甚至一个季度一次）并跟上深度学习发展的步伐。从性能角度来说，深度学习加速器如果做成IP则和同一芯片上的CPU进行数据通讯时可以使用高带宽的片上互联，但是如果做成ASIC则必须走带宽比较低功耗也比较大的芯片外互联，因此深度学习加速器作为IP成为SoC的一部分对于系统的整体性能也有所提升。

 

目前，做深度学习加速器IP的老牌公司有Ceva，Cadence等等。这些公司的设计大多是基于已有的DSP架构，设计比较保守。当然，也有一些初创公司看到了深度学习加速器IP这块市场并试图用全新的加速器架构设计来满足应用的需求，如Kneron。对于做IP的初创公司我个人持乐观态度，因为首先深度学习相关加速器IP确实有市场需求，例如微软在用于AR设备HoloLens的处理器HPU中，主要运算单元都是使用买来的加速器IP。其次，做IP并不和大的芯片公司（如NVidia， Intel）构成竞争关系，所以压力比较小。最后，由于做IP需要的资源较少，产品上市时间较快，因此维持运营对资本的压力比较小，风险也比直接做芯片要小，可以说是一个比较稳妥的方案。

 

 

 

深度加速器IP市场既有沿用传统架构的老牌厂商（Ceva, Cadence）也有使用创新架构的初创公司（Kneron）

 

结语

 

FPGA和ASIC在实现深度学习加速器方面各有所长，FPGA的可配置性更适合企业、军工等应用，而ASIC的高性能和低成本则适合消费电子领域（包括移动终端）。为了实现快速迭代，ASIC可以采用SoC+IP的模式，而这种模式也使得没有资源量产芯片的中小公司可以专注于深度学习加速器IP的架构和前端设计，并在人工智能市场上占有一席之地。