关于通用计算时代的现状以及未来的分析

自在1965年被提出以来，摩尔定律在过去几十年里驱动计算产业经历了一段显著的增长和稳定时期。晶体管密度和处理器性能也在过去五十年李获得了大幅度的提升，也推动了通用计算模型的兴起。然而按照MIT计算机科学与人工智能实验室的Neil Thompson和哈佛大学的客座教授Svenja Spanuth的说法，这一切都将要结束了。

他们表示，通用计算不可能一直是常态。在超级计算的早期阶段，来自Cray等公司的定制矢量架构主导了HPC行业。目前，NEC还在基于矢量系统打造相关产品。但感谢摩尔定律，晶体管的性价比在过去几十年里有了大幅度的攀升，其带来的经济优势就趋势产业界走进了通用计算的时代。

这主要是因为开发和制造定制芯片的成本在3000万到8000万美元之间。因此，即使用户需要高性能的微处理器，但通用处理器的微缩速度，会将定制处理器带来的差距快速拉近。同时，晶体管微缩的成本可以被数百万个处理器摊销，因此而成本问题也会使得采用专用架构的好处也很快消失。

但摩尔定律所带来的计算经济学正在发生变化。

近年来，随着半导体材料的物理限制开始凸显，缩小的晶体管变得越来越昂贵。据了解，在过去的25年中，建立一个领先的晶圆厂的成本每年增长11％。2017年，半导体行业协会估计建造一座新工厂需要花费约70亿美元。这不仅推高了芯片制造商的固定成本，还将先进半导体制造商的数量从2002年的25家减少到今天的三家：英特尔，***半导体制造公司（TSMC）和三星。

美国劳工统计局（BLS）也在其一份报告中试图量化每微美元的微处理器性能。按照他们的统计，这个数据的提升率从2000 - 2004年的48％下降到2004 - 2008年的29％，而2008 - 2013年，数字又下降到每年8％。

所有这些都从根本上改变了缩小晶体管的成本/效益。

由于建造和运营新工厂的费用不断上升，英特尔的固定成本有史以来第一次超过其可变成本。更令人不安的是，连三星和高通这样的公司现在都认为，在最新工艺节点上制造的晶体管成本正在迅速增加，这进一步阻碍了产业界对更小尺寸的追求。这也可能是GlobalFoundries 最近放弃其7nm技术计划背后的原因。

这不仅仅是摩尔定律的恶化。专用处理器的另一个驱动因素是一些通用计算不能满足需求的新应用程序的产生。如移动设备和物联网（IoT）这样的平台，他们在能源效率和成本方面要求很高，并且需要大量部署，这就催生了定制芯片的需求。而某些具有更严格要求的低容量应用，例如军用和航空硬件，也有是特殊用途设计芯片的市场锁着。

但在笔者看来，横跨移动，桌面，嵌入式，云计算和超级计算等几乎所有计算环境的应用程序类别的深度学习的问世，才是行业真正的分水岭。

深度学习及其首选硬件平台GPU是计算从通用处理器走向专用处理器的一个最明显的例子。因为能够比CPU更有效地进行数据并行处理，这种可以被视为半专业计算架构的GPU已经成为训练深度神经网络的首选平台。

但对于深度学习，GPU可能只是“入门药”（gateway drug）。现在，英特尔，富士通和数十家创业公司已经提供了人工智能和深度学习专用芯片，谷歌专门用于训练和使用神经网络的TPU目前也更新到了第三代。

“创建一个定制的处理器对谷歌而言非常昂贵，估计固定成本为数千万美元，”专家说到，然而，好处也很大。按照他们的说法，三代TPU的性能增长相当于摩尔定律的七年。

Thompson和Spanuth还指出，专用处理器越来越多地被应用于超级计算。他们指出，2018年11月的TOP500排名中，专用处理器（主要是Nvidia GPU）首次超越CPU，成为大部分增加的性能的来源。在这里，我们还对其列表进行了回归分析，结果显示，具有专用处理器的超级计算机每瓦特可以执行的计算次数几乎是使用通用处理器的超算的五倍，这一结果非常具有统计意义。

Thompson和Spanuth提供了一个数学模型，用于确定专用处理器的成本/收益。在这个模型中，他们同时考虑到了开发定制芯片的固定成本，芯片数量，定制实施提供的加速以及处理器改进的速度。由于后者与摩尔定律联系在一起，因此速度放缓意味着即使预期的加速比较适中，专用芯片的合理化也会变得更加容易。

“因此，对于许多（但不是全部）应用，现在获得专用处理器在经济上是可行的，至少在硬件方面，”专家表示。“另一种看待这种情况的方法是在2000 - 2004年期间，市场规模约为83,000台处理器的应用程序如果需要专用处理器，那么则需要性能提升100倍才划算，但在2008 - 2013年，这样的处理器只需要2倍的提升，就足够了。

Thompson和Spanuth还考虑到了专用处理器重新定位应用软件的额外费用，他们认为每行代码的价格为11美元。这在一定程度上使模型复杂化，因为您必须考虑代码库的大小，但这并不总是很容易追踪。在这里，他们还指出，一旦代码重新开发完成，它往往会阻止代码库移回通用平台。

Thompson和Spanuth还为专用处理器纳入了重新定位应用软件的额外费用，他们认为每行代码的价格为11美元。这在一定程度上使模型复杂化，因为您必须考虑代码库的大小，这并不总是很容易追踪。在这里，他们还指出，一旦代码重新开发完成，它往往会阻止代码库移回通用平台。

最重要的是，摩尔定律的缓慢消亡正在揭示过去的创新，市场扩张和再投资是一个很好的良性循环。但随着越来越多的专业芯片开始蚕食计算行业，这个周期变得支离破碎。由于较少的用户采用最新的制造节点，晶圆厂的的融资也变得更加困难，这进一步减缓了技术进步。这将推动业界将计算行业分割成多个专门领域。

其中如深度学习等领域，由于其规模和对专用硬件的适用性，他们将率先进入快车道。而像数据库处理这样的领域虽然被广泛使用，但可能会成为死水，因为这种类型的计算并不需要专用芯片。尽管可能从中受益，但类似气候模型则因为应用面太窄，并不需要去做定制芯片。

我们也应该清楚认识到，这并不意味着CPU甚至GPU会失败。尽管作者对此没有太深入的研究，但我认为，未来专用，半专业和通用计算引擎都会被集成到同一芯片或处理器封装中，而一些芯片制造商也已经走上了这条道路。

例如，Nvidia在其新一代GPU Volta中采用了Tensor Cores，后者是其专门用于深度学习的专用电路。通过这样做，Nvidia能够提供一个既能满足传统超级计算模拟又能深度学习应用的平台。同样，CPU正在与专用逻辑块集成，用于加密/解密，图形加速，信号处理，当然还有深度学习。