AI的主战场在哪里

我只是觉得这一波已经接近尾声——如果不是已经过了尾声——的精实新创浪潮下，太多投资人和创业家口中念念有词的、关于软件新创的论点不过是一堆狗屁。比这些关于软件新创的狗屁更狗屁的，是毫无根据就把硬件投资视为过时的、难以产生回报的论点，即使面对了市场上公开资讯的反驳。

别误会了，如果可以，我也想投资一个SaaS的商用软件新创，看着他们用很少的资金做出MVP（Minimum Viable Product），然后用社群草根的方式取得众多使用者，每周根据使用者的回馈以及搜集到的数据改善并更新软件，然后针对进阶使用者每月收取费用，量测并改善耗损率，然后达成千万使用户、超过百分之百的年成长率以及九成以上的用户留存率，取得最少五千万美元的每年重复营收，然后以五亿美元的价格出售给Salesforce这样令人景仰的SaaS企业，并将创业家和Marc Benioff这样令人景仰的创办人签约后握手的照片裱框，放在自己的桌子上朝外给所有进到自己办公室的年轻创业家看。

等等，去他的投资！我干脆自己创办这样的公司好了！

事实上，在动态均衡的商业世界里，没有任何一种商业模式或者产业具有永久的投资优势。兴起于2004年的精实新创风潮为我们的世界带来了脸书、推特、Youtube、Dropbox、Uber和Airbnb等日常生活的应用软件，也连带让MVP、iteration和pivot变成热门单字，更催生了一整个时代非工程背景也未曾创过业的新型风险资本家，他们在各大小新创活动中转来转去，以看似老练的口吻问着创业家：“你的每月活跃用户量是多少？”

但在这样低的创业和投资进入障碍的世界里，伴随而来的必然是激烈的全面竞争，不管是创业家彼此，或者风险资本家之间。这些竞争也许会反映在烧钱进行同业竞争上，也许反映在平均估值的不断推升上。最终来说，产业抵达了动态均衡，人们也终于开始发现软件精实新创并没有比较容易创业，投资起来也没有比较好赚。

似乎是历史重演地，我们看到人工智能的投资趋势最近也反映出这样的潮流反转。

和精实新创经历的一样，我们不难想象过去两年间满手是钱的风险资本家们，乘着“人工智能”、“机器学习”和“深度学习”的关键字浪潮，追逐着各种宣称使用人工智能、机器学习或深度学习来取代人类世界中某些由劳工负责的工作的新创。

而就跟精实新创投资一样的，事实上任何有一点社会经验的人都可以想象出任何一种“用AI取代人类”的新创应用。唯一不一样的地方在于，要开发这样的应用需要的不只是能够写逻辑程序代码的coder，还需要懂得机器学习算法的数学专家。

不够格的投资者们，就像他们在精实新创浪潮中追着浪尾投资已经有数十家先行者的新创类型一样，忙不迭地把钱灌进“能够描绘某种AI使用情境”的软件新创。稍微谨慎一点的投资者们，找来了从事相关研究的教授或者博士班学生来帮忙作尽职调查，以求避开明显的骗子。

但不管是哪一种，打着“用AI取代人类”嘴炮的软件新创仍然面临两个自己无法解决的挑战。

其中一个就是我常常讲的，就算是绝顶聪明的数学家或者资料科学家，如果无法取得训练模型用的资料，那也是白搭，这也是为什么在Hardware Club我们选择投资提供从感测器到云端机器学习完整系统的Full-stack AI新创。

另一个纯软件AI新创面临的挑战，则是在创业或者投资初期常常被忽略的硬件计算能力的限制。

我在〈软件吃掉世界，AI吃掉软件〉一文中就曾经提到过，精实新创诞生的背景是芯片运算能力远大于终端应用软件所需，但机器学习的出现瞬间把这个落差给“阖上”了——突然间我们从毫不在乎硬件，又变得必须对硬件规格斤斤计较。

上面这个影片是史丹佛大学CS231n课程〈卷积神经网路在影像辨识上的应用〉第十五堂课的讲座影片，主讲者是最近刚取得电机暨计算机科学博士学位、明年即将在麻省理工开始任教的Song Han，讲座的题目就是他的博士论文〈深度学习的高效率算法和硬件〉。我强烈建议对于机器学习有兴趣的人——不管是创业家或投资者——把这个讲座影片看完，因为看完之后他们就能理解为什么我说AI真正的主战场在硬件。

举例来说，这整个讲座使用的术语大约有三四成是机器学习和深度学习相关的，剩下的术语却都是所有半导体产业的“老人”们再熟悉不过的：CPU、GPU、FLOPS、DDR 3、DDR 4、记忆体频宽⋯⋯等。事实上如果直接去阅读Song Han的博士论文，老半导体人会看到两个很亲切的名字：论文的主要指导教授Bill Dally以及协同指导教授Mark Horowitz。其中Dally教授所著作的教科书〈Digital Systems Engineering〉几乎所有电机本科生人手一本，而Horowitz教授则是我当年在半导体的研究领域‘高速数位串流接口’的权威，如果把我当年阅读过的他的论文叠在一起，就算没办法到顶天花板，最少也够站在上面换灯泡。

Song Han在这两位半导体老将的指导下完成这个博士论文，而且还受邀在CS231n〈卷积神经网路在影像辨识上的应用〉课程给讲座的原因非常简单：我们现在的CPU或者GPU、甚至于谷歌的TPU，都远远无法应付现有机器学习算法“可能”的运算需求，因此软硬件协同开发是必要的。

当我们说CPU、GPU乃至于TPU无法应付机器学习“可能”的运算需求，有两个事情是我们所在乎的：运算速度以及耗能。

一般的创业家和投资者比较能够理解运算速度的重要性，毕竟整个深度学习的大跃进就是在于过去得花上几周甚至几个月才能完成的神经网路运算，被降到几天甚至几小时，但较少创业家或投资者能够理解耗能的重要性，因为在过去十余年的精实新创浪潮中，耗能这种东西百分之百是高通、鸿海、苹果和三星这些人的问题。

但是在机器学习中“耗能”是一个很大的挑战，甚至会成为效能的障碍。机器学习的耗能主要来自两个领域：

（一）矩阵乘法：所建置的神经网路越多层，每一层的神经元数越多，所需要运算的矩阵乘法就愈多。而半导体逻辑芯片的乘法是由NAND闸组合出来的，每一个电晶体的节点都会在电压上下摆动的过程中消耗掉能量。考虑到矩阵乘法所需要用到的逻辑闸数量惊人，而且随着神经元和系数的增加以指数成长，这部分运算的耗能也就指数成长。

（二）记忆体存取：类神经网路的运算需要大量而且高速的记忆体存取，主处理器（不论是CPU或者GPU）和记忆体模组通常是不同的芯片，因此存取发生在印刷电路板上，大量的能量会被耗损在对抗印刷电路板和芯片封装的杂散容和电阻上。

耗能剧烈的第一个影响是电力成本。以去年击败李世乭的AlphaGo为例，该系统使用了1920个CPU和280个GPU，光下一场棋局的电费就高达三千美元，相较之下李世乭本人下这场局可能只需要一两碗饭的热量，“电”脑和“人”脑在耗能效率上仍然有天壤之别。

但是如果做多少运算就付多少电费就能解决的话，那还好说。但耗能的最大问题是：不管是哪一种耗能方式，都会转换成废热，这些废热必须排出去，才能让系统正常运转。但系统耗能产生废热的速度根据运算量成指数成长，排除废热的速度却受限于热力学和流体力学有着线性的特质，因此我们不难想象在迈向泛用型人工智能的路上，我们可能会先被“熵”这个躲也躲不掉的敌人给挡住，而不是算法。

机器学习算法与硬件的优化方式（作者提供。撷取自Song Han博士论文第七章）

在Song Han的讲座中，他介绍了各种软件算法和硬件芯片结构的协同优化，以应付机器学习中training和inference两个部分的耗能效率挑战。但是不管是哪一种方式，不管改善多少运算效能和耗能效率，从工程的角度来看都是短期的、贴贴补补之类的解决方案，在摩尔定律多年前早已停止改善耗能的事实下，这些方案并没办法提供一个康庄大道通往真正的人工智能经济学终局。

这也是作为风险资本投资者，我们致力于寻找着半导体逻辑运算以外的解决方案的原因。在之前专栏〈量子电脑春暖花开〉中我所介绍过的量子电脑是一种，而且理论上是最能够应付无限延伸的未来中机器学习运算需求的一种。但量子电脑的问题在于，目前不管是新创或者谷歌、IBM乃至于Intel等大厂的系统，都必须把温度降到绝对零度附近，才能进行量子运算，地球上的降温系统本身就是一个极为耗能的装置，要等到综合能源效率和建置成本到达可以和半导体芯片相比拟，恐怕还要不少的时光。

那么有没有其他的方式能够比半导体有着高许多的耗能效率，但又没有量子电脑那接近绝对零度的挑战呢？答案也许存在自然界里，就像是量子电脑采用物理特性进行运算，自然界也有许多物理现象包含了矩阵乘法的特质，也许我们可以找到一种运算方式，是将资料转换成自然界的物理现象，在那里完成运算，然后再汇回电脑系统中。这种运算统称为“类比运算”（analog computing），其实是一门很古老的学问，远在数位芯片高速成长的年代之前，几乎所有的运算都是在类比世界中发生的。

作为投资者，我寻找着也等待着能够善用类比运算来大幅加速机器学习的创业家，如果能够投资到这样的新创，我不介意错过Blue Apron这样的投资机会一百次！责任编辑：ct