0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI算法正在逐步超越摩尔定律!

dKBf_eetop_1 来源:未知 作者:胡薇 2018-10-17 09:50 次阅读

“摩尔定律将继续改变世界,但算法的进步对推动电子技术的发展越来越重要。”

现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?随着算法的进步超过硬件的发展,即使是最先进的深度学习模型都可以部署在小到5美元的Raspberry Pi上。

在20世纪80年代的处理器上运行最先进的现代算法,和在最先进的处理器上运行20世纪80年代的算法,哪个算得更快?答案令人惊讶,通常都是在旧处理器上跑新算法更快些。

虽然摩尔定律作为电子行业快速发展的驱动力而备受关注,但它只是一个驱动因素而已。我们经常忘记算法的进步其实在很多情况下超过了摩尔定律。

Martin Groetschel教授观察到,在1988年需要花费82年才能解算的一个线性编程问题,在2003年只需要一分钟。其中硬件加速占1000倍,而算法进步占43,000倍。同样,麻省理工学院教授Dimitris Bertsimas的研究表明,1991年至2013年间,混合整数求解器的算法加速是58万倍,而峰值超级计算机的硬件加速仅增加了32万倍。据说,类似的结果也发生在其他类型的约束优化问题和素数因子分解中。

这对AI意味着什么?

过去五年来,无论学术界、工业界还是创业界,都见证了人工智能(AI)的爆发。可能最大的拐点发生在2012年,当时来自多伦多大学的AlexNet团队,使用深度学习一举赢得了ImageNet大规模视觉识别挑战赛(ILSVRC)的冠军。从那以后,深度学习成为了人工智能实现的关键配方。

计算机视觉的进步开始蔓延到自然语言处理和其他AI领域。智能音箱、实时计算机翻译、机器人对冲基金,以及网络参考引擎,不再让我们感到惊讶了。

AI也成为了交通运输行业的驱动力(这也是Autotech Ventures公司的投资领域)。我们预见到,高级驾驶辅助系统(ADAS)、自动驾驶、车队检查、制造质量控制,以及车载人机界面等细分市场,具有巨大的发展潜力。到目前为止,Autotech Ventures已经对几家专注于开发该领域AI解决方案的初创公司进行了投资,包括ADAS和自动驾驶、视觉检测和边缘计算。在分析这些商业机会时,算法和硬件之间的相互作用是其投资决策中的一个关键考虑因素。

公众对AI硬件的关注

基于深度学习的AI在其拐点之后出现了对图形处理单元(GPU)的强劲需求。由于具有很强的并行计算能力,GPU对于深度学习算法所采用的逻辑恰好具有惊人的运行效率。GPU的主要供应商英伟达(NVIDIA)从竞争中脱颖而出,其股价从2013年到2018年上涨了20倍。

当然,英伟达的竞争对手正在努力追赶。高通Arm和其他公司将注意力集中在了AI芯片的设计上,而英特尔则收购了AI芯片初创公司Nervana Systems。谷歌、Facebook、苹果和亚马逊都已纷纷为各自的数据中心及其他项目开发他们的AI处理器。也有一些初创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看到机会加入进来,试图搭建设计得更好的图灵机系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数芯片开发的目标是赶上或超过英伟达。然而,据我们所知,大多数处理器都是针对今天的AI算法而设计的。

尽管需要巨大的前期开发成本,各种AI芯片设计的发展仍会进入寒武纪式的大爆炸。人工智能的前景是如此诱人,行业玩家愿意投入巨资开发硬件,以便与基础数学算法相匹配。但是,现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?

考虑到算法演变的速度和幅度变化是如此之快,许多替代AI芯片设计可能还没有正式投放市场就已经过时了。我们推测明天的AI算法可能需要不同的计算架构、内存资源,以及数据传输能力等。

尽管深度学习框架已经出现很长时间了,但直到最近才真正付诸实践,这要感谢摩尔定律所预测的硬件的快速发展。最初的数学不一定是为工程实践而设计的,因为早期的研究人员无法想象今天用1000美元就可以得到那么大的算力。现今的许多AI实现都是使用最初的数学模型,朝着更加准确、简单且更深层的方向发展,或者添加更多数据。这样做很快就会消耗掉GPU的计算容量。只有一小部分研究人员专注于改进基础数学和算法框架的难题。

还是有很多机会认识并利用这些创新的的数学进步的。我们了解到的方法包括精简冗余的数学运算而减少计算时间,将卷积压缩到较小的矩阵而减少内存需求,或者对加权矩阵进行二值化而简化数学运算。这些是进入算法进步的第一次尝试,其发展之快已经开始超过硬件的进步。

例如,从加州大学伯克利分校的研究项目剥离出来的DeepScale 就是将用于高级驾驶辅助系统(ADAS)和自动驾驶的AI“挤压”到汽车级芯片中(而不是GPU)。与仅使用算法的物体检测模型相比,他们的神经网络模型的运算速度要快30倍,同时在能耗和内存占用方面也有很大的提升,足以在现有硬件上运行。

另一个算法跨越式进步的例子来自艾伦人工智能研究所(Allen Institute of Artificial Intelligence)的研究人员。他们使用一种采用神经网络二值化的新颖数学方法,已经证明可以大幅提高速度,同时降低功耗和内存要求。这样就可能让最先进的深度学习模型部署在售价仅5美元的Raspberry Pi上。其研究人员最近将这种算法和处理工具独立出来成立专门的公司XNOR.ai,以便在边缘设备上部署AI,并进一步推动AI算法的进步。

有趣的是,新的二值化框架从根本上改变了最佳处理逻辑的类型。它们不再需要解决神经网络所需的32位浮点卷积,而只需要进行位计数操作——将功率平衡从GPU移开。此外,如果这些算法与专门设计的芯片相匹配,则可以进一步降低计算资源需求。

算法的进步不会停止。有时需要数年甚至数十年才能发明(或者可能发现)新的算法。这些突破无法以与摩尔定律推动的计算进步所相同的方式来预测。它们本质上是非确定性的。但是当它们发生时,整个格局的变化往往会使现有的主导者变成脆弱的猎物。

黑天鹅

Nassim Nicolas Taleb在他的畅销书《The Black Swan: The Impact of the Highly Improbable(黑天鹅:如何应对不可预知的未来)》中阐明说,最佳决策在很大程度上取决于分析过程是不可预测还是不确定。换句话说,我们是在处理“已知的未知数”还是“未知的未知数”?算法创新从根本上是未知的未知数。投注到这些发展上需要持续关注,因为它们具有不确定的发现时间和不可预测的影响。

然而,在过去的二十年中,在应用数学领域,尤其是人工智能方面,出现了几个颠覆性的算法发现。它们与GPU一起,将AI从一个不起眼的研究领域带到了商业化的最前沿。

我们认识到这些计算领域“黑天鹅”的潜力,它们将使现有芯片架构成为过去,或者一夜之间重新洗牌。对我们来说,这些黑天鹅可能会带来更为安全的自动驾驶汽车,以及许多其他未知的应用。

- Alexei Andreev博士是Autotech Ventures投资公司的执行董事,Jeff Peters博士是公司首席研究员,Autotech Ventures是一家专注于交通相关技术的风险投资公司。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 摩尔定律
    +关注

    关注

    4

    文章

    637

    浏览量

    79297
  • AI算法
    +关注

    关注

    0

    文章

    252

    浏览量

    12364

原文标题:AI算法的进步超越了摩尔定律!

文章出处:【微信号:eetop-1,微信公众号:EETOP】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    击碎摩尔定律!英伟达和AMD将一年一款新品,均提及HBM和先进封装

    增加一倍,性能也将提升一倍。过去很长一段时间,摩尔定律被认为是全球半导体产业进步的基石。如今,这一定律已经逐渐失效,延续摩尔超越摩尔路线纷
    的头像 发表于 06-04 00:06 4175次阅读
    击碎<b class='flag-5'>摩尔定律</b>!英伟达和AMD将一年一款新品,均提及HBM和先进封装

    AI时代的存储墙,哪种存算方案才能打破?

    回顾计算行业几十年的历史,芯片算力提升在几年前,还在遵循摩尔定律。可随着如今摩尔定律显著放缓,算力发展已经陷入瓶颈。而且祸不单行,陷入同样困境的还有存储。从新标准推进的角度来看,存储市场依然在朝
    的头像 发表于 04-21 01:36 3687次阅读
    <b class='flag-5'>AI</b>时代的存储墙,哪种存算方案才能打破?

    混合键合中的铜连接:或成摩尔定律救星

    混合键合3D芯片技术将拯救摩尔定律。 为了继续缩小电路尺寸,芯片制造商正在争夺每一纳米的空间。但在未来5年里,一项涉及几百乃至几千纳米的更大尺度的技术可能同样重要。 这项技术被称为“混合键合”,可以
    的头像 发表于 02-09 09:21 173次阅读
    混合键合中的铜连接:或成<b class='flag-5'>摩尔定律</b>救星

    石墨烯互连技术:延续摩尔定律的新希望

    半导体行业长期秉持的摩尔定律(该定律规定芯片上的晶体管密度大约每两年应翻一番)越来越难以维持。缩小晶体管及其间互连的能力正遭遇一些基本的物理限制。特别是,当铜互连按比例缩小时,其电阻率急剧上升,这会
    的头像 发表于 01-09 11:34 263次阅读

    摩尔定律是什么 影响了我们哪些方面

    摩尔定律是由英特尔公司创始人戈登·摩尔提出的,它揭示了集成电路上可容纳的晶体管数量大约每18-24个月增加一倍的趋势。该定律不仅推动了计算机硬件的快速发展,也对多个领域产生了深远影响。
    的头像 发表于 01-07 18:31 493次阅读

    SiP封装产品锡膏植球工艺

    芯片的发展也从一味的追求功耗下降及性能提升(摩尔定律)转向更加务实的满足市场的需求(超越摩尔定律)。为了让芯片效能最大化、封装后的体积最小化、定制化,SiP封装技术已成为半导体产业最重要的技术之一
    的头像 发表于 12-23 11:57 369次阅读
    SiP封装产品锡膏植球工艺

    Cadence如何应对AI芯片设计挑战

    生成式 AI 引领智能革命成为产业升级的核心动力并点燃了“百模大战”。多样化的大模型应用激增对高性能AI 芯片的需求,促使行业在摩尔定律放缓的背景下,加速推进 2.5D、3D 及 3.5D 异构集成技术。与此同时,
    的头像 发表于 12-14 15:27 864次阅读

    摩尔定律时代,提升集成芯片系统化能力的有效途径有哪些?

    电子发烧友网报道(文/吴子鹏)当前,终端市场需求呈现多元化、智能化的发展趋势,芯片制造则已经进入后摩尔定律时代,这就导致先进的工艺制程虽仍然是芯片性能提升的重要手段,但效果已经不如从前,先进封装
    的头像 发表于 12-03 00:13 2534次阅读

    高算力AI芯片主张“超越摩尔”,Chiplet与先进封装技术迎百家争鸣时代

    电子发烧友网报道(文/吴子鹏)英特尔CEO基辛格此前表示,摩尔定律并没有失效,只是变慢了,节奏周期正在放缓至三年。当然,摩尔定律不仅是周期从18个月变为了3年,且开发先进制程成本高昂,经济效益也变得
    的头像 发表于 09-04 01:16 3528次阅读
    高算力<b class='flag-5'>AI</b>芯片主张“<b class='flag-5'>超越</b><b class='flag-5'>摩尔</b>”,Chiplet与先进封装技术迎百家争鸣时代

    “自我实现的预言”摩尔定律,如何继续引领创新

    59年前,1965年4月19日,英特尔公司联合创始人戈登·摩尔(Gordon Moore)应邀在《电子》杂志上发表了一篇四页短文,提出了我们今天熟知的摩尔定律(Moore’s Law)。 就像你为
    的头像 发表于 07-05 15:02 344次阅读

    英特尔CEO:AI时代英特尔动力不减

    英特尔CEO帕特·基辛格坚信,在AI技术的飞速发展之下,英特尔的处理器仍能保持其核心地位。基辛格公开表示,摩尔定律仍然有效,而英特尔在处理器和芯片技术上的创新能力将持续驱动公司前进。
    的头像 发表于 06-06 10:04 508次阅读

    封装技术会成为摩尔定律的未来吗?

    你可听说过摩尔定律?在半导体这一领域,摩尔定律几乎成了预测未来的神话。这条定律,最早是由英特尔联合创始人戈登·摩尔于1965年提出,简单地说就是这样的:集成电路上可容纳的晶体管数量大约
    的头像 发表于 04-19 13:55 429次阅读
    封装技术会成为<b class='flag-5'>摩尔定律</b>的未来吗?

    电源解决方案跟摩尔定律有何关系?它如何跟上摩尔定律的步伐?

    根据电源解决方案或与功耗、能源效率或整体能源或碳足迹相关的分析来对任何系统(或系统集合)进行分析时,将源与负载分开出来能帮助整个过程。
    的头像 发表于 03-28 13:50 928次阅读
    电源解决方案跟<b class='flag-5'>摩尔定律</b>有何关系?它如何跟上<b class='flag-5'>摩尔定律</b>的步伐?

    AI在半导体设计和制造中的作用

    半导体产业正在经历一场由数字化转型引领的结构性变革,人工智能(AI)技术融入产品研发过程进一步加速了这一转型。与此同时,摩尔定律从晶体管微缩向系统级微缩的演进以及新冠疫情引发的全球电子供应链重塑,也为半导体产业转型提供了新的机遇
    的头像 发表于 02-23 09:59 1185次阅读