0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Facebook确定自研AI芯片,致力于神经网络的新设计

DPVg_AI_era 来源:lq 2019-02-20 08:58 次阅读

Yann LeCun今天在采访中确认Facebook正在自研AI芯片,追求更高能效,以支持其AI应用。Facebook也在寻找新的神经网络架构,大力投入于“自我监督”系统,致力于赋予机器“常识”。

人工智能研究的进展将与硬件创新密切相关。

今天,在2019国际固态电路研讨会(ISSCC)的主旨演讲中,Facebook首席AI科学家Yann LeCun阐述了深度学习研究的进展将如何影响未来的硬件架构。他的论文题为《深度学习硬件:过去、现在和未来》(Deep Learning Hardware: Past, Present, and Future)。

并且,LeCun公开确认Facebook正在自研AI芯片,这是Facebook首次发表官方评论,证实了其在芯片领域的雄心。

LeCun表示,对DL专用硬件的需求会不断增加。动态网络、关联存储器结构以及稀疏激活等新的体系结构概念将影响未来需求的硬件体系结构类型。

“这可能要求我们重新发明电路中运算的方式,”LeCun说。今天的计算机芯片通常没有针对深度学习进行优化,即使使用不太精确的计算,深度学习也可以有效。“因此,研究人员正在尝试设计一种新的方式来更有效地表示数字。”

推进AI领域的一个关键因素,尤其是在深度学习方面,将是确保有能够支持它的硬件。

这是LeCun演讲中的一个重要议题,他在会上讨论了一份新的研究报告,概述了未来5到10年芯片厂商和研究人员需要关注的关键趋势。

他说:“无论他们建造的是什么,都将影响未来十年AI的发展。”

在会议开始之前,LeCun与Business Insider就AI领域的发展方向、它对我们日常生活中使用的设备的意义、人工智能的现状以及未来面临的最大挑战进行了讨论。以下是采访的要点。

为了改善AI性能,机器必须在能耗方面做得更好

想象有这样一个真空吸尘器,它不仅聪明到可以为你的起居室绘制地图,以便不会重复清洁同一个地方,它还能在撞到障碍物之前检测到它们。

或者想象有这样一台智能割草机,它可以在修剪草坪时智能地避开花坛和树枝。

LeCun说,这样的小设备要想实现、并流行起来,除了Facebook、Alphabet等正在投资的技术,如增强现实和自动驾驶技术,还需要有更节能的硬件。

更节能的硬件不仅对这类技术的蓬勃发展是必要的,而且对改善Facebook等公司实时识别照片和视频内容的方式也是必要的。LeCun说,要理解视频中发生的事情,将活动转录成文本,然后将文本翻译成另一种语言,以便世界各地的人们能够实时地理解,需要“巨大”的计算能力。

Facebook 希望使用AI来帮助审核内容

短期内AI将继续在智能手机中得到改进

LeCun认为,未来3年内,大多数智能手机将通过专用处理器将AI直接内置到硬件中,这将使实时语音翻译等功能在手机上更为普遍。

对于那些近年来一直密切关注智能手机行业的人来说,这可能并不意外,因为苹果、谷歌、华为等公司已经将AI更紧密地整合到自己的移动设备中, LeCun 表示,这将使“各种新应用”成为可能。

赋予机器“常识”将是未来10年AI研究的一大重点

虽然人类通常通过一般观察(general observations)来了解世界,但计算机通常被训练来执行特定的任务。举例来说,如果你想设计一种能够检测照片中的猫的算法,你必须帮助它了解猫的样子,方法是提供给它一个巨大的数据集,其中可能包括数千张标记有猫的照片。

但LeCun认为,未来十年,推动AI前进的圣杯在于完善一种称为自监督学习(self-supervised learning)的技术。换句话说,使机器能够通过数据了解世界是如何运转的,而不仅仅是学习如何解决一个特定的问题——比如识别猫。

LeCun表示:“如果我们真的训练(算法)做到这一点,那么机器捕捉上下文并做出更复杂决策的能力将会取得重大进展。”他补充说,这样的技术目前只对文本有效,对视频和图像仍然无效。

这样的突破可能是Facebook等公司需要的,用以改进其平台上的内容审核,尽管现在还不知道这样的解决方案何时会出现。LeCun说:“这不是一蹴而就的事情。”

Facebook加入AI芯片竞赛,自研ASIC

Facebook认识到,要想在AI领域实现下一个突破,它需要大大提高计算速度。目前,Facebook已经加入与亚马逊和谷歌的竞争,开发自己的AI芯片。

LeCun 在接受英国 《金融时报》 采访时表示,Facebook 希望与多家芯片公司合作开发新的芯片设计——最近宣布了与英特尔合作开展项目——但他也表示,Facebook正在开发自己的定制 “ASIC” 芯片,以支持其AI程序。

LeCun说:“众所周知,Facebook会在需要时构建自己的硬件——例如,构建自己的ASIC。遇到任何障碍,我们都将全力以赴。”这是Facebook首次发表官方评论,证实了其在芯片领域的雄心。

谈到公司在芯片方面取得突破的机会时,LeCun补充说:“底层肯定有很大的空间。”

Facebook自研芯片的决定,对英伟达也构成了又一个长期挑战。英伟达是目前用于数据中心AI的图形处理器的主要生产商。由于大型数据中心客户离开,英伟达正面临短期困境。

现在,更大的需求是更专业的AI芯片,其设计旨在以闪电般的速度、更低的功耗执行单一任务,而不是过去的通用处理器。这种需求不仅吸引了谷歌、亚马逊、苹果等公司的投资浪潮,也吸引了几十家初创企业。

对新的芯片设计和硬件架构的关注表明,需要在基础计算方面取得根本性突破,以防止今天的AI成为一个死胡同。

LeCun 表示,纵观AI的历史,在研究人员提出让该领域得到突破的洞见之前,它往往已经在硬件方面取得了很大的进步。

“在相当长的一段时间里,人们没有想到相当明显的想法,”他说,这阻碍了人工智能的发展。其中就包括反向传播,这是当今深度学习系统的一项核心技术,算法可以通过反向传播来减少错误。 LeCun 表示,这显然是对早期研究的延伸,但直到上世纪90年代计算机硬件发展后,这一技术才得到广泛应用。

Facebook过去也曾设计过其他类型的硬件,例如,在将数据中心设备开源供他人使用之前,为这些设备提出一些新想法。 LeCun 表示,同样的方法也将适用于芯片设计。他补充说:“我们的目标是将其送走。”

重新设计神经网络,模仿更多人类智能

Facebook还将研究重点放在神经网络的新设计上。神经网络是深度学习系统的核心,是图像和语言识别等领域最近进展的基础。

30年前,LeCun在 AT&T 贝尔实验室研究AI芯片时,构建了第一个“卷积”神经网络,这是目前深度学习系统常用的神经网络。

LeCun 表示,Facebook正致力于“一切可以降低功耗(并)改善延迟的事情”,以加快处理速度。但他补充说,实时监控视频带来的巨大需求,将需要新的神经网络设计。

Facebook也在寻找新的神经网络架构,以模仿人类智能的更多方面,并使系统更自然地进行交互。

LeCun说,Facebook正大力投入于“自我监督”系统,这种系统能够对周围的世界做出更广泛的预测,而不仅仅是得出直接与它们所接受的数据相关的结论。这可以使它们对世界产生同样广泛的理解,从而使人类能够应对新的情况。

“就新用途而言,Facebook感兴趣的一件事是开发智能数字助理——具有一定程度的常识的智能助理,”他说。“它们拥有背景知识,你可以和它们就任何话题进行讨论。”

向计算机灌输常识的想法还处于非常早期的阶段,LeCun表示,这种更深层次的智能“不会很快发生”。

他说:“能够在不确定性下进行预测是当今的主要挑战之一。”

Facebook正在参与一项更广泛的研究努力,旨在增强当今的神经网络。在ISSCC研讨会上,LeCun概述了这项工作。

其中,包括根据通过它们的数据调整其设计的网络,使其在面对现实世界的变化时更加灵活。另一种研究方法是研究只“激活”解决特定问题所需神经元的网络,这种方法与人类大脑的运作方式类似,可以大大降低功耗。

研究工作还包括将计算机存储添加到神经网络中,这样当与人“交谈”时,神经网络就能记住更多的信息,并形成更强的语境感。

神经网络的进步可能会对驱动它们的芯片的设计产生连锁反应,这可能会为制造当今领先AI芯片的公司带来更多竞争。

LeCun 表示,谷歌的TPU——最强大的机器学习数据中心芯片——“仍相当通用”。但“它们做出的假设不一定适用于未来的神经网络架构。”

另一方面,芯片设计的灵活性也有其他缺点。例如,微软计划在其所有数据中心服务器上安装一种不同类型的芯片,即FPGA(现场可编程门阵列)。这些芯片在使用方式上更加灵活,但在处理大量数据方面效率较低,这使它们与专为特定任务而优化的芯片相比处于劣势。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100736
  • Facebook
    +关注

    关注

    3

    文章

    1429

    浏览量

    54730
  • AI芯片
    +关注

    关注

    17

    文章

    1883

    浏览量

    35000

原文标题:LeCun:赋予机器 “常识” ,重新设计神经网络将是AI 研究重点

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    关于卷积神经网络,这些概念你厘清了么~

    可以不局限于已知的训练图像开展识别。该神经网络需要映射到MCU中。 5、AI的模式识别内部到底是什么? AI神经元网络类似人脑的生物
    发表于 10-24 13:56

    pytorch中有神经网络模型吗

    处理、语音识别等领域取得了显著的成果。PyTorch是一个开源的深度学习框架,由FacebookAI研究团队开发。它以其易用性、灵活性和高效性而受到广泛欢迎。在PyTorch中,有许多预训练的神经网络模型可供选择,这些模型可以
    的头像 发表于 07-11 09:59 696次阅读

    BP神经网络和卷积神经网络的关系

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种在人工智能和机器学习领域
    的头像 发表于 07-10 15:24 1460次阅读

    BP神经网络和人工神经网络的区别

    BP神经网络和人工神经网络(Artificial Neural Networks,简称ANNs)之间的关系与区别,是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及未来发展等多个方面,详细阐述BP
    的头像 发表于 07-10 15:20 1028次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络,能够处理序列数据,具有记忆功能。以下是关于循环
    的头像 发表于 07-05 09:52 563次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称RNN)实际上是同一个概念,只是不同的翻译方式
    的头像 发表于 07-04 14:54 743次阅读

    循环神经网络和卷积神经网络的区别

    循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域中两种非常重要的神经网络
    的头像 发表于 07-04 14:24 1277次阅读

    深度神经网络与基本神经网络的区别

    在探讨深度神经网络(Deep Neural Networks, DNNs)与基本神经网络(通常指传统神经网络或前向神经网络)的区别时,我们需要从多个维度进行深入分析。这些维度包括
    的头像 发表于 07-04 13:20 847次阅读

    人工智能神经网络芯片的介绍

    人工智能神经网络芯片是一类专门为深度学习和神经网络算法设计的处理器。它们具有高性能、低功耗、可扩展等特点,广泛应用于图像识别、语音识别、自然语言处理等领域。以下是关于人工智能神经网络
    的头像 发表于 07-04 09:33 751次阅读

    神经网络芯片与传统芯片的区别和联系

    引言 随着人工智能技术的快速发展,深度学习算法在图像识别、自然语言处理、语音识别等领域取得了显著的成果。然而,深度学习算法对计算资源的需求非常高,传统的计算芯片已经无法满足其需求。因此,神经网络芯片
    的头像 发表于 07-04 09:31 921次阅读

    神经网络芯片和普通芯片区别

    神经网络芯片和普通芯片的区别是一个复杂而深入的话题,涉及到计算机科学、电子工程、人工智能等多个领域。 定义 神经网络芯片(Neural Ne
    的头像 发表于 07-04 09:30 1141次阅读

    反向传播神经网络和bp神经网络的区别

    反向传播神经网络(Backpropagation Neural Network,简称BP神经网络)是一种多层前馈神经网络,它通过反向传播算法来调整网络中的权重和偏置,以达到最小化误差的
    的头像 发表于 07-03 11:00 793次阅读

    bp神经网络是深度神经网络

    BP神经网络(Backpropagation Neural Network)是一种常见的前馈神经网络,它使用反向传播算法来训练网络。虽然BP神经网络在某些方面与深度
    的头像 发表于 07-03 10:14 832次阅读

    bp神经网络和卷积神经网络区别是什么

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种不同类型的人工神经网络,它们在
    的头像 发表于 07-03 10:12 1167次阅读

    卷积神经网络和bp神经网络的区别

    卷积神经网络(Convolutional Neural Networks,简称CNN)和BP神经网络(Backpropagation Neural Networks,简称BPNN)是两种
    的头像 发表于 07-02 14:24 3724次阅读