0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Lightmatter推出Mars芯片 用光执行神经网络计算

IEEE电气电子工程师 来源:IEEE电气电子工程师学会 作者:IEEE电气电子工程师 2020-09-12 11:55 次阅读

多年来,电气工程师和计算机科学家一直在努力寻找如何更快,更有效地执行神经网络计算的方法。实际上,设计适合神经网络计算的加速器最近已经成为活跃的温床,最常见的解决方案是GPU,它与各种特定于应用的IC(例如Google的 Tensor Processing Unit )和现场可编程门阵列展开竞争。

现在,另一位竞争者刚刚进入了这个竞技场,它基于一种完全不同的范例:光计算。麻省理工学院的一个名为 Lightmatter的分支机构在近日的Hot Chips线上会议上描述了其“ Mars ”设备。Lightmatter不是唯一采用这种新颖策略的公司,但它似乎领先于竞争对手。

不过,我(作者)把这种方法称为“新颖”可能会有点误导大家。事实上,光学计算有着悠久的历史。早在20世纪50年代末,它就被用于处理第一批合成孔径雷达(synthetic-aperture radar,SAR)图像,这些图像是在数字计算机无法完成必要的数学计算任务的时候建造的。这解释了为什么工程师要制造各种各样的模拟计算机,这些模拟计算机基于spinning disks,sloshing fluids,continuous amounts of electric charge甚至光线。

在过去的几十年中,研究人员不时地重新提出了用光来计算事物的想法,但这一概念并没有被证明对任何事物都有广泛的实用性。当涉及到神经网络计算时,Lightmatter正在尝试改变这一现状。Mars装置的核心是一个芯片,该芯片中包括一个模拟光学处理器,专门设计用于执行神经网络基本的数学运算。

这里的关键操作是矩阵乘法,该乘法包括将数字对相乘并相加结果。可以构成光的加法并不奇怪,因为当两束光束结合时,构成光的电磁波会叠加在一起。

更棘手的问题是如何用光来做乘法运算。让我在这里概述一下,当然,如果想了解更全面的描述,我建议阅读Lightmatter在其博客上提供的关于其技术的相关文章。

Lightmatter光学处理器的基本单位是所谓的 Mach-Zehnder干涉仪的装置 。Ludwig Mach和Ludwig Zehnder在19世纪90年代发明了这种设备,所以我们这里所说的并不是完全现代的东西。新的想法是将许多Mach-Zehnder干涉仪缩小到纳米级尺寸,并将它们集成到一个芯片上,以加快神经网络计算的速度。

这种干涉仪将入射光分成两束,然后经过两条不同的路径,将产生的两个光束重新组合。如果两条路径相同,那么输出看起来就像输入。但是,如果两个光束中的一个必须比另一个光束传播得更远或速度减慢,则它会与另一个光束异相。在极端情况下,它可能是完全180度(半波长)的相位不一致,在这种情况下,当重新组合时,两束光束会产生破坏性的干涉,并且输出完全为零。

一般来说,光在输出端的场振幅将是输入端的光振幅乘以在其两臂行进的光之间相位差的一半的余弦。如果你能用一些方便的方法控制相位差,你就有了一个可以进行乘法运算的装置。

Lightmatter的Mach-Zehnder干涉仪是通过在纳米光子芯片中为光形成适当的小波导而构建的。通过使用折射率取决于其所受电场的材料,可以简单地通过施加电压来产生电场来控制分裂光束的相对相位,就像给电容器充电一样。在光物质的芯片中,这是通过在干涉仪的一个臂上施加一个极性的电场,在另一个臂上施加相反极性的电场来实现的。

就像电容器一样,电流仅在电荷积累时流动。一旦有足够的电荷来提供所需强度的电场,就不再有电流流动,因此就不再需要能量。这很重要,因为这意味着一旦你设置了要应用的乘数的值,并且随后该值(神经网络计算中的“权重”)没有变化,则不再需要能量。通过芯片的光流同样不消耗能量。所以这里有一个非常有效的乘法系统,一个以光速运行的系统。

各种模拟计算机的缺点之一是它们可以执行的计算精度有限。这也是Lightmatter芯片的一个缺点——你不能像使用数字电路那样精确地指定数字。幸运的是,神经网络一旦经过训练就可以进行“推理”计算,不需要太多的分辨率。然而,神经网络是可以训练的。“训练需要更高的动态范围;因此,我们专注于推理。”Lightmatter首席执行官兼公司创始人之一 Nicholas Harris表示。“我们有一个8位等效系统。”

你或许会想,Lightmatter革命性的用于用光执行神经网络计算的新设备在现阶段只是一个实验室原型,但这是错误的想法。该公司在生产一种实用的产品方面已经走了相当长的路,它可以被添加到任何一个带有PCI-Express插槽的服务器主板上,并立即编程开始进行神经网络推理计算。Harris说:“我们非常专注于使它看起来不像外星人的技术。” 他解释说,“Lightmatter不仅内置了这种硬件,还创建了必要的软件工具链,以支持将其与标准神经网络框架(TensorFlow和PyTorch)一起使用。

Lightmatter预计将于2021年底投入生产,该公司的Mars设备也将投入商业生产。Harris说,该公司的芯片虽然很精密复杂,但产量很高,这在很大程度上是因为所涉及的纳米光子组件与切割中所发现的相比并没有那么小边缘的电子设备。因此,保持高收益率和低价格的Mars设备应该不难与GPU竞争。

谁知道呢,也许其他公司,例如 Lightintelligence , LightOn , Optalysis 或 Fathom Computing ,届时将推出他们自己的基于光的神经网络加速器卡。不过,Harris并不为此担心 -- 我们遥遥领先。

原文标题:Lightmatter研发Mars芯片 能以光速执行神经网络计算

文章出处:【微信公众号:IEEE电气电子工程师学会】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    453

    文章

    50301

    浏览量

    421411
  • SAR
    SAR
    +关注

    关注

    3

    文章

    412

    浏览量

    45876
  • 神经网络
    +关注

    关注

    42

    文章

    4759

    浏览量

    100474

原文标题:Lightmatter研发Mars芯片 能以光速执行神经网络计算

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    卷积神经网络与传统神经网络的比较

    神经网络,也称为全连接神经网络(Fully Connected Neural Networks,FCNs),其特点是每一层的每个神经元都与下一层的所有神经元相连。这种结构简单直观,但在
    的头像 发表于 11-15 14:53 137次阅读

    BP神经网络和人工神经网络的区别

    BP神经网络和人工神经网络(Artificial Neural Networks,简称ANNs)之间的关系与区别,是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及未来发展等多个方面,详细阐述BP
    的头像 发表于 07-10 15:20 757次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络,能够处理序列数据,具有记忆功能。以下是关于循环
    的头像 发表于 07-05 09:52 479次阅读

    人工神经网络模型的分类有哪些

    人工神经网络(Artificial Neural Networks, ANNs)是一种模拟人脑神经元网络计算模型,它在许多领域,如图像识别、语音识别、自然语言处理、预测分析等有着广泛的应用。本文将
    的头像 发表于 07-05 09:13 893次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称RNN)实际上是同一个概念,只是不同的翻译方式
    的头像 发表于 07-04 14:54 613次阅读

    循环神经网络和卷积神经网络的区别

    循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域中两种非常重要的神经网络
    的头像 发表于 07-04 14:24 1061次阅读

    深度神经网络与基本神经网络的区别

    在探讨深度神经网络(Deep Neural Networks, DNNs)与基本神经网络(通常指传统神经网络或前向神经网络)的区别时,我们需要从多个维度进行深入分析。这些维度包括
    的头像 发表于 07-04 13:20 619次阅读

    人工智能神经网络芯片的介绍

    : 概述 人工智能神经网络芯片是一种新型的处理器,它们基于神经网络计算模型,通过模拟人脑神经元的连接和交互方式,实现对数据的高效处理。与传
    的头像 发表于 07-04 09:33 561次阅读

    神经网络芯片与传统芯片的区别和联系

    引言 随着人工智能技术的快速发展,深度学习算法在图像识别、自然语言处理、语音识别等领域取得了显著的成果。然而,深度学习算法对计算资源的需求非常高,传统的计算芯片已经无法满足其需求。因此,神经网
    的头像 发表于 07-04 09:31 680次阅读

    神经网络芯片和普通芯片区别

    处理神经网络算法的芯片。它通过模拟人脑神经元的工作方式,实现了对大量数据的并行处理和快速学习。 普通芯片,又称通用芯片,是指可以
    的头像 发表于 07-04 09:30 840次阅读

    反向传播神经网络和bp神经网络的区别

    反向传播神经网络(Backpropagation Neural Network,简称BP神经网络)是一种多层前馈神经网络,它通过反向传播算法来调整网络中的权重和偏置,以达到最小化误差的
    的头像 发表于 07-03 11:00 637次阅读

    如何使用神经网络进行建模和预测

    神经网络是一种强大的机器学习技术,可以用于建模和预测变量之间的关系。 神经网络的基本概念 神经网络是一种受人脑启发的计算模型,由大量的节点(神经
    的头像 发表于 07-03 10:23 642次阅读

    bp神经网络是深度神经网络

    Network)有相似之处,但它们之间还是存在一些关键的区别。 一、引言 神经网络是一种模拟人脑神经元结构的计算模型,它由大量的神经元(或称为节点)组成,这些
    的头像 发表于 07-03 10:14 647次阅读

    bp神经网络和卷积神经网络区别是什么

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种不同类型的人工神经网络,它们在
    的头像 发表于 07-03 10:12 941次阅读

    卷积神经网络和bp神经网络的区别

    不同的神经网络模型,它们在结构、原理、应用等方面都存在一定的差异。本文将从多个方面对这两种神经网络进行详细的比较和分析。 引言 神经网络是一种模拟人脑神经元连接和信息传递的
    的头像 发表于 07-02 14:24 2647次阅读