0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度光学和人工智能推理应用,实现高速高带宽低功耗AI计算

工程师邓生 来源:机器之心 作者:Gordon Wetzstein等 2020-12-10 14:43 次阅读

相比于电子计算,光计算具有高速、高带宽、低功耗的优势,但目前光计算还不够成熟,只在某些特定领域得到了非常有限的应用。近日,Nature 上一篇 Perspective 文章剖析了深度光学和深度光子学的人工智能推理应用,展示了该领域(尤其是光 - 电混合系统)的发展潜力。

为了高速且低功耗地执行各种应用中的人工智能任务,我们需要加速器。光计算系统也许能够满足这些领域特定的需求,但即便已经历半个世纪的研究,通用型光计算系统仍还未发展成一项成熟的实用技术。但是,人工智能推理(尤其是用于视觉计算应用的推理)也许能为基于光学和光子学系统的推理提供机会。

本文将回顾用于人工智能的光学计算的近期研究成果并探讨其潜力和挑战。

计算系统的能力正与它们试图理解的飞速增长的视觉数据进行军备竞赛。在自动驾驶机器人视觉、智能家居、遥感、显微技术、监控、国防和物联网等多种应用中,计算成像系统都会记录和处理前所未有的巨量数据。对这些数据的解读不可能由人类完成,而是要使用基于人工智能(AI)构建的算法

在这些应用之中,深度神经网络(DNN)正快速发展成为视觉数据处理的标准算法方法。这主要是因为 DNN 在许多基准上都取得了当前最佳的结果,而且往往超出其它方法一大截。深度学习近来的这些突破性进展主要得益于现代图形处理单元(GPU)的强大处理能力和并行计算能力以及大规模视觉数据集的可用性,这些进展让 DNN 可以高效地使用监督式机器学习策略执行训练。

但是,高端 GPU 和其它运行日趋复杂的神经网络的加速器的功耗和带宽需求非常高,它们需要大量处理时间而且具有尺寸庞大的外形。这些限制让人难以在边缘设备中使用 DNN,比如相机、自动化载具、机器人或物联网外围设备。以自动汽车中的视觉系统为例,其必须要能使用有限的计算资源实时地做出稳定可靠的决策。当汽车在高速行驶时,瞬间的决策关乎人的生死。事实上,如果计算成像系统能做到更精简,那么几乎所有边缘设备都能从中受益,这能带来更低的延迟以及尺寸、重量和功耗方面的改进。

DNN 一般都包含训练和推理两个阶段,这两个阶段的计算需求差异很大。在训练阶段,会向 DNN 输入大量有标注的样本,然后针对某个特定任务,使用迭代方法优化该 DNN 的参数。训练完成后,可使用该 DNN 来执行推理:以前向通过的方式向该网络输入一个数据(比如一张图像),经过该网络处理后计算得到所需结果。虽然某些应用也会使用 GPU 来执行推理,但对许多边缘设备而言,由于前述原因,使用 GPU 并不现实。

尽管电子 AI 加速器很灵活,但光神经网络(ONN)和光子回路可能为该应用与其它机器学习应用带来一次范式转换。光计算系统有望实现大规模的并行计算,同时设备尺寸还更小,而且在某些实现中的功耗非常低。事实上,在计算系统中使用光来实现通信的光互连(optical interconnect)技术已经在现如今的数据中心中得到了广泛应用,而且在计算系统更深处越来越多地使用光互连可能是持续扩展的关键。

不同于电互连技术,随着光学、光电和电子设备的更深度整合,光互连有望为通信的带宽密度和单位比特的能量消耗带来几个数量级的提升和改善。这种改进过的互连技术能实现电 - 光混合 DNN,而且这种低功耗、高并行的集成技术还可用作模拟光处理器的部件。

尽管光计算机潜力巨大而且也已历经约半个世纪的研究,但通用型光计算仍还不是一项成熟的实用技术。但是,推理任务(尤其是用于视觉计算应用的推理任务)已可使用全光学或光 - 电混合系统来很好地实现。举个例子,线性光学元件可以近乎「免费」地计算卷积、傅立叶变换、随机投影和许多其它运算,因为这些运算可作为光与物质交互或光传播的副产物。这些运算是 DNN 架构的基本构建模块,驱动着大多数现代视觉计算算法。我们有望以光速执行这些运算,同时功耗需求很低乃至没有。本文认为这具有变革性的潜力。

回顾光计算的历史

下图 1 展示了人工智能及相关光学和光子学实现的时间轴。其中展示了一些经过挑选的里程碑和论文,并重点关注了近期进展。

eb1f7d1017a3412d9d32c6f3570c06cb.png

以具体年份计则如下所示:

1949 年,Donald O. Hebb 发表《行为的组织(The Organization of Behavior)》一书

1957 年,Frank Rosenblatt 提出感知器

1960 年,Widrow & Hoff 提出自适应开关电路

1964 年,Lugt 提出光学相关性(Optical correlation)

1982 年,John Hopfield 提出 Hopfield 网络;Kohonen 提出自组织特征图

1984 年,Goodman et al. 发表论文《用于超大规模集成电路系统的光互连(Optical interconnections for VLSI systems)》

1985 年,Farhat et al. 发表论文《Hopfield 模型的光学实现(Optical implementation of the Hopfield model)》

1986 年,Rumelhart et al. 提出使用反向传播的多层感知器

2006 年,Hinton & Salakhutdinov 提出深度自编码器

2012 年,Krizhevksy et al. 提出深度 CNN

2017 年,Shen et al. 提出使用纳米光子电路的深度学习;Tait et al. 提出神经形态光子网络

2018 年,Chang et al. 提出光 CNN;Lin et al. 提出全光衍射神经网络

2019 年,Feldman et al. 提出高带宽光子神经突触网络

用于人工智能的光子回路

现代 DNN 架构是级联的线性层后面跟着非线性激活函数,而且这会重复很多次。最一般形式的线性层是全连接层。在这种情况下,每个输出神经元都是所有输入神经元的加权和。从数学上看,这可以表示成一种矩阵 - 向量乘法,从而可以有效地使用光学技术实现。也就是说我们可以使用光子回路来执行人工智能的相关计算。不过相关技术还面临着可编程性等有待解决的问题。

使用自由空间、透镜和复杂介质进行计算

还有一种可替代光子回路的选择:在自由空间或某种介质中传播的光场上直接构建计算能力。(见下图 2)从数学上讲,在自由空间中传播的波可用基尔霍夫衍射积分(Kirchhoff’s diffraction integral)来描述,这相当于让该场与一个固定的核(kernel)执行卷积。该运算又是卷积神经网络(CNN)的一大基本构建模块,而 CNN 又是最常用的视觉计算框架。

图 2:光波传播概况。如图所示,上面一行展示了波在自由空间和不同介质中的传播,下面一行是相应的线性矩阵运算。其中 a 是波穿过自由空间的情况,其在数学上被描述成波场与一个复值核的卷积。b-g 则使用了不同的介质,它们也因此有各自不同的矩阵。

使用深度计算光学和成像来执行推理

计算成像领域研究的是光学和图像处理的联合设计,这可用于增强计算式相机(computational camera)能力等应用。将相机解释成编码器 - 解码器系统会很有帮助。因此,我们可以从整体角度将相机设计问题看作是光学和成像处理的端到端优化问题。因此可以针对经由损失函数和训练数据集定义的特定任务对物理透镜和深度神经网络进行联合优化。(见下图 3)

图 3:光学编码器 - 电子解码器系统示意图。其中传感器充当瓶颈,在角度、波长谱、曝光时间、相位和其它入射光指标上进行积分。自由曲面透镜或定制传感器电子设备能以离线方式针对特定任务进行优化,然后经过生产加工后用于从光学和电子方面记录图像编码。然后可以使用神经网络或其它可微分的图像处理算法来从观测结果提取所需的信息。这些编码器和解码器一起可共同组成一个混合式的光 - 电神经网络。

我们也可以将光学操作的原理解读为一种形式的计算,即与处理数据记录的电子平台一起工作的预处理器或协处理器。基于这一解读,我们可以让光学组件做尽可能多的工作,进而优化计算成像系统的延迟和功耗需求。

显微镜应用

光学显微镜也是深度学习方法已经取得重大影响的一个领域,其涵盖多种模态,包括相干成像以及明视野显微镜和荧光显微镜。解决显微图像重建和增强的反向问题已经是一项持续数十年的热门研究课题,之前方法的一大关键是建立成像系统的前向模型。基于深度学习的数据驱动方法是解决光学显微镜反向问题的另一条途径。

图 4:深度光学和光子学应用示例 I。a. 光学图像分类;b. 混合光电图像分类;c. 使用伪随机投影的图像分类;d. 虚拟染色;e. 虚拟重新聚焦。

图 5:深度光学和光子学应用示例 I。a. 单像素相机;b. 用于视频超分辨率的神经传感器;c. 纳米光子回路;d. 光子集成电路;e. 光学干涉仪;f. 逆向设计的非均匀介质。

展望未来

文章认为,混合光 - 电计算系统是这一领域最有发展前景的方向。混合系统既具备光计算的带宽和速度优势,又具备电计算的灵活性,而且还能利用模拟和数字光学 / 光电 / 电子系统的高能效技术基础。混合光 - 电推理机器能将 AI 推理用于计算机视觉、机器人学、显微和其它视觉计算任务,进而实现光学计算机早该具有的变革性能力。

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 光学
    +关注

    关注

    3

    文章

    747

    浏览量

    36182
  • 低功耗
    +关注

    关注

    10

    文章

    2363

    浏览量

    103608
  • 人工智能
    +关注

    关注

    1791

    文章

    46910

    浏览量

    237709
收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    领域,如工业控制、智能家居、医疗设备等。 人工智能计算机科学的一个分支,它研究如何使计算机具备像人类一样思考、学习、推理和决策的能力。
    发表于 11-14 16:39

    AI for Science:人工智能驱动科学创新》第6章人AI与能源科学读后感

    幸得一好书,特此来分享。感谢平台,感谢作者。受益匪浅。 在阅读《AI for Science:人工智能驱动科学创新》的第6章后,我深刻感受到人工智能在能源科学领域中的巨大潜力和广泛应用。这一章详细
    发表于 10-14 09:27

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    很幸运社区给我一个阅读此书的机会,感谢平台。 《AI for Science:人工智能驱动科学创新》第4章关于AI与生命科学的部分,为我们揭示了人工智能技术在生命科学领域中的广泛应用和
    发表于 10-14 09:21

    AI for Science:人工智能驱动科学创新》第二章AI for Science的技术支撑学习心得

    人工智能在科学研究中的核心技术,包括机器学习、深度学习、神经网络等。这些技术构成了AI for Science的基石,使得AI能够处理和分析复杂的数据集,从而发现隐藏在数据中的模式和规
    发表于 10-14 09:16

    AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    人工智能:科学研究的加速器 第一章清晰地阐述了人工智能作为科学研究工具的强大功能。通过机器学习、深度学习等先进技术,AI能够处理和分析海量数据,发现传统方法难以捕捉的模式和规律。这不
    发表于 10-14 09:12

    人工智能计算是什么

    人工智能计算,简而言之,是指将人工智能技术与云计算平台相结合,利用云计算的强大计算力、存储能力
    的头像 发表于 10-12 09:46 179次阅读

    risc-v在人工智能图像处理应用前景分析

    RISC-V在人工智能图像处理领域的应用前景十分广阔,这主要得益于其开源性、灵活性和低功耗等特点。以下是对RISC-V在人工智能图像处理应用前景的详细分析: 一、RISC-V的基本特点
    发表于 09-28 11:00

    人工智能ai4s试读申请

    目前人工智能在绘画对话等大模型领域应用广阔,ai4s也是方兴未艾。但是如何有效利用ai4s工具助力科研是个需要研究的课题,本书对ai4s基本原理和原则,方法进行描诉,有利于总结经验,拟
    发表于 09-09 15:36

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    ! 《AI for Science:人工智能驱动科学创新》 这本书便将为读者徐徐展开AI for Science的美丽图景,与大家一起去了解: 人工智能究竟帮科学家做了什么?
    发表于 09-09 13:54

    报名开启!深圳(国际)通用人工智能大会将启幕,国内外大咖齐聚话AI

    8月28日至30日,2024深圳(国际)通用人工智能大会暨深圳(国际)通用人工智能产业博览会将在深圳国际会展中心(宝安)举办。大会以“魅力AI·无限未来”为主题,致力于打造全球通用人工智能
    发表于 08-22 15:00

    FPGA在人工智能中的应用有哪些?

    FPGA(现场可编程门阵列)在人工智能领域的应用非常广泛,主要体现在以下几个方面: 一、深度学习加速 训练和推理过程加速:FPGA可以用来加速深度学习的训练和
    发表于 07-29 17:05

    如何基于OrangePi AIpro开发AI推理应

    。通过昇腾CANN软件栈的AI编程接口,可满足大多数AI算法原型验证、推理应用开发的需求。AscendCL(AscendComputingLanguage,昇腾计算
    的头像 发表于 06-04 14:23 474次阅读
    如何基于OrangePi AIpro开发<b class='flag-5'>AI</b><b class='flag-5'>推理应</b>用

    进一步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    药物设计、量子计算和生成式 AI 等领域。 为了纪念杰出的数学家David H.Blackwell,英伟达 Blackwell架构被明确设计用来满足现代人工智能工作负载日益增长的计算
    发表于 05-13 17:16

    NanoEdge AI的技术原理、应用场景及优势

    是指将数据处理任务从云端迁移到离数据源更近的设备上,以实现更快的响应时间和更低的延迟。神经网络压缩技术则通过减少模型参数和计算量来降低设备的计算需求,使其能够在有限的资源下运行复杂的人工智能
    发表于 03-12 08:09

    深度学习在人工智能中的 8 种常见应用

    深度学习简介深度学习是人工智能AI)的一个分支,它教神经网络学习和推理。近年来,它解决复杂问题并在各个领域提供尖端性能的能力引起了极大的兴
    的头像 发表于 12-01 08:27 3253次阅读
    <b class='flag-5'>深度</b>学习在<b class='flag-5'>人工智能</b>中的 8 种常见应用