硅基光子芯片在神经形态计算的应用

研究背景：

近年来，基于传统计算机的神经网络计算受到内存限制，已经不能满足计算速度和能耗的需求。在电子硬件领域，研究人员持续地进行更深入、更复杂的神经网络架构的研究，通过硬件方面的创新来释放传统电子系统的潜能。例如，GPU(图形处理单元)通过聚集大量的处理核心，获得具有极高的并行计算能力(远超CPU)，促进了神经网络的发展。

然而，神经形态计算对高性能、高能效和更大带宽的需求是无止境的。随着以摩尔定律为标志的电子晶体管的指数级增长逐渐接近了物理极限，传统的硅基电子元件已经达到了瓶颈区。更多底层电子元器件被相继提出，来试图满足神经形态计算的需求，如：忆阻器、相变存储器(PCM)、铁电随机存取存储器(FeRAM)和磁性随机存取存储器(MRAM)等，这些都是具有高处理速度、巨大存储容量和良好长期稳定性的创新型存储器，与传统电子元件相比，它们可以更好地执行高效的神经形态计算。然而，电子器件从根本上受到带宽和互连性之间的权衡的影响，这限制了高速神经形态计算的进步。

在过去的几年里，光子芯片开始在学术界受到极大的关注，因为在集成光子芯片的每一层都可以实现光速数据处理和并行传输。与电子不同，光具有更多维度，例如波长、偏振和空间模式，这导致神经形态计算或深度学习更具创造性和可行性。此外，成熟先进的硅光子技术为大规模光子制造和集成提供了完美的平台。在最近的所有方案中，硅光子学被认为是神经形态计算最有前途的技术之一。

硅基光子芯片可以完美兼容成熟的CMOS工艺;因此，它也可以与CMOS电子芯片集成，而无需额外的复杂技术。基于硅基光子芯片的神经形态计算研究进展迅速，本工作便对这些工作进行了综述介绍。

光-电协同设计：

大多数关于ONN的工作都是基于光电硬件实现的。然而，在光电硬件中，由于器件在求和和激活功能中更多地工作在电域，因此在电光和反向转换中会消耗大量功率。例如，光电探测器经常用于将光信号转换为电输出，这对ONN的速度和功率效率施加了限制。此外，O/E/O神经元依赖于利用电光传递函数非线性的调制器。然而，调制器和光电探测器容易受到噪声的影响，它们的噪声积累会严重影响基于光电混合硬件的ONN的精度和能耗。

全光实现似乎是解决光电混合硬件问题的一种有前途的方法。与电子实现相比，全光神经元通常依赖于许多材料中出现的半导体载流子或光敏性。最明显的优点是光信号流不需要任何转换;因此，它们本质上比O/E/O方法更快。同时，使用无源光学元件的全光方案可以很容易地与CMOS技术集成。光子实现还提供了光子通信中的高带宽和非线性实现中的低复杂性的优点。然而，全光神经元仍然面临许多挑战，如级联性，由于光器件存在插入损耗，需要更加高效的光器件来进行补偿。

从更实际的角度来看，电子和光子协同设计硬件可以进一步推动神经形态计算，这将是核心研究路线之一，直到所需的光学器件跨越当前的挑战。参考文献中的Zhou等人展示了光电混合AI计算芯片架构的可能路线，该架构由三层组成：底层硬件层、算法层和顶层应用层，可以作为未来光混合电路的指南。

图1 ONN中的加权函数。(a)将调制器用作神经元的广播和权重网络。(b)具有16个可调微环(MRR)权重和光纤到芯片光栅耦合器的4节点循环广播和权重网络的显微照片。(c)类似于神经突触功能的集成光子突触示意图。(d)光子突触活动区域的扫描电子显微镜图像。(e)基于级联的Sb2S3-SiN的加权和求和混合光子开关，实现光子学版的FPGA。(f)由单模混合硅波导组成的NLAF模块。

图2 ONN中的激活函数。(a)所提出的光对光激活函数的示意图。(b)用于评估4输入WDMRNN的实验装置。(c)、(d)该研究中实现的网络示意图，由几个突触前输入神经元和一个通过PCM突触连接的突触后输出神经元组成。

用于神经形态计算的硅光芯片：

MRR和光电探测器可以分别用于实现电光转换和光电转换。除了这三种器件之外，其他基于硅光子学的组件，如激光器、耦合器和调制器，也是光学电路和神经网络的关键部分。至于片上激光器，尽管许多研究人员仍然使用片外激光器来构建神经网络，垂直腔面发射激光器(VCSEL)和微盘激光器都支持可扩展神经网络的设计，是未来发展的关键。此外，波导在硅光子学中非常重要，因为它们相当于电学领域的金属线;在最小化光损耗，包括传播损耗和弯曲损耗的方面，研究人员也投入了大量研究。此外，MRR、微盘和MZI被广泛用于设计调制器、开关和滤波器。尽管硅光子学现在可以被视为一个成熟的技术平台，但以高效率将光连接到硅光子组件和从硅光子组件发出光的问题仍然是一个挑战。

图3 基于孤子微梳的计算。(a)用于生成克尔频率梳的高Q谐振器平台。(b)克尔梳与其他三次和二次非线性效应的相互作用的图示。(c)多路复用全光MVM草图。(d)用于频率梳生成的基于高Q Si3N4光子芯片的微谐振器的光学显微照片。(e)制造的16×16的光学显微照片。

图4 用于集成光子学计算的相变材料。(a)、(b)、(c)提出的存储元件的示意图。(d)具有25个不同存储元件的阵列的光学显微镜图像。(e)使用硅中部分蚀刻的脊形波导的平台的3D方案。

利用PCM、孤子微梳和超表面的设备在神经形态计算中引起了极大的关注。Xu等人引入了ONN的时间-波长复用的概念，并应用克尔微梳来实现光子感知器。2021年1月，Xu等人展示了一种通用光学矢量卷积加速器，该加速器基于由集成微梳源启用的同时交错时间、波长和空间维度。与此同时，费尔德曼等人提出了一种使用相变材料存储器阵列和孤子微梳的集成光子张量核心方案。此外，具有用于操纵光波前的亚波长谐振器的超表面可以实现自由空间和庞大系统的小型化，以实现衍射神经网络(DNN)。通过使用孤子微梳、PCM和超表面，实现基于硅光子学的神经形态计算的新方法为突破先前集成光子机器学习的瓶颈提供了有效途径。

图5 超表面的基本概念。将超表面设计到光子芯片中进行神经形态计算也是当前火热的研究方向之一。

图6 通过光干涉实现神经形态计算。(a)实验所用OIU的光学显微照片。(b)两层ONN实验的示意图。(c)细化层实施方案。(d)所提出的架构的单层示意图。

图7 通过光共振实现神经形态计算。(a)M×N向量矩阵乘法器的无中断权重和聚合架构。(b)光学CNN的实验示意图。

图8 算法。(a)基于GA的ONN学习算法的流程图。(b)基于PSO的ONN学习算法的流程图。(c)、(d)、(e)所提出的梯度信息实验测量方法的示意图。(f)、(g)、(h)、(i)一维问题的贝叶斯优化图示。(j)、(k)、(l)使用GAN生成手写数字。

总结：

这篇综述详细回顾了基于硅光子学的神经形态计算的最新进展，介绍了基于硅光子芯片的神经形态计算中微架构功能、设备、架构和算法。神经形态硅光子学这个结合了光子学的速度和并行性与深度学习的自适应性的新兴领域，理论上可以以比传统电子学快几个数量级的速度进行运算。利用WDM等新概念、PCM、孤子微梳和超表面等新设备、可行的制造技术和先进的算法，可以在下一代光学神经网络中实现前所未有的发展。本工作总结了当前的挑战，并指出了未来光学神经网络实现的可能机会。

电子-光子协同设计：在没有电子控制器的情况下，电子-集成电路-光子协同设计神经网络是当前人工神经网络更实用的途径，然后电子控制才能成为光学领域的竞争候选者。尽管单片制造提供了在同一基板上集成电子和光子学的绝佳机会，但电子元件引起的高延迟和功耗对电子控制器提出了挑战。在ONN中，控制器应实时、高速、高效地管理光子设备并维持神经元的稳定运行。

片上集成：片上ONN是当前研究的主流，因为成熟的CMOS技术对于大规模和高度集成的ONN具有巨大的优势。然而，片上光网络的成本在资金开销、人工费用、技术要求等方面都非常昂贵。例如，由于大面积要求和相位噪声损坏，有望以集成方式制造的相干架构受到MZI问题的阻碍。此外，由于许多其他光子器件(例如MR和PCM)的热串扰和制造工艺变化，片上集成会受到寿命不稳定的影响。此外，片上硅激光器更容易受到环境因素的影响，并且仍然是学术界的一大难题。

训练：正如之前所讨论的，在许多工作中，训练过程通常是在数字计算机上完成的。一方面，为当前可以在光域中实时工作的ONN设计一种有效的训练方法至关重要。另一方面，探索可以有效支持神经网络训练的光子架构是有前途但具有挑战性的，因为反向传播对当前的光子神经网络提出了额外的要求。最近使用超表面实现衍射神经网络的工作迈出了重要一步，并显示了未来网络训练方法的可能性。此外，基于忆阻器混合硬件的光子加速器支持反向传播，这也是一个很好的例子。

可扩展性：可扩展性是ONN和电子ANN之间最明显的问题。ONNS取得的进步是不可磨灭的，但问题是与电气ANN相比，许多工作侧重于小规模ONN，后者可以具有数百万个权重参数。解决这个问题最实用的方法是优化和改进光学元件。另一方面，需要提出更多适用于光神经网络的结构，以降低网络的复杂度;因此，他们可以为扩展光子网络铺平道路。

在未来，硅基光子芯片用于神经形态计算仍然有许多困难需要解决，尽管如此，光子神经网络已经在智能信号处理、高性能计算、非线性规划和控制等传统计算机技术无法企及的许多领域得到了应用，这些广阔的前景促使人们将光神经网络的带向更辉煌的未来。

审核编辑：汤梓红