基于超快卷积神经网络的无记忆散射成像-电子发烧友网

空间光调制器是一种可以在外部信号的控制下实时对入射光的振幅、相位及偏振态进行调制的动态元器件。将空间光调制器应用在散射成像领域，既可以用来替代传统的毛玻璃来产生赝热光场，也可以用做目标物体进行散射成像的研究，空间光调制器的应用，对散射光场调控实现了主动性和可操作性。

论文信息

光学记忆效应在复杂散射介质中，包括浑浊组织和斑点层，一直是宏观和微观成像方法的关键基础。然而，在没有光学记忆效应的强散射介质中实现图像重建尚未成功。为此，本文通过开发一种多级卷积光神经网络（ONN），该网络集成了多个以光速运行的并行核，展示了在无光学记忆效应的散射层中进行图像重建的能力。基于傅里叶光学、并行、一步卷积ONN训练，直接提取特征，实现了无记忆图像重建，视场扩大了高达271倍。该设备可动态重新配置，用于超快多任务图像重建，计算能力达到每秒1.57peta操作（POPS），成功建立了一个超快速且高效的图形处理光学机器学习平台。

部分实验过程及实验结果

卷积ONN的实验设置如图1所示。实验中使用反射式强度型调制器SLM0（我司型号FSLM-HD70-A/P，像素大小8μm，1920×1080）来生成卷积ONN的可编程像素级输入。然后，由SLM0调制的光场通过一个4f系统被传递到卷积ONN的输入平面上。4f系统由两个焦距分别为100 mm（L1）和50 mm（L2）的镜头组成，用于为编码成SLM0的物体提供0.5倍的放大倍数。然后，将输入平面发送到三层卷积ONN中进行进一步处理。卷积ONN由三个相位型调制器SLMs（我司型号FSLM-4K70-P02）组成，相位型SLMs有4094×2400像素，像素大小为3.74μm×3.74μm。第一个卷积层被编码为SLM1，输入平面与SLM1之间的距离为10cm。经过SLM1调制后，光束通过分束器BS2和BS3的反射传输到SLM2。第二个卷积层被编码成SLM2，以及SLM1和SLM2是20cm。然后，将由SLM2调制的光束传输到SLM3。第三个全连接层被编码到SLM3中，SLM2与SLM3之间的距离为10 cm。由SLM3调制的光束通过分束器BS4的反射传播到卷积ONN的输出平面上，SLM3与输出平面之间的距离为20cm。采集相机（像素大小4.8μm，1280×1024）放置在卷积ONN的输出平面上，记录推理结果。需要注意的是，卷积ONN的不同层之间的不对齐会显著降低其性能。

图1 三层卷积网络ONN的实验装置示意图。(A)卷积ONN的每一层的参数和坐标。(B)卷积ONN的实验装置。M，反射镜；POL，线性偏振器；BS，分束器；L，透镜；SLM，空间光调制器。

图2 通过散射层堆叠实现无记忆图像重建的机制。(A)通过多个散射片的散射示意图。每个散射片可以建模为一个薄的散射层，N表示散射片的数量，d表示散射片之间的间距。(B)不同散射情况下生成的斑点图案。左侧图比较了光学记忆效应（N = 1，d = 0）和无光学记忆效应（N > 1，d > 0）的斑点。右侧图展示了每种情况下的角相关曲线，虚直线表示单个平面玻璃层的角相关曲线。这些曲线的半高宽决定了成像的视场。(C)在三层卷积ONN中无记忆图像重建的概念。

图3 光学卷积神经网络原理。(A)三层卷积ONN由两层光学卷积层和一层光学全连接层组成。(B)第一卷积层的结构包含九种不同的核。每个核包括三种结构：涡旋相位、随机相位和光栅相位。(C)第二卷积层的相位结构分为3×3区域。每个区域的相位通过与第一卷积层相同的过程构建，从而产生81个核。(D)基于MNIST和FashionMNIST数据集的推理分类任务中训练的卷积ONN性能。上图展示了每种情况下的学习曲线。下图展示了卷积ONN输出平面上的实验分类结果，红色虚线方块表示为相应数字训练的检测器区域。

图4 实验验证无记忆图像重建。(A)训练的具有两个散射层（N = 2）的卷积ONN的实验重建结果。第一行显示了物体的真实图像，第二至第四行分别对应d = 3 cm、d = 4 cm和d = 5 cm的重建结果。(B)训练的具有多个散射层（N > 2）的卷积ONN的实验重建结果。第一至第四行分别对应N = 2、3、4和5的情况。(C)展示了涡旋相位对卷积ONN的影响。右侧图比较了在散射情况d = 5 cm下，有无涡旋相位的卷积核曲线和重建结果。左侧图表明，不同的涡旋相位结构可用于提取输入物体的不同方向边缘信息。

图5可训练卷积ONN的动态和多任务性能演示。(A)使用卷积ONN进行无记忆图像重建的动态推理过程（S1和S2)。输入斑点图案加载到60Hz的SLM上。(B)在S3中展示了两个任务的卷积ONN框架，用于视频帧多任务推理以实现无记忆图像重建，第三层全连接光栅的轮廓见图S17。

本实验中所采用振幅型空间光调制器的参数规格如下：

型号	FSLM-2K70-A02	调制类型	振幅兼相位型
液晶类型	反射式	灰度等级	8位，256阶
分辨率	1920×1080	像元大小	8μm
有效区域	0.69" 15.36mm×8.64mm	填充因子	87%
光学利用率	61%@532nm 62%@635nm 61%@808nm 63%@1064nm	线性度	99%
刷新频率	60Hz	相位范围	1π@532nm
波长矫正	支持	Gamma校正	支持
电源输入	5V 3A	光谱范围	420nm-1100nm
损伤阈值	2W/cm²	对比度	1000:1@532nm 1000:1@635nm 600:1@808nm 100:1@1064nm
数据接口	DVI / HDMI	/	/

本实验中所采用相位型空间光调制器的参数规格如下：

型号	FSLM-4K70-P02	调制类型	相位型
液晶类型	反射式	灰度等级	8位，256阶
像素数	4094×2400	像元大小	3.74μm
有效区域	0.7" 15.31mm×8.98mm	相位范围	2π@633nm
填充因子	90%	光学利用率	60%@532nm
配向角	0°	衍射效率	＞97%@32阶 633nm
刷新频率	60Hz	光学利用率	35%@532nm
电源输入	12V 2A	响应时间	上升10.8ms，下降18.5ms
损伤阈值	2W/cm²	数据接口	HDMI