一款新型的仿生视觉传感器

为了监控环境并在现实世界中导航，机器人应该能够在不同的背景光照条件下采集图像和环境测量值。近年来，世界各地的科研人员及工程师们都在努力开发越来越先进的传感器，以将其集成于机器人、监控系统或其他可以感知周围环境的设备。

据麦姆斯咨询报道，香港理工大学、北京大学、延世大学和复旦大学的研究人员最近研发了一款新型的仿生视觉传感器，其采用了一种人工模拟视网膜功能的机制，并且可在各种光照条件下采集数据。这款仿生视觉传感器基于由二硫化钼制成的光电晶体管，相关研究成果以“Bioinspired in-sensor visual adaptation for accurate perception”为题发表在Nature Electronics期刊上。

仿生视觉传感器阵列照片（左）；视觉传感器单元的示意图结构和光学显微镜图像（右）

“我们研究团队五年前就开始了光电存储器的研究工作。”开发该视觉传感器的研究人员之一Yang Chai介绍说，“这种新兴器件可以输出光相关和历史相关的信号，能够实现图像集成、微弱信号累积、光谱分析等复杂的图像处理功能，将传感、数据存储和数据处理的多功能集成于一颗器件。”

2018年，Yang Chai和他的同事发表了第一篇关于光电存储器的论文，他们在其中介绍了一种电阻开关存储器件，该器件可以执行光传感和逻辑操作。一年后，该团队推出了一种具有三种不同功能的新型光电电阻随机存取存储器。具体来说，这种新器件可以感知环境，将信息存储在内存中，并执行神经形态的视觉预处理操作。

“我们在2020年研究了近传感器（near-sensor）和传感器内计算范式的概念，并发表了我们在该领域的观点。”Yang Chai继续说道，“仿生视觉传感器的这项新研究建立在我们之前的所有努力之上。”

环境自然光的强度变化很大，总范围为280 dB。人类视网膜在感知外界光信号时，会根据信号的强度调整其感光器（即视杆细胞和视锥细胞）的光敏性。这最终使人眼能够逐渐适应不同程度的照明水平，在黑暗和明亮的环境中都能看清楚，这种能力被称为“视觉适应”。

“例如，当你从一个明亮的大厅进入一个黑暗的电影院时，最初你几乎看不到任何东西，但在电影院里呆了一会儿，就变得更容易看到东西了。”Yang Chai解释说，“这种现象被称为暗适应（scotopic adaptation）。相反，如果你从黑暗的电影院走到阳光明媚的户外，一开始你会觉得非常眼花缭乱，需要适应一段时间才能看到周围的景色。这个过程与暗适应相反，被称为光适应（photopic adaptation）。”

Yang Chai和他的同事最近研究工作的主要目标是构建一种受人类视网膜结构和功能启发的视觉传感器。为此，他们首先开始研究人类视网膜，然后尝试设计感知策略，从而能够人工模拟视觉适应能力。

基于CMOS技术的最先进图像传感器通常具有70 dB的有限动态范围。但是，这个动态范围比自然场景的光照范围（280 dB）要窄得多。

“为了在较大的光照强度范围内实现视觉感知，研究人员已经探索了在后处理中使用受控光学孔径、液体透镜、可调节曝光时间和去噪算法。”Yang Chai说道，“然而，这些方法通常需要复杂的硬件和软件资源。”

仿生视觉传感器阵列的暗适应和光适应。（a）暗适应测试示意图：暗环境下使用8 x 8像素阵列识别低照度图像。（b）光适应测试示意图：亮环境下使用8 x 8像素阵列识别高照度图像。（c）识别“8”图案的暗适应过程。（d）识别“8”图案的光适应过程。

具有光照适应性的视觉并在感觉终端具有宽广感知范围的光电器件可能具有非常有价值的应用。例如，它们可以帮助提高计算机视觉工具的性能，降低构建机器人或其他传感系统所需的硬件复杂性，并提高图像识别系统的准确性。

虽然，其他研究团队在过去一段时间已经研发了可以适应不同光照条件的光电器件。但是，大多数先前展示的器件只能模拟视网膜的光适应机制。暗适应过程迄今被证明更难模拟。

“要完全复制视网膜的视觉适应功能，还有很长的路要走。”Yang Chai解释说，“为了实现这一目标，我们设计了一种使用超薄半导体的光电晶体管型视觉传感器，它可以通过施加不同的栅极电压来控制同一器件中的暗适应和光适应程度。通过这种方式，我们模拟了视网膜中的光感受器和水平细胞（horizontal cell），并成功实现了具有199 dB感知范围的仿生传感器内视觉自适应器件。”

人工模拟视网膜中的光感受器和水平细胞，实现视觉自适应（暗适应和光适应）

Yang Chai及其同事开发的仿生视觉传感器基于由超薄半导体材料（即二硫化钼）制成的光电晶体管。他们使用的光电晶体管具有多种电荷陷阱状态，这些状态可以在不同的栅极电压下捕获或释放沟道内的电子。

最终，这些状态允许研究人员动态调节其器件的电导。这反过来又使他们能够人工模拟人类视网膜的暗适应和光适应机制，从而扩大其传感器对不同光照条件的感知范围。

“我们的仿生视觉传感器有几个优点和特点。”Yang Chai表示，“首先，视觉适应功能在单颗器件中实现，大大减少了占位面积。其次，可以在单颗器件上实现多种功能，包括光传感、记忆和处理。最后，可以通过控制其栅极电压来实现在不同的光照强度下进行暗适应和光适应。”

Yang Chai和他的同事在一系列测试中评估了这款仿生视觉传感器，发现它可以有效地模拟人类视网膜的功能，在暗适应和光适应方面都取得了显着的成果。此外，与之前提出的解决方案相比，它具有明显更高的感知范围（199 dB）。

“我们的视觉传感器可以丰富机器视觉功能，降低硬件复杂度，实现高图像识别效率。”Yang Chai说道，“所有这些优点在复杂照明环境下的自动驾驶、人脸识别和工业制造等领域都有很大的应用前景。”

在接下来的研究中，研究人员计划进一步提高视觉传感器的性能，同时还使用其来制造由传感器阵列组成的大规模系统。理想情况下，他们希望在柔性或半球形衬底上构建此传感器阵列，以实现更宽的视野。

“需要改进的一个方面是我们视觉传感器的适应时间，因为它仍然不足以支持机器视觉应用。”Yang Chai补充道，“我们的目标是将适应时间降低到微秒级。此外，视觉传感器阵列规模也需要进一步提升。我们近期的阵列规模目标是大于100 x 100像素。最后，视觉传感器和后处理单元（包括基于硅的控制电路）的异构集成是迈向实际应用的非常重要的一步。”

论文信息：
https://www.nature.com/articles/s41928-022-00713-1

审核编辑 ：李倩