视网膜形态芯片及其不同的图像信息处理方式

在人脑处理的信息中，超过80%都是通过眼睛获得的。人眼不仅可以进行信息的探测和同步处理，而且整体功耗极小（远小于20瓦）。相比而言，传统的机器视觉系统需要先探测再处理，使用的图像传感器在探测目标图像的同时会产生大量冗余信息，此类信息通过有限的带宽传输给所连接的计算机进行处理和分析，从而导致较大的时间延迟和较高的功耗。因此，构建一个可以媲美人眼、具备同步进行信息探测和处理功能的类脑视觉传感器是人们一直追求的梦想，对于智能工业、自动驾驶、智能安防等应用的发展也至关重要。近日，南京大学物理学院缪峰教授团队基于二维材料异质结，在可重构类脑视觉传感器领域取得重要进展。

二维材料有望成为后摩尔时代重要的基础电子材料，该领域的发展也让人们可以对原子层材料进行乐高式的堆叠和集成。近年来，南京大学缪峰团队（https://nano.nju.edu.cn）利用“原子乐高”分别在耐高温忆阻器（Nature Electronics 2018）、弹道雪崩探测器件（Nature Nanotechnology 2019）、室温高灵敏红外探测器（Science Advances 2017）等方向取得突破。

在此基础上，该团队近日提出，利用二维材料范德华异质结器件的结构特点和可调的光响应特性，能够实现对人眼视网膜的层状结构和感光细胞、双极细胞的生物特性模拟，基于这种类视网膜形态器件，团队进一步构建了能够对感知的图片信息进行同步处理的类脑视觉器件阵列。该工作有望为未来开发基于范德华异质结的新型类脑视觉芯片提供物理和技术基础。相关研究成果以《Gate tunable van der Waals heterostructure for reconfigurable neural network vision sensor》（基于栅极可调范德华异质结的可重构神经网络视觉传感器）为题于 2020年6月24日发表在Science Advances上。南京大学物理学院博士生王晨宇和梁世军副研究员为共同第一作者，缪峰教授和美国麻省大学的杨建华教授为该工作的共同通讯作者，该工作同时得到了王振林教授课题组、陈坤基教授课题组和王肖沐教授课题组的实验协助，和国家杰出青年科学基金、国家自然科学基金等项目的资助，以及微结构科学与技术协同创新中心的支持。

研究成果

人类视觉系统强大的信息处理能力很大程度上依赖于视网膜的结构和功能。视网膜中的主要细胞包括感光细胞、双极细胞等，这些细胞之间是垂直分层分布的结构。光透过瞳孔入射到视网膜上后，感光细胞将入射光转换为电学信号，流经双极性细胞，利用双极性细胞的生物特性对电学信息进行一定的加工和处理，加工后的图像信息仅仅保留其主要的特征，再传输至大脑皮层进行进一步的图像处理和理解。通过这种方式，视网膜在一定程度上实现了信息探测和处理的同步进行。为了实现对视网膜结构和功能的逼真模拟，在该工作中，缪峰团队提出可以通过“原子乐高”的方式搭建基于二维材料垂直异质结的类脑视觉传感器，这些垂直结构不仅能够自然地模仿视网膜的垂直分层结构，而且异质结中包含的不同二维材料可被用来模拟视网膜中不同细胞的功能。

在实验中，缪峰团队首先将机械剥离的薄层硒化钨和氮化硼以及氧化铝制备成垂直异质结器件。该异质结器件在无背栅或者正背栅电压作用下，呈现出正的光电导行为，类似于双极细胞的正的光响应；当所加背栅电压为负的时候，器件展现出了负光电响应特征与双极细胞的负响应类似。研究团队通过一系列的对比实验结果，指出器件的负光学响应来源于光诱发带电杂质产生的电场屏蔽效应。通过控制垂直异质结器件的栅压，团队首次实现了对感光细胞和双极细胞的生物功能的模拟，器件的响应时间和功耗均接近人类视网膜的水平（图1）。

图 1. 视网膜和视网膜形态器件。（a）视网膜的垂直分层结构包括了视锥细胞和双极性细胞以及视神经节细胞；（b）双极性细胞在不同刺激条件下所具有的生物光学响应特征；（c）类视网膜形态器件的光学图；（d）垂直异质结器件在不同栅压作用下展现出不同的光学响应，类似于视网膜结构中双极性细胞的生物特征。

进一步，研究团队将垂直异质结器件组装成 3×3 的一个阵列，利用异质结器件栅压可调的光电响应特征，将图像处理中常用的数学卷积核映射到3×3 的器件阵列中，实现了可重构的图像信息处理功能（图2），包括边缘增强、图像风格化、图像强度校正等。研究发现这些实验结果与采用相同卷积核处理后的模拟结果一致，这表明基于垂直异质结阵列能够被用于在硬件上直接进行图片信息的处理。

图 2. 可重构的视网膜形态芯片及其不同的图像信息处理方式。（a）背栅独立控制的可重构视觉传感器阵列示意图；利用传感器阵列对南京大学校徽图片进行（b）图像风格化（c）边缘增强（d）强度校正处理，所处理后的图片信息和采用相同卷积核的模拟结果一致。

基于范德华异质结器件的功能应用除了同步的探测和信息的处理之外，研究团队发现器件阵列还可以用于图片的分类任务。通过将器件电导作为神经网络的权值，背栅的调节变化作为更新神经网络权值的一种手段，范德华异质结器件阵列可以执行神经网络的功能。研究团队在实验中采用软件辅助硬件的训练方法实现了对输入图像“N”，” J”， “U”字母的快速识别（图3）。这一项工作从原理上证明，利用范德华异质结的特性模拟人类视网膜结构和功能的研究思路有望将来被用来实现新型的类脑视觉芯片。

图 3. 基于范德华异质结视觉形态的传感器神经网络及训练示意图和识别结果。（a）待识别的图片字母信息；（b）异质结视觉形态传感器神经网络训练示意图；（c）N”，” J”， “U”三类字母平均识别结果与训练次数的关系；（d）N”，” J”， “U”三类字母的分类情况与训练次数的关系。
责任编辑:pj