视觉驱动超构表面在感知增强中的应用

超构表面（metasurface）在调控电磁（EM）波方面表现出前所未有的自由度，从而为智能系统提供了出色的前端接口。

据麦姆斯咨询报道，近日，第四军医大学、中国人民解放军空军工程大学、东南大学、苏州国家实验室航空航天超构材料实验室、新加坡国立大学（National University of Singapore）、北京理工大学、西安交通大学第一附属医院的研究人员组成的团队在Nature Communications期刊上发表了题为“Vision-driven metasurfaces for perception enhancement”的论文，提出了一种基于视觉驱动超构表面的感知增强架构。人类的眼球运动与微波辐射相匹配，从而扩展了人类的感知谱。通过这种方式，人们的眼睛可以“感知”视觉信息和不可见的微波信息。

上述科研团队给出了一些具体实施的实验演示，包括生理信号监测系统、“X射线眼镜”系统、“一瞥即忘”追踪系统和聋人语音接收系统。模拟和实验结果均验证了其在感知增强效果和提高信息获取效率方面具有明显的优势。该架构可轻松集成到医疗保健系统中，用于监测生理信号并为残疾人士提供帮助。这项工作为感知增强提供了一种替代架构，并有望在医疗保健、可穿戴设备、搜索和救援等领域得到广泛应用。

感知增强系统的架构

研究人员通过多种手段的组合提出了一种智能超构表面系统架构，如图1a所示。眼球追踪眼镜是一种可穿戴解决方案，用于捕获认知负荷和观看行为的客观测量数据，非常适合以所需的空间和时间分辨率提供可靠的眼球运动数据。当用户佩戴眼球追踪器并运行程序时，可以提取相关的眼球运动数据，包括凝视点、眼球扫视、眨眼等。在此基础上，利用数据处理程序可对眼球运动原始数据进行处理。通过对感兴趣区域（AOI）和受试者状态（例如注意力）的分析，识别出需要追踪或感知增强的区域，从而为可编程超构表面的调控奠定了基础。

可编程超构表面伴随着数字编码特征，其中电磁响应由数字编码序列调控。借助现场可编程门阵列（FPGA）和数模转换（DAC）模块，当施加在二极管上的电压变化时，数字编码序列也会相应改变，从而调整辐射角度。因此，根据AOI和受试者的状态，算法可以自行确定超构表面的反应，并指示FPGA改变可编程超构表面配置，然后确定数字编码序列。通过这种方式，研究人员可以调整可编程超构表面的不同功能，以实现良好的定向辐射波束形状和其它智能功能。此外，通过透明介质衬底和金属网格模式，所提出的超构表面结构可以实现较高的可见光透射率。它使超构表面能够集成多个频段的信息，以及实现眼睛（可见光）和超构表面（微波）的整合。

眼球运动的自主光束调控

研究人员提出了一种基于眼球运动的辐射波束调控方案，即使用眼球追踪器使照射电磁波的方向随着眼球运动而变化。这种方法实现了自主、灵活的波束调控，为微波探测奠定了基础。

在这项研究工作中，研究人员设计了一种辐射型可编程超构表面。设计的超构表面由16 × 16个单元构成，总面积为240 mm × 240 mm。

图1 基于视觉驱动的超构表面及其电磁特性的感知增强系统

为了全面掌握单元的辐射光谱，研究人员使用CST Microwave Studio模拟了单元在正电压和负电压下的辐射相位，如图1b所示。图1c-1g展示了使用不同编码序列在代表性扫描角度下的实验远场辐射图。从上述图中可以观察到，形状良好的定向辐射波束以非常高的指向稳定性被激发，并且超构表面具有将电磁辐射扩展到二维空间的能力。

接下来，研究人员将眼球运动过程与超构表面相结合，实现自主电磁波束调控。在实验中，他们研究了眼球在一段时间内注视不同位置的目标的场景。

图2 不同编码模式下的凝视点、眼球图像和测得的超构表面远场辐射光谱

实验结果如图2所示，图中说明了上半部分空间中的凝视点和眼球图像与下半部分空间的远场散射模式测量值之间的关系。图2a-2e分别对应于图1c-1g。利用这种调控方法，研究人员成功地将视场与超构表面微波辐射结合起来，弥补了视觉感知的局限性，为微波探测奠定了基础。

“X射线眼镜”：可视多目标呼吸、心跳检测

为了提高人类的感知能力，研究人员提出了一种高效、智能的感知增强途径——X射线眼镜，其通过超构表面将视觉信息与人体生理信息关联起来。该实验是对自由空间中多个人类目标的呼吸和心跳信号进行检测。观察者不仅感知到目标的视觉图像，还能感知到其不可见的生理信号，例如呼吸和心跳。

图3 两位坐在（-28°，28°）位置的受试者的呼吸和心跳信号检测

两名受试者的呼吸和心跳检测实验结果如图3所示。实验结果表明，两名受试者的呼吸和心跳周期与参考信号匹配良好。此外，通过眼球运动改变电磁波的方向，可以在物理层面上很好地分离不同方位角的不同受试者的呼吸和心跳信号。

“X射线眼镜”：木板障碍物后面的人体位置和运动检测

该实验是对障碍物后面的人类受试者进行位置和运动检测。该方法不仅可以检测隐藏人员的准确方位，还可以检测其运动模式。

如图4a-4c所示，在方位角28°处检测到了明显的呼吸信号，这表明该方向存在人类受试者。实验结果表明，超构表面测量到的呼吸信号与使用接触式呼吸带获得的呼吸信号高度吻合。另外两个方位角则没有检测到呼吸，这与实际的实验设置相符。图4d-4f显示在所有三个方向上均检测到呼吸信号，这意味着在所有三个方向上都能定位人类受试者。上述结果验证了人体位置检测方法的有效性。

研究人员以方位角为28°的人类目标为例，验证其运动检测性能。图4g–4j显示了所获得的四种平板后人体运动的微多普勒特征。

与呼吸检测一样，当检测特定方位角的人类运动时，超构表面发射的窄波束可以排除来自检测空间中其他位置的干扰，这使其能够在多个人类目标（运动中）共存的真实检测场景中鲁棒地运行。通过这种方式，人体的位置和运动可以在观察者无法直接看到的情况下进行检测，即观察者拥有一副X射线眼镜。

图4 平板障碍物后人类受试者的位置和运动检测

最后，研究人员还演示了“一瞥即忘”超构表面智能目标追踪系统、聋人无障碍语音采集和增强系统。

综上所述，这项研究提出了基于视觉驱动的超构表面概念，并在此基础上提出了一种感知增强的架构。通过将眼球追踪器和可编程超构表面相结合，建立了一种从受试者意识到超构表面模式的新型调控方式。研究人员提出了一种用于调整辐射光束的智能超构表面以阐明上述概念。所提出的智能超构表面平台嵌入了人类视觉感知，能够有效地响应不断变化的AOI和受试者状态。在此基础上，研究人员演示了具有不同功能的典型方案，包括生理指标监测系统、X射线眼镜系统、“一瞥即忘”追踪系统和面向聋人的医疗保健系统。

与传统方法相比，该平台融合了信号处理、计算机视觉、电磁等技术手段。智能平台引入超构表面使人类具有更强的信息获取、处理和感知能力。对光学、微波等多波段信息的感知弥补了人类视觉在被遮挡情况下的不足。该方法可以帮助人类识别感兴趣的目标并辅助目标追踪。此外，通过利用人类的视觉感知和判断能力，所提出的方法使超构表面及其智能平台具有更多的自由度和更先进的功能，为超构表面提供了新的定义，并为认知和智能超构表面的实现奠定了基础。

审核编辑：黄飞