电容-肌电双模传感器的面部表情识别系统

面部表情是人类通过面部肌肉的运动和变化来表达情绪、态度和反应的重要表达渠道。面部表情识别是指利用技术自动检测和分析面部表情的变化，以识别和分类不同的情绪状态。近年来的研究推动了面部表情识别技术的发展，但仍存在一些不足，其中主要原因是目前的研究主要依靠单一传感器信号进行面部表情识别，这可能导致以下问题：从单个传感器信号中提取的面部表情特征有限，数据量不足，在采集过程中容易受到外部因素的干扰，降低了系统的抗干扰能力。上述问题将导致人脸表情识别系统的准确性下降，影响其整体鲁棒性。

为了解决这一问题，山东大学李阳教授团队创造性地提出了一种融合多传感器信号的方法，采集更多的面部表情分类特征，提高了面部表情识别的准确率。通过使用生物相容性材料制备柔性传感器，并集成多个传感器信号，有望克服单个信号的局限性，提高系统的鲁棒性、识别精度和可穿戴性。该研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”为题，发表在最新一期《Advanced Functional Materials》上，济南大学硕士郜建强为第一作者，济南大学牛闳森副教授、青岛大学李元岳副教授和山东大学李阳教授为论文共同通讯作者。

【基于电容-肌电双模传感器的面部表情识别系统的概念图】

本研究提出了一种电容-肌电双模传感器（CEDS）用于获取高保真的电容和肌电信号，并结合一维卷积神经网络（1D-CNN）算法构建了一个先进的面部表情识别系统，实现了面部表情的高精度识别（图1a）。对传感器进行生物相容性和抑菌性测试。结果表明，它穿着舒适，具有良好的耐磨性，并表现出优异的生物相容性和抑菌性能。


图1 基于柔性传感器的面部表情识别系统的概念图、表征和生物相容性测试
【CEDS的性能测试】

CEDS由电容式压力传感单元和用于电生理信号监测的干电极组成，并使用3D堆叠方法组装。其中，上部为电容式压力传感器，电极基板采用混合液相分离法制备多孔结构，以提高电容性能。使用静电纺丝构建介电层，以产生具有纺锤结（SK）结构的纳米纤维膜，在电极层和介电层之间形成双耦合微观结构。此外，1-丁基-2,3-二甲基咪唑氯化物盐（BMMICl）的掺杂实现了双电层（EDL）效应，显著提高了传感器的性能。与凝胶电极相比，使用干电极简化并缩短了生理电信号信号的采集过程。此外，由于需要与皮肤直接接触，传统的凝胶电极通常会造成皮肤刺激和感染的风险，而干电极更有可能满足生物相容性要求。因此，干电极传感器用于电生理信号监测，解决了水凝胶电极引起的皮肤刺激和失水问题，更适合长期使用。

图2 CEDS的电容响应性能
图3 CEDS的电生理信号响应性能

【面部表情识别系统的应用】

面部表情是表达情感和意图的主要方式之一，涵盖了丰富的情感和认知信息。人脸的主要肌肉群帮助我们实现各种丰富的表情，如图4a所示。与仅使用单个信号识别面部表情的传统方法不同，作者结合了面部EMG信号和电容信号，通过综合分析这两个信号的特征来提高面部表情识别的准确性（图4b）。该系统包括电容式数字转换器（CDC）模块、EMG信号采集模块、主控制芯片（MCU）和蓝牙模块。它能够同时采集电容和EMG信号，并通过蓝牙将其无线传输到主机，用于数据分析和面部表情识别。在本研究中，创新性地捕获了面部表情变化过程中的电容信号和肌电信号，并利用1D-CNN进行分类。这两种信号的协同效应提供了更多的面部表情特征，显著提高了神经网络的训练效果和分类能力，大大提高了面部表情识别的准确性。

图4、5 基于一维卷积神经网络的面部表情识别系统

总结：在这项工作中，作者提出了一种电容-肌电双模传感器，结合1D-CNN实现了高精度的面部表情分类。为了提高电容响应性能，巧妙地引入PVDF膜的多孔结构和PVA/BMMICl膜的SK结构，在电极层和介电层之间创建双耦合微观结构；同时，通过掺杂BMMICl，电容式传感器产生了EDL效应，有效地提高了传感器的响应性能。此外，干电极传感器用于电生理信号监测，克服了与水凝胶电极相关的皮肤刺激和失水问题，并显示出更好的长期使用适用性。通过细胞毒性和细菌抑制试验验证了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一种基于离子电效应的疲劳驾驶监测系统、一种基于电生理信号监测的机器人控制系统和一种结合电容和肌电信号的面部表情识别系统，该系统能够实时监测和识别八种面部表情。研究表明，CEDS显著提高了识别精度，展示了其在面部表情监测系统中的巨大潜力，并为智能可穿戴设备和人机交互技术的发展提供了宝贵的见解。

审核编辑 黄宇