一种通过深度解码步态和脑波的多模态生物识别系统

在电影《阿凡达》中，科学家制造出一个克隆 Na‘vi 人，并让人类的意识进驻其中，使其得以识别人类的脑波信号，人们利用自己的脑电波就可以完成对它的操纵。

在《碟中谍 5：神秘国度》电影中，Benji 必须通过一个检验姿态的通道来验证身份，从而可以进入配合 Ethan 的行动。

这样一系列的脑波与步态识别的电影场景既映照着人类对科技与未来的美好想象，也成为我们对科技的进一步尝试与探索的方向之一。

由新南威尔士大学副教授姚丽娜和学生张翔等人于近期发表在美国计算机学会智能系统与技术汇刊（ACM Transactions on Intelligent Systems and Technology）的论文《DeepKey： 一种通过深度解码步态和脑波的多模态生物识别系统》（DeepKey： A Multimodal Biometric Authentication System via Deep Decoding Gaits and Brainwaves）进一步为上述设想提供了实现可能性。

生物识别技术，是一种用人类生物特征进行身份认证的技术，这些生物特征通常具有唯一性的。而生物识别的认证则包括利用个体独特的、可测量的生理和行为特征识别个体的各种技术。

传统的生物识别系统如人脸识别、虹膜、视网膜、声音和指纹目前正在被广泛应用，但随着反监视面具、隐形眼镜、声码器或指纹膜等技术的出现，人类被生物测量工具欺骗的风险也越来越高。

在此次研究中，姚丽娜团队独具一格地设计了一个多模态生物识别系统，命名为 DeepKey。该系统能够利用脑电图（EEG） 和步态信号双认证系统进行生物识别，以克服传统的单模态生物认证系统的局限性，更大程度地提高生物识别的准确性和风险防范。

DeepKey 包含了两个关键部分：一个是用于屏蔽未授权受试者的无效 ID 过滤模块，一个是基于注意力的递归神经网络（RNN） 的识别模块，用于并行识别受试者的脑电图 ID 和步态 ID。

只有当使用者顺利通过无效 ID 过滤模块并且其脑电图 ID 与步态 ID 相匹配的时候，才会获得通行权限。研究团队设计了一个包括基于注意力的 RNN 来检测和分类多模态传感器数据的框架，并对人们如何同时执行步态和大脑活动的巨大多样性进行解码。

DeepKey—— 基于 MindID 的进一步扩展

先前，姚丽娜和张翔就提出了一种基于脑电图的生物特征识别方法 ——MindID，以实现高精度和鲁棒性能。

姚丽娜表示，“脑电波技术的分析以及应用 （如脑机接口）一直以来都是比较活跃的领域。之前许多工作主要集中在通过脑电波识别人的意图从而可以实现人脑与外部世界的直接交流，例如控制相关硬件比如打字键盘、机器人、轮椅等。这次的研究来自于我们最初的一些思考，即人的脑电波是否也有独特性，并且独特到可以区分不同的人，就像指纹和声纹一样，也有脑纹。”

图 | 密钥认证系统的工作流程（来源：受访者）

研究团队通过大量的数据分析确认了脑电波对于每个人都有独特性的假设，并将目前一些已有的识别技术从通用性、对攻击的鲁棒性、计算复杂度等 7 个不同的尺度与脑纹识别做对比，得出了一些比较优势。

比如，与传统的生物识别技术相比，基于脑电波的识别具有一个巨大的优点，即承载脑电波的电磁场是不可见的，脑电波是很难被复制和攻击的，因此基于脑纹的 ID 识别具有非常高的安全性和抗攻击性。

另外，脑电波有不同的波段，并分别承载不同的特征，例如 Delta 波段更多地反应了人在深度睡眠状态中的低意识状态；Beta 波段更多地显示了人的相对清醒及日常行为中的活跃状态等。

经过逐层分析和探究后，研究团队提出了一个从端到端的、基于脑电波的 ID 识别深度学习框架。

不同于以往一般需要多阶段、大量的数据预处理和特征工程配合统计机器学习的脑电波分析，MindID 可以直接处理脑电波的原始数据，做波段分解后只保留 Delta 波段。

基于此，他们设计出一个基于注意力机制的 LSTM 的 encoder-decoder 架构来学习鲁棒的脑电波表征，并在此基础上进行识别。这项研究于 2018 年正式被 UbiComp 接收。

DeepKey 模型与实际环境中的可行性

为了克服传统的单模态生物认证系统的局限性，适应对身份识别的安全可靠性越来越高的要求，姚丽娜团队提出了一种基于 EEG 和步态的多模态生物认证系统 DeepKey。

DeepKey 包含了三个独立的模块：无效 ID 过滤模块、基于 Delta 波段的脑电信号识别模块和步态识别模块。

当 DeepKey 系统收到一个用户的通行权限请求时，系统会通过非侵入式脑波采集头盔收集用户的实时脑电波信号并通过可穿戴式传感器采集用户的步态信号。

例如腕部、腰部和腿部的三维加速度和角动量等信息，DeepKey 系统会首先将实时采集到的脑电波与步态信号输入至无效 ID 过滤模块。无效 ID 过滤模块会旨在通过无监督的脑电波信号对比快速做出初步判断。

如果用户被判断为冒名顶替者，其通行请求会直接被拒绝。如果用户通过了初步判断，系统则会对其脑电波与步态信号进行进一步分析。

研究团队通过自主设计的结合注意力模型的 RNN 算法同时对脑电波信号和步态信号进行 ID 识别。脑电信号识别模块会根据学习到脑电波信号的表征确认用户的身份即脑电图 ID。

同理，步态识别模块会确认用户的步态 ID。其后，DeepKey 系统会对照用户的脑电图 ID 和步态 ID，只有二者一致时才会予以通行，否则会拒绝通行请求。

另外，研究团队还通过大量的实验对关键参数（如会话和脑电频带） 和系统延迟进行了研究。例如，DeepKey 系统在接收到用户信号后只需要 0.39 秒即可完成身份验证，在系统延迟方面完全满足实际应用的要求。

实验团队还测试了外界干扰对于系统准确性的影响，实验结果表明 DeepKey 系统在多种环境因素的影响下依然具有很好的性能，表现出良好的鲁棒性。并且 DeepKey 对于硬件的依赖较低，在较少的脑电波通道上依然可以取得令人满意的识别效果。

由于脑电波信号的不可复制性，相较于传统的生物识别系统而言，DeepKey 和 MindID 能够提供更好的安全性，更加满足一些高保密场所的要求。

在这些场所中，使用者更加关注的是拒绝一切可疑的通行请求，最大化的避免 “漏网之鱼”。就此而言，DeepKey 在实验室条件下实现了很好的甄别效果（全数识别并拒绝了来自假冒者的 1000 个通行请求）。

这一成果为进一步研究基于脑电和步态数据的多模态生物特征认证系统奠定了基础。

姚丽娜表示，其一，Deepkey 和 MindID 的系统设计推广了深度学习在生物信息识别方面的应用，并且证明了深度学习可以促进并完善这个领域的研究；

其二，基于一些独特的优势，比如不可复制性和可靠性等，脑电波可以作为一种有效的手段来进行生物识别，并且通过实验证明了人的脑电波信号的‘独一无二性’，证实了‘脑纹’的存在；

其三，在实验室条件下证明了这一类解决方案的可行性以及有效性，系统可以在很短时间内准确识别出具有通行权限的用户和假冒者，这也为以后在商业以及真实场景中的推广提供了佐证；

其四，DeepKey 的硬件设备只需要脑电波采集器（由于近年来的科技发展，非侵入式脑电波采集设备的价格已大大降低）和步态传感器，可以将系统成本控制在较低范围内。

而就 DeepKey 多模态生物识别系统在现实场景中应用的可行性上来说，姚丽娜表示：“目前在我们的实验环境下，这个工作的可靠性是比较好的。这项研究也提供了一个可行的解决方向。”

而运用到实际环境的话，可能还需要进一步更复杂的验证。比如，在姚丽娜目前的实验中，脑波主要采集于非侵入式的 EEG 采集头盔，这种设备虽然易于携带而且低廉，但是劣势也很明显，比如信噪比很低，容易受客观环境以及受试人自身身体、心理以及情绪变化的影响。

而这项研究提供一个新的视角，即在一些对安全和验证要求相当高的场所和地点，这种多模态的解决方案依然值得深入探索。

谈及研究过程，姚丽娜告诉 DeepTech：“MindID 和 DeepKey 是我的学生张翔跟我在 2016 年着手正式开始做的。我们起步较晚，基础也相对薄弱。这几年的探索是个比较艰辛的过程，对每个科研人来说也许都会感同身受。我个人觉得做研究最重要的是真正的热爱，这会让我们自然而然产生一种内生的驱动力，从而持之以恒，不轻易放弃。真理无穷，进一寸有一寸的欢喜。”

原文标题：科学家研发多模态生物识别系统，基于脑纹独特性来防范身份欺骗 | 专访

文章出处：【微信公众号：DeepTech深科技】欢迎添加关注！文章转载请注明出处。

责任编辑：haq