撰文/高小榕(清华大学生物医学工程系教授、博士生导师、中国生物医学工程学会医学神经工程分会候任主委、北京地区"广受关注学术论文报告会"生物医学学科报告人)
电影《流浪地球》中,通过控制机器人外骨骼,救援队在冰原中拖动火石、救助坠落的人员、最后协力推动"顶针",赚足了观众的眼球。这在现实中可以实现吗?我们真的可以如电影中一样,随心所欲地操控沉重的机械战甲吗?当前,基于肌电的人机交互技术为我们提供了可能。
肌电技术:可识别每一个动作
骨骼肌肉电信号,简称肌电,是一种伴随肌肉收缩运动,由肌肉细胞和相关神经元电活动叠加产生的信号。肌电信号早先主要被应用在运动相关的疾病诊断和康复训练等领域中。由于在目标肌肉群的皮肤上放置电极即可采集到表面肌电信号,对人体没有任何损害,近年来,肌电这项技术也开始为普通人群提供服务。
肌电的产生与肌肉的活动息息相关。不同的动作伴随着不同的肌肉群收缩模式,也对应着不同的肌电响应情况,因此,肌电常被用于进行人体活动状态的解读。
目前,肌电已经被证明可以用来识别诸如握拳、打响指和抬手等多个手势,以及前进、后退和转向等多种步态。此外,由于动作的产生也需要肌肉活动,肌电不仅可以识别已经发生的动作,还可以对将要进行的动作进行预测。由于肌电在动作识别方面的潜力,其在人机交互中的应用开始逐步受到关注。
实际上,当前市面上已经有多种较为成熟的动作识别解决方案,比较著名的有Kinect 和Leap Motion等。但是,这些方案往往都是基于计算机视觉实现,需要通过摄像头拍摄到人的活动,根据图像分割技术,提取关键的骨骼节点,识别出当前对应的动作。正因为其原理如此,这些方案对于环境光线,遮挡物和离摄像头的距离都有一定的要求,因而也限制了应用场景和人的活动范围。基于肌电的动作识别只需要在胳膊或者小腿等位置贴上电极,不再需要布置摄像头等其它外部设备,就可以实现各种场景下的动作识别,相较而言,就要灵活得多。
▲Leap Motion方案是基于计算机视觉实现的(图片来源/LeapMotion.com)
人机交互:多个场景应用广泛
正因为其灵活性,基于肌电的动作识别在多种人机交互场景中都有应用的可能。
例如,航空航天、深海作业和灾害现场搜救等条件严苛充满风险的地方往往需要远程控制机器人进行协助。而利用肌电进行机器人控制只需要使用者作出相应的动作即可,这让整个操作流程变得非常便捷,操作员更有身临其境的感觉,对突然出现的危机情况也可以更快地进行反应。此外,这种基于肌电的使用者动作同步模拟还有望被应用在远程手术中。也许在未来的一天,通过分析肌电实时提取大夫的手部动作,我们可以让身处北京的大夫控制手术机器人治疗深圳的患者,让顶尖的医生能帮助到更多的人。
另外,基于肌电的动作识别还可以被应用于机器人外骨骼的控制。这种技术既可以打造中强力的机械战士,也能在日常生活中发挥作用,例如搬运重物,在火灾现场救出被困在高层的人们,等等。除此之外,该技术还可以帮助肢体缺损的人重获活动能力。例如,已经有基于肌电的解决方案,帮助因事故完全切除手掌的钢琴爱好者,控制机械手成功弹起了自己心爱的乐曲。
肌电在娱乐行业也有相应的前景,除了控制小车、无人机等小游戏之外,基于肌电的动作识别也可以作为虚拟现实和增强现实游戏的一个输入维度,只需要如真实世界中作出相应的动作,玩家就可以在游戏世界中走动,拾取物品或者进行一次攻击,这种交互模式相较于现有的控制手柄会带来更高的控制感和沉浸感,让游戏体验提升。同时,基于肌电的动作识别还可以用于智能家居的控制,想象一下这样的场景:进门之后打一个响指,家中的灯光、空调和音乐就相继打开,迎接主人的回归。
▲基于小腿表面肌电的智能移动机器人控制系统示意图。通过对采集的肌电信号进行比较分析, 选取了动作段与静息区别较为明显的CH1等四通道信号作为后 续研究信号源。左上图是电极放置的位置;右上图是实际的控制场景;左下图是机器人的示意图;右下图是步态识别的准确率(供图/ 高小榕)
人机融合:"双向"交互营造沉浸式体验
基于肌电的人机交互在国内外都受到广泛的关注,也是研究的热门话题之一。我和清华大学神经工程研究室徐超立一起,提出了一种新颖的"基于小腿表面肌电信号的智能移动机器人控制方法"。通过采集单腿的小腿肌电信号,并将用户步态动作的识别结果实时转化为对机器人运动控制的指令,该系统实现了人与智能移动机器人的实时协同交互。该系统采集方法简单,实时性和准确率都很高,于2016年发表在《中国生物医学工程杂志》上,引起学术界好评,在2019年被评为"北京地区广受关注学术论文"。
那么在下一阶段中,肌电在人机交互领域还有哪些提升的方向?一种可能性是实现"双向"的交互。目前常用的,把肌电中信息解码后用于控制设备只是一种从人到机的单向信息传递,实际上,在与触觉反馈和肌肉电刺激等技术结合之后,我们还可以将反馈信息再直接输入给人。例如,通过肌电控制化身在虚拟现实场景中鞠一捧水的同时,如果具有反向的输入通道,我们还可以感觉到水的重量和流动感。这种双向的交互可以进一步地提高真实感,从而实现人机交互到人机融合的跨越。
由于肌电采集相对简洁,蕴含信息丰富,在动作识别中具有很大的潜力。但也需要注意到现有技术仍存在着运动噪声干扰判别、动作识别效果受个体差异影响,单次使用时间长性能降低等问题。我们期待在研究者的不断努力下,肌电可以在人机交互中发挥更大的作用,为广大用户群体带来更自然、更便利的人机交互解决方案。
-
机器人
+关注
关注
210文章
28191浏览量
206489 -
计算机视觉
+关注
关注
8文章
1696浏览量
45927
发布评论请先 登录
相关推荐
评论