0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

一种融合基于相机的姿态估计和IMU传感器的步态分析方法

MEMS 来源:MEMS 作者:麦姆斯咨询殷飞 2022-11-03 09:49 次阅读

无标记步态分析系统可以测量有用的步态指标,以确定有效的临床治疗方案。尽管这种步态分析系统不需要很大的空间、多个标记,也不受时间限制,但它在步态过程中无法精确测量下肢关节运动学参数。特别是,它具有较大的踝关节角度误差。

据麦姆斯咨询报道,近日,由日本东京理工大学(Tokyo University of Science)、广岛大学(Hiroshima University)、县立广岛大学(Prefectural University of Hiroshima)的研究人员组成的团队在Scientific Reports期刊上发表了题为“Verification of gait analysis method fusing camera-based pose estimation and an IMU sensor in various gait conditions”的最新论文,团队提出了一种融合基于相机的姿态估计和IMU传感器的步态分析方法,提出的方法显著降低了踝关节峰值角度的平均绝对误差(MAE),有望作为临床步态评估工具。

步速、步长和关节运动学等步态指标是临床环境中步态障碍患者的关键评估参数。步态的时空和运动学参数已被用于评估神经系统疾病的治疗效果,并预测老年人摔倒的风险。这些指标为规划物理治疗和确定治疗效果提供了有价值的信息。目前,基于光电标记的三维运动捕捉(3DMC)系统已被用作临床步态分析的典型测量工具,它能够精确测量步态指标。

光电3DMC系统具有步态指标测量的可靠性和可重复性。尽管3DMC系统能够精确测量步态指标,但由于经济和时间的限制,人们很难在临床环境中使用它。此外,它在测量时需要较大的空间和专业的技术。

基于惯性测量单元(IMU)的运动捕捉系统可被用作3DMC的替代方法。然而,该系统需要将多个IMU传感器连接到多个人体关键部位。基于相机的无标记运动捕捉系统使用人体姿态估计算法来测量人体步态,也可作为3DMC的替代方法。微软Kinect由配有深度传感器的RGB相机组成,可以在没有反射标记的情况下测量步态。

Kinect可以高可靠性地测量步速、步时和步长等时空参数。此外,它还被用作体弱者的运动辅助工具,以及测量双任务步态的认知功能评估工具。然而,先前的研究表明,与光电3DMC系统相比,深度相机无法精确测量下肢关节角度等运动学参数。

此外,由于采样率的原因,使用深度传感器的无标记运动捕捉系统无法轻松测量快速的关节运动。大多数深度传感器的采样率为30Hz,而用于步态分析的3DMC采样率大于60Hz或100Hz。较低的采样率可能导致重要的下肢关节角度数据丢失。

最近,基于RGB相机的二维(2D)无标记人体运动跟踪系统,如PoseNet和OpenPose(OP),已被开发用于估计人体姿态和人体关键部位。OP是一款开源的人体姿态估计软件,它使用来自每个RGB图像的两分支多级卷积神经网络(CNN)作为输入来估计人体关键点。

尽管这些系统没有深度传感器,但它们可以使用CNN的二维图像或视频来估计人体关节点。这些系统在临床环境中具有作为步态分析工具的巨大潜力,因为它们不需要附加标记、专业的技术或巨大的成本。

OP可作为帕金森病和自闭症谱系障碍的筛查工具,但使用二维姿态估计系统进行步态分析时仍存在一些问题。由于姿态估计仅估计人体关键点,因此用户需要根据人体环节和匹配计算关节运动学。此外,当OP被用于步态分析时,对于其精度有较高的要求。之前的一些研究报告指出,OP可以在步态过程中测量矢状面上的时空和运动学参数,且误差较小。

研究团队之前的研究表明,与光电3DMC系统相比,通过OP进行的单RGB相机步态分析可以测量多个时空参数和矢状面关节角度,具有良好到优秀的一致性;然而,在某些步态条件下,下肢关节角度的测量误差会增加,包括过量的二维图像平面外运动,例如增加的足行进角度(FPA)。

尤其是,踝关节峰值角度会有很大误差。当使用单个RGB相机从侧面测量行走对象时,相机的二维图像平面可以轻松捕捉屈伸运动。相比之下,二维图像平面外的运动(如过量的FPA)会影响关节角度的精度。姿态估计算法也影响了其精度,因为该算法没有设计用于在这种情况下的步态运动学分析。

尽管研究人员试图在单个RGB相机分析中减少由二维图像平面外运动引起的关节角度误差,但针对二维平面外过量运动和踝关节角度误差的有效校正方法尚未得到充分解决。准备多台RGB相机可能会减少角度误差;然而,由于空间和成本较大,在临床环境中难以采用这种方法。

使用单台相机的三维姿态估计器可能有用,但是,考虑到其在临床环境中的使用,这种方法存在处理速度和应用方便性等问题。为了克服这些限制,使用IMU传感器数据(如人体关键部位加速度和角速度)补充OP运动学参数可能有助于提高精度

在本论文中,科研团队研究了无标记步态分析方法的性能,该方法使用OP和足部的IMU传感器进行基于单个RGB相机的姿态估计,以测量不同步态条件下的踝关节运动学参数。16名健康的年轻成年男性参与了这项研究。他们比较了四种不同步态条件下的时空参数和下肢关节角度。

这些参数是利用光电运动捕捉、使用OP的无标记步态分析方法以及提出的融合OP和IMU方法进行测量的。他们发现,在四种步态条件下,与OP相比,提出的融合OP和IMU方法显著降低了踝关节峰值角度的平均绝对误差。所提出的方法具有在各种步态条件下测量时空步态参数和下肢关节角度(包括踝关节角度)的潜力,有望作为临床步态评估工具。

3333c576-5acd-11ed-a3b6-dac502259ad0.jpg

图1 步态测量实验设置和OP的人体模型

334deadc-5acd-11ed-a3b6-dac502259ad0.jpg

图2 本论文提出的融合OP和IMU的踝关节角度测量方法

336647ee-5acd-11ed-a3b6-dac502259ad0.jpg

图3 三种方法(3DMC、OP、融合OP和IMU的方法)的踝关节角度测量结果对比

论文信息:

https://doi.org/10.1038/s41598-022-22246-5








审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50433

    浏览量

    750908
  • RGB
    RGB
    +关注

    关注

    4

    文章

    796

    浏览量

    58331
  • FPA
    FPA
    +关注

    关注

    0

    文章

    9

    浏览量

    1562
  • 卷积神经网络

    关注

    4

    文章

    359

    浏览量

    11829

原文标题:融合基于相机的姿态估计和IMU传感器的步态分析方法

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    《DNK210使用指南 -CanMV版 V1.0》第二十三章 六轴传感器——姿态解算实验

    第二十三章 六轴传感器——姿态解算实验 在上章节中,介绍了板载六轴传感器的使用,仅需简单的使用提供的驱动,便可从六轴传感器上获取温度、加速
    发表于 10-18 14:10

    CGQ-24霍尔传感器一种什么类型的传感器

    霍尔传感器一种基于霍尔效应的磁敏传感器,具有非接触式测量、高灵敏度和广泛应用等特点。
    的头像 发表于 09-27 11:17 206次阅读

    精密制造的革新:光谱共焦传感器与工业视觉相机融合

    在现代精密制造领域,对微小尺寸、高精度产品的检测需求日益迫切。光谱共焦传感器凭借其非接触、高精度测量特性脱颖而出,而工业视觉相机则以其高分辨率、实时成像能力著称。两者的融合,不仅解决了传统检测方式在
    的头像 发表于 09-26 11:47 246次阅读

    爱普生开发用于姿态和振动控制的理想IMU

    传感器的新型惯性测量单元(IMU)1。新产品的批量生产计划于2022年春季进行。爱普生的IMU于2011年首次推出,已用于系列客户应用,因其出色的性能和质量而享有盛
    发表于 08-12 11:15 0次下载

    六轴姿态倾角动态传感器

    六轴(姿态)倾角(动态)传感器内部使用数字型MEMS动态芯片,可测量运动载体的姿态参数(横滚、俯仰以及方位角),适用于运动或振动状态下的倾角测量。产品内置加速度和陀螺传感器,集成了卡尔
    的头像 发表于 07-12 17:00 302次阅读
    六轴<b class='flag-5'>姿态</b>倾角动态<b class='flag-5'>传感器</b>

    一种手掌大小的气体传感器分析仪,可实时检测多种有毒气体

    据麦姆斯咨询报道,欧洲的个研究项目正在开发一种手掌大小的气体传感器分析仪,能够安装在灯柱上实时检测多种有毒气体。
    的头像 发表于 05-07 09:06 565次阅读
    <b class='flag-5'>一种</b>手掌大小的气体<b class='flag-5'>传感器</b>和<b class='flag-5'>分析</b>仪,可实时检测多种有毒气体

    爱普生(EPSON)开发新IMU产品M-G370PDS改善姿态和震动控制

    相应地,对提供更高精度的IMU的需求正在上升,这对于姿态控制和噪声性能至关重要。爱普生正是再这种对于高精度IMU的需求之下,开发新IMU产品M-G370PDS改善
    的头像 发表于 03-21 10:11 1169次阅读
    爱普生(EPSON)开发新<b class='flag-5'>IMU</b>产品M-G370PDS改善<b class='flag-5'>姿态</b>和震动控制

    爱普生为姿态和振动控制开发理想的IMU

    -M-G370PDS0改善了短期噪声,扩展了型号阵容,使产品选择范围更广-精工爱普生公司(“爱普生”,TSE:6724)已经开发出M-G370PDS0样品,这是一种配备高性能六轴传感器的新型惯性测量
    的头像 发表于 02-28 14:52 383次阅读
    爱普生为<b class='flag-5'>姿态</b>和振动控制开发理想的<b class='flag-5'>IMU</b>

    深度解析:多传感器融合SLAM技术全景剖析

    SLAM中,先验值通常从一系列传感器获得,比如惯性测量单元(IMU)和编码,而观测值则是通过GPS、相机和激光雷达等其他传感器获取的,后验
    发表于 02-23 11:31 2564次阅读
    深度解析:多<b class='flag-5'>传感器</b><b class='flag-5'>融合</b>SLAM技术全景剖析

    【先楫HPM5361EVK开发板试用体验】06-基于MPU9250的姿态解算

    姿态信息,因此需要进行姿态解算以获取设备的准确姿态姿态解算常用的方法有互补滤波和卡尔曼滤波。 1、卡尔曼滤波简介 卡尔曼滤波是
    发表于 01-17 14:55

    液位传感器的接线方法及工作原理

    液位传感器一种用于测量容器内液体水平的装置。它广泛应用于各种工业领域,如化工、石油、食品加工、水处理等。接下来将详尽地介绍液位传感器的接线方法和工作原理。
    的头像 发表于 01-15 16:10 5172次阅读

    灵动佳芯发布一种非接触式红外体温传感器

    传感器在各个领域中都扮演着重要的角色。其中温度传感器是最为常见的一种,它在工业、汽车、医疗、家电等领域得到广泛应用。
    的头像 发表于 12-27 09:26 1068次阅读
    灵动佳芯发布<b class='flag-5'>一种</b>非接触式红外体温<b class='flag-5'>传感器</b>

    传感器数据融合算法python代码

    传感器数据融合算法是一种将多个传感器收集到的数据合并到致和准确的表示中的技术。这种算法的目
    的头像 发表于 12-15 10:28 1314次阅读

    【ELF 1开发板试用】+ 7.0 利用icm20607 完成IMU开发【算法】

    IMU开发 ELF 1搭载了六轴运动跟踪传感器 ICM20607,集成了三轴加速度计和三轴陀螺仪,那么我们就可以简单的进行开发,将角速度和加速度的数值进行数据融合,计算出开发板当前的姿态
    发表于 12-13 15:48

    基于飞控的姿态估计算法作用及原理

    主要是般选用的惯性传感器,都是MEMS器件,精度相对较差;此外,实际工作中 很难准确的判定姿态估计的是否准确 。   姿态
    发表于 11-13 11:00 897次阅读
    基于飞控的<b class='flag-5'>姿态</b><b class='flag-5'>估计</b>算法作用及原理