0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

智能交互手部康复机器人讲解 人机交互新视野肌电交互

雷纪中 来源:雷纪中 作者:雷纪中 2022-05-09 17:47 次阅读

智能交互手部康复机器人

一、产品概述

poYBAGJ44cmAdsj0AAZXghhYY00175.png

pYYBAGJ44ieAXjqJAAMaivVjXd8381.png

智能交互手部康复机器人是以手部康复外骨骼为被控对象,配备简洁的人机交互界面,采用模块化设计理念,具有理实一体、操作简单、易于扩展等特点,极大的提高师生的参与程度,为脑卒中患者提供多用途、层次丰富、安全易用、易于扩展的肌电交互系统。该系统融合了 UI交互界面、嵌入式控制器、肌电手环、手部康复机器人系统,提供基于 python 语言的统一框架,方便操作者的使用和二次开发,为用户提供完整的手部康复机器人教学科研环境。

二、产品特色

可穿戴:传统的人机交互方式如键盘、鼠标等不方便携带,不适合便携式人机交互。而基于表面肌电的人机交互方式通过采集人体皮肤表面的微弱的生理电信号,实现对意图指令的解码。肌电手环具有便携性,可以穿戴在手臂上,便于实际场景中实时人机交互。

智能识别:表面肌电信号是一种时变的、易受干扰的非平稳信号,如何准确的识别出人体运行意图至关重要。通过对原始信号进行滤波,提取时频域统计学特征,使用人工智能法来识别出人体的意图,进而控制手部机器人执行相应的动作。

一体化框架:该系统融合了 UI 交互界面、嵌入式控制器、肌电手环、手部康复机器人系统,提供基于 python 语言的统一的框架,方便操作者的使用和二次开发,整体流程框架图如下图所示。整体框架图

pYYBAGJ44k2ADeP5AAg63GBGqoo155.png

三、系统性能参数

智能交互手部康复机器人基于嵌入式处理器树莓派,实现 UI 交互模块、信号处理与识别模

块、系统控制模块的集成。

1、交互界面

(1)主界面

智能交互手部康复机器人可以实现被动康复训练和主动康复训练两部分功能,交互主界面

如下图所示,可以通过点击对应图片选择相应的功能。

交互主界

poYBAGJ44mSAJS3zAASAaZ0VWY8657.png

(2)被动训练界面

被动训练可以自主设置训练次数,动作时间和休息时间,同时也设置了五指分别运动以及

张手、握拳、捏手指和伸手指四个常用动作,通过调节伸长量来控制手部张开和闭合的幅度。

被动康复训练界面如图所示。

被动康复界面

pYYBAGJ44m-AGQ2eAAXO8Gll01I903.png

(3)主动训练界面

实现主动训练首先要采集患者的肌电数据,通过在动作列表中选择训练的动作进行数据采

集,将采集完两轮的数据进行模型训练,训练好后即可实现主动训练。主动康复训练界面如图

所示。

主动康复训练界面

poYBAGJ44neAPP0-AAaVbJiYIx4942.png

按下开始采集按钮,会显示当前需要做的动作。按下模型训练按钮,会自动对采集的 sEMG

信号进行处理,建立分类识别模型。模型建立后,按下开始训练按钮,做出相应动作,会控制康复手同时做出相同动作,实现主动康复功能。如在训练时感受到疲惫,可按下停止训练按钮

暂停训练,在适当休息后,也可以再次点击开始训练按钮重新训练,最后点击返回按钮,会退

出主动康复训练界面,返回主界面。

(4)动作选择界面

动作选择界面包含多个训练动作,包含握拳,张手,OK,数字 1 到 10,捏指等。可以选

择自己想做的动作进行训练,同时也可以随时增加或删除新老动作。动作选择界面如图所示。

动作选择界面

pYYBAGJ44oOAIQcgAAb2DM5Ns4Y381.png

2、信号处理与模式识别

采用统计学特征和机器学习的方法,从非平稳、高噪声的肌电信号中解码出人的动作意图。

首先佩戴肌电手环,然后根据上位机界面来做出相应的动作,同时采集肌电数据,之后对数据

进行降噪、特征提取和识别,解码出人体的运动意图。算法处理流程如下图所示:

信号处理与模式识别

poYBAGJ44o6AERYfAAVjhjGIMAI918.png

3、相关硬件参数

手部康复机器人控制系统1)整体:包括蓝牙模块、运动控制模块,实现多种手势的实时手部机器人控制。可以快速

搭建手部机器人研究平台,支持控制算法和特征工程处理的快速开发

2)工作技术参数:

开发方式:Python

工作范围:2m*2m

工作环境温度:室温温度

驱动方式:直流电机驱动

工作采样频率:50HZ

控制模式:位置,速度

实验工程及 demo:提供实验工程及 demo

微型直线伺服驱动器

1)小体积、高功率密度、高重复定位精度;

2)内部集成了微型电机、减速器、丝杆机构、传感器以及驱动控制系统,集成度

高;

3)接口丰富:

电气接口:具有 LVTTL3.3V 串口(D 型)和 PWM(

P 型)两种接口。D 型接口的驱动器

可以配置地址编号(

ID),多个不同 ID 的驱动器可以通过串口总线控制。P 型接口的驱动器兼

容标准舵机接口,支持 50HZ 和 333HZ 两种频率的 PWM 控制信号

机械接口:具有丰富的接口方式可选,方便用户安装使用

4)宽电压:DC6V~9V 宽电压范围供电,建议供电 8V,断电后不会丢失位置信息

5)具备过热、过流保护功能

树莓派 3B+:

1)64 位的 1.4GHz 四核 ARM Cortex-A53

2)1GB 内存和千兆以太网 (最大吞吐量 300Mbps)

3)IEEE 802.11.b/g/n/ac 双频 2.4GHz/5GHz 无线网卡

4)低功耗蓝牙 4.2 (BLE)

5)HDMI 接口、PoE 接口和四个 USB 2.0 接口

6)MicroSD 卡插槽7)3.5 mm 音频输出接口

8)40PIN GPIO 接口

Myo 肌电手环:

1)手臂尺寸可在 7.5-13 英寸(19-34 厘米)前臂周长之间展开

2)8 个医用级不锈钢肌电图传感器

3)重量: 93g

4)1 个包含三轴陀螺仪、三轴加速度计、三轴磁强计的九轴 IMU

5)短、中、长振动的触觉反馈

6)ARM Cortex M4 处理器

7)双指示灯 LED 使用蓝牙智能

8)micro-usb 充电,内置可充电锂离子电池一次性使用一整天

9)1 个肌臂带 1 根标准 micro USB 电缆

10)1 个蓝牙适配器,用于 Mac 和 Windows PC 连接

11)10 个 MYO 尺寸夹

12)1 个开放的、免费的、有原始数据可用的 SDK

康复手:

刚性手部外骨骼采用 3d 打印材质,配合金属零件共同组装而成;并配用树脂材料打印的控

制盒,盒内集成了树莓派和电源线、HDMI 走线等,可以实现树莓派的开关及急停功能

四、配套实验内容

模式识别基础实验:

1

模式识别导论

理解模式识别的定义,了解课程学习目标、学习内容和学习方法,

激发学习动力和学习兴趣。

2

模式识别基础

理解模式识别的基础概念:包括特征与特征空间、有监督学习与

无监督学习、紧致性、维数灾难、泛化能力与过拟合。

3

模式识别系统

解模式识别系统的一般结构,并理解各个环节的主要任务4

线性分类器

理解线性分类器的基本原理:包括线性判别和广义线性判别,多

分类线性判别函数和线性判别函数的几何意义

5

支持向量机

理解支持向量机的原理,并能编程实现支持向量机去解决简单的

模式识别问题。

6

感知器算法

理解感知器算法的原理,并能编程实现感知器算法去求解线性分

类器。

7

贝叶斯分类器

理解贝叶斯分类器的原理,并能够编程实现贝叶斯分类器。

8

k 近邻算法

理解 k 近邻算法的原理,并能够编程实现 KNN 算法。

9

特征降维

理解特征降维的基本概念,理解特征降维的主要方法,并能够在

解决模式识别问题的过程中加以应用

10

聚类算法

理解数据聚类的基本概念、特点和聚类算法的一般流程,理解常

用数据聚类算法的原理,包括试探法聚类、层次法聚类和动态聚

类。

11

组合分类器

理解组合分类器的原理,理解 Adaboost 算法和随机森林算法的

基本原理,并能够编程实现这两种算法来解决模式识别问题。

12

神经网络分类器

理解人工神经元网络的基本概念和用于模式识别的基本原理,理

解 BP 算法的原理,并能够编程实现 BP 算法

模式识别高级实验:

1

sEMG 特征提取

学习提取原始数据的时域、频域和时频域等常用特征,将原始数

据提炼为特征供分类模型使用。

2

sEMG 特征降维

学习主元分析(

PCA)、线性判别分析(

LDA)、独立元分析(

ICA)

等常用降维算法,采用降维算法降低 sEMG 特征。

3

神经网络算法

理解神经网络算法的原理,进而对深度神经网络和卷积神经网络

有所学习,并能通过编程解决动作识别和康复评估的问题。

4

支持向量机

理解支持向量机的原理,用于解决动作识别的问题。

5

组合分类器

理解 GBDT 算法和随机森林算法的基本原理,并能通过编程实现

这两种算法来解决模式识别问题sEMG 信号处理实验:

序号

实验名称

课程内容

1

sEMG 概念

了解 sEMG 信号的概念,了解课程学习目标、学习内容

2

sEMG 采集

学习 sEMG 信号采集方法。

3

sEMG 特征提取

学习 sEMG 特征提取方法,了解常用的 sEMG 时域特征、频域、

时频域特征。

4

sEMG 特征选择

学习过滤式、包裹式、嵌入式等特征选择方法,降低 sEMG 特征。

5

建立动作分类模

学习随机森林、神经网络等常用分类算法,通过 sEMG 进行动作

分类。

6

动作在线识别

学习使用建立的分类模型进行在线识别。

7

建立康复评估模

学习深度、卷积神经网络等常用分类算法,建立合适的康复评估

模型。

8

评估患者康复等

通过评估模型对患者进行康复等级评估,适时调整患者的康复方

案。

五、平台配置清单

产品名称

产品型号

平台配置

智能交互手部康复机器人

Robot-HRb

智能交互系统

定制

刚性康复手

定制

显示屏

维辰思系列

树莓派

3b+

电机

因时 LA-16 型

肌电手环

8 通道 MYO

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人机交互
    +关注

    关注

    12

    文章

    1198

    浏览量

    55259
  • 机器人
    +关注

    关注

    210

    文章

    28053

    浏览量

    205731
  • 医疗机器人
    +关注

    关注

    3

    文章

    220

    浏览量

    55594
收藏 人收藏

    评论

    相关推荐

    【LeMaker Guitar申请】物流机器人人机交互

    申请理由:公司一直没有重点对物流机器人人机交互进行改善,客户反应,对物流机器人的控制只限于远端,而对近端操作人员没有友好的人机交互。所以公司一直寻找一个类似平板电脑的定制电脑,所以单
    发表于 01-18 16:22

    人机交互界面设计在产品设计中的应用

    `  人机交互界面是产品设计中实现机器信息传递的界面,是机器及环境发生交互关系的具体表达
    发表于 01-25 16:18

    人机交互技术简介

    人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备,以有效的方式实现与计算机对话的技术。它包括机器通过输出或显示设备给人提供大量
    发表于 07-16 08:09

    人机交互的概念的理解_人机交互的基本概念

    人机交互从广义上讲,就是全社会生态系统的智能化识别;从狭义上讲,3D显示器、、视网膜显示器、动作识别、仿生隐形眼镜、第六感技术和体感系统等都是人机交互在不同阶段的发展形态。
    发表于 01-11 16:02 2.6w次阅读
    对<b class='flag-5'>人机交互</b>的概念的理解_<b class='flag-5'>人机交互</b>的基本概念

    机器人嵌入式传感与人机交互

    随着机器人技术的不断发展,传感器技术和人机交互技术在机器人上的应用日益凸显。嵌入式传感器多节点分布、多传感信息融合、和多样化的人机交互方式是未来机器
    发表于 01-27 11:14 2次下载

    人机交互是什么意思?人机交互交互设计的区别是什么?

    那么人机交互是什么意思?人机交互通俗的解释就是:容易学,高效实用,并具有丰富的用户体验,从用户角度出发的设计理念。
    的头像 发表于 02-26 11:26 3.7w次阅读

    人机交互未来新趋势 用脑电波手势控制机器人

    近日,麻省理工(MIT)的研究人员们就展示了一套这样的人机交互装置。其结合了“脑 + 手势”的方案,让使用者可以不费吹灰之力地与机器人互动。
    的头像 发表于 06-25 17:10 3932次阅读

    人机交互的内容有哪些_人机交互主要研究什么

    一个交互界面的好坏,直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法。因此,研究人机交互界面的表示模型与设计方法,是人机
    发表于 03-31 14:12 1.4w次阅读

    智能人机交互是什么

    如果把人机交互看成脖子以下,即生理与物理之间的相互作用(如视域、听域、可达域、舒适域)的话,那么智能就应该是脖子以上的问题(如的自然智能机器
    的头像 发表于 12-08 16:39 4029次阅读

    上肢康复机器人现状及研究分析

    为了对当前上肢康复机器人关键技术分析及未来发展方向预测,通过对世界范围内外骨骼式及末端牵引式上肢康复机器人研究现状分别进行介绍分析,从整体构型、控制系统及人机交互三方面总结各典型上肢康复机器人
    发表于 06-18 16:23 8次下载

    基于双串口单片机的上肢康复机器人交互控制系统

    基于双串口单片机的上肢康复机器人交互控制系统
    发表于 06-29 14:47 13次下载

    什么是人机交互技术?

    什么是人机交互技术? 在人工智能电话机器人中,最为重要的技术当然是人机交互,什么是人机交互技术呢? 人机
    的头像 发表于 11-02 15:14 1.8w次阅读

    人机交互技术是人工智能

    人机交互技术是人工智能吗 业界认为人工智能作为一门前沿交叉学科,人工智能领域的关键技术包括机器学习、知识图谱、自然语言处理、计算机视觉、
    发表于 12-06 18:37 3976次阅读

    机器人市场化的人机语音交互

    语音交互无论是与人沟通,还是AI人工智能时代人与机器人互动以及机器人机器人之间的
    的头像 发表于 04-03 11:33 705次阅读
    <b class='flag-5'>机器人</b>市场化的<b class='flag-5'>人机</b>语音<b class='flag-5'>交互</b>

    人机交互技术有哪几种 人机交互技术的发展趋势

    人机交互技术是指与计算机之间通过各种交互方式进行信息传递、操作和控制的技术。随着科技的进步,人机交互技术也在不断发展创新。以下将介绍人机交互
    的头像 发表于 01-22 17:47 3243次阅读