0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计的方法

MEMS 来源:MEMS 2022-12-28 11:51 次阅读

具有移动能力和采样机构的可口服机器人胶囊在胃肠道无创诊断和介入治疗方面具有巨大的潜力。实时跟踪胶囊位置和运行状态对于临床应用是必要的,但这仍然是一个重大挑战。

据麦姆斯咨询报道,近日,加拿大多伦多大学(University of Toronto)和美国范德堡大学(Vanderbilt University)的研究人员组成的团队在Scientific Reports期刊上发表了题为“Capsule robot pose and mechanism state detection in ultrasound using attention-based hierarchical deep learning”的最新论文,提出了一种基于注意力的分层深度学习方法,以用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计和机构状态检测。实验结果表明,胶囊状态分类的准确率为97%,方位和质心位置的平均估计误差为2.0°和0.24mm(胶囊体长的1.7%)。提出的方法有望推进无线胶囊机器人技术的发展。

无线胶囊机器人在靶向给药、活检取样和胃肠道(GI)局部诊断等任务中显示出巨大的潜力。尽管内窥镜手术通常被用于胃肠道的诊断和治疗,但内窥镜检查需要麻醉,并存在肠道破裂的风险。基于微创胶囊机器人的技术有望替代内窥镜。对于使用无线胶囊机器人进行活检或靶向治疗等手术,需要准确和实时地跟踪胶囊位置和运行状态。

磁定位技术作为一种用于无线胶囊内窥镜(WCE)姿态估计的无遮挡跟踪方案已被广泛研究。典型的配置是将一个或多个小永磁体封装在胶囊中,并使用外部传感器根据感测到的磁场数据确定胶囊的姿态。现有方法以高定位精度实现了实时精度,但是由于执行器对定位系统的干扰,因此无法实现对胶囊的同步磁驱动。

为了解决这个问题,研究人员已经提出了一种约束在3 x 3平面内的线圈系统,以最小化执行器对传感器的影响。Y. Xu等实现了WCE的同步磁驱动和定位,并通过使用积分滤波器消除了磁干扰。然而,这种系统受限于相对较低的姿态更新频率(约0.5~1.0Hz)。此外,磁跟踪无法对胃肠道生理学方面进行定位,而这对于许多应用(例如靶向取样、活检或治疗递送等)来说是必需的。超声引导的胶囊机器人将通过使用安全、无创成像模式跟踪胶囊来解决这些障碍,该成像模式还有潜力定位胶囊的胃肠道位置。

与磁共振成像(MRI)和X射线等其他医学成像技术相比,超声成像技术因其结合了高时间分辨率和无电离辐射成像,成本较低,且更容易实现,因此受到人们青睐。尽管超声成像已在许多临床应用中使用,但使用GI超声成像胶囊仍存在一些挑战。胃肠道由5个管状组织层组成,这些组织层是交替产生回声和消声的材料,在超声B模式扫描中表现为亮层和暗层。此外,胃肠道内部充满了空气、水和消化物质的混合物,这在超声B模式图像中表现为许多斑点和明暗对比的区域。在这种环境下,胶囊机器人的精确检测和跟踪是非常具有挑战性的。

虽然超声成像被熟练的超声医师手动使用作为诊断工具,但仍需要对胶囊机器人进行基于计算机的自动跟踪,因为(1)具有移动或机构驱动能力的胶囊机器人必须同时被跟踪和控制,这对操作员来说是一个重大的挑战,因为这要求操作员对胶囊和超声系统的动力学和操纵具有良好的了解;以及(2)在B模式图像中,通过手动从背景组织中识别设备和胶囊机载机构状态来进行精确的图像判读是特别困难的。研究人员提出了一种自动检测方法用于帮助临床医生进行胶囊操纵,可在无需超声医师持续关注的情况下进行胶囊跟踪,并提供更标准化的反馈。这种自动跟踪将使临床医生通过解剖工作空间指定的路径实现完全闭环控制。

在本论文中,作者们提出了一种基于注意力的分层深度学习方法,并在非医学数据集上采用训练有素的CNN模型,以在离体猪胃肠道中使用超声成像对毫米级机器人胶囊进行2D姿态估计和机构状态检测。该胶囊机器人由封装在软弹性体样品室中的两个永磁体构成。它具有一个磁力驱动的取样机构,当被施加磁场时,该机构会使胶囊打开以进行取样或治疗给药。胶囊的直径和长度分别设计为8mm和14.5mm。在临床使用期间,胶囊在口服给药后通过胃肠道,并在移动期间保持关闭,只有在到达目标位置时才被激活以打开进行取样或药物释放。最后,胶囊可以通过常规的粪便通道取回。

他们考虑了胶囊机器人的三种可能的机构状态:闭合、打开和消失在视场(FOV)中(由于周围组织引起的离面运动或闭塞),如图1b–d所示。胶囊机器人在超声图像坐标系U中的2D姿态定义为(xU,yU,θU),超声成像平面内的质心位置和方向如图1b所示。

15304e6c-7d5c-11ed-8abf-dac502259ad0.jpg

图1 胶囊机器人的三种可能的机构状态

为了训练神经网络,他们在离体猪胃内生成了机器人胶囊的代表性数据集。实验结果表明,在测试集上,胶囊状态分类的准确率为97%,方位和质心位置的平均估计误差为2.0°和0.24mm(胶囊体长的1.7%)。在猪胃和结肠中通过外部磁体操纵胶囊机器人时,对胶囊的精确检测也得到了证实。结果表明,通过在临床场景中提供胶囊机器人的精确检测,提出的方法有望推进无线胶囊机器人技术的发展。

15460f72-7d5c-11ed-8abf-dac502259ad0.jpg

图2 离体猪胃实验设置

155124de-7d5c-11ed-8abf-dac502259ad0.jpg

图3 胶囊机器人的离体姿态估计和机构状态检测结果

本论文研究工作的主要贡献包括:

(1)这项研究工作演示了在离体猪胃肠道超声B模式成像下对无线胶囊机器人的姿态和运行状态的检测。这允许将超声引导的临床手术整合到常规工作流程中,以协助临床医生使用胶囊机器人。

(2)这项研究工作提出了一种新的基于注意力的分层深度学习方法,以增强特征表示能力,并首次将在非医学数据集上预训练的CNN模型应用于目标跟踪任务的临床数据集。基于离体超声图像开发的训练模型具有很大的临床价值,可以作为超声引导的医疗器械在体内跟踪的预训练模型。

(3)这项研究工作提供了一个在离体临床相关环境中的超声图像的大型标记数据集,用于对微尺度胶囊机器人跟踪算法的开发进行基准测试。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50439

    浏览量

    750978
  • 磁共振成像
    +关注

    关注

    0

    文章

    20

    浏览量

    8581
  • 执行器
    +关注

    关注

    5

    文章

    375

    浏览量

    19294

原文标题:基于注意力的分层深度学习方法,用于胶囊机器人姿态和机构状态的超声成像检测

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【开源项目】你准备好DIY一款功能强大的机器人了吗?

    欢迎来到DIY SMARS Robot 机器人制作教程!本教程,将教你制作这款功能强大的机器人,它配备了OLED显示屏、RGB LED灯和可播放旋律的蜂鸣器等新功能。一起来设计电
    发表于 11-08 10:53

    机器人视觉技术中常见的图像分割方法

    机器人视觉技术图像分割方法是一个广泛且深入的研究领域。图像分割是将图像划分为多个区域或对象的
    的头像 发表于 07-09 09:31 381次阅读

    机器人视觉技术图像分割方法有哪些

    机器人视觉技术是人工智能领域的一个重要分支,它涉及到图像处理、模式识别、机器学习等多个学科。图像分割是机器人视觉技术
    的头像 发表于 07-04 11:34 667次阅读

    编码器机器人系统的应用

    随着科技的飞速发展,机器人技术已广泛应用于工业、医疗、服务等多个领域。机器人系统,编码器作为核心的位置和速度检测装置,发挥着至关重要的作
    的头像 发表于 06-13 14:51 717次阅读

    基于FPGA EtherCAT的六自由度机器人视觉伺服控制设计

    、Zynq和摄像头为硬件基础,搭建了六自由度机器人视觉平台。 (2)设计了基于 FPGA的视觉检测方案。利用 西林提供的 HLS和CV库对从摄像头采集到的像素流进行实时处理,并设计了一套识别物块坐标
    发表于 05-29 16:17

    介绍一种使用2D材料进行3D集成的新方法

    美国宾夕法尼亚州立大学的研究人员展示了一种使用2D材料进行3D集成的新颖方法
    的头像 发表于 01-13 11:37 1000次阅读

    一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法

    二维(2D)和三维(3D)双模视觉信息自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。
    的头像 发表于 01-05 10:35 419次阅读
    一种<b class='flag-5'>用于</b><b class='flag-5'>2D</b>/3<b class='flag-5'>D</b><b class='flag-5'>图像</b>处理算法的指令集架构以及对应的算法部署<b class='flag-5'>方法</b>

    【爱芯派 Pro 开发板试用体验】人体姿态估计模型部署前期准备

    使用到,这里给大家举几个例子: 1、虚拟主播:大家看到B站直播时的“皮套”,通常通过一个2D live的形象展示一个动漫形象,然后和主播同步动作。这就是通过摄像头识别当前主播姿态,再同步到虚拟形象上实现
    发表于 01-01 01:04

    子母式微纳米机器人系统,用于颅内跨尺度靶向给药

    该团队分别在体外胶质瘤细胞微环境和离体猪脑组织内开展了试验。结果表明,微纳米机器人可远距离递送到指定病灶,释放药物杀死胶质瘤细胞。这验证了该研究所提出的子母式微纳米机器人尺度递送方法
    的头像 发表于 12-26 16:40 368次阅读
    子母式微纳米<b class='flag-5'>机器人</b>系统,<b class='flag-5'>用于</b>颅内跨<b class='flag-5'>尺度</b>靶向给药

    LabVIEW的六轴工业机器人运动控制系统

    环境,对机器人进行了正逆运动学仿真测试。接着,对单轴和多轴伺服系统进行了控制测试,最终实现了机器人的轨迹规划实体控制。
    发表于 12-21 20:03

    2D与3D视觉技术的比较

    作为一个多年经验的机器视觉工程师,我将详细介绍2D和3D视觉技术的不同特点、应用场景以及它们能够解决的问题。在这个领域内,2D和3D视觉技术
    的头像 发表于 12-21 09:19 1040次阅读

    一个用于6D姿态估计和跟踪的统一基础模型

    今天笔者将为大家分享NVIDIA的最新开源方案FoundationPose,是一个用于 6D 姿态估计和跟踪的统一基础模型。只要给出CAD模型或少量参考
    的头像 发表于 12-19 09:58 778次阅读
    一个<b class='flag-5'>用于</b>6<b class='flag-5'>D</b><b class='flag-5'>姿态</b><b class='flag-5'>估计</b>和跟踪的统一基础模型

    设计和模拟厘米尺度超透镜的工作流程

    本文介绍了设计和模拟厘米尺度超透镜的工作流程。
    的头像 发表于 12-16 11:02 972次阅读
    设计和模拟厘<b class='flag-5'>米尺度</b>超透镜的工作流程

    大有可为!泰科协作机器人全面布局医疗健康行业

    泰科机器人的TB6六轴、TC7七轴、DR双臂系列机器人,都已经用于多个医疗应用场景,既有手术辅助机器人,也有超声波医学检测
    的头像 发表于 12-15 10:42 427次阅读

    使用Python从2D图像进行3D重建过程详解

    有许多不同的方法和算法可用于2D图像执行3D重建。选择的方法取决于诸如输入
    的头像 发表于 12-05 14:07 2713次阅读
    使用Python从<b class='flag-5'>2D</b><b class='flag-5'>图像</b><b class='flag-5'>进行</b>3<b class='flag-5'>D</b>重建过程详解