基于机器学习的跟踪算法的自动机器人提高手术精度

在医学上，机器人在没有外科医生手的指导下进行了腹腔镜手术。最近发表在 Science Robotics 上的 研究 概述了智能组织自主机器人（ STAR ）增强版的设计，该机器人在猪的软组织上完成了具有挑战性的任务。这项成就标志着全自动机器人手术的一个里程碑。

“我们的发现表明，我们可以自动化手术中最复杂、最微妙的任务之一：重新连接肠的两端。这颗星星在四只动物身上进行了这一手术，其结果明显优于人类进行同样的手术，” Axel Krieger ，约翰·霍普金斯大学惠汀工程学院机械工程高级作者兼助理教授在一份 发布 报告中说。

在腹腔镜手术中，外科医生使用小切口和摄像头在腹部或骨盆进行手术。连接两个管状结构（如血管或肠道）的吻合术通常在腹腔镜下进行。尽管该手术具有微创性，但如果因缝合有缺陷而发生任何渗漏，该手术可能会给患者带来严重并发症。

自动机器人手术有可能提高医疗效率、安全性和可靠性。然而，根据这项研究，当涉及到复杂的成像、组织追踪和手术计划时，自主吻合带来了挑战。如果手术中出现问题，这些程序通常也需要快速适应。

目前的 STAR 模型改进了 2016 年的一次迭代，能够缝合猪的肠道，但它需要人工干预，并创建了一个更大的切口。

凭借先进的机器人精度和缝合工具，以及 3D 成像系统和基于机器学习的跟踪算法，最新的 STAR 可以实时调整其手术计划。

研究人员在研究中写道：“我们开发了机器学习、计算机视觉和先进的控制技术，以跟踪患者呼吸时目标组织的运动，检测不同缝合步骤之间的组织变形，并在运动约束下操作机器人。”。

基于卷积神经网络（ CNNs ）的机器学习算法可以预测组织运动并指导缝合计划。研究人员使用 9294 例吻合术中的运动曲线对 CNN 进行训练，以根据手术期间的呼吸模式和其他组织运动来学习组织运动。

当组织静止时，机器人与摄像头同步扫描并创建缝合计划。利用增强的计算机视觉和基于 CNN 的地标检测算法， STAR 生成两个初始缝合计划，以连接相邻组织。一旦操作员选择了一个计划，机器人就会将缝合线应用到组织上，并对该区域进行重新成像，以便组织变形。

如果与手术计划相比，组织位置的变化大于 3mm ，它会通知操作员启动新的缝合计划和批准步骤。这一过程在每一次缝合中都会重复。

根据 Krieger 的说法， NVIDIA GeForce GTX GPU 用于训练和运行 CNN ，包括四个卷积、三个密集层和两个跟踪组织运动的输出。使用 NVIDIA T4 GPU 对采用级联 U-Net 架构的地标检测算法进行培训和测试。

看看智能组织自主机器人的研究人员如何在四头猪身上进行一项具有挑战性的手术，并且比人类做得“明显更好”。

研究人员检查了吻合术的质量，包括针位校正、缝线间距、缝线咬合的大小、完成时间、管腔通畅度和泄漏压力。他们发现，这颗自主的恒星在一致性和准确性方面都优于专家外科医生和机器人辅助手术。

Krieger 说：“ STAR 的独特之处在于，它是第一个在软组织中规划、调整和执行手术计划的机器人系统，只需极少的人工干预。”。

关于作者

Michelle Horton 是 NVIDIA 的高级开发人员通信经理，拥有通信经理和科学作家的背景。她在 NVIDIA 为开发者博客撰文，重点介绍了开发者使用 NVIDIA 技术的多种方式。

审核编辑：郭婷