研究团队提出新型持镜机器人视觉追踪模块思路，助力精准医疗

“尽可能少或小的创伤，使患者达到并保持最佳状态”，是外科医生不断追求的目标；“达到病人付出尽量小的代价而达到同样良好的效果”，是医学史上的永恒主题。公元前4世纪，古希腊医学家Hippocrates曾告戒外科医生“不要作得过多”。1987年，法国医生Mouret偶然完成第一例微创切除胆囊手术，标志着新的医学里程碑的诞生，微创手术概念形成。随着现代科学和医学的不断发展，微创手术日益成熟完善，成为外科发展的必然趋势和追求目标，其中腹腔镜手术是典型代表。

据统计，全球每年腹腔镜手术超过750万例，凭借其手术总体创伤小、术中出血少、术后恢复快疼痛轻等优势，已发展成为临床中应用广、需求大、效果好的微创手术。在普外科手术领域，腹腔镜手术已经大范围的普及推广，从最初的胆囊切除术、阑尾切除术等，到后来的胃癌根治术、结直肠癌根治术、规则性半肝切除术等，现在几乎涵盖了普外科学科领域内的所有手术。

如图1所示，腹腔镜手术中除了主刀医生，必须配置一位持镜手为主刀医生提供相应的照明和最佳的视觉反馈，因此持镜手的工作非常重要，可谓主刀医生的“眼睛”。但腹腔镜手术过程中，持镜手容易受疲劳、手部震颤、注意力分散等影响，乃至与主刀医生有效沟通困难（尤其对于初学者），直接导致手术效率下降。

众所周知，机器人具有定位精度高、响应速度快、运动平稳性强等优势，且不受情绪及疲劳等因素影响，为腹腔镜手术中持镜手所面临的问题提供一种有效的解决方案——机器人换人。如图2所示，腹腔镜手术中，持镜机器人取代持镜手夹持腹腔镜，并通过人机交互接口接收主刀医生指令调节腹腔镜位姿，可为主刀医生提供稳定的手术视野，辅助主刀医生高效地完成腹腔镜手术。

基于腔镜图像的主动式引导是持镜机器人的人机交互接口发展趋势，其核心为手术器械视觉追踪。现有的手术器械视觉追踪方法大多借助人工标记进行手术器械追踪，在手术器械操作末端附加颜色显著的标记物。但是这种方法对于通用手术器械并不适用，而且临床需要增加额外杀毒灭菌流程，应用范围有限，因此无标记手术器械视觉追踪更具临床普适性。

然而，术中腹腔环境复杂多变，腹腔镜视野中无标记手术器械精准定位难度较大，且追踪速度往往无法满足主刀医生对持镜机器人的实时性要求，严重影响了主刀医生的手术操作感，极大制约了持镜机器人在临床中的推广与应用。

根据上述原因，中国科学院苏州生物医学工程技术研究所高欣团队尝试人工智能赋能持镜机器人，借助深度学习方法，融合区域分割思想与目标搜索策略，提出了一种新型的全自动无标记手术器械视觉追踪方法。

所提方法通过构筑轻量型的腹腔镜图像分割模型，快速提取腹腔镜视野中手术器械不同部件区域，并且利用手术器械结构特点，将手术器械关节作为追踪靶点，然后结合腹腔镜视野中手术器械运动特性，引入视觉追踪过程上下文信息，最终实现无标记手术器械的精准跟踪。

图3腹腔镜手术视频中无标记手术器械视觉追踪结果。红色曲线表示手术器械实际运动轨迹，绿色曲线表示手术器械视觉追踪轨迹：a腹腔镜手术视频中抓钳的视觉追踪结果。b腹腔镜手术视频中电钩的视觉追踪结果。

实验结果显示，研究团队所提方法相比于现有的无标记手术器械视觉追踪方法，追踪精度更高、追踪速度更快、定位误差更小。该项研究为持镜机器人视觉追踪模块提供了一种新的研发思路，并将助力临床实施精准微创外科手术，对精准医学的长远发展具有重要指导意义。