谷歌医疗AI新成果 AR显微镜分析病理切片只需几秒

人工智能下一个风口是医疗，这是业界公认的。现如今医疗水平已经无法满足人们的需求。而人工智能的到来或许能够解决这一瓶颈。目前，AI与医疗的结合主要是利用计算机视觉进行影响分析，因此通过深度学习，能够在眼科、皮肤科、放射科和病理科等医学学科领域展现出了极大的应用前景。

左图：增强现实显微镜的原理概述。一台数码相机捕捉到与用户相同的视场（FoV），然后将图像传送给一个附加的计算单元，该单元能够运行实时推理的机器学习模型。随后推理结果被反馈到一个定制的AR显示屏，该显示屏与目镜内联，并将模型输出的结果与标本显示在同一平面上。右图：该图展示了我们的平台原型被改造成典型临床级光学显微镜后的样子。

理论上，增强现实显微镜可以提供各式各样的视觉反馈，包括文本、箭头、轮廓、热图和动画，而且可以运行多种类型的机器学习算法以应对不同的任务，比如对象检测、量化和分类等。

为了演示增强现实显微镜的功能，我们让其运行两种不同的癌症检测算法：一种用于检测淋巴结标本中的乳腺癌转移，另一种用于检测前列腺切除术标本中的前列腺癌。这些算法可以在4-40x的放大倍数下运行，并用绿色轮廓勾画出检测到肿瘤区域。这些轮廓可以帮助病理学家注意到感兴趣的区域，而不至于遗漏外观模糊的肿瘤细胞。

Google重磅医疗AI成果：增强现实显微镜可实时分析病理切片

通过增强现实显微镜观察到的视图。这些图像展示了4x、10x、20x和40x放大倍数下的淋巴结标本。

虽然这两个癌症检测模型并非用增强现实显微镜直接捕获的图像进行训练的，但它们在后者上表现非常出色，无需额外的训练。我们相信，假如直接用增强现实显微镜获取的图像做进一步训练，这些算法的表现还将继续提升。

最初都是用来自一种光学结构完全不同的完整标本扫描仪的图像训练的，但他们在增强现实显微镜平台上的表现非常出色，无需额外的在训练。例如，淋巴结转移检测模型在增强现实显微镜上运行时曲线面积达到了0.98，前列腺癌检测模型的曲线面积达到了0.96，仅略低于WSI上得到的结果。

我们相信，这款增强现实显微镜将给全球卫生事业产生重大影响，尤其是在发展中国家的传染病诊断方面——包括结核病和疟疾等。此外，在即将采用数字病理工作流程的医院，增强现实显微镜也可以与数字工作流程结合使用。光学显微镜已经在很多行业已经证明了其价值，但在病理学领域作用有限。我们相信增强现实显微镜可以应用于医疗、生命科学研究和材料科学等众多领域。我们很高兴能继续探索这款增强现实显微镜，帮助加速机器学习技术在世界各地产生积极影响。（罗欣）