人工智能在医疗领域的应用缺陷同样明显

随着 AI 技术的普及，人工智能与医疗场景的结合拥有更多值得期待的可能性。然而，有研究人员发现，人工智能在医疗领域的应用缺陷同样明显，与人类一样，人工智能也会为达到某种目标选择走 “捷径”，甚至在具体应用场景中会出现 “误判”。

5 月 31 日，《自然机器智能》（Nature Machine Intelligence）上发表了题为《放射 COVID-19 检测的 AI 选择信号的快捷方式》（Fitting elephants in modern machine learning by statistically consistent interpolation）的论文，华盛顿大学研究人员对胸部放射图中准确检测 COVID-19 的人工智能系统稳定性提出了质疑，他们证明 COVID-19 的人工智能系统并不依赖于医学病理学，而是混淆因素，这会导致一种测试表象与实际不符结果。

例如，COVID-19 的人工智能系统在新医院里测试的失败。该团队发现，人工智能模型无法真正反映 COVID-19 存在的基础病理学，而是利用 COVID-19 的存在或缺失与反映图捷径之间的虚假关联。

华盛顿大学研究员的实验聚焦在 “最坏情况混淆” 的研究，他们构建了两个不同的数据集，一个用来复制历史研究数据，另一个用于新医院的外部验证。该模型最重要的一点在于，能够区分 COVID-19 阳性和 COVID-19 阴性病例的关键数据。研究人员构建的人工智能模型在三个方向提出了自己的看法。

第一，可解释的 AI 识别虚假混淆者。这个研究结果对传统观点是颠覆性的，当数据集来源于阳性和阴性 COVID-19 病例相似病理时，他们认为混淆不会造成什么问题，高性能医疗 AI 系统在实际检测过程中具有一定的选择性，大概率会选择不受欢迎的捷径而非所需信号。

可解释的 AI 可视化图像因素对于深神经网络来说尤为重要，这些神经网络经过培训和学习之后，能够检测放射图中的 COVID-19。

第二，可解释的医学领域人工智能技术缺乏透明度。人工智能的应用离不开大量的数据支撑，技术层面通常依据数据集给出几个方向的预测，遗憾的是我们无法知道构建的模型如何给出定性的结果。例如，一个使用捷径的系统，可以根据人们年龄的大小推断患某种疾病可能发生的概率，这种推断的逻辑基于历史数据或以往病例的频率做出判断，这种推断本身并没有错，但这种关联是非透明的，缺乏透明度的关联有时会造成病理误判。

人工智能系统在数据识别方面还具有明显优势，而它的缺陷是不能学习疾病病理。COVID-19 的结果与数据源存在较好关联的情况下，人工智能技术几乎起不到作用。

第三，捷径对泛化有可变影响。值得关注的是，某些快捷会损害通用性能，当人工智能模型在一组数据集上测试时，可以保持较高的性能。如果在第二组数据集上测试，测试的准确性就会降低 50%，研究人员把这种现象称为 “泛化差距”。

虽然快捷方式学习能够很好地解释较大的泛化差距，研究人员认为这种方式依然不可取，根本原因是没有办推广到其他设置，在临床方面的应用效果也欠佳。

研究人员还研究了哪些快捷键可能导致推广不良，为此，他们还分析了临床元数据和每个存储库的平均图像。在没有统一标准的快捷方式中，图像文本标记对于预测 COVID-19 很重要。在概括的快捷键中，患者性别可能是好概括的因素，因为在两个数据集中患有 COVID-19 阳性结果中，男性比例相对较高。研究人员推断，只有少数模型能监测真正的 COVID-19 病理学。

理论上来说，缓解快捷方式学习的解决方案是，删除模型用作快捷键的图像因素。事实上，在实践的过程中，很难去除所有图像因素。研究人员试图找到一个更加可靠的解决方案，来消除图像因素，让快捷键方式学习简单地收集数据减小混淆。经过大量的实验，研究人员希望精细化收集数据，尽量抑制捷径学习的潜力，出于严谨考虑该研究团队称，改进的数据收集只能部分解决问题。

人工智能模型在应用方面并不具有落地性，尽管研究人员在该论文中提出诸多令人兴奋的观点。有相关数据表明，相当数量的医院采购了一种有缺陷的模型 —covid - net，医院采购之后究竟用于临床还是仅用于研究，真实的使用意图尚不明确。

值得注意的是，有的医院不愿意为此担责任，医疗保健使用者倾向用聚合酶链反应 (PCR) 来诊断 COVID-19，他们不会依赖一个相对未经测试的胸片检测。

尽管如此，该团队仍然对人工智能在临床医学的可行性持积极态度，如果有办法获取更多的样本，能够更加高效地审计这些系统，那么将帮助研究人员避免他们在 COVID-19 模型中发现的一些缺陷。他们相信，随着科技的不断进步，有好的办法可以防止人工智能系统学习 “捷径”。

可解释的人工智将安全有效地用于医疗决策，成为解决患者病理的有效工具。人工智能在某些病理方面能够提供更加精准的诊断，将会推动未来医疗行业的变革。

原文标题：AI 技术无法真正反映 COVID-19 存在的基础病理学，临床应用层仍面临诸多挑战

文章出处：【微信公众号：DeepTech深科技】欢迎添加关注！文章转载请注明出处。

责任编辑：haq