机器学习模型存在严重缺陷？

多年来，许多人工智能发烧友和研究人员一直承诺，机器学习将改变现代医学。已经开发了成千上万种算法来诊断癌症，心脏病和精神病等疾病。现在，正在通过识别肺部CT扫描和X射线图像中的模式来训练算法来检测COVID-19。

这些模型中的许多模型旨在预测哪些患者的结局最严重，哪些患者需要呼吸机。激动是显而易见的。如果这些模型是准确的，它们可以为医生提供测试和治疗患者的巨大优势。

但是，使用AI辅助药物治疗真正的COVID-19患者的吸引力似乎还很遥远。世界各地的一组统计学家都对绝大多数机器学习模型的质量以及如果医院尽快采用它们可能造成的危害表示关注。

“ ［它］使我们很多人感到恐惧，因为我们知道可以使用模型来做出医疗决定，”荷兰乌得勒支大学医学中心的医学统计学家Maarten van Smeden说。“如果模型不好，他们可能会使医疗决策更糟。因此它们实际上可以伤害患者。”

Van Smeden与一大批国际研究人员共同领导一个项目，以使用标准化标准评估COVID-19模型。该项目是BMJ的首次现场审查，这意味着他们的40名审查员（并且正在不断增长）的团队将在发布新模型时积极更新其审查。

到目前为止，他们对COVID-19机器学习模型的评论并不理想：他们严重缺乏数据，并且缺乏来自广泛研究领域的必要专业知识。但是，新的COVID-19算法面临的问题根本就不是新问题：医学研究中的AI模型已经存在严重缺陷，多年来，van Smeden等统计学家一直试图发出警告以扭转局势。

折磨数据

在COVID-19大流行之前，范德比尔特大学的生物统计学家弗兰克·哈雷尔（Frank Harrell）环游全国，与医学研究人员就当前医学AI模型的广泛问题进行了讨论。他经常借用著名经济学家的话来描述这个问题：医学研究人员正在使用机器学习来“折磨他们的数据，直到吐出口供为止”。

这些数字证明了Harrell的主张，这表明绝大多数医学算法几乎不符合基本质量标准。2019年10月，由英国伯明翰大学的刘晓轩和Alastair Denniston领导的一组研究人员发表了第一个系统综述，旨在回答这一时髦却难以捉摸的问题：机器在诊断患者方面是否能比患者更好甚至更好？人类医生？他们得出的结论是，从医学成像检测疾病时，大多数机器学习算法都可以与人类医生媲美。然而，还有另一个更健壮和令人震惊的发现-自2012年以来，在发表的关于疾病检测算法的总共20，530项研究中，只有不到1%的方法学严谨性足以纳入其分析。