利用NVIDIA Clara AGX创建自动皮肤病检查系统

当今美国最常见的癌症是皮肤癌。主要有三种变体：黑色素瘤、基底细胞癌（ BCC ）和鳞状细胞癌（ SCC ）。虽然黑色素瘤只占所有皮肤癌的 1% ，但它是最致命的，在没有早期发现和治疗的情况下迅速转移。这使得早期检测至关重要，因为许多研究表明，在早期检测时，存活率明显提高。

目前的诊断程序是通过皮肤科医生的目视检查，然后进行活检，以确认任何可疑的病理。这种手工检查依赖于人的主观能动性，因此出错率很高。当一个初级保健医生寻找皮肤癌时，他们的敏感度，或者正确识别病人的能力，只有 0 .45 ，而皮肤科医生的敏感度为 0.97 。

近年来，利用深度学习进行医学诊断已成为一个迅速发展的领域。在这篇文章中，我们将讨论如何使用 最近发布的 NVIDIA Clara AGX 开发包 开发一个端到端的示例，说明深入学习如何能够导致一个没有人类偏见的自动皮肤病检查系统。

数据集和模型

此参考应用程序是两个深度学习模型的配对：

一种物体探测模型（ YOLOv4 ），通过摄像机寻找身体上的痣。这个模型是用一个原始的数据集来训练的，这个数据集是由注释体痣图像创建的。

一种分类模型（ EfficientNet ），从目标检测模型接收痣，然后确定它是良性的、未知的还是黑色素瘤。使用 SIIM-ISIC 黑色素瘤 Kaggle 挑战数据集 对分类模型进行训练。

图 1 显示了使用单个视频帧的算法的工作流程。该应用程序可以使用高清网络摄像头或 IP 摄像头作为模型的输入，甚至可以在以前捕获的视频上运行。

图 1 皮肤痣检测和分类工作流程 。

Clara AGX 开发工具包

这个参考应用程序是使用 NVIDIA Clara AGX 开发工具包 构建的，这是一个高端性能工作站，它考虑到了医疗应用程序。该系统包括一个 RTX 6000 GPU ，提供 200 多个 INT8 AI 峰值性能和 24 GB 的 VRAM ，为运行多个模型留下了大量开销。

图 2 Clara AGX 开发工具包。

此外， AGX 平台通过 100G 以太网和 NVIDIA ConnectX-6 网络接口卡（ NIC ）为高带宽传感器提供支持 NVIDIA 合作伙伴目前正在使用 NVIDIA Clara AGX 开发工具包开发超声、基因组学和内窥镜检查方面的应用。

Clara AGX 开发者工具包目前只提供给 NVIDIA Clara 开发者合作伙伴计划 的成员。你登记后，我们会联系的。

概括

我们已经提供了一个皮肤科应用程序的研究原型，但是要将其转换为一个真正的应用程序需要什么呢？

商用数据。 SIIM-ISIC 数据集严格用于非商业用途。

更大的目标检测数据集。 我们使用的数据集只包含几百个带注释的图像，这确实导致了比预期数量更多的误报。

以“光速”（ SOL ）运行模型。 SOL 通常需要使用混合精度训练模型，然后将模型转换为与 NVIDIA TensorRT 框架 一起使用 TensorRT 设计用于优化 NVIDIA gpu 上的模型推理，并与 PyTorch 和 TensorFlow 等通用框架协同工作。这些步骤将有助于确保应用程序管道实时运行。

FDA 批准。 任何已开发的医疗应用程序必须经过 FDA 批准。今天，有超过 70 个 FDA 批准的人工智能申请 和 FDA 一直积极征求反馈意见 来自这个领域的开发者。这通常是一个漫长（ 18 个月）和艰巨的过程，但却是必要的。

关于作者

王柔佳博士。杜克大学的候选人 Nimmi Ramanujam 博士建议。她的研究兴趣在于医学成像和全球健康领域。目前，她正在开发一个低成本的光学分子成像平台，将计算机辅助算法作为传统病理学的替代方案，在低资源环境下提供更易获取的护理点乳腺癌诊断。她希望这种低成本的诊断工具和 ML 算法能够扩大对乳腺癌病理学和高质量诊断能力的了解，其最佳目标是提高乳腺癌患者的生存率，而不管他们的社会经济背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 团队的高级机器学习工程师，致力于在医疗初创企业、研究人员和制造商中采用人工智能。此前，肖恩是计算机视觉领域的初创公司创始人，也是国防部高级研究计划局和其他国防部项目的研究科学家。肖恩拥有路易斯安那州立大学的量子光学物理学博士学位和加州大学洛杉矶分校的物理学学士学位。

Roujia Wang， 杜克大学的候选人 Nimmi Ramanujam 博士建议。她的研究兴趣在于医学成像和全球健康领域。目前，她正在开发一个低成本的光学分子成像平台，将计算机辅助算法作为传统病理学的替代方案，在低资源环境下提供更易获取的护理点乳腺癌诊断。她希望这种低成本的诊断工具和 ML 算法能够扩大对乳腺癌病理学和高质量诊断能力的了解，其最佳目标是提高乳腺癌患者的生存率，而不管他们的社会经济背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 团队的高级机器学习工程师，致力于在医疗初创企业、研究人员和制造商中采用人工智能。此前，肖恩是计算机视觉领域的初创公司创始人，也是国防部高级研究计划局和其他国防部项目的研究科学家。肖恩拥有路易斯安那州立大学的量子光学物理学博士学位和加州大学洛杉矶分校的物理学学士学位。

审核编辑：郭婷