人工智能医学图像方案

近日Xilinx，AWS还有Spline.AI 联合开发了开发X射线分类深度学习模型和参考设计。团队依靠30,000张肺炎图像和500张COVID-19图像来训练深度学习模型，从而实现了高精度和高预测速度。该训练数据将提供给包括美国国家卫生院，斯坦福大学和麻省理工学院在内的公共研究和医疗机构。对于开发者而言，该参考设计已经开源，点击阅读原文即可获得。

设计使用Amazon SageMaker进行训练，并使用AWS IoT Greengrass从云部署到边缘，在边缘侧利用VITIS AI进行部署，通过PYNQ开源框架和PYNQ-DPU可以快速的实现跨平台部署。从而实现了远程模型更新，分布式推断扩展的能力。

方案简介

当前，广泛用于检测COVID-19的测试方法是RT-PCR或实时聚合酶链反应。尽管RT-PCR是一种标准的诊断技术，但它也有许多缺点。RT_PCR显示出很高的假阴性率，其过程既费时又昂贵。在这次危机期间，从许多实验中发现，从影像学检查（例如CT扫描和X射线）检测肺炎和COVID-19感染非常有效。

本方案基于Vitis-AI、ZCU104验证平台和AWS-IoT GreenGrass，其中Vitis-AI用于COVID-19深度学习模型的转换、量化和编译，将模型转换为DPU可运行的.elf文件；ZCU104验证平台完成基于X-Ray图像的COVID-19 CNN在线检测或用作AWS-IoT GreenGrass的边缘计算设备，完成COVID-19的边缘实时检测。

部署流程

已经安装好Vitis-AI开发环境的Ubuntu主机，建议使用Ubuntu16.04，且具备较高的性能用于CNN等深度学习模型的训练。

安装了PYNQ 2.5镜像且已完成DPU-PYNQ升级的Xilinx ZCU104验证板；

主要流程

（1）训练Keras CNN肺炎模型以生成.h5的模型文件；

（2）使用Xilinx Vitis-AI对预训练的.h5模型进行模型转换、量化和编译，以生成DPU可部署的.elf可执行文件；

（3）直接在Xilinx ZCU104验证板的PYNQ-DPU开发环境中编写应用程序，对输入的肺部X-Ray图像进行COVID-19在线实时检测；也可使用AWS-IoT GreenGrass完成Xilinx ZCU104对COVID-19的边缘端实时检测（需要将Xilinx ZCU104集成为AWS-IoT GreenGrass的边缘计算设备）。

方案已预先提供了两组深度学习模型，分别实现基于胸部X-Ray图像的肺炎和COVID-19预测：

（1）Pnem1-150x150图像尺寸的肺炎检测模型；

（2）Pnem2-224x224图像尺寸的肺炎检测模型；

（3）Pnem3-150x150图像尺寸的肺炎和COVID-19检测模型；

（4）Pnem4-224x224图像尺寸的肺炎和COVID-19检测模型；

上述提供的模型可直接用于部署，开发者可以快速体验COVID-XS带来的好处。

后记

在本参考设计中，通过PYNQ开源框架，用户可以：

方便的安装AWS IoTGreengrass等第三方服务，加快原型验证开发

无缝跨平台移植，用户如果有Ultra96等其他支持PYNQ-DPU框架的平台，不妨尝试部署。

原文标题：开源方案 | PYNQ-DPU框架下的人工智能医学图像方案

文章出处：【微信公众号：XILINX技术社区】欢迎添加关注！文章转载请注明出处。

责任编辑：haq