开发深度学习系统：基于人工神经网络的图像分类和分析软件 (ANNICAS)

慕尼黑路德维希·马克西米利安大学 （LMU） 的基因中心使用冷冻电子显微镜 （cryo-EM） 来检查蛋白质和生物复合物的结构。在此过程中需要仔细筛查冷冻网格样本的冰层厚度，即测量样本质量。如果此筛查使用电子显微镜执行，则不仅速度很慢，而且成本也很高昂。

最近，显微镜专家 Christophe Jung 博士和 LMU 基因中心的数学和物理讲师 Markus Hohle 博士使用 MATLAB 携手开发了一款深度学习工具，可以通过分析彩色相机拍摄的图像来确定冷冻网格样本的厚度。该工具首先通过深度学习筛查冷冻样本，然后识别最佳样本并将其发送到电子显微镜进行更仔细的检查，从而帮助 LMU 的研究人员节省了时间和金钱。

现在，您也可以通过点击“阅读原文”，在 GitHub 上获取这个工具。

“我们用 MATLAB 构建的深度学习工具已经改变了我们实验室研究工作的方式，”Hohle 博士说道。“强大的专业支持和高效的培训材料促使我们选择了 MATLAB，而不是其他软件。”

用于进行快速网络筛查的宽场光学显微镜。

挑战

一台电子显微镜设备的安置成本高达 300 到 500 万美元，每日运行成本也达到了 4，000 到 5，000 美元，这使得许多个人研究小组无力承担。此外，由于需要检查的样本太多，显微镜经常因超额预订而无法得到即时使用。

用电子显微镜筛查样本质量的速度也很慢。而且，必须对每个网格图块单独成像，并针对冰层厚度质量对其进行评估。根据电子显微镜图像对冰层厚度进行视觉评估需要丰富的经验，所得的结果可能因各个研究人员而异。即使采用自动化的样本加载和采集方法，电子显微镜每天也只能筛查 12 个网格，远远低于检查几十个样本的需求量。

以前，他们尝试过自动执行筛查过程，包括尝试使用深度学习算法。然而，这些措施都依赖从电子显微镜获得的图像，这并没有加速筛查过程。

LMU 基因中心的研究人员希望创建一种筛查方法，以便能够基于彩色相机拍摄的图像确定样本的质量。这样，他们便能够在较便宜的硬件上完成部分筛查过程，从而减少电子显微镜的负荷和运行成本。

解决方案

LMU 团队使用干涉显微镜和彩色相机拍摄了 650 张冷冻电子显微镜样本图像，总共包含 4，000 个图块。他们使用了 Image Processing Toolbox 将这些图像导入 MATLAB 中并对其执行预处理。

LMU 团队使用了图像标注器来手动对图像添加注释。为了改进深度学习模型，研究人员开发了自定义 MATLAB 脚本，通过执行各种变换来增强训练示例，包括随机旋转它们和裁剪不同区域。

借助 Deep Learning Toolbox，他们训练了两个用于图像分割和分类的神经网络。第一个网络是基于 Inception-ResNet-v2 的图像分割模型，用于识别每个样本网格图块中的单个方块。第二个神经网络基于 DarkNet-19 模型，用于对检测到的每个方块的冰层厚度质量进行分类。研究人员使用了 Deep Learning Toolbox 中提供的预训练深度学习模型，并基于他们自己的样本对这些模型进行了微调。

通过 Parallel Computing Toolbox，LMU 团队能够配置其神经网络，以利用图形处理单元加速训练和推断过程。

最后，研究人员使用了 MATLAB Compiler 将应用程序打包为可执行文件，以便可在任何 Windows 计算机上运行，即使计算机上未安装 MATLAB 也能如此。他们将该应用程序命名为“基于人工神经网络的图像分类和分析软件 （ANNICAS）”。安装后的 ANNICAS 在计算机的后台运行。它可以自动监控和分析添加到源文件夹的新图像，并将结果存储在目标文件夹中。

除了作为科学出版物发表在 GitHub 上之外，LMU 还以开源方式公布了该项目，旨在帮助其他研究人员利用这项研究成果开展并改进他们的工作。

结果

缩短了质量筛查时间。

“借助 ANNICAS，我们在短短 5 分钟内即可筛查 20 个样本，”Jung 博士说道。“以前，用电子显微镜处理这个批量的样本需要工作一整天。”

降低了筛查成本。

“从电子显微镜的运行成本方面来讲，筛查每批样本需要花费 4，000 到 5，000 美元，”Hohle 博士说道。“通过自动执行该过程，我们节省了大量成本，也让显微镜腾出了更多时间处理其他重要工作。”

节省了研究人员的时间。

“手动过程需要学生和研究人员花数小时观察样本并评估其质量，”Hohle 博士说道。“采用自动化过程后，他们就可以腾出时间处理更有意义的工作了。”