工业异常检测超越特定阈值限制的解决方案

0.这篇文章干了啥？

这篇文章提出了一种名为Test Time Training for Anomaly Segmentation (TTT4AS)的方法，用于改善工业质量控制中的异常检测和分割（AD&S）任务的性能。在工业质量控制中，识别出显示有缺陷样本的图像是至关重要的。作者指出，现有方法在生成每个像素的异常分数方面表现出色，但实际应用需要生成一个二进制分割图来识别异常。由于许多实际场景中缺乏标记的异常样本，标准做法是基于仅包含正常样本的验证集的统计数据将这些地图进行二值化，导致分割性能较差。为了解决这个问题，作者提出了一种测试时训练策略，以提高分割性能。在测试时，可以直接从异常样本中提取丰富的特征来训练一个分类器，从而有效地区分缺陷。这种方法可以适用于任何提供异常分数地图作为输出的AD&S方法，即使在多模态设置中也可以。作者通过在MVTec AD和MVTec 3D-AD上进行广泛的实验和评估，证明了该方法相对于基线的有效性。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Test Time Training for Industrial Anomaly Segmentation

作者：Alex Costanzino等

作者机构：CVLAB, Department of Computer Science and Engineering (DISI) – University of Bologna, Italy等

论文链接：https://arxiv.org/pdf/2404.03743.pdf

2. 摘要

异常检测和分割（AD&S）对于工业质量控制至关重要。虽然现有方法在为每个像素生成异常分数方面表现出色，但实际应用需要产生一个二进制分割来识别异常。由于许多实际场景中缺乏标记的异常，标准做法是基于仅包含正常样本的验证集导出的一些统计数据对这些地图进行二值化，从而导致分割性能不佳。本文通过提出一种测试时间训练策略来解决这个问题，以改善分割性能。事实上，在测试时间，我们可以直接从异常样本中提取丰富的特征来训练一个能够有效区分缺陷的分类器。我们的一般方法可以在任何提供异常分数地图作为输出的AD&S方法中下游工作，即使是在多模态设置中也可以。通过对MVTec AD和MVTec 3D-AD进行大量实验和评估，我们证明了我们的方法相对于基线的有效性。

3. 效果展示

MVTec AD定性结果。我们展示了每个类别的RGB图像，接着是地面真实情况，异常分数，使用阈值处理的二进制分割图，以及使用TTT4AS对PatchCore进行的二进制分割图，其中使用了WideResNet50和DINO-v2作为背景骨干。

MVTec-3DAD定性结果。我们展示了每个类别的RGB图像、点云、地面真实情况，接着是异常分数，使用阈值处理的二进制分割图，以及使用TTT4AS对M3DM和CMM进行的二进制分割图。

4. 主要贡献

首次调查AD&S中的TTT；

提出了一种新颖的方法TTT4AS，用于根据通用AD&S算法生成的异常分数和通用预训练网络提取的特征来完善分割地图；

本文的方法增强了各种基于RGB或多模态的AD&S方法的二进制异常分割性能。此外，我们的方法避免了选择特定阈值来对异常分数进行二值化的需要。

5. 基本原理是啥？

这篇文章的基本原理是通过提出一种名为Test Time Training for Anomaly Segmentation (TTT4AS)的方法来改善工业质量控制中的异常检测和分割（AD&S）任务的性能。在工业质量控制中，识别出显示有缺陷样本的图像是至关重要的。而相关的常被调查的任务是异常分割（AS），即在给定异常样本的图像中，目标是识别对应于缺陷的像素。大多数现有方法同时解决这两个任务（AD&S），产生一个包含每个图像像素异常分数的地图作为输出。然而，对于实际应用，必须对异常分数进行二值化，即将每个像素分类为异常或正常。标准做法是基于仅包含正常样本的验证集的一些统计信息将这些地图进行二值化，这导致分割性能较差。作者通过提出一种测试时训练策略来解决这个问题，以提高分割性能。在测试时，可以直接从异常样本中提取丰富的特征来训练一个分类器，从而有效地区分缺陷。该方法可以适用于任何提供异常分数地图作为输出的AD&S方法，即使在多模态设置中也可以。

 

6. 实验结果

实验结果表明，作者的方法在工业质量控制中的异常检测和分割任务上取得了显著的改进。他们使用了不同的特征提取器和AD&S方法，在两个数据集上进行了评估：MVTec AD（仅RGB图像）和MVTec 3D-AD（RGB图像和3D数据）。

2D异常分割：在MVTec AD数据集上，作者使用PatchCore和WideResnet-50特征以及DINO-v2特征分别进行了实验。结果显示，TTT4AS方法在平均精度、召回率和F1分数方面均优于基线。特别是，在WideResnet-50特征下，精度提高了2.1％，召回率提高了2.7％，F1分数显著提高了15％。在DINO-v2特征下，精度提高了17.2％，召回率提高了8.5％，F1分数提高了23.8％。这表明，TTT4AS方法可以有效地提高基线方法在2D异常分割任务上的性能。

多模态异常分割：作者还将TTT4AS方法应用于多模态方法，包括M3DM和CMM，这些方法旨在结合RGB图像和3D数据以提高异常检测性能。结果显示，TTT4AS方法在平均精度和平均F1分数方面均优于基线。虽然在M3DM上，TTT4AS方法降低了召回率，但提高了精度和F1分数；在CMM上，精度提高了10.5％，F1分数提高了10.5％。这表明，TTT4AS方法对多模态异常分割任务也是有效的。

消融实验：作者进行了一些消融实验，验证了他们方法中关键部分的有效性。他们发现，选择用于检测峰值的百分位数并不是关键，性能在不同的百分位数下保持稳定。此外，他们还发现，将预训练模型提取的特征用作SVM分类器的输入要优于直接使用异常分数作为输入。

 

 

7. 总结 & 未来工作

这篇文章介绍了一种用于异常分割的新方法TTT4AS，该方法在给定AD&S算法生成的异常分数的情况下实现了更好的分割效果。该方法的基本思想是在测试时针对每个输入的异常样本训练一个特定的分类器，利用从异常分数中提取的伪标签作为训练数据。实验结果表明，这种方法在多个基准数据集上优于简单的基线方法，并且具有通用性，可以应用于多种AD&S方法。然而，该方法也存在一些局限性，如在非极大值抑制中可能会错过一些重要的峰值，需要进一步改进。未来的研究可以致力于解决这些局限性，并且该方法可能为无监督工业异常检测领域的进一步研究提供启示。

审核编辑：黄飞