到底谁可以产生更好的图像修复结果？什么是图像修补？

过去几年中，深度学习在计算机视觉和图像处理方面取得了令人瞩目的成功。 对于许多此类给定的任务，深度学习方法的表现优于其他人工方法，甚至优于人类专家。 例如，GoogleNet在ImageNet基准测试中的表现超过了人类。本文我们将在图像修补领域展开一场人机大战，比较专业艺术家和计算机算法（包括基于深度神经网络）的表现，以确定到底谁可以产生更好的图像修复结果？

什么是图像修补？

图像修复是重建图像缺失部分的过程，以达到以假乱真的目的。 此技术通常用于两种类型。

修复：从图像中去除杂质或多余的部分。

恢复：旧照片，旧画作修复损坏部分。

图像修复是一种古老的艺术，最初需要艺术家们花费大量的心力，手工完成这项工作。 但是今天，研究人员提出了许多自动修复方法。 除了图像之外，这些方法中的大多数还需要输入掩模来显示需要修复的区域。 这里，我们将九种自动修复方法与专业艺术家的结果进行了比较。

数据集

为了创建一组测试图像，我们从私人收藏中挑选了三十三个512×512大小的图像片。 然后我们在每个图片的中心用填充180×180像素的黑色正方形。自动修复方法与专业艺术家的任务是通过仅改变黑色方块中的像素来恢复扭曲图像的自然外观。

我们使用了未经发布的私人照片集，以确保原始图片是没有被神经网络看到过的。 尽管在现实世界的修复中，不规则的掩模是典型的，但我们选择了在图像的中心处贴有方形掩模。

以下是我们数据集中图像的缩略图。

自动修复方法

我们在我们的测试数据集中应用了六种基于神经网络的修复方法：

Deep Image Prior(Ulyanov, Vedaldi, and Lempitsky, 2017)

全局和本地一致的图像完成 (Iizuka, Simo-Serra, and Ishikawa, 2017)

高分辨率图像修复 (Yang et al., 2017)

Shift-Net(Yan et al., 2018)

联系上下文的图像修复技术(Yu et al., 2018) - 这种方法在我们的结果中出现过两次，因为我们测试了两个版本，每个版本都训练在不同的数据集上（ImageNet和Places2）

使用部分卷积修复不规则孔的图像 (Liu et al., 2018)

作为基准线，我们测试了在深度学习方法爆发之前提出的三种修复方法：

基于范例的图像修复 (Criminisi, Pérez, and Toyama, 2004)

图像完成的补丁偏移统计 (He and Sun, 2012)

基于内容感知填写的Adobe Photoshop CS5

艺术家组表现：专业的艺术家

我们聘请了三位专业艺术家进行照片修饰和修复，并要求他们每个人从我们的数据集中随机选择三张图像。 为了鼓励他们产生最好的结果，我们还告诉每位艺术家，如果他或她的作品超过了竞争对手，我们会增加50％的奖励。 虽然我们没有严格的时间限制，但艺术家们都在大约90分钟内完成了作业。

以下是他们的作品：

人类vs 算法

我们使用Subjectify.us平台比较了三位专业艺术家的修复结果和自动修复方法的结果与原始的，未失真的图像。

该平台成对的向研究参与者呈现结果，要求他们从每对中选择具有最佳视觉质量的图像。 该平台总共收集了来自215名参与者的6,945项成对判断结果。

以下是此比较的整体和每图像主观质量得分：

艺术家们在整体上都大大优于自动化方法。但是在一个案例中，算法击败了艺术家：由非神经方法绘制的“城市花朵”图像补丁偏移统计（He和Sun，2012）获得的排名高于1号艺术家修补的图像。此外，只有艺术家绘画的图像与原始未失真的图像相比或者看起来更好：2号和3号艺术家绘制的“Splashing Sea”图像甚至获得了比原图更高的质量得分。

在自动识别方法中：排名第一的是深度学习方法-基于生成的图像修复方法。但这不是一次压倒性的胜利，因为这个算法从未达到我们研究中任何图像的最佳分数。 “城市花朵”和“海浪飞溅”图的第一名分别用于非神经方法补丁补偿和基于范例的修补统计，并且“森林步道”的第一名用于深度学习方法Partial Convolutions。值得注意的是，根据整体排行榜，其他深度学习方法的表现优于非神经学方法。

有趣的例子

几个结果引起了我们的注意。上文中提到的非神经方法中的片元偏移统计方法（He和Sun，2012）产生的图像，获得了高于艺术家修补的图像的分数。

此外，来自排名靠前的神经方法Generative Image Inpainting的图像得分低于非神经方法补丁偏移统计(Statistics of Patch Offsets)。

另一个令人惊讶的结果是，在2018年提出的神经方法生成图像修复得分低于2014年前提出的非神经方法（Exemplar-Based Image Inpainting）。

算法与算法间比较

为了进一步比较神经图像修复方法和非神经图像方法，我们使用Subjectify.us进行了额外的比较。 与第一次比较不同，我们使用整个33图像数据集来比较这些方法。

以下是使用来自147名研究参与者的3,969对成对判断计算的总体主观评分：

第一名的算法是： Place2数据集上进行训练的Generative Image Inpainting算法；排名第二的算法是：Photoshop CS5中的内容感知填充工具，它不使用神经网络，仅略微落后于第一名。 在ImageNet上训练的Generative Image Inpainting获得第三名。

值得注意的是，所有其他深度学习方法的表现都不及非神经学网络的方法。

结论

我们对自动图像修复方法与专业艺术家的研究使我们得出以下结论：

艺术家们的修复仍然是获得与原图质量相似的图片的唯一途径。

仅仅对于某些特定的图像，使用机器修复得效果可以与人工修复相媲美。

虽然自动方法中的第一位是深度学习算法，但非神经算法在许多测试中保持了强大的地位并且超越了深度学习方法。

虽然非深度学习方法可以修复任意形状的区域，但大多数基于神经的方法对掩模形状施加了严格的限制。这种约束进一步缩小了这些方法的现实适用性。因此，我们强调使用部分卷积的不规则孔的图像修复方法，该方法可以针对性的解决任意形状掩模问题。

我们相信该领域的未来研究以及GPU计算能力和RAM大小的增长将使深度学习算法能够超越其传统竞争对手，并提供与人类艺术家相同的图像修复效果。然而，在现在的情况下，选择经典的图像或视频处理方法可能比盲目选择新的深度学习方法更好。