一个two-stage框架，允许用户直接操作自然场景的高级属性

编者按：近日，来自Hacettepe大学和阿姆斯特丹大学的研究人员在网上发布了一个短视频，在外网引起极大反响。视频中展示的是一个新型图像编辑工具，不少人把它称为“未来的Photoshop”，因为只需选择天气、季节、时间段等属性，它就能即时改变图片内容，把春天变成冬天，把中午变成黄昏，同时原图语义细节也会被极大保留。更惊人的是，只需选中绘制目标，比如“树”，待研究人员在图中画出一篇区域后，这块区域就会被树填充，效果自然逼真。

目前作者只公布了调整图像自然属性的研究论文：Manipulating Attributes of Natural Scenes via Hallucination，其Pytorch代码会在近期放出，有兴趣的读者可以关注Hacettepe大学的相关网页。

下面是论文的大致内容：

摘要

在本研究中，我们探索构建了一个two-stage框架，允许用户直接操作自然场景的高级属性。这种方法的关键在于深层生成网络，它能基于原始图像生成“幻觉”，即好像是在不同季节、不同天气条件、一天中的不同时间段下拍摄的同一场景。

一旦根据给定自然属性生成了“幻觉”场景，这个“幻觉”就能结合输入图像做风格迁移，同时保持完整的语义细节，输出逼真的图像属性调整效果。和大多数风格迁移方法不同，由于输入图像的目标高级属性来自“幻觉”，它无需额外的参考图像。此外，它允许在单个模型内基于瞬态属性集同时操纵给定场景，因此可以避免训练多个神经网络。

根据全面定性定量实验的结果，我们提出的方法很有竞争力

简介

园里树木有的枝枒还覆盖着积雪，影影绰绰显现在多云的天幕上。月光惨淡。——巴尔扎克《萨拉金》

在我们的生活中，视觉世界会随着时间和季节不断变化其外观。比如在日落时，太阳靠近地平线，这时西方天空会呈现宜人的红色色调；随着夏季到来，草地上原本鲜嫩的黄绿色被绿色取代，整体更明亮，而夏去秋来，棕色色调开始慢慢出现在各种自然风景中。

在时间、天气和季节的影响下，自然界几乎无时无刻不在发生视觉上的变化。我们把这种高级变化称为瞬态场景属性——例如阴天、雾天、夜晚、白天、日落、冬天、夏天……

图像生成是一项非常具有挑战性的任务，因为它的目标是输出逼真图像。现在，如果要实现图像场景属性变化，比较常见的方法是风格迁移，但这种方法需要我们提供带有目标属性的样本素材。虽然有人也提出了自动风格迁移，可以让模型自动检索符合的素材，但它也产生了新的问题，就是我们该如何设计一种可以根据期望属性和语义分布检索图像的算法。

为了克服这一点，我们提出了一种结合神经图像生成和风格迁移的方法。首先，我们设计了一个条件图像合成模型，它能够在目标场景中生成具有输入图像类似语义内容的“幻觉”；其次，我们再用图像风格迁移的方法，把“幻觉”移植到原始图像中，最终输出逼真的效果。

本研究主要贡献：

提出了一种新的two-stage视觉属性操作框架，用于更改给定室外图像的高级属性。

开发了一个条件GAN的变体，用于生成忠实于原图语义分布的、带有目标瞬态场景属性的“幻觉”场景。

构建一个用布局和瞬态属性标签注释的室外场景数据集。

网络细节

上图是本文提出框架的整体图解，它的关键组件是下方这个黄色的场景生成网络。可以发现，输入图像后，模型会先用简单色块模拟原图语义分布，并把它作为场景生成网络的第一个输入。场景生成网络的第二个输入是瞬态属性的连续值向量。

有了这两个输入，这个生成网络能输出和输入图像语义分布一致，且具有所需瞬态属性的合成场景。在这幅新图的基础上，结合输入图像，模型就能用迁移学习生成逼真图像。

上图是生成网络的整体图解。可以发现，整个框架延续了GAN的一般特征，由一个生成器G和一个判别器D组成，两者都以语义分布和瞬态场景属性维条件。在模型中，语义分布被编码为8位二进制码，而瞬态场景属性被编码为40维向量。

在图的左侧，模型连接语义分布S、空间复制属性向量a和z，将它门串联馈送进G中获得输出。随后，这个输出再和S、a一起输入右侧的D，由判别器确定这幅图像是否既符合原图的语义分布，又带有期望的瞬态场景属性。

结果

在上述研究过程中，作者制作了ALS17K数据集，它包含17,772幅室外图像，其中训练集16,434幅，测试集1,338幅，有150个语义类别和40个瞬态场景属性。目前这个数据集还没有公开。

结合网站上的测试工具，我们检验了论文的具体生成效果，如下所示：

原图

日落

冬季

多云

青葱

在示例的两幅图中，雾天效果都不是很明显，因此这里不再展示。下面是论文中的一些图片。