一种在生成对抗性学习框架下的新颖的视频合成方法

我们研究视频到视频的合成问题，其目的是学习从输入源视频（例如，一系列语义分割掩码）到精确描述源视频内容的输出真实感视频的映射功能。

虽然它的图像对应物（图像到图像合成问题）是一个受欢迎的话题，但是视频到视频合成问题在文献中很少探讨。在不了解时间动态的情况下，将现有的图像合成方法直接应用于输入视频通常会导致视觉质量低下的时间不连贯视频。

在本文中，我们提出了一种在生成对抗性学习框架下的新颖的视频合成方法。通过精心设计的生成器和鉴别器架构以及时空对抗目标，我们可以通过多种输入格式（包括分割蒙版，草图和姿势）获得高分辨率，逼真的，时间上连贯的视频结果。在多个基准上进行的实验表明，与强基准相比，我们的方法具有优势。

尤其是，我们的模型能够合成长达30秒的街道场景的2K分辨率视频，从而大大提高了视频合成的最新水平。最后，我们将我们的方法应用于未来的视频预测，其性能超过了几个最先进的竞争系统。

我们的模型能够合成长达30秒的街道场景的2K分辨率视频，从而大大提高了视频合成的最新水平。最后，我们将我们的方法应用于未来的视频预测，其性能超过了几个最先进的竞争系统。

我们的模型能够合成长达30秒的街道场景的2K分辨率视频，从而大大提高了视频合成的最新水平。最后，我们将我们的方法应用于未来的视频预测，其性能超过了几个最先进的竞争系统。