Nirkin提出单编码器 - 多解码器网络架构和算法对换脸质量的影响

迪士尼新研究实现百万像素图像和视频换脸，说不定未来大荧幕电影也会使用换脸技术了。

deepfakes 技术可以用于图像和视频换脸，但它能否用于大制作电影和电视节目中呢？迪士尼最新放出的一则视频 demo 展示了这种可能性。

近日迪士尼在欧洲图形学会透视研讨会（EGSR）上发表研究，展示了首个百万像素逼真换脸技术。

效果是不是还不错。这样的效果虽然并不足以用于漫威电影，但它是换脸技术迈出的新一步。

来自迪士尼的研究者表示，这项技术的创新点在于能够达到百万像素质量。百万像素或许不再是高质量图像的代名词，毕竟手机自带摄像头就能达到千万像素。但是截至目前，换脸技术一直注重平滑的面部转换，不注重提高像素。

你可能在手机上看到过效果好到爆炸的换脸视频，但是如果把它们放在更大的屏幕上呈现，就会出现很多瑕疵。研究者表示，他们用开源 deepfake 模型 DeepFakeLab 创建的视频分辨率最高也只有 256*256 像素。相比之下，迪士尼新模型能够让视频的分辨率提升到 1024*1024 像素。

那么，百万像素换脸是如何实现的呢？

首个百万像素换脸方法

迪士尼的这项研究发表在欧洲图形学会透视研讨会（EGSR）上，提出了一种在图像和视频中实现全自动换脸的算法。据研究者称，这是首个渲染百万像素逼真结果的方法，且输出结果具备时序一致性。

具体来说，该研究提出了一个渐进式训练的多路 comb 网络，以及一种保持亮度和对比度的混合方法。

具体而言，虽然渐进式训练能够生成高分辨率图像，但将架构和训练数据扩展至两人以上可以使生成的表情具备更高的保真度。

此外，在将生成的表情合成到目标人脸时，研究者调整混合策略，以保持对比度和低频光照。

最后，研究者在人脸关键点稳定算法中融入了一种细化策略，以实现时序稳定性，这对于处理高分辨率视频来说至关重要。

在实验部分，研究者通过控制变量研究来验证该方法对换脸质量的影响，并与流行的 SOTA 方法进行了比较。

百万像素分辨率下执行逼真换脸的整体流程：

该流程包括如下四个步骤：

对于图像 x_t，检测人脸并定位人脸关键点；

将人脸分辨率归一化为 1024×1024，保存归一化参数；

将归一化人脸馈入网络，并保存第 s 个解码器的输出 x？_s；

使用步骤 2 保存的归一化参数，在图像 x？_s 上反转图像归一化结果。最后，借助该研究提出的合成方法，将生成的图像与图像 x_t 混合。

而该流程中，最核心的组件无疑是模型本身了。该研究使用的单编码器 - 多解码器网络架构：

此外，研究者还介绍了实现人脸关键点对齐和稳定的方法，以确保换脸图像的时序一致性，以及保持光照和对比度的图像合成流程。此处不再赘述，详情参见原论文。

与当前 SOTA 方法的对比

该方法与 DeepFakes、DeepFaceLab 和 Nirkin 等人提出方法的换脸效果对比。从左到右依次为：目标图像、源图像、该方法在 1024×1024 和 256×256 分辨率下的成像效果，以及其他三种方法的成像效果。

控制变量研究

研究者执行以下四种实验，来查看该研究提出的单编码器 - 多解码器网络架构和算法对换脸质量的影响：

渐进式训练 VS 一次性训练整个网络；

使用多路 comb 模型 VS 单独的双路模型；

该研究提出的保持对比度的多频段合成方法 VS 泊松融合方法；

该研究中人脸关键点稳定方法的影响。

为渐进式训练与非渐进式训练的成像效果对比，可以看出，渐进式训练的成像效果优于非渐进式训练。

为使用多路 comb 模型与双路模型的成像效果对比：

方法与泊松融合方法的成像效果对比。从图中可以看出，该方法可以更好地保留目标人脸的全局光照特征，而泊松融合方法导致人脸出现了某种「漂白」效果。

人脸关键点稳定结果：

缺陷

尽管能够以高分辨率进行逼真的人脸转换，但是迪士尼提出的这一方法仍然存在缺陷。例如，无法基于数据恰当捕获的表情和姿势，可能会导致不完善的生成结果，比如模糊和其它伪影。
责任编辑:pj