人体图像合成制作可信和逼真的人类图像

技术和算法的开发和精进让AI换脸、AI克隆都成了可实现的事情。近日，上海科技大学团队的一项新研究，再一扩展了这一领域，其开发建立了人体图像合成——人体图像合成的目的是制作可信和逼真的人类图像，包括运动模拟、外观传递和新视图合成等。

这意味着，模型一旦经过训练，就可以用来处理所有这些任务。只要一张照片、一段视频，就能让特朗普跟着明星偶像“唱、跳、Rap”。

研究团队先是采集了30个研究对象的数据，他们的体型、身高各不相同。每个研究对象穿着不同的衣服，完成一套指定动作和一套随机动作。基于此，建立了一个具有多种样式、不同人物穿不同衣服的数据集，称为Impersonator（iPER）数据集。

随后，研究人员使用三维人体网格恢复模块，以分离姿势和形状。值得一提的是，现有任务特定方法主要利用二维关键点、对人体结构进行估计。但是，它们只表示位置信息没有能力描述人的个性化形状和肢体旋转模型。

而三维人体网格不仅可以对关节的位置和旋转进行建模，还可以对关节的位置和旋转进行建模描述个性化的体型。

为了保存源信息，如纹理、样式、颜色和人脸标识，研究人员还提出了一种注意型液化GAN。比如，通过降噪卷积自动编码器提取特朗普的身体特征，然后经过GAN不断地训练学习、微调、监督、转化，将低分辨率的模型转变成高分辨率的模型，使输出来的视频图像清晰。

人体图像合成一经开发，将在角色动画、角色再现、虚拟服装试穿、电影或游戏制作等方面展示其巨大的潜在应用前景。当然，技术的使用永远需要合理的规制，“以假乱真”一旦泛滥，将对市场造成难以恢复的危害。

责任编辑：PSY