0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文本图片编辑新范式:单个模型实现多文本引导图像编辑

深度学习自然语言处理 来源:机器之心 2023-01-10 16:08 次阅读

最近用文本来引导图像编辑取得了非常大的进展以及关注度,特别是基于去噪扩散模型如 StableDiffusion 或者 DALLE 等。但是基于 GAN 的文本 - 图像编辑依旧有一些问题等待解决,例如经典的 StyleCILP 中针对每一个文本必须要训练一个模型,这种单文本对单模型的方式在实际应用中是不方便的。

本文我们提出 FFCLIP 并解决了这个问题,针对灵活的不同文本输入,FFCLIP 只需要一个模型就能够对图片进行相应的编辑,无需针对每个文本重新训练模型,并且在多个数据集上都取得了非常不错的效果。

论文简要概述

利用文本对图像进行编辑的相关研究非常火热,最近许多研究都基于去噪扩散模型来提升效果而少有学者继续关注 GAN 的相关研究。本文基于经典的 StyleGAN 和 CLIP 并提出语义调制模块,从而对不同的文本仅需要单个模型就可以进行文本 - 图像编辑。

本文首先利用已有的编码器将需要编辑的图像转换到 StyleGAN 的 语义空间中的潜在编码 w,再通过提出的语义调制模块对该隐编码进行自适应的调制。该语义调制模块包括语义对齐和语义注入模块,首先通过注意力机制对齐文本编码和 GAN 的隐编码之间的语义,再将文本信息注入到对齐后的隐编码中,从而保证该隐编码拥有文本信息从而达到利用文本编辑图像能力。 不同于经典的 StyleCLIP 模型,我们的模型无需对每个文本单独训练一个模型,一个模型就可以响应多个文本从而对图像做有效的编辑,所以我们的模型成为 FFCLIP-Free Form Text-Driven Image Manipulation。同时我们的模型在经典的教堂,人脸以及汽车数据集上都取得了非常不错的效果。

9ce3a3d2-9011-11ed-bfe3-dac502259ad0.png

论文链接:

https://arxiv.org/pdf/2210.07883.pdf

代码链接:

https://github.com/KumapowerLIU/FFCLIP

背景和启示最近,描述用户意图的自由文本提示已被用于编辑 StyleGAN 潜在空间以进行图像编辑操作 [1、2]。一句话(例如,‘Blue’)或短语(例如,‘Man aged 10’)作为输入,这些方法通过调制 StyleGAN 潜在空间中的潜在编码来相应地编辑所描述的图像属性。 精确的文本 - 图像编辑依赖于 StyleGAN 的视觉语义空间与 CLIP 的文本语义空间之间的精确潜在映射。比如当文本提示是 “惊喜”,我们首先在视觉语义空间中识别其相关的语义子空间(即 “表情”,因为惊喜属于表情这个属性)。找到与文本相对应的语义子空间后,文本会告诉我们隐编码的变化方向,从让隐编码从当前的表情变化到惊喜的表情。 TediGAN [1] 和 StyleCLIP [2] 等开创性研究凭经验预先定义了哪个潜在视觉子空间对应于目标文本提示嵌入(即 TediGAN 中的特定属性选择和 StyleCLIP 中的分组映射)。这种经验识别限制了给定一个文本提示,他们必须训练相应的编辑模型。 不同的文本提示需要不同的模型来调制 StyleGAN 的潜在视觉子空间中的潜在代码。虽然 StyleCLIP 中的全局方向方法没有采用这样的过程,但参数调整和编辑方向是手动预定义的。为此,我们有理由来探索如何通过显性的文本自动的找到隐性的视觉语义子空间,从而达到单个模型就可以应对多个文本。 在这篇论文中,我们提出了 FFCLIP-Free Form CLIP,它可以针对不同的文本自动找到相对应视觉子空间。FFCLIP 由几个语义调制模块组成,这些语义调制模块把 StyleGAN 潜在空间 中的潜在编码 和文本编码 e 作为输入。 语义调制模块由一个语义对齐模块和一个语义注入模块组成。语义对齐模块将文本编码 e 作为 query,将潜在编码 w 作为 key 和 Value。然后我们分别在 position 和 channel 维度上计算交叉注意力,从而得到两个注意力图。 接着我们使用线性变换将当前的视觉空间转换到与文本对应的子空间,其中线性变换参数(即平移和缩放参数)是基于这两个注意力图计算的。通过这种对齐方式,我们可以自动的为每个文本找到相应的视觉子空间。最后,语义注入模块 [3] 通过之后的另一个线性变换修改子空间中的潜在代码。 从 FFCLIP 的角度来看,[1, 2] 中子空间经验选择是我们在语义对齐模块中线性变换的一种特殊形式。他们的组选择操作类似于我们的缩放参数的二进制值,以指示 w 的每个位置维度的用法。另一方面,我们观察到 空间的语义仍然存在纠缠的现象,经验设计无法找到 StyleGAN 的潜在空间和 CLIP 的文本语义空间之间的精确映射。 相反,我们的语义对齐模块中的缩放参数自适应地修改潜在代码 w 以映射不同的文本提示嵌入。然后通过我们的平移参数进一步改进对齐方式。我们在基准数据集上评估我们的方法,并将 FFCLIP 与最先进的方法进行比较。结果表明,FFCLIP 在传达用户意图的同时能够生成更加合理的内容。

FFCLIP

图 1 所展示的就是我们的整体框架。FFCLIP 首先通过预训练好的 GAN inversion 编码器和文本编码器得到图像和文本的潜在编码,其中图像的潜在编码则是之前提到的 StyleGAN 视觉语义空间 中的 w,而文本编码则是 。我们和 StyleCLIP 一样采用 e4e GAN inversion 编码器 [4] 和 CLIP 中的文本编码器来分别得到相应的潜在编码。接着我们将 和 w 作为调制模块的输入并输出得到 w 的偏移量 ,最后将 与原始的 w 相加并放入预训练好的 StyleGAN 中得到相应的结果。

9d2d681e-9011-11ed-bfe3-dac502259ad0.png

▲图1. 整体框架图

下图二就是我们的语义调制模块。在语义对齐模块中(Semantic Alignment),我们可以清晰地看到我们将 设置为 Key 和 Value 并将 设置为 Query 来计算两个注意力图,这两个注意力图的大小分别是 18×1 以及 512×512。接着我们将 18×1 的注意力图当作线性变换中缩放系数 S,我们计算该注意力图的过程如下:

9d3e66dc-9011-11ed-bfe3-dac502259ad0.png

同时我们将 512×512 的注意力图与 Value 相乘以后再经过 Pooling 操作得到显性变换中的平移系数 T。我们计算该注意力图的过程如下:

9d4fe48e-9011-11ed-bfe3-dac502259ad0.png

拥有了平移和缩放系数后,我们就可以通过线性变换为当前文本找到相对应的视觉子空间,计算步骤如下:

9d619c38-9011-11ed-bfe3-dac502259ad0.png

其中 是我们第 i 个语义调制模块的输出结果。由于 的大小是 18×512,所以 18×1 和 512×512 的注意力图分别是在 的 position 和 channel 两个维度上进行注意力图的计算,这个操作类似于 Dual Attention [5]。

9d76c3d8-9011-11ed-bfe3-dac502259ad0.png

▲图2. 语义调制模块 我们通过以上的操作可以得到与文本对应的视觉子空间,紧接着我们采用类似 AdaIN 的方式,将文本信息注入到这个空间中,从而得到最后的结果,我们称这个操作为语义注入模块(Semantic Injection)。整个模块的实现步骤如下:

9d9f82a0-9011-11ed-bfe3-dac502259ad0.png

最终我们的 FFCLIP 中一共堆叠了 4 个语义调制模块,并最终得到最后的偏移量 。

实验结果

9dcb6f14-9011-11ed-bfe3-dac502259ad0.png

9f940180-9011-11ed-bfe3-dac502259ad0.png

▲图3. 视觉对比图

如图 3 所示,我们与 StyleCLIP [1],TediGAN [2] 以及 HairCLIP [3] 进行了视觉上的对比:可以看到 FFCLIP 能够更好的反应文本的语义,并且生成更加真实的编辑图像。同时相对应的数值对比结果如下表所示,我们的方法无论是在客观数值还是在主观数值上都能取得最好的效果。

9ffe6a8e-9011-11ed-bfe3-dac502259ad0.png

▲表1.数值对比

同时我们的方法还展现出了非好的鲁棒性,FFCLIP 在训练中并未见过词的组合而是用单个的单词进行训练,但是在测试中能够很好的针对词组的语义对图像进行编辑,视觉效果如图 4 所示。

a0181970-9011-11ed-bfe3-dac502259ad0.png

▲图4. 词组编辑

更多的实验结果和消融实验请看原文。

总结我们在本文中提出了 FFCLIP,一种可以针对不同文本但只需要单个模型就能进行有效图像编辑的新方法。本文动机是现有方法是根据已有的经验来匹配当前文本和 GAN 的语义子空间,因此一个编辑模型只能处理一个文本提示。我们通过对齐和注入的语义调制来改进潜在映射。它有利于一个编辑模型来处理多个文本提示。多个数据集的实验表明我们的 FFCLIP 有效地产生语义相关和视觉逼真的结果。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像
    +关注

    关注

    2

    文章

    1083

    浏览量

    40449
  • 模型
    +关注

    关注

    1

    文章

    3226

    浏览量

    48809
  • 文本
    +关注

    关注

    0

    文章

    118

    浏览量

    17082

原文标题:NIPS 2022 | 文本图片编辑新范式:单个模型实现多文本引导图像编辑

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    单日获客成本超20万,国产大模型开卷200万字以上的长文本处理

    电子发烧友网报道(文/周凯扬)随着AGI生态的蓬勃发展,各种支持模态的大模型推陈出新,比如最近比较火的音乐大模型Suno和文生视频大模型Sora等等。然而在传统基于
    的头像 发表于 03-27 00:53 3362次阅读
    单日获客成本超20万,国产大<b class='flag-5'>模型</b>开卷200万字以上的长<b class='flag-5'>文本</b>处理

    图纸模板中的文本变量

    进行定义。无论是系统内置的变量,还是用户自定义的变量,都以这种方式表述。 系统内置文本变量 以下表格展示系统内置的文本变量,无需定义,可以直接使用: 比如说,如果在图纸编辑器中定义了以下标题栏: 当该图纸模板应用于原理图或PCB
    的头像 发表于 11-13 18:21 170次阅读
    图纸模板中的<b class='flag-5'>文本</b>变量

    字节发布SeedEdit图像编辑模型

    ,SeedEdit模型凭借其强大的技术实力,支持用户通过一句简单的自然语言描述,即可轻松实现图像的多种编辑操作。无论是修图、换装、美化,还是转化风格、在指定区域添加或删除元素等复杂任
    的头像 发表于 11-12 10:43 248次阅读

    利用OpenVINO部署Qwen2模态模型

    模态大模型的核心思想是将不同媒体数据(如文本图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说
    的头像 发表于 10-18 09:39 412次阅读

    vim编辑器命令模式使用方法

    Vim编辑器是一款功能强大的文本编辑器,广泛应用于程序员和开发者的日常工作中。Vim编辑器拥有多种模式,其中命令模式(Command mode)是最基本的模式之一,它允许用户执行各种命令来操作
    的头像 发表于 08-30 15:01 402次阅读

    vim编辑器如何使用

    Vim编辑器是一个功能强大的文本编辑器,它基于Vi进行改进,并增加了许多新特性。Vim编辑器的使用主要涉及其不同的工作模式及相应操作。以下是Vim编辑器的基本使用方法: 一、Vim
    的头像 发表于 08-30 14:58 429次阅读

    NVIDIA文本嵌入模型NV-Embed的精度基准

    NVIDIA 的最新嵌入模型 NV-Embed —— 以 69.32 的分数创下了嵌入准确率的新纪录海量文本嵌入基准测试(MTEB)涵盖 56 项嵌入任务。
    的头像 发表于 08-23 16:54 1978次阅读
    NVIDIA<b class='flag-5'>文本</b>嵌入<b class='flag-5'>模型</b>NV-Embed的精度基准

    常用编辑器之Vim编辑

    在Linux下我们对文本进行编辑,经常用到的编辑器就是Vi/Vim,Vi/Vim命令众多,功能强大,是大多数Linux程序员选择使用的编辑器。下面先简单介绍Vim
    发表于 08-22 09:48

    利用TensorFlow实现基于深度神经网络的文本分类模型

    要利用TensorFlow实现一个基于深度神经网络(DNN)的文本分类模型,我们首先需要明确几个关键步骤:数据预处理、模型构建、模型训练、
    的头像 发表于 07-12 16:39 831次阅读

    卷积神经网络在文本分类领域的应用

    在自然语言处理(NLP)领域,文本分类一直是一个重要的研究方向。随着深度学习技术的飞速发展,卷积神经网络(Convolutional Neural Network,简称CNN)在图像识别领域取得了
    的头像 发表于 07-01 16:25 703次阅读

    HarmonyOS开发案例:【图片编辑

    基于ArkTS的声明式开发范式的样例,主要介绍了图片编辑实现过程。
    的头像 发表于 04-23 20:54 386次阅读
    HarmonyOS开发案例:【<b class='flag-5'>图片</b><b class='flag-5'>编辑</b>】

    HarmonyOS开发案例:【图片编辑

    基于canvas组件、图片编解码,介绍了图片编辑实现过程。
    的头像 发表于 04-22 16:42 908次阅读
    HarmonyOS开发案例:【<b class='flag-5'>图片</b><b class='flag-5'>编辑</b>】

    请问TouchGFX能不能实现中文文本编辑及显示?

    目前来看,TouchGFX显示的中文好像都是固定的。但是如果我串口收到一个中文unicode的编码,要将其显示出来,或者用户通过键盘,编辑任意中文文本的话,要怎么实现呢?
    发表于 04-09 08:23

    谷歌模型怎么用PS打开文件和图片

    )或ONNX模型(.onnx)等。这些模型文件是二进制的,并且是为特定的机器学习框架设计的,而不是为图像编辑软件如PS设计的。
    的头像 发表于 02-29 18:25 1436次阅读

    亚马逊发布史上最大文本转语音模型BASE TTS

    亚马逊的人工智能研究团队近日宣布,他们成功开发出了迄今为止规模最大的文本转语音模型——BASE TTS。这款新模型拥有高达9.8亿个参数,不仅在规模上超越了之前的所有版本,还在能力上实现
    的头像 发表于 02-20 17:04 848次阅读