0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

任意文本、视觉、音频混合生成,多模态有了强大的基础引擎CoDi-2

智能感知与物联网技术研究所 来源:未知 2023-12-03 20:20 次阅读
研究者表示,CoDi-2 标志着在开发全面的多模态基础模型领域取得了重大突破。

今年 5 月,北卡罗来纳大学教堂山分校、微软提出一种可组合扩散(Composable Diffusion,简称 CoDi)模型,让一种模型统一多种模态成为可能。CoDi 不仅支持从单模态到单模态的生成,还能接收多个条件输入以及多模态联合生成。

近日,UC 伯克利、微软 Azure AI、Zoom、北卡罗来纳大学教堂山分校等多个机构的研究者将 CoDi 升级到了 CoDi-2。

wKgaomVsc6OAeaxrAAEl2u7reAU239.png

  • 论文地址:https://arxiv.org/pdf/2311.18775.pdf

  • 项目地址:https://codi-2.github.io/

项目 demo

论文一作 Zineng Tang 表示,「CoDi-2 遵循复杂的多模态交错上下文指令,以零样本或少样本交互的方式生成任何模态(文本、视觉和音频)。」

wKgaomVsc6OAYmXrAAI_ZkWK0sY869.png

图源:https://twitter.com/ZinengTang/status/1730658941414371820

可以说,作为一种多功能、交互式的多模态大语言模型(MLLM),CoDi-2 能够以 any-to-any 输入-输出模态范式进行上下文学习、推理、聊天、编辑等任务。通过对齐编码与生成时的模态与语言,CoDi-2 使 LLM 不仅可以理解复杂的模态交错指令和上下文示例, 还能在连续的特征空间内自回归地生成合理和连贯的多模态输出。

而为了训练 CoDi-2,研究者构建了一个大规模生成数据集,包含了跨文本、视觉和音频的上下文多模态指令。CoDi-2 展示了一系列多模态生成的零样本能力,比如上下文学习、推理以及通过多轮交互对话实现的 any-to-any 模态生成组合。其中在主题驱动图像生成、视觉转换和音频编辑等任务上超越了以往领域特定的模型。

wKgaomVsc6OATom_AAWunzoj2p0816.png

人类与 CoDi-2 的多轮对话为图像编辑提供了上下文多模态指令。

模型架构

CoDi-2 在设计时旨在处理上下文中的文本、图像和音频等多模态输入,利用特定指令促进上下文学习并生成相应的文本、图像和音频输出。CoDi-2 模型架构图如下所示。

wKgaomVsc6OAdK65AAKOrejz7vs577.png

将多模态大语言模型作为基础引擎

这种 any-to-any 基础模型可以消化交错式模态输入,理解和推理复杂指令(如多轮对话、上下文示例),并与多模态扩散器交互,实现这一切的前提是需要一个强大的基础引擎。研究者提出将 MLLM 作为这个引擎,它的构建需要为仅文本的 LLM 提供多模态感知。

利用对齐的多模态编码器映射,研究者可以无缝地使 LLM 感知到模态交错的输入序列。具体地,在处理多模态输入序列时,他们首先使用多模态编码器将多模态数据映射到特征序列,然后特殊 token 被添加到特征序列的前后,比如「〈audio〉 [audio feature sequence] 〈/audio〉」。

基于 MLLM 的多模态生成

研究者提出将扩散模型(DM)集成到 MLLM 中,从而生成多模态输出,这里遵循细致入微的多模态交错指令和提示。扩散模型的训练目标如下所示:

wKgaomVsc6SAdyM-AAB6GX4e-Ac131.png

接着他们提出训练 MLLM 以生成条件式特征 c = C_y (y),该特征被馈入到扩散模型中以合成目标输出 x。这样一来,扩散模型的生成损失被用来训练 MLLM。

任务类型

本文提出的模型在以下示例任务类型中显示出强大的能力,它提供了一种独特的方法来提示模型生成或转换上下文中的多模态内容,包括本文、图像、音频、视频及其组合。

1. 零样本提示。零样本提示任务要求模型在没有任何先前示例的情况下进行推理并生成新内容。

2. 一次/少量样本提示。一次或少量样本提示为模型提供了一个或几个示例,以便在执行类似任务之前从中学习。这种方法在以下任务中很明显:模型将学习到的概念从一个图像应用到另一个图像,或者通过理解所提供示例中描述的风格来创建一个新的艺术品。

(1)范例学习在要求模型将此学习应用于新实例之前,向模型显式显示期望输出的示例。(2)概念学习涉及模型从这些给定示例的共享概念/属性中学习,例如艺术风格或模式,然后创建展示类似概念/属性的新内容。(3)主题驱动的学习侧重于根据一组提供的图像生成新的内容。

实验及结果

模型设置

本文模型的实现基于 Llama2,特别是 Llama-2-7b-chat-hf。研究者使用 ImageBind ,它具有对齐的图像、视频、音频、文本、深度、thermal 和 IMU 模式编码器。研究者使用 ImageBind 对图像和音频特征进行编码,并通过多层感知器(MLP)将其投射到 LLM(Llama-2-7b-chat-hf)的输入维度。MLP 由线性映射、激活、归一化和另一个线性映射组成。当 LLM 生成图像或音频特征时,他们通过另一个 MLP 将其投射回 ImageBind 特征维度。本文图像扩散模型基于 StableDiffusion2.1 (stabilityai/stable-diffusion-2-1-unclip)、AudioLDM2 和 zeroscope v2。

对于需要更高保真原始输入的图像或音频,研究者还将原始图像或音频输入到扩散模型中,同时通过连接扩散噪声生成特征。这种方法在保留输入内容的最大感知特征方面尤为有效,添加新内容或改变风格等指令编辑也是如此。

图像生成评估

下图展示了 Dreambench 上主题驱动图像生成的评估结果和 MSCOCO 上的 FID 分数。本文方法实现了极具竞争力的零样本性能,显示了其对未知新任务的泛化能力。

wKgaomVsc6SAdPG5AAGrw4P79Wg155.png

音频生成评估

表 5 展示了音频处理任务的评估结果,即添加、删除和替换音轨中的元素。从表中可以明显看出,与之前的方法相比,本文方法表现出了卓越的性能。值得注意的是,在所有三个编辑任务中,它在所有指标 — 对数谱距离(LSD)、Kullback-Leibler(KL)发散和 Fréchet Dis- tance(FD)上都取得了最低得分。

wKgaomVsc6SAfoACAAIrPGvX02A094.png


原文标题:任意文本、视觉、音频混合生成,多模态有了强大的基础引擎CoDi-2

文章出处:【微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 物联网
    +关注

    关注

    2909

    文章

    44598

    浏览量

    373013

原文标题:任意文本、视觉、音频混合生成,多模态有了强大的基础引擎CoDi-2

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA推出全新生成式AI模型Fugatto

    NVIDIA 开发了一个全新的生成式 AI 模型。利用输入的文本音频,该模型可以创作出包含任意的音乐、人声和声音组合的作品。
    的头像 发表于 11-27 11:29 344次阅读

    浅析OpenVINO 2024.5的新功能

    ,事实上在安全、监控或医疗保健等某些领域至关重要。它代表从处理文本到处理不同输入和生成不同形式输出的重大演变。例如,模态模型可以接收长视
    的头像 发表于 11-25 17:12 217次阅读

    高通与智谱推动模态生成式AI体验的终端侧部署

    此前,骁龙峰会首日,智谱与高通技术公司宣布合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的模态交互方式,进一步推动
    的头像 发表于 11-08 09:55 173次阅读

    AI大模型的最新研究进展

    。例如,在医疗领域,生成式AI可以帮助医生生成诊断报告、治疗方案等;在教育领域,AI大模型可以生成个性化的学习资源和建议。 模态融合与交互
    的头像 发表于 10-23 15:19 420次阅读

    利用OpenVINO部署Qwen2模态模型

    模态大模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说
    的头像 发表于 10-18 09:39 421次阅读

    Meta发布模态LLAMA 3.2人工智能模型

    Meta Platforms近日宣布一项重要技术突破,成功推出了模态LLAMA 3.2人工智能模型。这一创新模型不仅能够深度解析文本信息,还实现
    的头像 发表于 09-27 11:44 399次阅读

    基于Qwen-Agent与OpenVINO构建本地AI智能体

    Qwen2 是阿里巴巴集团 Qwen 团队研发的大语言模型和大型模态模型系列。Qwen2 具备自然语言理解、文本生成
    的头像 发表于 07-26 09:54 779次阅读
    基于Qwen-Agent与OpenVINO构建本地AI智能体

    阿里云通义大模型助力“小爱同学”强化模态AI生成能力

    小米的人工智能助手“小爱同学”近期与阿里云通义大模型达成战略合作,共同提升其模态AI生成能力,特别是在图片生成与理解方面。这次合作不仅将强化“小爱同学”的功能,还将在小米的多个产品线
    的头像 发表于 05-13 09:19 812次阅读

    人大系初创公司智子引擎发布全新模态大模型Awaker 1.0

    人大系初创公司智子引擎近日震撼发布新一代模态大模型Awaker 1.0,这一里程碑式的成果标志着公司在通用人工智能(AGI)领域取得了重要突破。与前代ChatImg序列模型相比,A
    的头像 发表于 05-06 09:59 602次阅读

    李未可科技正式推出WAKE-AI模态AI大模型

    文本生成、语言理解、图像识别及视频生成模态交互能力。   该大模型围绕 GPS 轨迹+视觉+语音打造新一代 LLM-Based的自然交互
    发表于 04-18 17:01 595次阅读
    李未可科技正式推出WAKE-AI<b class='flag-5'>多</b><b class='flag-5'>模态</b>AI大模型

    NVIDIA Edify模态架构升级,引领视觉生成式AI新纪元

    NVIDIA近日宣布,其用于视觉生成式AI的模态架构Edify迎来重大更新,为开发者和视觉内容提供商带来前所未有的新功能。其中,3D资产
    的头像 发表于 03-27 10:22 456次阅读

    NVIDIA Edify为视觉内容提供商带来3D生成式AI和全新图像控件

    用于视觉生成式 AI 的模态架构 NVIDIA Edify 正在迈入全新维度。
    的头像 发表于 03-26 09:49 781次阅读

    机器人基于开源的模态语言视觉大模型

    ByteDance Research 基于开源的模态语言视觉大模型 OpenFlamingo 开发了开源、易用的 RoboFlamingo 机器人操作模型,只用单机就可以训练。
    发表于 01-19 11:43 411次阅读
    机器人基于开源的<b class='flag-5'>多</b><b class='flag-5'>模态</b>语言<b class='flag-5'>视觉</b>大模型

    什么是模态模态的难题是什么?

    模态大模型,通常大于100M~1B参数。具有较强的通用性,比如对图片中任意物体进行分割,或者生成任意内容的图片或声音。极大降低了场景的定制成本。
    的头像 发表于 01-17 10:03 4616次阅读
    什么是<b class='flag-5'>多</b><b class='flag-5'>模态</b>?<b class='flag-5'>多</b><b class='flag-5'>模态</b>的难题是什么?

    自动驾驶和模态大语言模型的发展历程

    模态大语言模型(MLLM) 最近引起了广泛的关注,其将 LLM 的推理能力与图像、视频和音频数据相结合,通过多模态对齐使它们能够更高效地执行各种任务,包括图像分类、将
    发表于 12-28 11:45 520次阅读
    自动驾驶和<b class='flag-5'>多</b><b class='flag-5'>模态</b>大语言模型的发展历程