0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

多模态机器学习的图像语言转换器

传感器技术 来源:麻省科技评论 作者:麻省科技评论 2022-04-24 15:59 1333次阅读

对于 AI 系统来说,将语言与视觉联系起来是它需要面对并学会解决的基本问题,例如在进行图像的检索时,AI 系统需要既能识别图像,也能识别语言,并将二者相关联起来。

对于这类需要 AI 系统识别不同种类或形式的信息来源的任务中,就需要多模态机器学习(MML/Multimodal Machine Learning)来发挥作用。所谓模态,指的是一种信息的来源或形式,例如文字、图像、视频音频等都是模态。多模态机器学习是指利用机器学习来处理多种模态的信息。

近些年来,在多模态机器学习领域中,多模态图像语言转换器(Multimodal image–language transformers)已经取得了深刻进展,尤其在解决各种需要微调的任务,如视觉问答、图像检索中发挥了关键性作用。

但是,在既需要处理图像又需要处理语言文本的多模态机器学习任务中,有一类问题对于多模态图像语言转换器来说尤其棘手,那就是对文本中的动词的理解。例如要求 AI 系统来在图像中区分识别找出“踢球”和“抛球”这两种情景。在这一任务中,AI 系统不仅需要识别出图像中的“球”这一对象,还需要识别图像中不同对象之间的关系。

为了评估近年来多模态图像语言转换器的预训练水平,尤其是在“看图理解”中对于上文所说的动词的识别能力。近日,DeepMind 开发出一套方法,并引入了名为 SVO-Probes 的“图像-句子对” 数据集,来评估不同 AI 系统的多模态预训练模型对于动词的理解水平,尤其是了解这些 AI 系统多模态转换器的预训练模型在结合语言文本来识别图像时,到底是既能够识别中图片中的物体、也能区分中图像中的动作,还是只能够识别出图中的物体。

为了达到这一目的,DeepMind 建立的 SVO-Probes 数据集包含了 48000 个图像-句子对,可以测试 AI 系统对 447 个动词的理解,这些动词要么是视觉可以区分的,要么是在预训练数据中常见的,例如许多概念字幕数据集。这个数据集中的每个句子都可以分解成 一个 <主语、动词、宾语> 三元组,也就是 SVO 三元组,并分别配对有与句子描述的内容相符和不符的图像,它们在是实验中分别被称为“正实例图像” 和 “负实例图像”。

69a52362-c3a0-11ec-bce3-dac502259ad0.png

图|评估多模态语言图像转换器对于动词的识别能力的 SVO- Probes 数据集中的图像-句子对(来源:DeepMind)

上图显示了图像-句子对的几个例子,以左上角的图像-句子对为例,分别显示了与句子“孩子、过、马路”相符的正示例图像,以及与“女士、过、马路”不符的负示例图像,通过这一对可以测试 AI 系统识别图中的对象——也就是名词的能力;而上方中间的图像-句子对,则分别显示了”人、唱歌、演唱会上“ 的正示例图像和”“人、跳舞、演唱会上“ 的负示例图像。通过这一对就可以既测试 AI 系统识别图中的名词的能力,也能测试 AI 识别动词的能力。

在实验中使用这一 SVO-Probes 数据集以零样本的方式对 AI 预训练模型进行评估之后,DeepMind 的工程师发现,相比名词等其他词性,预训练模型在需要动词理解的情况下错误率要高很多。

下面的条形图详细说明了测试的结果。标准多模态转换器模型经过测试后总体准确率达到 64.3%,这也显示了 SVO- Probes 数据集确实具有挑战性。而这一 AI 模型在对于主语和宾语判断的准确率分别为 67.0% 和 73.4%,但是对于动词判断的准确率却下降到 60.8%。这一结果表明,动词识别确实对 AI 系统模型具有挑战性。

此外,该公司的工程师们还进一步总结调查了哪些类别的动词对于这些 AI 预训练模型尤其具有挑战性。结果发现,像“抓”这样的运动性动词以及“带领”这样在不同类型的语境中经常出现的动词对于 AI 来说更容易。而 AI 模型判断的正确率最高的动词有“打斗”“包围”“滑雪”“参加”等;而错误率最高的几个动词有“切”“争论”“断”等。

69be475c-c3a0-11ec-bce3-dac502259ad0.png

图|多模态机器学习的图像语言转换器对于 SVO-Probes 数据集进行判断测试之后的结果(来源:DeepMind)

值得一提的是,当工程师们对哪些模型架构在 SVO-Probes 数据集上的表现更好这一问题进行探索时,他们惊讶地发现,相比图像建模能力更强的标准图像语言转换器模型,那些图像建模较弱的模型反而表现更好。对这一与直觉相反的发现的解释的一个假设是,标准转换器模型在图像识别方面可能有些“过度训练”了。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 转换器
    +关注

    关注

    27

    文章

    8742

    浏览量

    147765
  • AI
    AI
    +关注

    关注

    87

    文章

    31490

    浏览量

    269909
  • 数据集
    +关注

    关注

    4

    文章

    1209

    浏览量

    24793

原文标题:AI多模态图像语言转换器在看图理解中对动词的识别力

文章出处:【微信号:WW_CGQJS,微信公众号:传感器技术】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    2025年Next Token Prediction范式会统一模态

    各种模态的信息(如图像、视频和音频片段)分解为最小的单元序列(Token),以便 Transformer 结构为基础的 NTP 模型学习。 Tokenization 方法可以分为离散(Discrete
    的头像 发表于 01-21 10:11 48次阅读
    2025年Next Token Prediction范式会统一<b class='flag-5'>多</b><b class='flag-5'>模态</b>吗

    体验MiniCPM-V 2.6 模态能力

    模态组网
    jf_23871869
    发布于 :2025年01月20日 13:40:48

    【「具身智能机器人系统」阅读体验】2.具身智能机器人大模型

    模态融合的创新与突破 机器人控制技术的另一个重要突破在于模态大模型的应用。相比于仅通过文字进行人机交互的传统方法,现代
    发表于 12-29 23:04

    商汤日日新模态大模型权威评测第一

    刚刚,商汤科技日日新SenseNova模态大模型,在权威综合评测权威平台OpenCompass的模态评测中取得榜单第一。
    的头像 发表于 12-20 10:39 308次阅读

    自然语言处理与机器学习的关系 自然语言处理的基本概念及步骤

    自然语言处理(Natural Language Processing,简称NLP)是人工智能和语言学领域的一个分支,它致力于研究如何让计算机能够理解、解释和生成人类语言机器
    的头像 发表于 12-05 15:21 626次阅读

    一文理解模态语言模型——下

    /understanding-multimodal-llms   《一文理解模态语言模型 - 上》介绍了什么是模态
    的头像 发表于 12-03 15:18 189次阅读
    一文理解<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>语言</b>模型——下

    一文理解模态语言模型——上

    /understanding-multimodal-llms 在过去几个月中, OpenVINO™ 架构师 Yury阅读了众多有关模态语言模型的论文和博客,在此基础上,推荐了一篇解读
    的头像 发表于 12-02 18:29 427次阅读
    一文理解<b class='flag-5'>多</b><b class='flag-5'>模态</b>大<b class='flag-5'>语言</b>模型——上

    vga接口转hdmi转换器图像没反应怎么回事

    VGA转HDMI转换器是一种常见的视频信号转换设备,它允许用户将VGA信号转换为HDMI信号,以便在现代显示或投影仪上显示图像。然而,有时
    的头像 发表于 10-21 09:59 4569次阅读

    利用OpenVINO部署Qwen2模态模型

    模态大模型的核心思想是将不同媒体数据(如文本、图像、音频和视频等)进行融合,通过学习不同模态之间的关联,实现更加智能化的信息处理。简单来说
    的头像 发表于 10-18 09:39 515次阅读

    Meta发布模态LLAMA 3.2人工智能模型

    Meta Platforms近日宣布了一项重要技术突破,成功推出了模态LLAMA 3.2人工智能模型。这一创新模型不仅能够深度解析文本信息,还实现了对图像内容的精准理解,标志着Meta在AI
    的头像 发表于 09-27 11:44 431次阅读

    AMC7812具有通道模数转换器(ADC)数模转换器(DAC)和温度传感数据表

    电子发烧友网站提供《AMC7812具有通道模数转换器(ADC)数模转换器(DAC)和温度传感数据表.pdf》资料免费下载
    发表于 07-27 10:08 0次下载
    AMC7812具有<b class='flag-5'>多</b>通道模数<b class='flag-5'>转换器</b>(ADC)数模<b class='flag-5'>转换器</b>(DAC)和温度传感<b class='flag-5'>器</b>数据表

    【《大语言模型应用指南》阅读体验】+ 俯瞰全书

    的大语言模型设计技术人员阅读,主要包括大语言模型的优化方法、Agent系统调优以及模型的安全技术。 展望篇分析了大语言模型的发展前景,介绍了模态
    发表于 07-21 13:35

    李未可科技正式推出WAKE-AI模态AI大模型

    文本生成、语言理解、图像识别及视频生成等模态交互能力。   该大模型围绕 GPS 轨迹+视觉+语音打造新一代 LLM-Based的自然交互,同时
    发表于 04-18 17:01 643次阅读
    李未可科技正式推出WAKE-AI<b class='flag-5'>多</b><b class='flag-5'>模态</b>AI大模型

    AI机器人迎来模态模型

    配备 GR00T 模型的机器人由于需要“吸收消化”外界的模态信息,还要快速完成理解、决策、行动等一系列动作,因此对于算力的需求是巨量的。
    发表于 04-12 10:39 298次阅读

    机器视觉图像采集卡:关键的图像处理设备

    视觉图像采集卡的工作原理。机器视觉图像采集卡通常由模拟-数字转换器(ADC)、数字信号处理(DSP)和接口电路等组成。当光线照射到传感
    的头像 发表于 02-22 16:23 554次阅读
    <b class='flag-5'>机器</b>视觉<b class='flag-5'>图像</b>采集卡:关键的<b class='flag-5'>图像</b>处理设备