0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

CVer 来源:新智元 2024-01-15 15:40 次阅读

【导读】数据获取最新解,便是从生成模型中学习。

获取高质量数据,已经成为当前大模型训练的一大瓶颈。

前几天,OpenAI被《纽约时报》起诉,并要求索赔数十亿美元。诉状中,列举了GPT-4抄袭的多项罪证。

甚至,《纽约时报》还呼吁摧毁几乎所有的GPT等大模型。

236ef1be-b365-11ee-8b88-92fbcf53809c.png

一直以来,AI界多位大佬认为「合成数据」或许是解决这个问题的最优解。

237c6ace-b365-11ee-8b88-92fbcf53809c.png

此前,谷歌团队还提出了用LLM代替人类标记偏好的方法RLAIF,效果甚至不输人类。

23821e7e-b365-11ee-8b88-92fbcf53809c.png

现如今,谷歌MIT的研究人员发现,从大模型中学习可以得到使用真实数据训练的最佳模型的表征。

这一最新方法称SynCLR,一种完全从合成图像和合成描述学习虚拟表征的方法,无需任何真实数据。

23864198-b365-11ee-8b88-92fbcf53809c.png

论文地址:https://arxiv.org/abs/2312.17742

实验结果表明,通过SynCLR方法学习到的表征,能够与OpenAI的CLIP在ImageNet 上的传输效果一样好。

238a48a6-b365-11ee-8b88-92fbcf53809c.png

从生成模型中学习

目前表现最好的「视觉表征」学习方法依赖于大规模的实际数据集。然而,真实数据的收集却有不少的困难。

为了降低收集数据的成本,研究人员本文中提出了一个问题:

从现成的生成模型中采样的合成数据,是否是一条通往大规模策划数据集的可行之路,从而训练出最先进的视觉表征?

2394f6fc-b365-11ee-8b88-92fbcf53809c.png

与直接从数据中学习不同,谷歌研究人员称这种模式为「从模型中学习」。作为建立大规模训练集的数据源,模型有几个优势:

- 通过其潜在变量、条件变量和超参数,为数据管理提供了新的控制方法。

- 模型也更容易共享和存储(因为模型比数据更容易压缩),并且可以产生无限数量的数据样本。

越来越多的文献研究了生成模型的这些特性和其他优点和缺点,并将其作为训练下游模型的数据源。

其中一些方法采用混合模式,即混合真实数据集和合成数据集,或需要一个真实数据集来生成另一个合成数据集。

其他方法试图从纯粹的「合成数据」中学习表征,但远远落后于表现最好的模型。

论文中,研究人员提出的最新方法,使用生成模型重新定义可视化类的粒度。

如图2所示,使用2个提示生成了四张图片「一只戴着墨镜和沙滩帽的金毛猎犬骑着自行车」和「一只可爱的金毛猎犬坐在寿司做成的房子里」。

2398edf2-b365-11ee-8b88-92fbcf53809c.png

传统的自监督方法(如Sim-CLR)会将这些图像视为不同的类,不同图像的嵌入会被分开,而不会明确考虑图像之间的共享语义。

另一个极端是,监督学习方法(即SupCE)会将所有这些图像视为单一类(如「金毛猎犬」)。这就忽略了这些图像在语义上的细微差别,例如在一对图像中狗在骑自行车,而在另一对图像中狗坐在寿司屋内。

相反,SynCLR方法将描述视为类,即每个描述一个可视化类。

这样,我们就可以按照「骑自行车」和「坐在寿司店里」这两个概念对图片进行分组。

这种粒度很难在真实数据中挖掘,因为收集由给定描述的多张图片并非易事,尤其是当描述数量增加时。

然而,文本到图像的扩散模型从根本上就具备这种能力。

只需对相同的描述设定条件,并使用不同的噪声输入,文本到图像的扩散模型就能生成与相同描述相匹配的不同图像。

具体来说,作者研究了在没有真实图像或文本数据的情况下,学习视觉编码器的问题。

最新方法依赖3个关键资源的利用:一个语言生成模型(g1),一个文本到图像的生成模型(g2),以及一个经过整理的视觉概念列表(c)。

前处理包括三个步骤:

(1)使用(g1)合成一组全面的图像描述T,其中涵盖了C中的各种视觉概念;

(2)对于T中的每个标题,使用(g2)生成多个图像,最终生成一个广泛的合成图像数据集X;

(3)在X上进行训练,以获得视觉表示编码器f。

然后,分别使用llama-27b和Stable Diffusion 1.5作为(g1)和(g2),因为其推理速度很快。

合成描述

为了利用强大的文本到图像模型的能力,来生成大量的训练图像数据集,首先需要一个不仅精确描述图像而且展示多样性的描述集合,以包含广泛的视觉概念。

对此,作者开发了一种可扩展的方法来创建如此大量的描述集,利用大模型的上下文学习能力。

如下展示了三个合成模板的示例。

239dfde2-b365-11ee-8b88-92fbcf53809c.png

如下是使用Llama-2生成上下文描述,研究人员在每次推理运行中随机抽取三个上下文示例。

23a225c0-b365-11ee-8b88-92fbcf53809c.png

合成图像

对于每个文本描述,研究人员都会用不同的随机噪声启动反向扩散过程,从而生成各种图像。

在此过程中,无分类器引导(CFG)比例是一个关键因素。

CFG标度越高,样本的质量和文本与图像之间的一致性就越好,而标度越低,样本的多样性就越大,也就越符合基于给定文本的图像原始条件分布。

23acdab0-b365-11ee-8b88-92fbcf53809c.png

表征学习

论文中,表征学习的方法建立在StableRep的基础上。

作者提出的方法的关键组成部分是多正对比学习损失,它的工作原理是对齐(在嵌入空间)从同一描述生成的图像。

另外,研究中还结合了其他自监督学习方法的多种技术。

与OpenAI的CLIP相媲美

实验评估中,研究人员首先进行消融研究,以评估管道内各种设计和模块的有效性,然后继续扩大合成数据的量。

下图是不同描述合成策略的比较。

研究人员报告了9个细粒度数据集的ImageNet线性评估准确性和平均准确性。这里的每个项目包括1000万个描述和每个描述4张图片。

23b2e8ec-b365-11ee-8b88-92fbcf53809c.png

下表是ImageNet线性评估与细粒度分类的比较。

尽管只使用了合成数据,但SynCLR与OpenAI的CLIP和DINO v2模型取得了不相上下的结果。

23b6b3b4-b365-11ee-8b88-92fbcf53809c.png

下表是在相同的合成数据上比较SynCLR和CLIP,可以看出,SynCLR明显优于CLIP。

具体设置为,每个标题生成4个图像,SynCaps-150M为SynCLR和CLIP提供了更好的表示。

23bb41b8-b365-11ee-8b88-92fbcf53809c.png

PCA可视化如下。按照DINO v2,研究人员计算了同一组图像的斑块之间的PCA,并根据其前3个分量进行着色。

与DINO v2相比,SynCLR对汽车和飞机的绘制的图更为准确,而对能绘制的图则稍差一些。

23cc3496-b365-11ee-8b88-92fbcf53809c.png

图6和图7中,分别展示了不同训练规模下的ImageNet线性准确率,以及不同训练参数规模下的精细分类。

23d0c47a-b365-11ee-8b88-92fbcf53809c.png

为什么要从生成模型中学习?

一个令人信服的原因是,生成模型可以像数百个数据集一样同时运作,能够为策划训练数据提供了一种方便有效的方法。

总而言之,最新论文研究了视觉表征学习的新范式——从生成模型中学习。

在没有使用任何实际数据的情况下,SynCLR学习到的视觉表征,与最先进的通用视觉表征学习器学习到的视觉表征不相上下。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3097

    浏览量

    48626
  • GPT
    GPT
    +关注

    关注

    0

    文章

    351

    浏览量

    15269
  • OpenAI
    +关注

    关注

    9

    文章

    1027

    浏览量

    6374
  • 大模型
    +关注

    关注

    2

    文章

    2252

    浏览量

    2317

原文标题:谷歌MIT最新研究证明:高质量数据获取不难,大模型就是归途

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用AI大模型进行数据分析的技巧

    以及后续的分析步骤。 确定需要分析的数据类型、规模和复杂度,以便选择合适的AI大模型。 二、高质量数据收集与处理 数据来源 :从可靠的来源收集数据
    的头像 发表于 10-23 15:14 327次阅读

    白皮书下载丨《生成式AI如何改变AI缺陷检测的传统范式》

    在自动化和智能化技术飞速发展的今天,制造业对AI视觉技术的需求日益增长。然而,高质量的训练数据获取成为制约AI模型性能提升的关键因素。传统的数据
    的头像 发表于 10-18 08:05 258次阅读
    白皮书下载丨《生成式AI如何改变AI缺陷检测的传统范式》

    中兴通讯引领5G-A高质量发展新纪元

    中国5G商用5周年之际,以“智联未来 无限可能”为主题的2024移动通信高质量发展论坛在北京举办。本届论坛系统呈现总结我国移动通信,特别是5G产业自身高质量发展和引领数字经济高质量发展的成果和经验,展望5G-A、6G协同创新发展
    的头像 发表于 10-15 10:32 397次阅读

    TVP5146高质量、单芯片数字视频解码器数据

    电子发烧友网站提供《TVP5146高质量、单芯片数字视频解码器数据表.pdf》资料免费下载
    发表于 07-04 10:00 0次下载
    TVP5146<b class='flag-5'>高质量</b>、单芯片数字视频解码器<b class='flag-5'>数据</b>表

    京东方华灿光电获评国家级绿色工厂,助力行业高质量发展

    “绿色发展是高质量发展的底色,新质生产力本身就是绿色生产力”。日前,根据工业和信息化部公布的2023年度绿色制造名单所示,京东方华灿光电(浙江)有限公司获评国家级绿色工厂。绿色发展,正成为京东方华灿高质量发展新的底色。
    的头像 发表于 04-10 11:04 614次阅读

    北斗芯片产业的高质量发展之路

    高质量发展是全面建设社会主义现代化国家的首要任务”,二十大报告中对高质量发展有着明确的论断和要求。在2023年的全国两会中还指出,加快实现高水平科技自立自强,是推动高质量发展的必由之路。中国卫星
    的头像 发表于 03-15 14:03 333次阅读
    北斗芯片产业的<b class='flag-5'>高质量</b>发展之路

    稳中创新•产业升级•高质量发展 | 联诚发高质量发展工作推进会议召开

    2月21日下午,联诚发LCF以“稳中创新•产业升级•高质量发展”为主题的企业高质量发展工作推进大会在联诚发深圳总部隆重召开。擂起奋进催征的战鼓,争分夺秒抢抓宝贵春光,明确企业重点目标任务,全力以赴
    的头像 发表于 02-22 11:33 419次阅读
    稳中创新•产业升级•<b class='flag-5'>高质量</b>发展 | 联诚发<b class='flag-5'>高质量</b>发展工作推进会议召开

    捷易科技出席广东省韶关市高质量发展大会

    ABSTRACT摘要2月19日,2024年韶关市高质量发展招商大会在韶关举行,来自政府、科技、企业各界专家代表共同探讨韶关高质量发展。捷易科技总经理韩运恒出席大会。JAEALOT2024年2月19日
    的头像 发表于 02-22 08:25 412次阅读
    捷易科技出席广东省韶关市<b class='flag-5'>高质量</b>发展大会

    商汤科技与库醇科技达成合作 为垂域大模型构建高质量大规模的领域微调数据

    数字化转型,为垂域大模型构建高质量大规模的领域微调数据。   本次合作将基于商汤通用大模型进行二次开发,给模型注入领域知识, 训练一个专门根
    的头像 发表于 01-10 09:46 660次阅读
    商汤科技与库醇科技达成合作 为垂域大<b class='flag-5'>模型</b>构建<b class='flag-5'>高质量</b>大规模的领域微调<b class='flag-5'>数据</b>

    毕马威:2023年人工智能全域变革图景展望

    模型的训练需要大量的高质量数据,但是目前在数据质量方面还存在一定的问题,包括数据噪声、数据缺失
    的头像 发表于 01-04 16:02 586次阅读
    毕马威:2023年人工智能全域变革图景展望

    信雅达入选《2023高质量数字化转型产品及服务全景图》

    为促进数字化转型相关产业发展,助力产业需求侧企业快速完成数字化转型,中国信通院“铸基计划”开展了《2023高质量数字化转型产品及服务全景图》编制工作,收录国内数字化转型领域具有突出市场表现和商业价值
    的头像 发表于 12-15 16:59 287次阅读

    双目测宽仪高质量生产利器 测宽仪价格

    光,它能做到无损检测,实时监测报警,数据存储,数据分析,是为轧钢工作人员提供重要指导依据的设备,是高质量生产的利器。
    发表于 12-04 17:10

    卓越领航!广和通获评“2023高质量发展领军企业”

    ,广和通荣获“2023高质量发展领军企业”! 该榜单由深圳市企业高质量发展促进会联合哈尔滨工业大学(深圳)深圳高质量发展与新结构研究院评选发布,旨在以科学
    的头像 发表于 11-29 18:00 456次阅读
    卓越领航!广和通获评“2023<b class='flag-5'>高质量</b>发展领军企业”

    研华罗焕城受邀谈“大模型时代数字化转型的机遇与挑战”

    无论谈大模型还是数字化,其实都离不开数据高质量数据是支撑大模型的关键,只有高质量数据才能更好
    的头像 发表于 11-27 17:35 767次阅读
    研华罗焕城受邀谈“大<b class='flag-5'>模型</b>时代数字化转型的机遇与挑战”

    高质量LTE网络改变传统天线技术

    电子发烧友网站提供《高质量LTE网络改变传统天线技术.pdf》资料免费下载
    发表于 11-10 15:25 0次下载
    <b class='flag-5'>高质量</b>LTE网络改变传统天线技术