0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

何恺明团队所在的Facebook AI推出ResNeXt-101模型

DPVg_AI_era 来源:lq 2019-06-29 07:26 次阅读

近日,何恺明团队所在的Facebook AI推出ResNeXt-101模型,利用Instagram上的用户标记图片作为预训练数据集,省去了人工标记数据的巨额成本,而且使用中只需微调,性能即超越了ImageNet任务的SOTA水平。

目前,几乎所有最先进的视觉感知算法都依赖于相同的范式:(1)在手动注释的大型图像分类数据集上预训练卷积网络,(2)在较小的特定任务的数据集上微调网络。这个模式已经广泛使用了好多年,并取得了明显的进展。比如:物体检测,语义分割,人体姿势估计,视频识别,单眼深度估计等。

事实上,如果没有有监督式预训练,很多方法现在还被认为是一种蛮干 ImageNet数据集实际上是预训练数据集。我们现在实际上对数据集的预训练了解相对较少。其原因很多:比如现存的预训练数据集数量很少,构建新数据集是劳动密集型的工作,需要大量的计算资源来进行实验。然而,鉴于预训练过程在机器学习相关领域的核心作用,扩大我们在这一领域的科学知识是非常重要的。

本文试图通过研究一个未开发的数据体系来解决这个复杂的问题:使用外部社交媒体上数十亿的带有标签的图像作为数据源。该数据源具有大而且不断增长的优点,而且是“免费”注释的,因为数据不需要手动标记。显而易见,对这些数据的训练将产生良好的迁移学习结果。

本文的主要成果是,在不使用手动数据集管理或复杂的数据清理的情况下,利用数千个不同主题标签作为标记的数十亿幅Instagram图像进行训练的模型,表现出了优异的传输学习性能。在目标检测和图像分类任务上实现了对当前SOTA性能的提升。在ImageNet-1k图像分类数据集上获得single-crop 最高准确率达到了85.4%,AP达到了45.2%。当在ImageNet-1k上训练(或预训练)相同模型时,分数分别为79.8%和43.7%。然而,我们的主要目标是提供关于此前未开发的制度的新实验数据。为此,我们进行了大量实验,揭示了一些有趣的趋势。

表1:图像分类数据集的摘要。每个数据集标明数据来源和功能(训练集,验证集,测试集),图像数量I和标签数量L。

ImageNet数据集和模型

除了标准的IN-1k数据集之外,我们还尝试了包含1420万幅图像和22000标签的完整ImageNet2011完整版本的更大子集。我们构建了包含5k和9k标签的训练集和验证集。

对于5k标签集组,我们使用现在标准的IN-5k(6.6M训练图像)。对于9k标签集,我们遵循用于构建IN-5k数据集的相同协议,采用下一个最频繁的4k标签和所有相关图像(10.5M训练图像)。在两种情况下,均使用50个图像进行验证。

我们使用具有分组卷积层的残差网络ResNeXt 。实验中使用ResNeXt-101 32×Cd,它有101层,32组,组宽分别为:4(8B乘加FLOPs,43M参数),8(16B,88M),16(36B,193M), 32(87B,466M)和48(153B,829M)。我们认为实验结果可以推广到其他架构。

与ImageNet相比,我们使用的Instagram数据集可能包含每个图像的多个标签(因为用户指定了多个主题标签)。每个图像的平均标签数量因数据集而异;例如,train-IG-1B-17k每个图像最多包含2个主题标签。

实验结果与性能

表2:使用不同规模、不同参数配置的ResNeXt-101模型获得的不同性能结果比较

图1:使用不同规模和参数配置的ResNeXt-101模型在ImageNet和Instagram标记数据集的分类性能的比较

运行实例及相关代码

# Download an example image from the pytorch websiteimport urlliburl, filename = ("https://github.com/pytorch/hub/raw/master/dog.jpg", "dog.jpg")try: urllib.URLopener().retrieve(url, filename)except: urllib.request.urlretrieve(url, filename)

# sample execution (requires torchvision)from PIL import Imagefrom torchvision import transformsinput_image = Image.open(filename)preprocess = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),])input_tensor = preprocess(input_image)input_batch = input_tensor.unsqueeze(0) # create a mini-batch as expected by the model# move the input and model to GPU for speed if availableif torch.cuda.is_available(): input_batch = input_batch.to('cuda') model.to('cuda')with torch.no_grad(): output = model(input_batch)# Tensor of shape 1000, with confidence scores over Imagenet's 1000 classesprint(output[0])# The output has unnormalized scores. To get probabilities, you can run a softmax on it.print(torch.nn.functional.softmax(output[0], dim=0))

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像分类
    +关注

    关注

    0

    文章

    90

    浏览量

    11914
  • 机器学习
    +关注

    关注

    66

    文章

    8397

    浏览量

    132514
  • 数据集
    +关注

    关注

    4

    文章

    1206

    浏览量

    24667

原文标题:何恺明团队新作ResNext:Instagram图片预训练,挑战ImageNet新精度

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI模型可以设计电路吗?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:09:29

    Facebook手机明年或上市 采用Firefox OS系统

    Facebook手机一事同Facebook达成了合作协议,手机在明年下半年推出,并将搭载Firefox OS操作系统。”除此之外,该博客还放出了一张Facebook手机概念图。图片中的
    发表于 12-31 09:04

    Facebook 最新推出的虚拟现实世界,简直好玩到炸裂

    `导读:在虚拟世界里互动?这件事可绝对不像听起来那么无聊。Facebook 今天在自己的开发者大会F8上推出了虚拟现实社交网络平台 Facebook Spaces,简直好玩到炸裂!可能你还记得在去年
    发表于 04-21 09:25

    苹果音箱月产大跌 Facebook智能音箱延至10月

      导读:亚马逊公司的Echo智能音箱,被称为苹果手机发售以来科技行业最重大发明,全世界几乎所有的大型科技公司都模仿亚马逊推出了智能音箱。据外媒最新消息,Facebook的隐私泄露丑闻影响到了该公司
    发表于 04-25 09:30

    Facebook智能音箱可能先在国际市场推出 隐私问题受到关注

      导读:据外媒报道,据知情人士称,Facebook正考虑在国际市场上率先推出其智能音箱产品,以避免因数据隐私问题在美国遭到公开审查。此外,这两款智能音箱将内置一款语音助手,它使用的基础技术与公司在
    发表于 05-09 09:29

    如何加速电信领域AI开发?

    所在的电信领域对开发者业务知识要求高,且电信场景多样化、网络设备复杂,华为推出的这款电信领域AI开发平台到底如何帮助开发者攻克电信领域AI开发的障碍?我们或可从
    发表于 02-25 06:53

    基于暗原色先验的单幅图像去雾算法

    这是去雾算法的翻译版,个人翻译,原汁原味,简单易懂。
    发表于 11-19 15:05 10次下载

    Bloomsbury AI团队加入Facebook团队,共同构建新的自然语言杜绝假新闻

    当然,本次的收购对于Facebook来说,意义重大,Bloomsbury AI可以帮助其监控社交网络和监管虚假新闻和违禁内容。目前,Facebook面临着用户隐私泄露、虚假新闻不断等负面消息,然而,Bloomsbury
    发表于 07-09 20:02 348次阅读

    Facebook推出ONNX,旨在为不同编程框架的神经网络创建共享模型

    今年9月,Facebook宣布推出“开源神经网络交换”(ONNX),呼吁其他公司加入,旨在为不同编程框架的神经网络创建共享模型。今天,Facebook联合AWS和微软宣布,在合作伙伴的
    的头像 发表于 12-28 16:12 4238次阅读

    Facebook构建虚拟空间训练AI

    近日,Facebook推出一个开源的模拟数据集,希望帮助研究人员创建更加真实的AR/VR体验,最终目的是帮助 AI 了解物理世界的环境。
    的头像 发表于 06-18 17:07 3274次阅读

    Facebook推出新款AI打牌机器人 可打败专业对手

    Facebook推出AI 打牌机器人,已经获得了多人协作性上的全面提升。外媒报道称,新机器人可在德州扑克和 Go 等流行棋盘游戏上打败专业选手。上周五的时候,该公司 AI 研究
    发表于 12-09 15:10 2410次阅读

    Facebook推出AI模型,希望给计算机视觉领域带来一次“革命”   

    3月5日消息,Facebook的研究人员推出了一种新的AI模型,该模型可以从网上任何未标记图像的中学习,这是一项突破,尽管该
    的头像 发表于 03-05 13:49 1093次阅读

    耐能团队上线新款AI模型体验工具Showroom

    近期,耐能团队上线了一款新的AI模型体验工具「Showroom」。
    的头像 发表于 05-31 10:35 1044次阅读

    NVIDIA 为全球企业带来生成式 AI 推出用于创建大型语言模型和视觉模型的云服务

    AI驱动的应用构建自定义模型   加利福尼亚州圣克拉拉 – GTC – 太平洋时间 2023年3月21日 – 为了加速企业应用生成式AI,NVIDIA今日宣布推出一套云服务,使企业能
    发表于 03-22 13:45 389次阅读
    NVIDIA 为全球企业带来生成式 <b class='flag-5'>AI</b>  <b class='flag-5'>推出</b>用于创建大型语言<b class='flag-5'>模型</b>和视觉<b class='flag-5'>模型</b>的云服务

    开源大模型FLM-101B:训练成本最低的超100B参数大模型

    近期,一支来自中国的研究团队正是针对这些问题提出了解决方案,他们推出了FLM-101B模型及其配套的训练策略。FLM-101B不仅大幅降低了
    的头像 发表于 09-12 16:30 1427次阅读
    开源大<b class='flag-5'>模型</b>FLM-<b class='flag-5'>101</b>B:训练成本最低的超100B参数大<b class='flag-5'>模型</b>