0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

通过Sim2SG模型生成sim-to-real转移学习场景图

星星科技指导员 来源:NVIDIA 作者:NVIDIA 2022-04-27 09:41 次阅读

场景图( scenegraphs , SGs )在计算机视觉和计算机图形学中都是一种可解释的、结构化的场景表示。场景图总结了场景中的实体以及它们之间的合理关系。 SGs 在计算机视觉、机器人、自主车辆等领域有着广泛的应用。

当前的 SG 生成技术依赖于昂贵的标记数据集的有限可用性。合成数据是解决这个问题的一个可行的选择,因为注释基本上是免费的。尽管合成数据已被用于图像分类、目标检测和语义分割等多种任务,但合成数据用于 SG 生成和视觉关系仍有待探索。由于合成数据和真实数据在外观和内容上的差异,在有标记的合成数据上训练神经网络模型,在无标记的真实数据上进行评价,这就导致了领域差距问题。

poYBAGJon0-AHI5eAABoj3cBTts544.jpg

poYBAGJon1KAMP7DAAA4XPk2shk299.jpg

图 1 场景图显示场景中的各种对象,如车辆、植被、房屋以及它们之间的关系。

Sim2SG 框架

为了克服这些挑战,我们提出了 Sim2SG ,一种可扩展的 sim-To-real 场景图生成技术。本研究的主要目的是通过在含有标记 SG 信息模拟数据集上训练神经网络,然后将学习到的模型转换到真实数据集上,从真实世界的图像中生成场景图。

在训练过程中, Sim2SG 处理域间隙并学习生成场景图。域间隙可细分为以下间隙:

外观间隙 是两个域的外观差异,例如场景中对象的纹理、颜色、光照或反射率的差异。

内容差距 是指两个域之间的差异,包括对象数量分布的差异及其类别、位置、姿势和比例。

我们进一步分析了内容差距,并解决了其子组成部分 – 标签和预测差异。图 1 显示了 Sim2SG 为真实世界的驾驶数据集生成精确的场景图,图 2 显示了整个管道。

pYYBAGJon1OAUXLjAABejcVIreg774.jpg

图 2 Sim2SG 管道工作流。

在图 2 中, Sim2SG 管道将来自源域的带标记的合成数据和来自目标域的未标记的真实数据作为输入。使用编码器将标记的合成数据和未标记的真实数据映射到共享表示 Z 。然后,我们使用合成数据在 Z 上训练场景图预测网络 h 。我们使用基于伪统计的自学习方法来处理标签差异,生成标签对齐的合成数据以供训练。我们进一步利用梯度反转层( GRL )和域鉴别器的对抗性技术来调整两个域之间的预测差异和外观差异。

定量评价

我们使用了四种类型:汽车、行人、植被和房屋,以及四种类型的关系:前、左、右和后。所有的关系都以汽车为主题。

sim2sg_figure3.jpg-625x135.png

表 1 在人工驾驶环境下训练时对 KITTI hard 的评估。类特定的 AP 和 mAP 报告为 0 。 5iou 。

表 1 显示了与基线相比,标签对齐和外观对齐在所提出的方法中如何显著地减少域间隙。我们将 Sim2SG 与基于随机化的方法( Prakash et al 。, 2019 )、解决内容差距的方法( Kar et al 。, 2019 )、基于伪标签的自学习方法( Zou et al 。, 2018 )和用于目标检测的域自适应方法( Chen et al 。, 2018 ; Xu et al 。, 2020 ; Li et al 。, 2020 )进行了比较。通过结合标签、外观和预测对齐(最后一行),域间隙进一步减小。

定性评价

sim2sg_figure3a.jpg-625x203.png

图 3 Sim2SG 在目标域上的定性结果。

图 3 显示了 Sim2SG 在目标域上的定性结果。第一列显示仅源基线无法检测到对象或具有大量误报(错误标记),从而导致场景图不佳。我们的方法能够更好地检测对象,具有更少的误报,并最终生成更精确的场景图,分别如第二列和第三列所示。这是因为外观对齐项减少了假阳性检测。此外,标签对齐项还提高了检测性能,因为它有助于生成用于训练的合成数据,这些数据与目标域的标签对齐程度更高。图 4 显示了一些与目标域样本相对应的标签对齐的合成重建。

poYBAGJon2KAD83aAARWtgBGzbg069.png

图4 基于标签对齐的驾驶环境中目标 KITTI 样本的综合重建。基蒂样品(右)和相应的合成样品(左)。

概括

在这项工作中,我们提出了 Sim2SG ,一个模型,实现了 sim-to-real 转移学习场景图生成上未标记的真实世界数据集。我们将域间隙分解为合成域和真实域之间的标记、预测和外观差异。我们提出了解决这些差异的方法,并在所有三种环境( Clevr 、 dinning-Sim 和 Drive-Sim )中实现了基线的显著改进。

关于作者

Aayush Prakash 是多伦多人工智能实验室的高级研究员。他的研究兴趣在于机器学习、计算机视觉和计算机图形学的结合点。具体来说,他致力于模拟现实问题的感知。他想通过模拟训练有效的真实世界模型。在 NVIDIA 之前,他是多伦多 IBM 实验室的一员,在那里从事编译器的工作,这是他过去一直感兴趣的另一个领域。他于 2010 年毕业于印度哈拉格布尔印度理工学院( IIT ),获得电子 CTR 和电子 CTR 通信工程学士学位, 2013 年毕业于加拿大滑铁卢大学计算机工程硕士学位。

Shoubhik Debnath 是 NVIDIA 的研发工程师,致力于机器人技术、仿真深度学习。他于 2014 年毕业于印度曼迪印度理工学院( IIT )计算机科学与工程理学学士学位,并于 2018 年在南加州大学 Gaurav Suhkatme 教授的指导下获得计算机科学硕士学位,专注于机器人研究。此前, Shoubhik 还在微软工作了两年,专注于数据科学和基于云的技术。

Jean-Francois Lafleche 是一位充满干劲和激情的工程师,热爱用创新的解决方案解决复杂的挑战。他是一个自学成才的终身学习者,拥有广泛多样的技能,专注于机器学习和机器人应用。

Eric Cameracci 是滑铁卢大学计算机工程专业的 2015 届毕业生。

Gavriel State 是 NVIDIA 系统软件团队的高级主管。他在多伦多工作,除了为 NVIDIA SHIELD TV 平台重新制作游戏外,还负责将 AI 技术应用于游戏,反之亦然。此前, Gavriel 成立了 TransGaming , Inc ,并花了 15 年时间专注于游戏和渲染技术。

Marc T. Law 是 NVIDIA 的高级研究科学家,致力于机器学习和计算机视觉。他在加拿大多伦多人工智能实验室工作,由 Sanja Fidler 教授领导。 2015 年,他获得法国巴黎皮埃尔玛丽居里大学(现为索邦大学)计算机科学博士学位。他的博士生导师是马蒂厄·科德教授和斯蒂芬·甘萨尔斯基教授,他还受到尼古拉斯·托马斯教授的指导。 Marc 曾于 2015 ~ 2016 年在卡内基梅隆大学计算机学院任 Eric Xing 教授团队访问研究学者。 2016 年至 2019 年,他在多伦多大学和向量研究所计算机科学系(机器学习组)担任博士后研究员,由 Raquel Urtasun 教授和 Richard Zemel 教授指导。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4985

    浏览量

    103026
  • 计算机
    +关注

    关注

    19

    文章

    7492

    浏览量

    87907
  • 机器学习
    +关注

    关注

    66

    文章

    8414

    浏览量

    132610
收藏 人收藏

    评论

    相关推荐

    从大卡到小卡,SIM卡座演变及类型全解析

    SIM卡座,作为手机及众多智能设备中不可或缺的组成部分,承担着连接SIM卡与设备、实现通信功能的重要角色。随着科技的进步和电子产品设计的日益精细化,SIM卡座也经历了从大到小、从简单到复杂的演变
    的头像 发表于 12-13 10:11 388次阅读
    从大卡到小卡,<b class='flag-5'>SIM</b>卡座演变及类型全解析

    NVIDIA Isaac Sim满足模型的多样化训练需求

    光轮智能借助 NVIDIA Isaac Sim通过 3D 生成与建模技术构建高度逼真的虚拟场景,将现实世界的复杂场景抽象并转化为高质量的训
    的头像 发表于 11-23 14:55 539次阅读

    SIM卡接口的静电保护方案

    SIM卡接口的设计中,静电放电(ESD)保护至关重要,因为SIM卡接口直接暴露在外部环境中,容易受到静电冲击。有效的ESD保护方案不仅可以提高产品的可靠性,还能提升用户体验。以下是SIM卡接口常用
    的头像 发表于 11-02 08:03 236次阅读
    <b class='flag-5'>SIM</b>卡接口的静电保护方案

    SIM卡的迭代(SIM-USIM-eSIM-vSIM-softSIM)

    0-SIM卡的迭代(SIM-USIM-eSIM-vSIM-softSIM)从2G时代一直到现在5G的到来,网络在发展SIM卡的形态也跟着在变化,从大变小,从小变更小,在从更小变无(纯软
    发表于 10-22 10:06 0次下载

    转换SIM卡的电压

    电子发烧友网站提供《转换SIM卡的电压.pdf》资料免费下载
    发表于 09-20 09:03 0次下载
    转换<b class='flag-5'>SIM</b>卡的电压

    SIM卡座带卡托的工作原理及使用特点

    在深入探讨SIM卡座带卡托的工作原理之前,我们先来简要了解一下SIM卡座在现代智能设备中的重要作用。SIM卡座,作为连接手机与SIM卡的重要桥梁,不仅负责固定
    的头像 发表于 08-20 15:15 1168次阅读
    <b class='flag-5'>SIM</b>卡座带卡托的工作原理及使用特点

    原来手机SIM卡的PCB设计是这样的!

    SIM卡(SubscriberIdentityModule)是移动电话机中的一块智能芯片卡,它的主要功能是存储用户的身份识别信息。一张符合GSM规范的SIM卡,在卡中可以存储该卡的用户身份识别信息
    的头像 发表于 07-26 08:08 2074次阅读
    原来手机<b class='flag-5'>SIM</b>卡的PCB设计是这样的!

    原来手机SIM卡的PCB设计是这样的!

    。 二、SIM卡的引脚定义 有些设计工程师画的电路图中的PCB上有8个引脚,其中2个引脚在SIM卡上通常是不连接的,所以有些设计工程师画的图中就只有6个引脚。 由于SIM卡本身没有对
    发表于 07-09 10:29

    使用SIM卡座带卡托有哪些注意事项

    在现代的通信领域中,SIM卡座带卡托连接器广泛应用于各类电子产品中。它不仅可以方便用户插入和取出SIM卡,还能有效保护SIM卡免受损坏和污染。本文将由连欣科技详细为大家探讨SIM卡座带
    的头像 发表于 07-02 16:26 625次阅读
    使用<b class='flag-5'>SIM</b>卡座带卡托有哪些注意事项

    SIM卡座的接口定义

    SIM卡座连接器的接口定义是移动通信设备中不可或缺的一部分,确保了SIM卡与设备之间的稳定通信和数据传输。在本文中,连欣科技将详细探讨一下SIM卡座的接口定义,包括其结构、引脚功能、以及接口标准,为
    的头像 发表于 06-17 17:47 4026次阅读
    <b class='flag-5'>SIM</b>卡座的接口定义

    上新 | Unit NB-IoT2(SIM7028) 全球智联新引擎!

    NEWUnitNB-IoT2(SIM7028)UnitNB-IoT2(SIM7028)是一款适用于全球范围Cat-NB频段的NB-IoT无线通信模块。它内置
    的头像 发表于 06-15 08:29 361次阅读
    上新 | Unit NB-IoT<b class='flag-5'>2</b>(<b class='flag-5'>SIM</b>7028) 全球智联新引擎!

    SIM卡无法识别的原因?怎么解决?

    情况:针对不同的情况对SIM卡使用兼容设计,即插卡和ESIM做二选一兼容设计,插卡选择Nano SIM卡。测试发现产品无法识别SIM卡,测量发现SIM卡部分引脚有短路情况。
    发表于 06-04 06:32

    鸿蒙实战开发:【SIM卡管理】

    2.点击SIM卡1区域,弹窗显示SIM卡1的相关信息,再次点击面板消失。 3.默认拨号的SIM卡其按钮背景色为蓝色,目前只展示默认拨号的SIM
    发表于 03-04 22:18

    sim卡pin码怎么设置 sim卡pin码怎么重置

    SIM卡PIN码是一种用于保护SIM卡的安全性的功能,它要求在每次启动手机或更换SIM卡时输入正确的PIN码才能使用。如果你想设置或重置SIM卡的PIN码,可以按照以下步骤进行操作。
    的头像 发表于 01-31 14:34 2.2w次阅读

    SIM卡座的种类特点及使用方法

    SIM卡座是一种用于连接手机和SIM卡的芯片卡座,它的种类繁多,包括SIM卡座自弹式、SIM卡座掀盖式和SIM卡座抽屉式等。这些不同类型的
    的头像 发表于 01-04 16:29 6637次阅读
    <b class='flag-5'>SIM</b>卡座的种类特点及使用方法