0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ROD自动驾驶数据集

Nullmax纽劢 来源:纽劢科技 作者:纽劢科技 2022-07-08 16:53 次阅读

自动驾驶领域,目标检测是一项富有挑战性的工作,尤其是一些出现频率较低的特殊目标,常因数据不足导致检测效果一般。对此,Nullmax的感知团队提出了一项针对少见目标检测的数据增强方法,并将相应数据集开源上线,为行业解决数据缺乏难题,应对长尾挑战提供研究参考。

对于自动驾驶车辆而言,准确识别各类目标和障碍物信息,可以有效保障行驶安全。因此感知系统既要检测一些路上常见的目标,比如车辆、行人、交通标识等,也要检测了一些少见的目标,比如锥形筒、交通警示桶、三角警示牌,等等。

这些检测少见目标的神经网络模型,和其他常见目标的检测模型一样,需要大量的标注数据进行训练。但这类目标出现概率很低,所以获取训练数据需要耗费大量的成本和时间。

因此,Nullmax的感知团队提出了一种基于交通场景信息的数据增强方法,通过Copy-Paste方式零成本生成高度逼真的训练样本,解决少见目标检测的数据难题。实验结果显示,Nullmax的新方法可以显著提升少见目标检测的任务效果。

同时,Nullmax建立了专用于自动驾驶少见目标检测的数据集Rare ObjectDataset(ROD),并在近期正式开源上线。ROD是该细分领域内的首个公开数据集,可以为目标检测、数据增强等方面的研究者提供稀缺的数据,研究特殊目标检测相关课题。

01

ROD自动驾驶数据集

Nullmax推出的ROD是一个多样化的真实世界数据集,当中包含大量训练图像和验证图像,并对小车、卡车、巴士、行人和自行车这5类常见目标进行了相应标注。

b8d27c9e-fc41-11ec-ba43-dac502259ad0.png

此外,ROD还提供了3类典型少见目标的掩膜,可用于少见目标检测和数据增强方法的研究,当中包括大约1000个锥形筒、100个交通警示桶和50个三角警示牌的掩膜数据。

ROD具有良好的数据多样性,覆盖了自动驾驶的不同场景。它包含了不同的道路级别,包括高速公路、快速路、城市街道以及乡村道路;不同的天气状况,比如晴天、阴天和雨天;以及不同的时间段,包括白天、傍晚和夜间。

ROD数据集现已开放下载

https://nullmax-vision.github.io/

02

基于交通场景信息的数据增强

为了解决少见目标检测的数据难题,Nullmax的感知团队提出了结合交通场景的数据增强方法,通过简单有效的Copy-Paste增强方式生成逼真的训练数据,获得了出色的检测效果。

b91a9dc6-fc41-11ec-ba43-dac502259ad0.png

论文地址:

https://arxiv.org/pdf/2205.00376.pdf

通常来说,训练样本较少的目标检测任务可以看作是面向不平衡或长尾的数据集。有一些研究者,通过重采样训练数据和调整损失函数权重来解决这个问题,但这类方法对于专家经验较为依赖。

数据增强是解决数据稀缺问题的另一个研究方向,旨在通过最小代价生成大量带标注的训练样本。数据增强大致可以分为图像级增强和实例级增强,当包含特定目标类别的图像级训练数据达到一定数量时,前者是一种有效的方法;反之,则是实例级数据增强更为适合。

Nullmax采用的Copy-Paste方式,就是一种常见的实例级数据增强,它从源域复制特定目标类别的实例掩膜粘贴到目标域。通过系统性的研究,我们证明了在自动驾驶领域,通过结合交通场景信息的Copy-Paste数据增强方式,可以达到出色的少见目标检测性能。

具体来说,Nullmax利用源域的目标掩膜进行实例级变换,创建逼真的目标实例。并将交通场景信息用作全局的几何约束,将局部自适应的实例掩膜粘贴到目标图像上,生成训练数据。最后,再通过局部和全局的一致性保证训练数据的质量和真实度。

ba144efc-fc41-11ec-ba43-dac502259ad0.png

Nullmax提出的方法包括了3个主要环节:

(1) 收集目标实例掩膜和背景图像。在Nullmax的研究中,所有的背景图像来自于不同的真实交通场景。以锥形筒为例,它会涵盖不同的类型、颜色和大小。

(2) 通过理解交通场景信息,计算实例掩膜的粘贴位置。在背景图像上随机粘贴目标,效率低下,而且目标之间的关联可能与真实交通场景不符。Nullmax的方法以交通环境信息为约束,考虑相机内外参,进行实例掩膜的叠加。

(3) 对实例掩膜进行局部自适应转换。为了确保目标掩膜无缝粘贴到背景图像中,Nullmax使用了一系列局部自适应的数据增强策略:基于感知的景深,缩放粘贴对象;应用多种实例级混合策略,确保图像接缝尽量平滑;以及局部自适应的颜色变换(HSV)。

实验显示,Nullmax提出的数据增强方法在锥形筒检测中取得了出色效果,并且这一方法也能够推广至其他类型的少见物体检测任务当中。

此外,Nullmax也研究了各组件的效果,分析了方法中实例掩膜域、实例掩膜数量和强化训练图像数量的敏感性,证明了这一方法可为少见物体检测任务提供有效的训练图像。

03

加入我们

在自动驾驶领域,除常规的目标检测之外,数据增强在少见目标检测方面的应用鲜有人研究。我们提出的基于交通场景信息的Copy-Paste数据增强方法,可以简单高效地解决自动驾驶领域中因数据稀缺所带来的少见目标检测难题。

未来,我们希望通过增量训练对少见目标检测展开进一步研究。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集
    +关注

    关注

    4

    文章

    1200

    浏览量

    24618
  • 自动驾驶
    +关注

    关注

    782

    文章

    13619

    浏览量

    165917

原文标题:Nullmax开源ROD自动驾驶数据集,「复制粘贴」解决少见目标检测难题

文章出处:【微信号:Nullmax,微信公众号:Nullmax纽劢】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    自动驾驶汽车安全吗?

    随着未来汽车变得更加互联,汽车逐渐变得更加依赖技术,并且逐渐变得更加自动化——最终实现自动驾驶,了解自动驾驶汽车的安全问题变得非常重要,这样你才能回答“自动驾驶汽车安全吗”和“
    的头像 发表于 10-29 13:42 390次阅读
    <b class='flag-5'>自动驾驶</b>汽车安全吗?

    自动驾驶HiL测试方案案例分析--ADS HiL测试系统#ADAS #自动驾驶 #VTHiL

    自动驾驶
    北汇信息POLELINK
    发布于 :2024年10月22日 15:20:19

    自动驾驶HiL测试方案——摄像头仿真之视频注入#ADAS #自动驾驶 #VTHiL

    自动驾驶
    北汇信息POLELINK
    发布于 :2024年10月17日 15:18:41

    自动驾驶HiL测试方案介绍#ADAS #自动驾驶 #VTHiL

    自动驾驶
    北汇信息POLELINK
    发布于 :2024年10月12日 18:02:07

    FPGA在自动驾驶领域有哪些优势?

    领域的主要优势: 高性能与并行处理能力: FPGA内部包含大量的逻辑门和可配置的连接,能够同时处理多个数据流和计算任务。这种并行处理能力使得FPGA在处理自动驾驶中复杂的图像识别、传感器数据处理等
    发表于 07-29 17:11

    FPGA在自动驾驶领域有哪些应用?

    数据处理和预处理,实现实时计算和反馈。 二、数据传输与处理FPGA在自动驾驶中扮演着数据传输和处理的角色。它能够支持多种传感器(如激光雷达、摄像头、GPS等)的
    发表于 07-29 17:09

    自动驾驶识别技术有哪些

    自动驾驶的识别技术是自动驾驶系统中的重要组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。自动驾驶识别技术主要包括多种传感器及其融合技术,以及基于这些传感器数据的处理和识别算
    的头像 发表于 07-23 16:16 486次阅读

    未来已来,多传感器融合感知是自动驾驶破局的关键

    /L4级自动驾驶赛跑的元年。 马斯克评论FSD 12.3版本的左转弯操作就像人类司机一样。如果FSD 12.3版本成功,将基本颠覆目前市场上的智能驾驶技术路线。基于“数据/算法/算力”的无人
    发表于 04-11 10:26

    自动驾驶发展问题及解决方案浅析

    随着科技的飞速进步,自动驾驶汽车已经从科幻概念逐渐转变为现实。然而,在其蓬勃发展的背后,自动驾驶汽车仍面临一系列亟待解决的问题和挑战。本文将对这些问题进行深入的剖析,并提出相应的解决方案,以期为未来自动驾驶
    的头像 发表于 03-14 08:38 1032次阅读

    自动驾驶数据的生成模型之WoVoGen框架原理

    生成多摄像头的街景视频对于增加自动驾驶数据至关重要,解决了对广泛而多样的数据的迫切需求。由于多样性的限制和处理光照条件的挑战,传统的基于渲染的方法越来越多的被基于扩散的方法所取代。
    发表于 01-25 15:26 523次阅读
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>数据</b><b class='flag-5'>集</b>的生成模型之WoVoGen框架原理

    自动驾驶领域的数据汇总

    自动驾驶论文哪少的了数据,今天笔者将为大家推荐一篇最新的综述,总结了200多个自动驾驶领域的数据
    的头像 发表于 01-19 10:48 912次阅读
    <b class='flag-5'>自动驾驶</b>领域的<b class='flag-5'>数据</b><b class='flag-5'>集</b>汇总

    激光基于车路协同的自动驾驶方案亮相

    如何同时兼顾安全与成本?是自动驾驶的一大难题。万独创基于C-V2X的车路协同自动驾驶解决方案给出了自己的答案。通过将道路的实时交通信息应用进来,可以降低单车智能对于过多传感器的依赖和过多数据
    的头像 发表于 01-15 11:37 1007次阅读

    语音数据自动驾驶中的应用与挑战

    随着人工智能技术的快速发展,自动驾驶汽车已经成为交通领域的研究热点。语音数据自动驾驶中发挥着重要的作用,为驾驶员和乘客提供了更加便捷和安
    的头像 发表于 12-25 09:48 502次阅读

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。从L2级别的辅助驾驶技术到L3级别的受条件约束的
    发表于 12-19 18:02

    自动驾驶“十问十答”

    说起自动驾驶, 大家现在已经不陌生, 但是关于自动驾驶你又了解多少呢? 今天小编总结了关于自动驾驶的 “十问十答” , 带你了解更多 自动驾驶的来龙去脉 。 问题1. 为什么会 出现
    的头像 发表于 11-29 07:40 922次阅读
    <b class='flag-5'>自动驾驶</b>“十问十答”