0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

「顾大局,识大体」,Nullmax BEV障碍物检测的超级视野

Nullmax纽劢 来源:Nullmax纽劢 2023-05-18 14:43 次阅读

感知周围环境是自动驾驶开展一切工作的前提,在相对静止的各式场景中,不同类型的障碍物以多种多样的运动方式参与到交通之中,于是形成了千变万化的交通情形。

因此障碍物的检测,一直都是自动驾驶感知的核心任务。系统需要通过传感器数据,识别出周围存在的障碍物并计算各自的位置、速度等信息,然后转换为BEV视角的感知结果输出给下游,用来规划轨迹、避免碰撞。

所以在近年,一步到位的BEV障碍物检测成为了自动驾驶的研究热点。尤其在多相机感知系统中,BEV能够有效融合不同视角的空间信息,为目标检测与跟踪、车道线检测等任务带来全方位提升。

作为自动驾驶量产应用的引领企业,Nullmax从2020年开始了BEV早期研发,并在去年率先帮助客户落地了BEV障碍物检测的量产应用,提升车辆的全方位感知能力。当前,这项感知功能正作为Nullmax BEV-AI整体技术架构的一部分,应用到更多量产项目之中。

障碍物检测需要BEV

对于自动驾驶量产来说,由于传统基于图像视角的障碍物检测算法所依赖的感知后处理和跨相机融合等方面存在的一些不足,障碍物检测的效果不尽理想。

一方面,传统算法普遍首先基于深度学习在图像视角完成目标检测,然后通过复杂的后处理将其转换至三维BEV视角。这不仅让整个流程变得复杂,消耗更多算力,而且对场景的应对能力也存在不足。

所以,直接在BEV视角下输出三维目标检测结果的算法受到了广泛欢迎。比如Nullmax的BEV 3D目标检测算法,通过输入的2D图像直接端到端输出BEV视角的3D目标信息,不仅检测性能进一步提高,而且由于不需要额外的后处理步骤,整个算法的开发和升级维护也变得更加高效简洁。

369ab39c-f545-11ed-90ce-dac502259ad0.png

BEV 3D目标检测输出更精准的三维尺寸

另一方面,在传统多相机感知系统中,因为通常是每个相机先单独进行检测,然后再融合各相机结果,所以系统的工作量较大。此外,跨相机融合的时候也可能出现问题。典型的例子,就是车辆从一个相机视野驶入另一个相机视野的过程中,可能被识别为两个目标。

37077112-f545-11ed-90ce-dac502259ad0.png

BEV多相机的障碍物ReID效果更佳

但是在BEV视角下,隐式跨相机的融合就可以变得更加简洁和高效。比如Nullmax采取的多相机联合方案,所有相机的图像输入到一个神经网络中,然后生成全局BEV视角的特征图,并直接输出统一的感知结果,从而减少了额外的跨相机障碍物ReID(重识别)步骤。

因此在高阶智驾不断上车的今天,BEV目标检测已经被看作是车辆实现障碍物检测的首选方法,BEV感知算法的研发和应用也成为了新的行业浪潮。

与众不同的BEV 3D目标检测

作为最早开始BEV系统性研发的自动驾驶公司之一,Nullmax积累了大量的BEV感知技术,包括静态场景理解以及动态障碍物的检测及预测,并且将技术向下游延伸,构建了平台化的BEV-AI自动驾驶整体技术架构。

375442c6-f545-11ed-90ce-dac502259ad0.png

BEV 3D障碍物检测算法正是这套架构的核心组成,其不仅具备非常出色的性能表现,而且在落地方面也尤为高效。

Nullmax BEV障碍物检测相比于常规的障碍物检测,最大的特点是「顾大局,识大体」。常规检测方式由于各相机单独工作的原因,对视野截断车辆、大型障碍物目标的检测效果欠佳。但是Nullmax的检测是在BEV视角下进行统一的计算,跨视野的目标不会被识别成多个目标,占满单个相机视野的大型障碍物也能在范围更大的全局视野中得到更好观测。

并且由于BEV在空间、时序信息融合方面更具优势,Nullmax的BEV障碍物检测方案可以将3D目标检测升维成4D目标检测,实现更稳定的检测、跟踪与预测。这种时序信息带来的短时记忆力,能让障碍物检测具备更强的处理遮挡能力。

相比于其他的BEV障碍物检测方案,Nullmax方案还具有可进行超远距离感知的特点。由于算法设计和车载平台算力有限等方面的原因,常规BEV方案有效感知的距离通常为数十米远,但是Nullmax的BEV方案可高效突破100米,甚至可有效检测200米远的障碍物目标,在各种量产配置下都能达到顶尖的性能指标。

同时,因为车载平台部署的需要,Nullmax的BEV障碍物检测算法可以支持高、中、低不同算力的平台。从数百T算力到2T算力,Nullmax的BEV目标检测算法都能灵活部署,既可以实现最极致的任务性能,也能在有限计算资源下提供最均衡的结果输出。比如,基于8T算力和4颗侧视相机的BEV 3D障碍物检测应用。

除此之外,Nullmax的BEV目标检测算法还能支持任意的传感器配置,对相机的数量、安装位置、内部参数等情况自动适配。换言之,无论是前视、侧视、后视、环视组成的多相机系统,还是单个相机,这套算法能够快速地部署。

目前,Nullmax的BEV 3D障碍物检测算法已经在量产车型实现了大规模的上路应用,而且今年还将完成更多项目的交付,为更多量产车型带来开挂一般的全局视野感知能力。

结语

BEV的「俯瞰全场」属性,可以为自动驾驶障碍物检测带来质的提升,Nullmax将继续通过领先的BEV障碍物检测算法,帮助车辆实现复杂环境下的精准感知,并基于平台化的BEV-AI技术架构,为客户的量产应用带来更大价值。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 算法
    +关注

    关注

    23

    文章

    4612

    浏览量

    92880
  • 目标检测
    +关注

    关注

    0

    文章

    209

    浏览量

    15607
  • 深度学习
    +关注

    关注

    73

    文章

    5503

    浏览量

    121154
  • LLM
    LLM
    +关注

    关注

    0

    文章

    287

    浏览量

    331

原文标题:「顾大局,识大体」,Nullmax BEV障碍物检测的超级视野 | Nullmax进化学

文章出处:【微信号:Nullmax,微信公众号:Nullmax纽劢】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    遇到障碍物自动返回?

    为什么有些东西,遇到障碍物会自动返回,是哪一种传感器吗?哪里有没有这类的电路图介绍下,非常感谢
    发表于 09-10 21:14

    求教 障碍物感应类开关

    本帖最后由 gk320830 于 2015-3-8 14:20 编辑 急需用到2米内障碍物感应器,带开关功能或者高手帮忙设计个辅助开关电路,24V电源供电,多谢
    发表于 03-07 21:58

    红外障碍检测问题

    我现在需要使用红外检测一个比较小的障碍物,直径两厘米,黑色,金属。很多红外检测模块的卖家都不确定可以检测的到,我现在有一个想法,不知道可不可行。我想
    发表于 04-03 11:28

    基于单片机的道路障碍物系统,新人求教

    我想要做一个道路障碍物检测系统。就是在路面上安一个检测器,一旦有障碍物挡住,且在路上停留一段时间,就发射信号报警,使二极管发光。现在我想请教一下是不是
    发表于 03-10 13:33

    障碍物时 语音提示 前方危险,请注意。

    障碍物时语音提示前方危险,请注意。语音模块是isd1820单片机51 求帮忙
    发表于 02-24 21:43

    基于labview机器视觉的障碍物时别

    通过摄像头对周围环境信息的实时采集,如果当镜头前方出现障碍物时候,以一定的方式(声音或振动之类的)反馈出来。主要考虑的是实现盲人室内导盲作用,不需要太过于考虑实际使用,只要能实现判定到障碍物,自动提醒就行啦。怎么判定前方出现障碍物
    发表于 03-14 07:58

    用labview设计超级马里奥游戏时如何加障碍物

    用labview设计超级马里奥游戏时如何加障碍物
    发表于 05-09 13:33

    请问Infrared Proximity Sensor如何检测前方是否有障碍物

    Infrared Proximity Sensor如何检测前方是否有障碍物
    发表于 11-06 07:57

    检测障碍物有什么什么传感器?

    检测障碍物有什么什么传感器,用红外反射还是超声波测距,或者还有其他传感器?
    发表于 11-08 06:33

    汇编语言程序设计案例—动态显示/障碍物检测/障碍物方位检测

    汇编语言程序设计案例1—动态显示/障碍物检测/障碍物方位检测 10-1.  LED数码管显示原理10-2.  案例分析1(2位学号显示)10-3.  案
    发表于 03-23 12:15 38次下载

    基于双目视觉的移动机器人障碍物检测研究

    一种基于图像分割和立体视觉相结合的障碍物检测方法。通过分割提取出了障碍物的大致形体并滤去地面上的冗余信息,这样就把立体视觉避障中匹配区域缩小到有用的障碍物
    发表于 10-18 16:08 27次下载

    障碍物检测实验

    障碍物检测实验 一、实验目的“旋风”小车在运动过程中要成功避开障碍物必须在一定距离外就探测到障碍物。在小车上探测障碍物
    发表于 03-23 10:47 2837次阅读
    <b class='flag-5'>障碍物</b><b class='flag-5'>检测</b>实验

    障碍物方位检测实验

    障碍物方位检测实验 一、实验目的小车在运动中要成功避开障碍物,除了要检测是否有障碍物外,还需要判断障碍
    发表于 03-23 10:48 2002次阅读
    <b class='flag-5'>障碍物</b>方位<b class='flag-5'>检测</b>实验

    ESP8266 SOC智能硬件典型应用方案之红外障碍物检测

    ESP8266 SOC智能硬件典型应用方案-红外障碍物检测应用-布尔值上报
    发表于 10-08 10:11 0次下载

    使用IR模块的障碍物检测

    电子发烧友网站提供《使用IR模块的障碍物检测器.zip》资料免费下载
    发表于 11-14 11:31 0次下载
    使用IR模块的<b class='flag-5'>障碍物</b><b class='flag-5'>检测</b>器