0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Nullmax打造一套强大的平台化BEV-AI整体技术架构

Nullmax纽劢 来源:Nullmax纽劢 2023-05-26 15:54 次阅读

在高阶智能驾驶不断上车的今天,行泊一体已经成为了汽车行业的量产共识,如何在实现极致性能体验的同时,进一步降低硬件成本,并且大幅提升开发部署的效率,是行泊一体加速落地的关键。

传统的行泊一体方案,行泊功能一般来自两套系统,芯片传感器各为阵营,不仅性能受限,也带来了多余的硬件成本。面向当下和未来,行泊一体显然需要更加「现代化」的深度融合:传感器深度复用,芯片资源完全共享,并通过强大的软件算法实现功能的整合升级。而这,也对底层的技术架构提出了更高要求。

这套架构既要能够支持行车、泊车的各种传感器,基于单颗SOC为主的域控制器打造功能完整的行泊一体应用,还要提供丰富多样的算法选择,满足不同算力和算子情况下的各种行车、泊车任务要求,最好还能实现充分的技术共用和模块复用,让所有方案的开发、部署和升级变得高效便捷。

为此,Nullmax打造了这样一套强大的平台化BEV-AI整体技术架构,为「现代化」的全场景行泊一体应用提供至关重要的技术支撑,推动高阶智驾加速走向普及。

自动驾驶「新基建」

在智能驾驶时代,汽车最明显的标志是硬件的变化,更高算力的芯片、更多数量的传感器,通常意味着更大的智能化潜力。这些硬件如同自动驾驶功能的基础设施,而用来驱动这些硬件高效协同并提供丰富功能的BEV-AI技术架构,就是自动驾驶的「新基建」工程。

对于自动驾驶来说,感知是整个系统的最上游,当传感器的类型和数量显著增加时,如何融合所有传感器持续输入的多模态、不同视角数据,并实时输出下游所需的一系列任务结果,是自动驾驶的核心问题。并且在应用中,感知环节常常会消耗掉车上的大部份算力,所以感知其实也是技术架构的核心所在。

在感知环节,系统需要融合不同视角相机的视觉数据,以及毫米波雷达、激光雷达等传感器的数据,在模型设计和工程实现上都具有很大挑战。常规的后融合处理方式,每个传感器对应一个神经网络,无法充分挖掘多传感器融合的优势,而且计算量大、耗时长。此外,如果多个任务简单地共享一个主干网络,则容易出现各个任务难以同时获得优异性能的情况。

所以在2020年,Nullmax构建了基于BEV的感知基础架构,为自动驾驶提供融合更准、速度更快的感知模型。它可以有效融合空间和时序信息,对360度的多传感器数据进行高效融合,也能自动搜寻最优的网络设计,支持多传感器、多任务的协同工作。

并且在2022年,Nullmax应用BEV-Transformer完成了这套架构的改造升级,形成了平台化的BEV-AI自动驾驶整体技术架构。它在技术底层考虑行车、泊车的特点,将任务范围从感知延伸到下游的规划,提供全场景、端到端、可成长的完整应用。

在深入使用Transformer基础上,Nullmax BEV-AI技术架构还整合了大量BEV-CNN的成果,能在面向不同算力、算子的多核异构SOC时能够提供最优的算法选择。它可同时输出3D和2D的感知结果,既能为红绿灯检测等适合2D感知的任务提供2D输出,也可以为动态障碍物检测等任务输出3D结果,然后用进行2D校验,在系统层面形成鲁棒的设计。

基于这套先进的BEV-AI整体技术架构,Nullmax可以快速完成各项功能和任务的开发,并形成一套性能拔尖、易于部署、持续升级的一体化量产方案。

面面俱到的完整BEV架构

为了满足自动驾驶全链的开发迭代需求,Nullmax的BEV-AI架构涵盖了六个方面的主要内容:BEV 3D车道线检测,BEV 3D目标检测,BEV局部地图,BEV规划,云端自动化4D真值标注,车端感知、预测、规划的量产部署。 复杂路口的BEV 3D目标检测 BEV 3D目标检测为自动驾驶提供360°的动态障碍物检测能力,并融合时序信息对各类目标进行准确预测。BEV 3D车道线检测为车辆输出实时的车道情况,BEV局部地图在车端实时构建媲美高精地图的高精度局部地图,二者能够在任意常规道路条件下,输出自动驾驶所需的静态场景深刻理解。然后以此为基础,BEV规划可以用端到端方式输出行车的轨迹和速度,实现复杂场景下的自动驾驶应用,而不依赖高精地图。 路口场景的BEV规划

云端的自动化4D真值标注,用来完成3D空间信息+时间信息的3D bunding-box真值标注,以及车道线、Local Map等方面的标注,支持BEV-AI的高效开发和迭代。最终,Nullmax BEV-AI整体架构根据实际需求,形成能在车端实时运行、易于部署的感知、预测、规划一系列量产应用。

为了让这套BEV-AI技术架构具备平台化特点,满足实际应用中的不同量产需求,Nullmax还攻克了三个方面的难点。一是融合多个摄像头数据的同时,不进行单个摄像头的独自处理和多个摄像头结果的复杂后处理,以节省算力、提升融合效果;二是在算法层面实现图像空间到BEV空间的信息转换;三是支持任意摄像头,且不过度依赖相机的外参,从而适配所有传感配置。

简单来说,Nullmax的BEV-AI,采取多相机联合工作方式,输入任意数量相机的图像,直接统一输出BEV视角下的三维信息,因而无需为每个相机进行单独的处理。同时,Nullmax利用cross-attention机制实现2D图像到3D空间的关联,为BEV-AI架构打造了一系列基于Transformer的BEV检测、分割方法,并通过multi-camera cross attention等方式,实现了不过度依赖相机参数的2D和3D关联。

归功于这些深入的工作,Nullmax的BEV-AI技术架构为行泊一体等量产应用带来了巨大的平台化优势和产品优势。

大幅提升的BEV量产优势

在实际应用中,芯片平台、传感器配置、功能定义、技术指标的细微差异,都可能会为自动驾驶的开发工作带来巨大变动,尤其是复杂的行泊一体量产应用。因此通过平台化的技术架构提升量产效率,意义重大。

Nullmax BEV-AI架构能够支持所有的芯片平台,提供高中低不同算力平台下的行泊一体量产应用。尤其是在备受欢迎的德州仪器TDA4、英伟达Orin芯片上,基于BEV-AI技术架构的行泊一体方案,有的已经完成交付,有的正在交付。

在最低8T算力的情况下,BEV-AI就可以实现包括高速NOA在内的基础行泊一体,如果算力达到16T,那么行泊车体验还会进一步升级。当算力达到100T以上,那么BEV-AI架构可以提供城市道路的领航辅助功能,实现全场景的行泊一体。

同时,Nullmax BEV-AI架构还能够支持所有的自动驾驶产品。无论是完整的行泊一体,还是单独的行车、泊车功能,又或者是上游的行泊车感知,BEV-AI架构能够按需裁剪,适配任务需求,并且可以支持任意的传感器配置。

夜间基于8T算力和4颗侧视相机的BEV周视感知

通常来说,不同的车辆在传感器的类型、数量和参数上会存在普遍差异,比如相机的焦距、像素、FOV、安装位置、朝向等情况就各不相同。Nullmax的BEV-AI架构可以适配这些传感器层面的差异,无需大幅修改算法,即可提供应用。

除此之外,Nullmax BEV-AI架构还具有平台产品化的特点,让架构平台的技术优势形成了面向部署优化、超远距离感知的产品优点。这让基于BEV-AI架构的量产方案,在部署时能能取得更好的应用体验,并在资源占用、感知帧率、系统延时等关键指标上表现更佳,尤其是面对中低算力芯片平台的时候。

而且更远距离的感知,也能为自动驾驶提供更高的安全性。相比于业内BEV方案通常数十米远的感知距离,Nullmax BEV-AI架构可以轻松实现更远距离的有效感知,满足量产功能的所有性能指标。

正是凭借BEV-AI架构在平台化和产品化方面带来的这些优势,Nullmax不仅快速完成了各种量产应用的高质量开发和交付,并且方案整体达到了行业领先的技术水准。

结语

在汽车向着高阶智驾发展的过程中,先进的技术架构将为自动驾驶的落地带来全方位的优势,不论是量产方案的本身还是技术应用的过程,都不例外。Nullmax BEV-AI架构将继续作为行泊一体「现代化」路上的「新基建」,加速全场景自动驾驶应用的落地。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2545

    文章

    50439

    浏览量

    750978
  • 硬件
    +关注

    关注

    11

    文章

    3208

    浏览量

    66055
  • AI
    AI
    +关注

    关注

    87

    文章

    29784

    浏览量

    268074
  • LLM
    LLM
    +关注

    关注

    0

    文章

    263

    浏览量

    297

原文标题:Nullmax BEV-AI架构,加速行泊一体「现代化」 | Nullmax进化学

文章出处:【微信号:Nullmax,微信公众号:Nullmax纽劢】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    自动驾驶中直说的BEV+Transformer到底是个啥?

    在很多车企的自动驾驶介绍中,都会听到个关键技术,那就是BEV+Transformer,那BEV+Transformer到底是个啥?为什么很多车企在自动驾驶
    的头像 发表于 11-07 11:19 129次阅读
    自动驾驶中<b class='flag-5'>一</b>直说的<b class='flag-5'>BEV</b>+Transformer到底是个啥?

    黑芝麻智能与Nullmax达成重要合作里程碑

    近日,自动驾驶技术领域的两大领先企业——黑芝麻智能与Nullmax宣布达成了项重要的合作里程碑。双方基于黑芝麻智能的武当C1200家族芯片,共同推出了BEV无图方案,并成功实现了NO
    的头像 发表于 10-10 18:15 528次阅读

    如何设计出一套用于移动式综合监测站管理的软件系统

    如何设计出一套用于移动式综合监测站管理的软件系统 要设计并实现一套系统,用于管理移动式综合监测站,并具备绘制其动态位置变化图和部署时间分布图的功能,我们需要从系统的整体架构设计、功能模
    的头像 发表于 09-10 18:15 153次阅读

    RTX AI PC和工作站提供强大AI性能

    由 NVIDIA RTX 和 GeForce RTX 技术驱动的 AI PC 时代已经到来。在这背景下,种评估 AI 加速性能的新方法应
    的头像 发表于 08-23 16:57 581次阅读

    库室联管联控系统DW-S306|是一套智能系统

    装备库室联管联控系统,形成一套上下统、功能完善的管理体系,建设个功能完善、运转有效、规范有序为目标,实现可视监管、数字军械管理、安全
    的头像 发表于 08-17 16:20 141次阅读
    库室联管联控系统DW-S306|是<b class='flag-5'>一套</b>智能<b class='flag-5'>化</b>系统

    saas模式的一套智慧工地云平台源码,支持多端展示:PC端、大屏端、手机端、平板端

    基于微服务架构+Java+Spring Cloud +UniApp +MySql技术开发saas模式的一套智慧工地云平台源码,支持多端展示:PC端、大屏端、手机端、平板端。 智慧工地
    的头像 发表于 08-06 16:41 270次阅读
    saas模式的<b class='flag-5'>一套</b>智慧工地云<b class='flag-5'>平台</b>源码,支持多端展示:PC端、大屏端、手机端、平板端

    Nullmax正式推出新代自动驾驶技术Nullmax Intelligence

    7月16日,Nullmax在上海举办“AI无止境,智变新开端”2024技术发布会,正式推出新代自动驾驶技术
    的头像 发表于 07-17 09:32 582次阅读
    <b class='flag-5'>Nullmax</b>正式推出新<b class='flag-5'>一</b>代自动驾驶<b class='flag-5'>技术</b><b class='flag-5'>Nullmax</b> Intelligence

    如何用java语言开发一套数字化产科系统  数字产科管理平台源码

    如何用java语言开发一套数字化产科系统 数字产科管理平台源码
    的头像 发表于 07-06 09:38 961次阅读
    如何用java语言开发<b class='flag-5'>一套数字化</b>产科系统  数字<b class='flag-5'>化</b>产科管理<b class='flag-5'>平台</b>源码

    龙芯2K0300蜂鸟板支持OpenHarmony 4.0 Release版本操作系统

    2K0300蜂鸟开发系统是龙芯中科秉承“硬件开发、软件开源、方案赋能”的原则打造出来的一套生产工具,面向工控、智能终端等嵌入式领域,可以为合作厂商进行更高效的产品设计和开发提供参考,是龙芯产业生态的重要组成部分
    发表于 06-20 10:02

    在不同的电脑上启动同一套代码时,出现编译路径错误的提示怎么解决?

    不同的电脑上安装esp-idf的路径不同时,启动同一套代码时会出现: 无法找到“D:\\Espressif\\tools\\xtensa-esp32-elf\\esp-2022r1-11.2.0
    发表于 06-11 06:54

    Nullmax感知的CI/CD流程以数据说话 用技术“找茬儿”

    出现在实车之外。 比如,开发各种各样的测试工具,打造自动的测试流水线,找出万中无的特殊场景,等等。而在Nullmax,测试工作还有更多精彩有趣的地方,特别是富有特色的自动驾驶感知测
    的头像 发表于 06-04 16:15 950次阅读

    步解读英伟达 Blackwell 架构、NVlink及GB200 超级芯片

    2024年3月19日,[英伟达]CEO[黄仁勋]在GTC大会上公布了新AI芯片架构BLACKWELL,并推出基于该架构的超级芯片GB200,将助推数据处理、工程模拟、电子设计自动
    发表于 05-13 17:16

    ICON发布一套新型建筑3D打印硬件、软件和材料

    2024年3月,先进建筑公司ICON 发布了一套可实现建筑自动的新产品和技术,包括能够实现多层建筑的全新机器人打印机、新型低碳建筑材料、包含 60 多种现成住宅设计的住宅建筑数字目录,以及用于住宅设计和施工的
    的头像 发表于 04-07 18:27 1103次阅读

    保障性住房数字运营平台以“勾联比对”做优服务

    AIoT整体解决方案不单纯是智能系统的集成,而是站在服务于住户的角度,整合智能的软件平台、硬件设备,再通过人性的功能设计,建立一套优质、
    的头像 发表于 03-01 14:35 366次阅读
    保障性住房数字<b class='flag-5'>化</b>运营<b class='flag-5'>平台</b>以“勾联比对”做优服务

    Nullmax揭秘BEV-AI技术架构加速量产方案演进

    12月19日,Nullmax首席科学家成二康博士应邀出席2023全球自动驾驶峰会(GADS 2023),在自动驾驶BEV感知技术论坛上发表《BEV-AI
    的头像 发表于 12-22 14:46 1092次阅读