0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

黑芝麻智能在BEV感知方面的研发进展

黑芝麻智能 来源:黑芝麻智能 2023-05-15 16:39 次阅读

日前,在由黑芝麻智能主办的“2023智能汽车高峰论坛”上,黑芝麻智能深度学习研发高级总监王祚官发表了主题为“BEV感知,给自动驾驶开启‘上帝视角’”的主旨演讲,分享黑芝麻智能在BEV感知方面的研发进展。

近日,由黑芝麻智能主办的“2023智能汽车高峰论坛”汇聚了众多行业专家和企业代表。在其中的软件论坛上,来自不同领域的嘉宾共同探讨新形势下汽车软件行业的未来。黑芝麻智能深度学习研发高级总监王祚官在论坛上发表了主题为“BEV感知,给自动驾驶开启‘上帝视角’”的主旨演讲,分享黑芝麻智能在BEV感知方面的研发进展。

感知质量更好的前融合方案

BEV是Bird‘s-Eye-View Perception的缩写,即鸟瞰视角感知,简单而言就是融合车载多视角摄像头的输入,然后变成鸟瞰图的检测输出,可用于各种下游任务。

相校于传统的感知算法,BEV感知有明显优势。如果把多视角的感知看作一个融合过程,传统的感知算法可以看作是一个后融合方案,其典型做法是对每一路输入的视频做单独检测,然后通过一些方法把检测结果融合起来。其缺点是会产生一些比较大的累计误差。

BEV感知则属于前融合感知,把图像特征先融合起来,直接生成BEV的检测结果,如此省去了很多中间步骤,生成的感知结果质量比后融合方案的更好。

王祚官表示,BEV感知能为自动驾驶感知任务提供有效的时空表征方法,将成为车载感知的主流发展方向。

黑芝麻智能开发多重亮点的BEV技术

王祚官介绍,黑芝麻智能的BEV框架主要分三部分:第一部分是特征提取,对每一路输入的图像,提取其图像特征;第二部分是BEV的特征生成,包含空间的融合和时间的融合;第三部分是目标检测。

整体而言,黑芝麻智能开发的BEV技术有诸多亮点:上下文感知增强的BEV投影,可自适应时空采样,可学习车道结构的码本,基于“BST渲染器”的实时矢量化地图构建能力,结合“NeRF + LiDAR”的 Occupancy Grid Map(占位栅格地图)功能 ,以及芯片本身的高效网络架构与强大性能。

在将图像投影到三维空间时,现有方法仅从一条光线中采样上下文特征。黑芝麻智能采用了上下文感知的增强BEV,图象包括非常丰富的场景信息,最终可以得到质量非常高的BEV。

空间的融合之后,紧接着就是时间的融合,典型做法是把当前均匀采样的帧融合在一起。但这样做有一个明显问题,即车辆停止的时候,采样会产生大量重复的帧,造成之前的路面信息丢失,导致算力浪费,而且感知范围会变小。黑芝麻智能的做法是增加了空间上的抽样,即根据车身信息,每隔一定的距离做抽样,然后把空间抽样和时间抽样结合起来,作为最后的目标检测。通过这种方式,车辆在缓慢行驶甚至停止的情况下,仍然能够保证有较大的感知范围。

车道是高度规则化的结构,黑芝麻智能设计了用低维编码的方法来引入车道线的结构信息,学习并保存多种车道结构的码本(Codebook),并在学习到的码本指导下进行预测。

在车辆周围实时生成地图对自动驾驶非常关键。但是,地图通常包含很多种类的元素,比如车道线、人行道、停车位等,这给网络实时预测周围地图带来了困难。黑芝麻智能采用矢量的方法作为统一的表达方式,开发了可微分的“BST-Renderer”,将各种地图元素渲染成图像,然后对渲染出的图像进行训练。用一致的矢量表示,的好处就是说,为后期的矢量地图构建提供了便利。

在提到OCCUPANCY GRID时,王祚官表示,一个空间是否被占据,表示方法是把它离散化成等大小的立方体,用一个参数来表示这个立方体被占据的概率是多少。传统的典型做法是使用LiDAR信号,但会出现信号缺失或被遮挡的问题。黑芝麻智能设计了“NeRF + LiDAR”的方案,与仅使用 LiDAR相比,可端到端训练,充分结合图像信息和LiDAR信息,对被遮挡区域依然可以进行场景流监督,可使用无LiDAR数据集进行模型微调。

此外,BEV模型里面使用了很多Transformer模型,鉴于Transformer注意力机制的计算成本较高,黑芝麻智能简化了计算,使其适合在边缘设备上运行。

自研高性能芯片为BEV模型落地提供支持

黑芝麻智能已将开发的BEV模型部署到旗下华山二号A1000芯片上。A1000芯片拥有58TOPS(INT8)的强大算力,有矩阵运行单元和非线性运算单元,再加上DSP,能够满足行业需求。与此同时,BEV模型还可部署在黑芝麻智能最新发布的武当系列C1200芯片上。该系列是业内首个智能汽车跨域计算芯片平台。

作为中国本土智能汽车芯片的供应商之一,黑芝麻智能拥有全栈感知算法量产化能力,能够提供客户算法定制服务,支持第三方算法移植,多种算法交付方式等灵活的商业模式。这些感知算法能够加速并且助力一些中短期内智能领航和泊车应用产品快速落地,从而加速整个芯片的量产及应用。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    453

    文章

    50360

    浏览量

    421628
  • 摄像头
    +关注

    关注

    59

    文章

    4806

    浏览量

    95389
  • 自动驾驶
    +关注

    关注

    783

    文章

    13674

    浏览量

    166096
  • 黑芝麻智能
    +关注

    关注

    1

    文章

    133

    浏览量

    3319

原文标题:黑芝麻智能:BEV感知将成为车载感知的主流发展方向

文章出处:【微信号:BlackSesameTech,微信公众号:黑芝麻智能】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    上市突围赛!黑芝麻率先登陆港交所,智驾芯片高研发角逐高算力平台

    电子发烧友网报道(文/莫婷婷)8月8日,中国自动驾驶AI芯片第一股黑芝麻智能国际控股有限公司(以下简称:黑芝麻智能)在港交所上市,证券代码为02533.HK。 此次上市,
    的头像 发表于 08-09 00:23 6163次阅读
    上市突围赛!<b class='flag-5'>黑芝麻</b>率先登陆港交所,智驾芯片高<b class='flag-5'>研发</b>角逐高算力平台

    黑芝麻智能在智驾芯片领域发展如何了?

    随着汽车行业向智能化和电动化的快速转型,自动驾驶技术成为未来发展的重要方向,而作为自动驾驶核心技术的车载SoC(系统级芯片)随之迅速崛起。黑芝麻智能作为国内领先的Tier2芯片供应商,凭借强大
    的头像 发表于 11-05 10:44 294次阅读
    <b class='flag-5'>黑芝麻</b><b class='flag-5'>智能在</b>智驾芯片领域发展如何了?

    黑芝麻智能与Nullmax达成重要合作里程碑

    近日,自动驾驶技术领域的两大领先企业——黑芝麻智能与Nullmax宣布达成了一项重要的合作里程碑。双方基于黑芝麻智能的武当C1200家族芯片,共同推出了
    的头像 发表于 10-10 18:15 558次阅读

    湖北省领导莅临黑芝麻智能调研

    黑芝麻智能引领智能汽车芯片发展,湖北省省长王忠林调研并肯定企业贡献。
    的头像 发表于 09-24 16:39 366次阅读

    智能汽车AI芯片第一股黑芝麻智能在港交所挂牌上市

    今日,智能汽车AI芯片领域的佼佼者——黑芝麻智能,在香港交易所成功挂牌上市,股票代码为02533.HK,标志着其正式成为“智能汽车AI芯片第一股”。这一里程碑事件不仅彰显了
    的头像 发表于 08-08 10:32 528次阅读

    黑芝麻智能正式加入智能网联汽车“车路云一体化”应用建设

    黑芝麻智能目前已围绕华山A1000芯片形成车-路全栈能力,成为国内少数可同时交付车、路双端感知和车路协同解决方案的供应商之一。
    的头像 发表于 07-27 11:35 735次阅读

    黑芝麻智能获国际最高安全标准认证

    近日,黑芝麻智能宣布其代码生成工具成功获得ISO 26262:2018 ASIL D功能安全产品认证证书,这一里程碑式的成就标志着黑芝麻智能在自动驾驶及
    的头像 发表于 06-04 11:12 906次阅读

    黑芝麻智能获得ISO/SAE 21434:2021汽车网络安全流程认证证书

    4月3日,黑芝麻智能获得 ISO/SAE 21434:2021汽车网络安全流程认证证书,标志着黑芝麻智能已建立起符合ISO/SAE 21434要求的网络安全产品开发流程体系,构筑起网络
    的头像 发表于 04-03 17:22 651次阅读
    <b class='flag-5'>黑芝麻</b><b class='flag-5'>智能</b>获得ISO/SAE 21434:2021汽车网络安全流程认证证书

    黑芝麻智能更新招股书,加速港交所上市步伐

    黑芝麻智能更新招股书,继续稳步推进其在港交所主板的上市进程,中金公司和华泰国际共同担任其联席保荐人。此举标志着黑芝麻智能正全力以赴冲击“国产自动驾驶芯片第一股”的宝座。
    的头像 发表于 03-27 16:28 827次阅读

    黑芝麻更新赴港IPO进程

    黑芝麻智能港股上市进程取得新进展。经过九个月的等待,黑芝麻智能最近更新了其在港交所的IPO文件。该公司作为车规级计算SoC及
    的头像 发表于 03-27 16:16 661次阅读

    自动驾驶企业黑芝麻智能再次递交上市申请

    自动驾驶领域的领军企业黑芝麻智能,近日再次向港交所递交了上市申请。据悉,这已经是黑芝麻智能自去年6月首次申请失效后的第二次尝试。
    的头像 发表于 03-26 14:04 410次阅读

    黑芝麻智能再次冲击港交所IPO

    黑芝麻智能公司再次向港交所主板递交了IPO上市申请,这已是自2023年6月30日以来第二次递表。黑芝麻智能专注于提供车规级计算SoC以及基于SoC的
    的头像 发表于 03-26 14:01 445次阅读

    黑芝麻智能展望智能汽车计算芯片新趋势

    近日,中国电动汽车百人会论坛(2024)在北京盛大召开,吸引了众多行业内外人士的目光。在这场科技盛宴中,黑芝麻智能首席市场营销官杨宇欣发表了主题演讲,深入探讨了智能汽车计算芯片发展的新趋势,并分享了
    的头像 发表于 03-18 10:07 746次阅读

    Nullmax与黑芝麻智能签署深化合作协议

    美国西部时间1月11日,自动驾驶智变引领者Nullmax与黑芝麻智能在CES现场签署深化合作协议,将共同为中国及全球汽车制造商与Tier 1厂商提供兼具高性能和成本效益的ADAS解决方案,为全球自动驾驶行业带来切实利益。
    的头像 发表于 01-15 11:27 583次阅读

    黑芝麻智能荣获AUTOSEMO“技术生态合作奖”

    黑芝麻智能与中兴通讯合作的智能感知与推理全业务流程项目荣获AUTOSEMO“技术生态合作奖”,双方协同实现基于黑芝麻智能A1000环境的首家
    的头像 发表于 12-13 15:56 496次阅读