0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

康谋技术 | 多传感器数据融合技术与策略解析

康谋自动驾驶 2024-07-15 10:50 次阅读

在汽车行业迈向智能化、自动化的今天,自动驾驶技术也在快速发展。为了进一步让自动驾驶更加“智能化”,像老师傅一样进行开车,离不开对车辆周围环境的全面认识。

面对复杂的感知任务,单一传感器的局限性逐渐显现,比如相机对目标的颜色和纹理比较敏感,但易受光照、天气条件的影响。LiDAR以获得目标精确的3D信息,但无法获得目标纹理,易产生噪点等情况。多传感器数据融合技术应时而生,通过整合不同传感器的优势,为车辆提供了一个全面、立体的感知维度。

一、多传感器融合的先决条件

当多种传感器装在同一辆车上时,使用同一个系统来采集并处理数据。为了确保这些传感器采集的数据能有效精准识别同一个物体,需要对这些传感器进行统一时钟和坐标系,即最终实现:同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。

wKgZomaXY12AJTPwAAF3ifsJ2Fg548.png图1:传感器融合先决条件

1、统一时钟

确保所有传感器数据在时间上的一致性,为后续处理提供同步基准。关于时间同步的详细内容可见往期内容“《自动驾驶:揭秘高精度时间同步技术(一)和(二)》”。

2、统一坐标系

统一坐标系包含两步,一是运动补偿,二是传感器标定。

① 运动补偿:确保数据时效性

运动补偿是针对周期性采集数据的传感器,如激光雷达(LiDAR),其数据采集周期可能长达100毫秒。由于车辆在运动,采集周期的开始和结束时刻,车辆的位置已经发生了变化。这就需要对采集的数据进行运动补偿,以确保数据反映的是车辆在某一固定时刻的环境状态。

② 传感器标定:确立坐标转换

传感器标定是确保每个传感器的数据都能准确映射到世界坐标系中的过程。它包括内参标定和外参标定两个部分。

内参标定:针对单个传感器,解决其内部参数,如摄像头的焦距和畸变,确保传感器数据在自身坐标系中的准确性。详细内容可见往期内容“《深入探讨:自动驾驶中的相机标定技术》”。

外参标定:在已知的世界坐标系下,解决不同传感器之间的相对位置和方向,确保它们数据的一致性。

外参标定的准确性依赖于内参标定的精确性,只有每个传感器的内参被精确校准,我们才能准确地知道它们在世界坐标系中的相对位置。

二、多传感器融合方法

在多传感器采集系统中做好统一时钟和统一坐标系后,就可以将这些数据进行融合了。关于具体做法,这里举一个简单的例子:

1、相机与LiDAR融合

在实现激光雷达与相机标定、运动补偿和时间同步后,通过多传感器深度融合,执行几何变换将三维点云数据投影至二维图像平面,实现物理空间到视觉空间的映射。最后,整合深度信息与图像像素数据,形成深度标签图像,从而为自动驾驶车辆的环境感知系统提供更为丰富和精确的数据支持。

2、融合方式

根据数据在整个流程中融合的不同位置,常见的融合方式可分为前融合、深度融合和后融合。

wKgaomaXY4GAJGd5AAGZ4I0i4hs562.png图2:常见的融合方式

前融合(Early-Fusion):是在最原始的层面上将不同传感器的数据进行整合。这种融合方式涉及直接在空间上对齐传感器数据,形成一个统一的多模态数据集。可以进行数据统一标识,降低信息损失。

深度融合(Deep-Fusion):是在特征提取之后、决策之前进行的融合。这种融合方式涉及将不同传感器的数据在特征空间中进行组合,通常通过级联或元素相乘的方式实现。通过特征互补可以提高鲁棒性和提升泛化能力。

后融合(Late-Fusion):是在各个传感器独立完成目标检测或分类等任务后,将它们的预测结果进行综合分析,以做出最终的决策。通过综合多个传感器的预测结果,提高决策准确性。可根据需要灵活添加或替换传感器模型。

3、应用场景

在多传感器融合中,前融合、深度融合和后融合各有优势和适用场景。

前融合:在数据层面上实现早期整合,适合对原始数据依赖性较强的应用。

深度融合:在特征层面上进行信息融合,适合需要特征互补的复杂感知任务。

后融合:在目标层面上进行决策整合,适合需要最终决策优化的场景。

在实际应用中,根据系统需求和传感器特性,选择合适的融合策略或多种策略的组合,以达到最佳的感知效果。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51071

    浏览量

    753341
  • 多传感器
    +关注

    关注

    0

    文章

    80

    浏览量

    15357
  • 自动驾驶
    +关注

    关注

    784

    文章

    13804

    浏览量

    166426
  • 多数据融合
    +关注

    关注

    0

    文章

    3

    浏览量

    1930
收藏 人收藏

    评论

    相关推荐

    深度解析传感器信息融合技术

     所谓传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器
    发表于 01-13 11:26 4293次阅读

    技术 | 毫米波雷达技术解析

    自动驾驶技术飞速发展,毫米波雷达已成为自动驾驶传感器套件的关键。为此,为您深度解析毫米波雷达技术
    的头像 发表于 10-15 10:07 3094次阅读
    <b class='flag-5'>康</b><b class='flag-5'>谋</b><b class='flag-5'>技术</b> | 毫米波雷达<b class='flag-5'>技术</b><b class='flag-5'>解析</b>

    传感器信息融合技术

    传感器信息融合技术
    发表于 08-15 20:09

    [分享]传感器数据融合理论及应用

    本帖最后由 srxh 于 2015-12-7 23:19 编辑 讲传感器数据融合技术,可参考下,拓展我们的系统构架、优化系统算法主要
    发表于 12-07 22:52

    基于传感器数据融合的智能机器人设计

    融合技术与D-S方法  传感器数据融合技术结合了控
    发表于 11-01 15:08

    深度解析传感器信息融合技术

         所谓传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器
    发表于 11-07 10:53

    传感器信息融合技术解析

    导读:所谓传感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用计算机技术将来自多传感器
    发表于 11-07 11:06

    基于Android的传感器信息融合技术有哪些应用

    本文介绍基于Android的传感器信息融合技术在气溶胶自动化检测中的应用。
    发表于 05-11 06:22

    传感器数据融合技术

    传感器数据融合虽然未形成完整的理论体系和有效的融合算法, 但是在不少应用领域根据各自的具体应用背景, 已经提出了许多成熟并且有效的
    发表于 07-04 08:47 13次下载

    基于传感器数据融合技术的研究

    对国内外的传感器数据融合技术的应用及进展进行了跟踪性研究,从原理上介绍其基本特点、方法和结构,并对其目前应用现状进行了分析及展望。关键词
    发表于 07-10 08:53 14次下载

    基于数据融合技术传感器目标跟踪系统

    数据融合技术是继多科于一体的前沿技术传感器目标跟踪是数据
    发表于 07-11 10:56 25次下载

    基于传感器信息融合技术的防盗报警系统

    本文介绍了利用传感器信息融合技术进行防盗报警的监测系统。文中给出了传感器的选择原则和系统的硬件结构,并讨论了
    发表于 08-07 09:41 47次下载

    传感器信息融合技术ppt课件

           传感器信息融合又称数据融合,是对多种信息的获取、表示及其内在联系进行综合处理和优化的
    发表于 01-26 18:08 0次下载

    深度解析传感器融合技术

    传感器融合又称多传感器信息融合,有时也称作多传感器数据
    发表于 11-05 03:42 2.1w次阅读

    传感器信息融合技术综述

    传感器信息融合技术概述一般意义上的信息融合(也称为数据融合
    发表于 01-16 11:50 6483次阅读