深入解读摄像头与毫米波雷达的融合技术

传感器融合被认为是智能驾驶的必然趋势。这两年，在交通部政策的推动下，部分L1和L2级别的ADAS功能被要求在一些商用车型中强制安装，其中包括AEB（自动紧急刹车）。这里就借AEB在商用车上的落地谈谈传感器融合的事情。

AEB的技术实现方法

目前，实现AEB的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素，国内主要使用前两种方式。视觉传感器和毫米波雷达实现对车辆的AEB功能的原理不同：毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。

这两类技术各有优劣。总体来讲，摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

于是就有了第三种方案，将摄像头和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的AEB功能。

融合方案也是国内商用车AEB的落地上所强制要求的方式。在JT/T 1094-2016《营运客车安全技术条件》中提到，车长超过9米的营运客车需装备符合JT/T 883规定的车道偏离预警系统（LDWS）和AEB（包括前车碰撞预警系统）。在交通部办公厅所印发的《营运客车安全达标实车核查工作规范》中明确要求，营运客车驾驶室前面罩需要安装AEBS毫米波雷达或激光雷达装置。后续想必也会出台政策推进在其他商用车车型上的普及，未来可能还会扩展覆盖乘用车。

传感器数据融合的原理与优势

采用融合方案后，摄像头和雷达会获取到不同的感知信息，这些信息之间可以相互补充，但也可能会存在矛盾。假设在某一场景下，来自摄像头的信息是车辆前方50米左右有异型车，需要刹车，而雷达却没有反馈同样的信息，这样的矛盾信息可能会让车辆不知所措。所以，为了让车辆控制中心接收到一致且明确的行动指令，就需要将传感器的数据进行融合。

传感器数据融合的基本原理跟人脑综合处理来自眼、鼻、耳等多器官的信息类似，主要是综合多个传感器获取的数据和信息，把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合，获得对被测对象的一致性描述。

回到驾驶场景上，大致是这样的流程：首先摄像头和毫米波雷达分别针对观测目标收集数据，然后对各传感器的输出数据进行特征提取与模式识别处理，并将目标按类别进行准确关联，最后利用融合算法将同一目标的所有传感器数据进行整合，从而得出关于目标威胁性的一致性结论。

以极目智能的视觉和雷达融合系统为例。如下图，图中蓝色点和绿色点分别为摄像头和毫米波雷达对同一目标的检测，摄像头主要负责目标外观锁定，毫米波雷达主要负责测距。红色点是雷达检测到的其他地物目标。

极目智能视觉和雷达融合系统

数据融合也有不同的策略，比如有的方案会选择将不同传感器各自处理生成的目标数据进行融合，有些会选择将不同传感器的原始数据进行融合，避免一些原始数据的丢失。在智能驾驶场景下，视觉和毫米波雷达的数据融合大致有3种策略：图像级、目标级和信号级。

图像级融合，是以视觉为主体，将雷达输出的整体信息进行图像特征转化，然后与视觉系统的图像输出进行融合；目标级融合，是对视觉和雷达输出进行综合可信度加权，配合精度标定信息进行自适应的搜索匹配后融合输出；信号级融合，是对视觉和雷达传感器ECU传出的数据源进行融合。其中，信号级别的融合数据损失最小，可靠性最高，但需要大量的运算。

测试数据显示，与单视觉或单雷达方案相比，融合方案在系统可靠性和鲁棒性、数据可信度、系统分辨能力等方面更具优势。

视觉传感器和毫米波雷达融合的技术基础

传感器融合已被公认为是智能驾驶的必然趋势。为了实现视觉和毫米波雷达的数据融合，需要具备一些技术基础，比如系统化的图像和雷达数据获取和处理技术体系，在数据处理和目标分类识别等层面具有信息融合算法的优化和设计能力，等等。鉴于当前国内的视觉感知技术要比毫米波雷达更加成熟，那么对于视觉技术企业来讲，他们在与外部雷达平台进行融合的时候，则需要具备优秀的雷达系统二次开发能力，尽量提高信息的利用率。

对于视觉和毫米波雷达的融合，技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等，需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。

同时，信息融合技术实现需要不断配合大量路测，涉及设备输出、真值标定以及二次数据开发等工作，对应的数据采集量、数据存储量、数据交互量、数据处理工作量非常大，对于研发机构的综合开发能力有很高的要求。

最后，传感器数据融合的核心关键还是在于采用合适的融合算法。作为一个新兴领域，数据融合目前尚无统一的理论和广义有效的融合模型和算法，需要根据具体场景来选择，但可以预见，神经网络和人工智能等新技术在传感器数据融合中将起到越来越重要的作用。