自动驾驶中的传感器融合

据麦姆斯咨询介绍，目前，对于科技公司和汽车厂商的高管和工程师来说，自动驾驶汽车（AV）技术及其发展路线图上还有很多问题有待解决。其中，三个悬而未决的大问题正在突显。

市场研究机构IHS Markit汽车信息娱乐和高级驾驶辅助系统（ADAS）研究总监Egil Juliussen列出了以下几个将在2019年困扰汽车行业的“遗留问题”：

1、我们是否真的需要激光雷达（LiDAR）？

2、科技/汽车公司是否真的准备好一起合作追求“网络效应”，以推动驾驶软件的发展？

3、业界能否解决Level 2级到Level 3级驾驶操控权的移交问题？行业观察家已经看到科技公司、Tier 1和汽车OEM制造商之间兴起的新一轮自动驾驶伙伴关系。有几家公司正对Level 2级到Level 3级自动驾驶操控权的移交问题尝试新技术，例如以色列ADAM公司，正在尝试利用人工智能（AI）及算法助力其技术平台，以解决人、车驾驶操控权的移交问题。对于自动驾驶汽车突然将控制权交回人类驾驶员时的手足无措困境，“预计下个月在拉斯维加斯举办的2019年消费电子展上，Tier 1和汽车OEM制造商对驾驶员监控系统的兴趣会重新抬头，”市场研究机构Semicast Research首席分析师Colin Barnden表示。但是，ADAS汽车和自动驾驶汽车真的需要激光雷达吗？

Juliussen称，“我们已经听到很多这样的市场疑问。”这个疑问在数字成像雷达出现之后获得了更多关注，“因为，数字成像雷达相比过去的产品可以提供更多信息，”他解释道。

AEye融合“摄像头+激光雷达”数据

在此背景下，位于美国加利福尼亚州普莱森顿的一家名为AEye的创业公司，近日宣布为ADAS和自动驾驶市场推出了首款商用产品“iDAR”，这是一款融合了高清摄像头的固态激光雷达。近一年来，自动驾驶汽车不一定需要激光雷达的声音一直在科技界回响。这种思路确实很诱人，因为许多汽车OEM制造商都认为激光雷达太昂贵了，他们认为激光雷达技术距离实际应用还远未成熟。AEye从另一个角度进入了这场“激光雷达是否必要”的市场辩论。该创业公司认为，汽车OEM制造商不愿意使用现有的激光雷达，除了成本问题，还因为他们目前的解决方案依赖于一系列独立的传感器，这些传感器共同产生了海量数据。“这需要漫长的处理时间和庞大的运算能力，通过较准、分析、校正、下采样来收集和重组这些传感器采集的数据，并将它们转换为可用于安全引导车辆的可操作信息，”AEye解释说。

但是，如果AEye以某种方式使用人工智能，仅对自动驾驶路径规划有意义的数据信息进行区分采集，而不是为每个像素分配相同的优先级呢？“正是这一初衷激发了AEye开发iDAR，”AEye营销副总裁Stephen Lambright解释道。事实上，AEye的iDAR“深根于最初为国防工业开发的技术”，Lambright表示。该创业公司首席执行官Luis Dussan之前曾致力于为战斗机设计监控、侦察和防御系统。他创建了AEye公司，“以为自动驾驶汽车提供军用级别的性能。”据Lambright称，驱动iDAR开发的是“首席执行官Dussan在军用飞机感知系统中学到的三个原则”， 1）永远不错过任何信息；2）所有物体对象不是平等的，需要给予不同的权重；3）实时处理。简而言之，iDAR的目标是开发一种“无需浪费计算周期”的传感器融合系统。

iDAR的构建模块包括1550nm固态MEMS激光雷达，低光照高清摄像头和嵌入式AI。该系统旨在整合2D摄像头“像素”（RGB）和3D激光雷达数据“体素”（XYZ），以提供“一种新的实时传感器数据”，为自动驾驶路径规划系统提供更快速、更准确、更长距离、更智能的信息。值得注意的是，AEye的iDAR提供的不是各自独立的摄像头和激光雷达系统的扫描后融合。而是通过开发人工智能感知系统，iDAR将固态激光雷达与高分辨率摄像头进行物理融合，创建了一种被称为动态像素的新数据类型。通过捕捉x、y、z、R、G、B数据，这种动态像素“仿生”了人类视觉皮层的数据结构。整合片上系统（SoC）近日发布的新型iDAR系统AE110是AEye公司的第四代原型产品。据Ratnam介绍，“该系统中包含一个基于赛灵思（Xilinx）Zynq SoC的整合SoC。Zynq将基于ARM的处理器与FPGA集成在一起，旨在实现关键分析和硬件加速，同时在一个器件上集成了CPU、DSP、ASSP和混合信号功能。2019年，AEye计划为这款整合SoC设计自己的ASIC。”

“摄像头+雷达”或“摄像头+激光雷达”？

AEye正在推广其“摄像头+激光雷达”整合传感器系统，而一些高精度毫米波（mmWave）雷达芯片开发商则推崇“摄像头+雷达”解决方案。科技行业研究机构Linley Group的高级分析师Mike Demler称，AEye的摄像头+激光雷达融合“是一种有趣的方案”。Aeye的方案“可能具有一些独特的功能”，但Mike Demler也提出，AEye“并不是唯一一家这样做的公司。”Demler指出，大陆集团（Continental）也在销售“摄像头+激光雷达”的组合单元。但据推测，大陆集团是将两个独立传感器的数据进行预处理后再进行整合。正如Demler所看到的那样，AEye解决方案的优势在于“传感器融合软件”。实质上，“将摄像头/激光雷达传感器作为一个集成单元进行处理，可以加速识别目标区域，”Demler指出，“除此之外，两个传感器的各自优缺点仍然保留。”Demler表示，AEye采用了MEMS激光雷达，但并没有公开透露其空间分辨率。他推测，跟Velodyne等机械扫描激光雷达相比，这可能是AEye的一个弱项。“摄像头传感器具有相对最高的分辨率，但它无法应对极其明亮或黑暗的场景，并且仍然会受到可能阻挡镜头的污垢和沉积物的影响。因此，不能单独依靠摄像头来获得空间分辨率。同样地，激光雷达在降雨时性能表现也不如雷达，所以在这些条件下不能单独依靠激光雷达进行物体探测，并且，大多数激光雷达都不能测量物体的移动速度。”

真正的边缘融合

谈及AEye，据VSI Labs创始人Phil Magney透露，VSI Labs被聘请验证激光雷达的距离和扫描速率。Magney强调，“iDAR传感器的独特之处在于它将摄像头和激光雷达耦合了在一起，并在中央计算机摄入整合数据之前，对两个传感器数据进行融合。”他认为，“这是真正的边缘融合，因为设备在对采集的数据进行任何分类之前，融合了摄像头数据和激光雷达原始数据。我们还认识到，其设备有能力聚焦目标主题，而不需要处理整个点云场景。”此外，Magney还承认，AEye的iDAR设备“由于拥有融合的摄像头数据，因此具有更好的目标分类潜力。”他指出，“iDAR正在开发适用于融合数据集的分类算法。”理论上，AEye所谓的动态像素创建的内容“比摄像头或激光雷达各自产生的内容更丰富”，Magney说。但他也提出“基本上每个像素都有一个点，每个点都有一个像素，但需要注意的是摄像头的分辨率要远高于激光雷达，因此像素与点的比例不是一对一的。”Magney承认，“当把iDAR与雷达放在一起比较时，确实可以放弃对雷达的需求，因为激光雷达和雷达都是测距设备。”他指出，“如果iDAR激光雷达的深度感知能力可以给你足够的信心，并且又能够跟踪目标的速度信息，那么完全可能放弃雷达。值得一提的是，与大多数商用激光雷达产品相比，iDAR的扫描速度是其两倍（100赫兹），这是其另一个优势。”另一方面，在完全自动驾驶汽车实现之前，会有越来越多配备ADAS功能的汽车推出，雷达似乎在ADAS市场比激光雷达（或iDAR）更占优势。

“雷达在恶劣天气下能够更好地工作，因此最适合ADAS，即使条件不适合自动驾驶，也需要安全系统运行，”Magney说，“但雷达本身在物体分类方面仍然受到限制。这是由雷达设备的硬件决定的。我们知道雷达在分类方面正在变得越来越好，并且相关厂商声称可以提供更丰富的功能。一些雷达创业公司也提出了非常吸引眼球的方案。”VSI近期在AEye最近的性能测试中验证了iDAR传感器的探测和方法。Magney表示，该公司验证了iDAR激光雷达信号能够探测到道路上距离1000米的卡车，其扫描速率达到了100赫兹。“我们没有验证这种传感器能否带来更好的性能或安全性，但我们证明它确实有足够的性能和智能来识别1000米处的物体，”他补充说。在Demler看来，AEye的iDAR并没有取代雷达。德州仪器（TI）的mmWave成像雷达也并没有取代激光雷达，Demler解释说，“大多数自动驾驶开发商都使用了这三种传感技术，当然，事实上它们也在使用其他传感器，例如，超声波传感器、红外传感器等等。”Demler说：“自动驾驶的安全性需要传感器冗余支持，并且需要多种传感器共同完成，因为没有一种类型的传感器可以在所有条件下发挥最佳性能。”

产业链巨头看好，Aeye累计完成6000万美元融资

近日，AEye还披露了其二次B轮融资，这使公司的总融资额超过了6000万美元。AEye表示其B轮投资方包括汽车OEM制造商、Tier 1和Tier 2厂商，以及战略投资者海拉（Hella Ventures）、斯巴鲁（Subaru-SBI）创新基金、LG电子和SK海力士。AEye营销副总裁Lambright指出了Hella Ventures和LG电子在公司B轮融资中加入的重要意义。AEye将依靠这些Tier 1合作伙伴来提高iDAR产量并降低单位成本。Lambright估计到2021年iDAR的初步单位成本将降到1000美元以下。