自动驾驶中单目摄像头检测输出3-D边界框的方法

本文介绍了自动驾驶中单目摄像头检测输出3-D边界框的方法

单目图像估计3-D检测框是目前自动驾驶研发流行的，单纯的2-D检测框无法在3-D空间去做规划控制，去年百度Apollo发布2.5版本特意提到这方面的解决方案。

这里分析一下公开发表的有关论文，特别是近期的深度学习CNN框架，供参考。

其实最早看到3-D BBox的工作是Mobileye以前的CEO Shashua教授给的PPT demo（没有paper了）：

结果Tesla和Nvidia全都这么干了，潮流：）。

注：关于单目镜头估计物体的姿态有不少论文，也是跟这个课题相关的，一些深度学习的方法也不错，不过不是本文的重点，在此不做重复介绍。

3D Bounding Boxes for Road Vehicles: A One-Stage, Localization Prioritized Approach using Single Monocular Images，9，2018

来自UC San Diego的论文。简单讲，该方法提出估计center of bottom face of 3D bounding box (CBF) 来解决2-D图像得到3-D边框的问题，为加速也采用了LUT。同时估计的还有物体的大小尺寸以及姿态。

下图解释了他们采用key point预测的方法而不是传统2-D边框底边中心去推理3-D的位置。

这是他们的3-D边框估计的算法结构：

3D Bounding Box Estimation Using Deep Learning and Geometry，CVPR，2017

该文也是百度Apollo引用的方法：

首先估计物体3-D朝向，然后回归物体尺寸和3-D中心，最后得到物体的整个姿态和位置。这是2-D和3-D边框的对应关系图：

论文提出一种MultiBin方法求解物体朝向（相邻bin之间可以重叠一部分），CNN模型如下图：

朝向的局部和全局的关系如下所示：

总之，该方法利用了几何约束从2-D边框来估计3-D边框，其中朝向估计很关键。一些结果见下图：

Joint Monocular 3D Vehicle Detection and Tracking， 11，2018

该方法是对上面工作的推广，增加了跟踪模块，提高了稳定性。

这是算法的流程图：在RPN预测3-D中心的2-D投影位置，其中采用ROIalign而不是ROIpool减小了misalignment。每个求解3-D边框的ROI包括以下几项：2d Bbox, 3d box 中心投影, confidence score 和 对应特征向量。

其他跟踪部分就不重点提了，下图是一些结果展示：

下图解释了2-D边框中心和3-D边框中心的不同：

Orthographic Feature Transform for Monocular 3D Object Detection，11，2018

本文提出一个orthographic feature transform（OFT）用于解决2-D图像推理物体3-D边框的问题，原理如下图：

在一个深度学习框架下，该模块可以把图像特征图映射到正交鸟瞰图，如下图所示，输入到一个top down network进行推理。

结果就不讨论了，细节在论文里。

Multi-Level Fusion based 3D Object Detection from Monocular Images, CVPR, 2018

这是去年CVPR‘18的论文，下面是算法结构: 采用两步法，加了一个估计深度图的模型，结果送入RPN模块，比较奢侈的做法，后面还将视差图转换成点云，进入detection模块。

这是他们展示的结果：

看来大家对单目估计深度图/视差图很有信心。

MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization, 11, 2018

微软的一篇论文，下图是算法框图：提出instance depth estimation (IDE)，不是图像的深度图，可以直接估计物体3-D边框的深度，还是采用ROIalign取代ROIpool；包括4个模块，即2d detection(棕色), instance depth estimation(绿色), 3d location estimation(蓝色) 和 local corner regression(黄色)。

这是估计Instance depth的模型结构：

这个示意图告诉我们3-D边框的图像定位关系：

Instance depth的概念的解释如下图，的确是比较节俭的做法：

一些结果展示：

Mono3D++: Monocular 3D Vehicle Detection with Two-Scale 3D Hypotheses and Task Priors, 1, 2019

Face++和UCLA的最新论文，算法框图见下图：该方法不光用了深度估计，还借用了路面假设作为约束；另外，采用morphable wireframe model，不过为避免landmark敏感，对3-D边框做了模糊表示；除此之外，还有一个模块叫3D-2D consistency。

这是3D-2D consistency的框图介绍：包括几个部分 2D Bounding box，2D Landmark，3D Orientation 和 scale hypotheses。

感觉还是比较奢侈的做法。

CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models, 6, 2018

从2-D边框和消失点产生3-D cuboid proposals，随后在单目视觉SLAM框架中优化，如下图：

这是产生Proposals的方法：根据可视的面数目将Cuboids分成3类

下面是SLAM框架：在ORB SLAM基础上改进，加入物体信息。

特征点的相关性处理方法采用物体点为先，景物点为后，如图：绿色点是map上的，其他颜色的点属于物体。

一些结果展示：

BoxCars: Improving Fine-Grained Recognition of Vehicles using 3D Bounding Boxes in Traffic Surveillance，CVPR，2016

3D 物体边框是从监控视频 （比车载视频容易些）的2-D边框得到的，如图所示：利用了轮廓信息和姿态信息。

其实它的方法是把3-D边框各个面拆开，如图：然后输入到CNN模型推理3-D信息。

这个CNN模型用来估计沿着消失点的方向：

结果是这样的：

Vehicle Detection and Pose Estimation for Autonomous Driving (Thesis)，2017

一个博士论文。采用FCN模型训练得到2-D和3-D边框，如图：定义3-D边框的3个方向，即front-bottom, left-bottom, front-left。

3D边框定义如下：8个角点，6个面。

也是路面假设，这是得到3-D边框的关键，下面是图像逆投影公式：

根据逆投影和路面假设，可以先得到3-D边框在路面的位置。下图是3-D边框投影到路面的效果：平行四边形，然后被推理出实际3D边框底部的正方形。

加上估计的物体高度，就得到3-D边框。首先，先估算路面，算法如下：

利用前面提到的，bottom-left line 作为frontal plane 的法向量，然后用front-bottom-left 的点计算front plane；找到frontal plane 和逆投影的交点即得到顶点位置，这样高度就得到了。

一些结果展示：包括顶视图

Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monocular image，CVPR，2017

MANTA是Many-Tasks的意思。完全通过CNN模型估计多个信息，如图展示的结果：检测, 部件定位, 可视性 和3D尺寸大小。

车辆模型的定义：wireframe模型比较复杂，不过能推理出遮挡的部件。

定义的车辆模版如图：这是一个半自动的标注工程。

MANTA的系统框图：CNN模型，region proposal network为先，之后修正两次，分别是proposal改进和2-D边框估计，最后NMS优化和3-D边框估计。

Monocular 3D Object Detection for Autonomous Driving，CVPR，2016

比较有开拓性的CNN模型做3-D检测的工作。如图介绍系统如何产生3-D边框的proposal：仍然有路面假设，有各种信息，包括分割，2D边框，上下文，形状，位置等等。

采用的CNN模型结构对3-D边框的proposal打分：

打分的公式是：包括什么提到的各种信息term

结果展示：

Joint SFM and Detection Cues for Monocular 3D Localization in Road Scenes，CVPR，2015

NEC Lab早些的工作，给出的系统框图如下：将SFM和检测结合起来。

3-D定位物体是有假设路面的前提，首先看坐标系的定义如下图：

而2-D边框的底部可以通过路面假设反投到3-D空间：

下图是物体的SFM部分：

整个定位输出如图这样：其中右下角顶视图有激光雷达ground truth显示为红色。

Are Cars Just 3D Boxes? – Jointly Estimating the 3D Shape of Multiple Objects，CVPR，2014

也比较旧的论文，下图展示该系统通过shape modeling得到更精确的3-D定位：

根据路面假设和occlusion mask的3-D景物模型：

产生Scene particles，然后推理最后的deformable shapes，如图算法：

一些结果如图：

Monocular Visual Scene Understanding: Understanding Multi-Object Traffic Scenes，CVPR，2012

更早的论文，系统示意图如下：有路面假设的景物模型，有遮挡推理模型，有跟踪，有分割；HMM做跟踪算法，MCMC方法做推理。

下图是路面假设下的车载坐标系和世界坐标系的关系：

这里介绍的是车载摄像头的旋转：

目标距离的估计类似Mobileye，如图：