特斯拉自动驾驶技术解析

　　自动驾驶无疑是目前汽车圈儿里最常见的讨论话题了，特斯拉刚刚推出的全自动驾驶硬件更是把这个话题炒得火热，这次全自动驾驶梦想似乎离我们更近了一步。

　　硅谷出来的公司总喜欢搞“硬件先行，软件升级”，苹果如此，强制更新的微软也不例外，特斯拉也一样。在推出V7.0 OTA空中升级包固件后，特斯拉将获得前所未有科技功能——自动驾驶，必须强调的事：特斯拉的自动驾驶技术≠无人驾驶，并且如同苹果手机升级新系统一样，升级这个功能是有前提条件的。

　　说起特斯拉，大家可能立马会想到16年5 月份发生在特斯拉 Model S 自动驾驶上的一宗夺命车祸。初步的调查表明，在强烈的日照条件下，驾驶员和自动驾驶系统都未能注意到牵引式挂车的白色车身，因此未能及时启动刹车系统。而由于牵引式挂车正在横穿公路，且车身较高，这一特殊情况导致 Model S 从挂车底部通过时，其前挡风玻璃与挂车底部发生撞击，导致驾驶员不幸遇难。

　　无独有偶，同年8月国密苏里州的一名男子、特斯拉 Model X 车主约书亚•尼利（Joshua Neally）在上班途中突发肺栓塞。在 Model X 的 Autopilot 自动驾驶功能的帮助下，他安全抵达了医院。这「一抑一扬」着实让人回味无穷，略有些「败也萧何，成也萧何」之意。

　　

　　今天，我们就来谈谈自动驾驶系统中的一项重要核心技术——图像语义分割（semantic image segmentation）。图像语义分割作为计算机视觉（computer vision）中图像理解（image understanding）的重要一环，不仅在工业界的需求日益凸显，同时语义分割也是当下学术界的研究热点之一。

　　什么是图像语义分割？

　　图像语义分割可以说是图像理解的基石性技术，在自动驾驶系统（具体为街景识别与理解）、无人机应用（着陆点判断）以及穿戴式设备应用中举足轻重。

　　我们都知道，图像是由许多像素（pixel）组成，而「语义分割」顾名思义就是将像素按照图像中表达语义含义的不同进行分组（grouping）／分割（segmentation）。下图取自图像分割领域的标准数据集之一 PASCAL VOC。其中，左图为原始图像，右图为分割任务的真实标记（ground truth）：红色区域表示语义为「person」的图像像素区域，蓝绿色代表「motorbike」语义区域，黑色表示「background」，白色（边）则表示未标记区域。

　　显然，在图像语义分割任务中，其输入为一张 H×W×3 的三通道彩色图像，输出则是对应的一个 H × W 矩阵，矩阵的每一个元素表明了原图中对应位置像素所表示的语义类别（semantic label）。因此，图像语义分割也称为「图像语义标注」（image semantic labeling）、「像素语义标注」（semantic pixel labeling）或「像素语义分组」（semantic pixel grouping）。

　　

　　从上图和题图中，大家可以明显看出图像语义分割任务的难点便在于这「语义」二字。在真实图像中，表达某一语义的同一物体常由不同部件组成（如，building，motorbike，person 等），同时这些部分往往有着不同的颜色、纹理甚至亮度（如building），这给图像语义的精确分割带来了困难和挑战。

　　前 DL 时代的语义分割

　　从最简单的像素级别「阈值法」（thresholding methods）、基于像素聚类的分割方法（clustering-based segmentation methods）到「图划分」的分割方法（graph partitioning segmentation methods），在深度学习（deep learning， DL）「一统江湖」之前，图像语义分割方面的工作可谓「百花齐放」。在此，我们仅以「normalized cut」［1］和「grab cut」 ［2］这两个基于图划分的经典分割方法为例，介绍一下前 DL 时代语义分割方面的研究。

　　Normalized cut （N-cut）方法是基于图划分（graph partitioning）的语义分割方法中最著名的方法之一，于 2000 年 Jianbo Shi 和 Jitendra Malik 发表于相关领域顶级期刊 TPAMI。通常，传统基于图划分的语义分割方法都是将图像抽象为图（graph）的形式 G=（V，E） （V 为图节点，E 为图的边），然后借助图理论（graph theory）中的理论和算法进行图像的语义分割。

　　常用的方法为经典的最小割算法（min-cut algorithm）。不过，在边的权重计算时，经典 min-cut 算法只考虑了局部信息。如下图所示，以二分图为例（将 G 分为不相交的 ， 两部分），若只考虑局部信息，那么分离出一个点显然是一个 min-cut，因此图划分的结果便是类似 或 这样离群点，而从全局来看，实际想分成的组却是左右两大部分。

　　

　　针对这一情形，N-cut 则提出了一种考虑全局信息的方法来进行图划分（graph partitioning），即，将两个分割部分 A，B ， 与全图节点的连接权重（assoc（A，V） 和 assoc（B，V））考虑进去：

　　如此一来，在离群点划分中，中的某一项会接近 1，而这样的图划分显然不能使得是一个较小的值，故达到考虑全局信息而摒弃划分离群点的目的。这样的操作类似于机器学习中特征的规范化（normalization）操作，故称为normalized cut。N-cut不仅可以处理二类语义分割，而且将二分图扩展为 K 路（ -way）图划分即可完成多语义的图像语义分割，如下图例。

　　

　　Grab cut 是微软剑桥研究院于 2004 年提出的著名交互式图像语义分割方法。与 N-cut 一样，grab cut 同样也是基于图划分，不过 grab cut 是其改进版本，可以看作迭代式的语义分割算法。Grab cut 利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的前后背景分割结果。

　　在 grab cut 中，RGB 图像的前景和背景分别用一个高斯混合模型（gaussian mixture model， GMM）来建模。两个 GMM 分别用以刻画某像素属于前景或背景的概率，每个 GMM 高斯部件（gaussian component）个数一般设为 。

　　接下来，利用吉布斯能量方程（gibbs energy function）对整张图像进行全局刻画，而后迭代求取使得能量方程达到最优值的参数作为两个 GMM 的最优参数。GMM 确定后，某像素属于前景或背景的概率就随之确定下来。

　　在与用户交互的过程中，grab cut 提供两种交互方式：一种以包围框（bounding box）为辅助信息；另一种以涂写的线条（scribbled line）作为辅助信息。以下图为例，用户在开始时提供一个包围框，grab cut 默认的认为框中像素中包含主要物体／前景，此后经过迭代图划分求解，即可返回扣出的前景结果，可以发现即使是对于背景稍微复杂一些的图像，grab cut 仍有不俗表现。

　　

　　不过，在处理下图时，grab cut 的分割效果则不能令人满意。此时，需要额外人为的提供更强的辅助信息：用红色线条／点标明背景区域，同时用白色线条标明前景区域。在此基础上，再次运行 grab cut 算法求取最优解即可得到较为满意的语义分割结果。grab cut 虽效果优良，但缺点也非常明显，一是仅能处理二类语义分割问题，二是需要人为干预而不能做到完全自动化。

　

　　其实大家不难看出，前 DL 时代的语义分割工作多是根据图像像素自身的低阶视觉信息（low-level visual cues）来进行图像分割。由于这样的方法没有算法训练阶段，因此往往计算复杂度不高，但是在较困难的分割任务上（如果不提供人为的辅助信息），其分割效果并不能令人满意。

　　在计算机视觉步入深度学习时代之后，语义分割同样也进入了全新的发展阶段，以全卷积神经网络（fully convolutional networks，FCN）为代表的一系列基于卷积神经网络「训练」的语义分割方法相继提出，屡屡刷新图像语义分割精度。下面就介绍三种在 DL时代语义分割领域的代表性做法。