点-线特征联合的全景图像位姿解算方法

作者：鱼骨 | 来源：计算机视觉工坊

摘要 目前，全景图像位置和姿态参数的解算多基于点特征，而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法，不仅可用于点特征缺失场景中全景图像位姿参数的解算，而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示，不要求全景图像和三维场景同名线上的选点具有对应关系，因而易于选取，具有极大的实用性。首先，使用直接线性变换构建点-线特征联合的全景图像位姿解算模型，并针对水平线和垂直线获取简化后的模型；然后，利用仿真道路场景，从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性，并通过人工引入不同类型及量级的点-线误差分析该模型的容差性；最后，将本文方法应用于全景图像与激光点云的融合，从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。

关键词 全景图像；点-线特征联合；位姿解算；仿真分析；全景图像与激光点云融合

引言 准确、稳健地获取全景图像的位姿参数是一项基础且关键的工作。目前线特征在航空影像的位姿解算中得到了较为广泛的应用，但全景图像的位姿解算仍多基于点特征，而真实场景中普遍存在的线特征尚未得到充分利用，如建筑物轮廓、杆状地物等，且缺少点-线特征联合的全景图像位姿解算模型。因此，本文提出一种点-线特征联合的全景图像位姿解算方法，其中，点特征可直接计算位置和姿态参数，线特征可对姿态参数进行约束，将点-线特征结合有利于提高全景图像位姿解算的精度和稳健性。

方法 本文方法流程如图1所示。

图1 本文方法流程 1、点-线特征联合的全景图像位姿解算模型 1.1、基于点特征的全景图像位姿解算模型 目前最常用的是球面全景图像，如图2所示，球面模型分别以竖直角(v)和水平角(h)表示全景图像的行和列坐标，属于等角投影成像。

图2 全景图像的位置和姿态参数 点模型可表示为：

式中参数分别为：

其中，r、c为地物点p (x, y, z)在全景图像上的行和列坐标。点模型中的待求解矩阵 X 包含11个参数(l1, l2, …, l11)，因此至少需要6对同名特征点(p ≥6 )进行解算。在计算出 X 后可求解姿态矩阵和位置参数。

1.2、基于线特征的全景图像位姿解算模型 三维空间中直线上任意两点p1、p2 和成像位置( XS, YS, ZS )的共面方程可表示为：

根据共面特性，使用全景图像中对应直(曲)线上的任意两点分别替换p1、p2，可将上式表示为：

其中：

因此，线模型可表示为：

1.3、点-线特征联合的全景图像位姿解算模型

综合点特征和线特征的全景图像位姿解算模型，可得点-线特征联合的全景图像位姿解算模型，如下式所示：

上式为p 对同名点和t对同名线组成的联合模型。在平差求解出X 后,可计算姿态矩阵R 和位置参数( XS, YS, ZS )。 针对垂直线特征，即 Δx=Δy=0，联合模型可简化为：

针对水平线特征，即Δz=0，联合模型可简化为：

式中，vi 表示水平线的斜率，计算公式如下：

1.4、联合模型的精度评价指标 解算出X后获取检查点在全景图像中的俯仰角和水平角(v', h')：

基于下式计算各个检查点的模型误差(δi)和模型求解中误差(δ)，δ为联合模型的精度评价指标：

式中，ri、ci 为检查点在全景图像中的真实行、列坐标，m为检查点的个数。

2、联合模型的仿真分析

使用仿真数据检验联合模型的适用性和容差性。首先，仿真道路场景点云，由此可获取不同位姿参数下的虚拟全景图像；然后，从特征点和线的不同组合方式分析联合模型的适用性；在特征点和线最少条件下检验该模型的适用性，如图3所示分别试验2点+7线、3点+5线、4点+3线和5点+1线这4种组合方式。结果表明4种组合下模型误差均为0像素，由此证明联合模型在不同特征点和线组合情况下的适用性，同时也表明联合模型可用于点特征缺失场景中全景图像位姿参数的解算。

图3 特征点和线的不同组合方式 使用2点+7线的组合方式，检验联合模型在大姿态角情况下的适用性。如图4所示，分别试验4种大姿态角情况。结果表明4种大姿态角情况下联合模型误差均为0像素，由此证明了联合模型在大姿态角情况下的适用性。

图4 不同情况的大姿态角分析 最后，通过人工引入不同类型与量级的点-线误差从全景图像坐标误差和三维场景坐标误差两方面分析该模型的容差性。见表1,试验中对多控制点、均控制点和少控制点3种情况验证联合模型的容差性。 表1 垂直线辅助的联合模型精度与可靠性分析

可得出如下结论： 1）在多控制点情况，点模型和联合模型均可高精度地解算出全景图像的位姿参数。 2）垂直线可以提高解算的精度和稳健性。 3）垂直线不仅可用于控制点缺失场景下位姿参数的解算，而且多条垂直线的优化效果和稳健性明显优于单条垂直线。 4）不同数量垂直线的加入均优化了不同量级(0.5~5.0像素)的一类误差解算结果。 5）二类误差对位姿参数求解精度的影响只与二类误差本身大小相关，与点和垂直线的数量无关。 6）理论上联合模型在精度、稳健性和容差性等方面优于常用的点模型。这里也推荐「3D视觉工坊」新课程《面向三维视觉算法的C++重要模块精讲：从零基础入门到进阶》。

3、点-线特征联合全景图像位姿解算方法的应用
使用真实场景的车载激光点云和两幅全景图像进行试验，验证点-线特征联合的位姿解算方法优于单纯的点特征解算方法。展示了使用点-线特征联合的全景图像位姿解算方法，实现全景图像与激光点云融合的局部效果。

结论 本文提出了一种点-线特征联合的全景图像位姿解算方法，通过仿真道路场景证明了该方法具有优异的适用性和容差性，将该模型应用于全景图像与激光点云的融合，从理论和实践两方面证明了点-线特征联合的位姿解算方法优于单纯的点特征解算方法。本文的结论如下： （1）点-线特征联合的全景图像位姿解算方法中，使用线上的任意两点表示线特征，且不要求选点具有对应关系，因此易于选取，具有较高的实用性； （2）点-线特征联合的全景图像位姿解算方法适用于任意姿态角下全景成像位姿参数的解算，具有极大的适用性； （3）点-线特征联合的全景图像位姿解算方法在精度、稳健性和容差性等方面优于常用的点特征解算方法。

编辑：黄飞