本文内容来源于《测绘学报》2023年第2期（审图号GS京（2023）0422号）

点-线特征联合的全景图像位姿解算方法

朱宁宁, 杨必胜, 陈驰, 董震

武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉 430079

基金项目：国家杰出青年科学基金（41725005）；国家自然科学基金（42101446；42071451）；测绘遥感信息工程国家重点实验室专项科研经费资助；中国博士后科学基金（2022T150488）

摘要：目前，全景图像位置和姿态参数的解算多基于点特征，而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法，不仅可用于点特征缺失场景中全景图像位姿参数的解算，而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示，不要求全景图像和三维场景同名线上的选点具有对应关系，因而易于选取，具有极大的实用性。首先，使用直接线性变换构建点-线特征联合的全景图像位姿解算模型，并针对水平线和垂直线获取简化后的模型；然后，利用仿真道路场景，从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性，并通过人工引入不同类型及量级的点-线误差分析该模型的容差性；最后，将本文方法应用于全景图像与激光点云的融合，从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。

关键词：全景图像 点-线特征联合 位姿解算 仿真分析 全景图像与激光点云融合

引文格式：朱宁宁, 杨必胜, 陈驰, 等. 点-线特征联合的全景图像位姿解算方法[J]. 测绘学报，2023，52(2)：218-229. DOI: 10.11947/j.AGCS.2023.20210565

ZHU Ningning, YANG Bisheng, CHEN Chi, et al. Position-attitude calculation of panoramic image based on point-line feature combination[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(2): 218-229. DOI: 10.11947/j.AGCS.2023.20210565

阅读全文：引 言

全景图像能够反映摄影位置360°球型范围内的所有景致，在无人驾驶、街景地图和虚拟现实(VR)等领域有广泛的应用[1-5]。将全景相机中不同方向镜头采集的普通或鱼眼图像进行投影变换，如球面投影、柱面投影，通过拼接可获取全景图像[6-11]。全景图像的位置和姿态参数是后期目标定位、场景重建等工作的前提，因此，准确、稳健地获取全景图像的位姿参数是一项基础且关键的工作[12-13]。

文献[14]研究了基于车载全景相机的影像自动匹配和光束法区域网平差，对全景相机所能达到的定位精度做了详细的分析；文献[15]对广泛使用的5点法相对定向算法[16]进行改进，使其适用于球面全景影像，并提出一种适合球面全景成像特点的相对定向计算流程，试验表明相对定向解算的姿态和平移参数能够达到较高的精度；文献[17]根据多镜头组合型全景相机的严格成像机理，分析了广泛采用的全景理想成像模型系统误差的来源，推导出误差分布规律，并深入比较了严格成像模型和理想成像模型之间的差异；文献[18]指出多镜头图像变换拼接全景图像会破坏成像中的共线条件，使拼接后的全景图像难以精确进行摄影测量中的三维重建等工作，并通过仿真试验详细分析了姿态误差和位置误差对柱面全景成像的影响。

在影像位姿参数的解算中，线特征具有很好的优化作用[19-24]。文献[19]通过提取建筑物边缘的直线特征作为配准基元，利用LiDAR点云空间中的线特征替代传统配准模型中的点特征，实现高分辨率航空影像与机载激光雷达的一步配准；文献[20]利用高精度的规则化道路矢量线，解算新的影像外方位元素，实现机载激光雷达数据和高分辨率航空影像自动配准；文献[21]通过提取建筑物顶面的线特征，实现了无人机影像与激光点云的粗配准，削弱现有配准方法对惯导系统输出值的依赖；文献[22]利用从全景图像和激光点云中提取的天际线特征，通过迭代优化的方式实现天际线的最优匹配，从而获取全景图像精确的位姿参数，但并未给出基于线特征的全景图像位姿解算模型。

综上所述，目前线特征在航空影像的位姿解算中得到了较为广泛的应用，但全景图像的位姿解算仍多基于点特征，而真实场景中普遍存在的线特征尚未得到充分利用，如建筑物轮廓、杆状地物等，且缺少点-线特征联合的全景图像位姿解算模型。因此，本文提出一种点-线特征联合的全景图像位姿解算方法，其中，点特征可直接计算位置和姿态参数，线特征可对姿态参数进行约束，将点-线特征结合有利于提高全景图像位姿解算的精度和稳健性。本文方法流程如图 1所示。

图 1 本文方法流程Fig. 1 Method flow of this paper图选项

1 点-线特征联合的全景图像位姿解算模型

本节首先论述基于点特征的全景图像位姿解算模型(简称“点模型”)；其次，研究基于线特征的全景图像位姿解算模型(简称“线模型”)；然后，构建点-线特征联合的全景图像位姿解算模型(简称“联合模型”)，并针对水平线和垂直线这两类特殊的线特征，获取简化后的联合模型；最后，给出联合模型的精度评价指标。

1.1 点模型

根据几何成像模型的不同，全景图像可分为球面全景图像、柱面全景图像和立方体全景图像等，目前最常用的是球面全景图像，如图 2所示，球面模型分别以竖直角(v)和水平角(h)表示全景图像的行和列坐标，属于等角投影成像。

图 2 全景图像的位置和姿态参数Fig. 2 The position and attitude parameters of panoramic image

图选项

球面全景图像的成像模型如式(1)所示[25]

(1)

式中，r、c为地物点p(x, y, z)在全景图像上的行和列坐标；R为全景图像的成像姿态矩阵，由姿态参数(ex, ey, ez)构成；(XS, YS, ZS)为全景图像的成像位置；D为弧度和像素之间的转换参数，单位为像素/rad。式(1)中

(1) 对式(1)适当变换可得到点模型，如式(2)所示

(2)

式中，v、h为地物点(x, y, z)在全景图像上的俯仰角和水平角。其中，v=r/D，h=c/D。

(2) 在点模型中，令r′=tan h，c′=tan v/cos h，则式(2)可表示为

(3)

式中，(a1、b1、c1、a2、b2、c2、a3、b3、c3)为姿态矩阵R中的参数，即。

(3) 使用直接线性变换(DLT)方法解算式(3)中的姿态矩阵R和位置参数(XS, YS, ZS)，如式(4)所示

(4)

式中，li(i=1, 2, …, 11)是内外方位元素的表达式。li、r1、r2、r3的计算公式为

则点模型可表示为

(5)

式中，G、X、W的计算公式如下

点模型中的待求解矩阵X包含11个参数(l1, l2, …, l11)，因此至少需要6对同名特征点(p≥6)进行解算。在计算出X后，由式(6)求解姿态矩阵R和位置参数(XS, YS, ZS)

(6)

式中，γ2、Rv的计算公式如下

1.2 线模型

线模型是使用同名特征线求解成像参数，由于三维空间中直线上的任意两点p1(x1, y1, z1)、p2(x2, y2, z2)与全景图像中对应直(曲)线上的任意两点pm(rm, cm)、pn(rn, cn)满足共面条件，线模型不要求点对满足对应关系。三维空间中直线上任意两点p1、p2和成像位置(XS, YS, ZS)的共面方程可表示为

(7)

(1) 对式(3)进行变换可得

(8)

式中，λ1和λ2为两个常数，R-1为姿态矩阵R的逆矩阵；与上文相同，(r′1, c′1)、(r′2, c′2)分别由地物点p1、p2在全景图像中的平面坐标计算获得。

(2) 根据共面特性，使用pm(rm, cm)和pn(rn, cn)分别替换p1和p2，将式(8)代入式(7)，行列式乘以R并剔除不影响计算的常数λ1、λ2，则式(7)可表示为

(9)

式中，Δx、Δy、Δz的计算公式如下

(3) 将式(9)展开计算可得

(10)

式中，Δr、Δc、k的计算公式如下

则线模型可表示为

(11)

式中，Q、U的计算公式如下

式(11)为t条线组成的线模型，该模型为奇次方程，无法单独求解，必须结合点模型进行解算；此外，该模型中l4和l8的系数为0，其余未知参数的系数不为0，表明线特征主要用于约束姿态参数。

1.3 联合模型

综合点特征和线特征的全景图像位姿解算模型，可得点-线特征联合的全景图像位姿解算模型，如式(12)所示

(12)

式(12)为p对同名点和t对同名线组成的联合模型，点模型为非齐次方程，线模型为齐次方程，两者结合的点-线联合模型为非齐次方程。在联合模型的求解中，要求2p+t≥11，为保证有非零解，p≥1。在平差求解出X后，可由式(6)计算姿态矩阵R和位置参数(XS, YS, ZS)。

针对垂直线特征，即Δx=Δy=0，联合模型可简化为

(13)

针对水平线特征，即Δz=0，联合模型可简化为

(14)

式中，vi表示水平线的斜率，计算公式如下

在垂直线简化的联合模型中，线特征仅Δr、Δc和k未知，3个变量只与全景图像的坐标相关，与三维场景坐标无关，因此在实际应用中具有极大的实用性。

1.4 联合模型的精度评价

由全景图像的姿态矩阵R可计算(ex, ey, ez)，此时位姿参数均已得到。但应指出，DLT解算方法本身的缺陷会对位姿参数求解的精度产生影响，理论上6个未知参数(ex, ey, ez, XS, YS, ZS)至少需要3对控制点求解，但本文中使用的DLT解法至少需要6对控制点解算，或者同时满足2p+t≥11 & p≥1。此外，使用检查点对联合模型的精度进行评价，在解算出X后无须计算(ex, ey, ez)和(XS, YS, ZS)，可将其直接代入式(4)中计算(r′, c′)，并由式(15)获取检查点在全景图像中的俯仰角和水平角(v′, h′)

(15)

使用式(16)计算各个检查点的模型误差(δi)和模型求解中误差(δ)，δ为联合模型的精度评价指标

(16)

式中，ri、ci为检查点在全景图像中的真实行、列坐标；r′i、c′i为由式(15)计算出的检查点在全景图像中的投影坐标，r′i=v′D，ci′=h′D；m为检查点的个数。

2 联合模型的仿真分析

使用仿真数据检验联合模型的适用性和容差性。首先，仿真道路场景点云，由此可获取不同位姿参数下的虚拟全景图像；然后，从特征点和线的不同组合方式以及大姿态角两方面分析联合模型的适用性；最后，通过人工引入不同类型与量级的点-线误差分析该模型的容差性。

2.1 仿真道路场景

仿真的道路场景以路面中轴线为基准，分别生成道路、路边护栏、道旁树和建筑物4种地物的点云，约300万点，为了易于分析，将建筑物和道路等面状地物使用格网表达[26-29]。如图 3所示，路面长度和宽度分别为900和24 m，以路面作为高程基准，护栏高度为2 m，树木高度位于8~12 m，建筑物高度位于20~50 m，将各条线的交点作为控制点或检查点，如建筑物角点、路面格网交点等。图 3(a)、(b)分别从不同视角展示了仿真点云，图 3(c)为该场景下生成的虚拟全景图像(2000×4000像素，D=2000/π像素/rad，下同)，成像位置在道路中间距路面3 m高度处，其中的黑色方块表示特征点，场景中共有1608个特征点，任意两个特征点构成特征线。

图 3 仿真道路场景Fig. 3 Simulation of road scenes图选项 2.2 联合模型的适用性分析

(1) 特征点和线的组合方式分析。联合模型要求特征点和线的组合必须满足两个条件：2p+t≥11和p≥1，在特征点和线最少条件下检验该模型的适用性，分别试验2点+7线、3点+5线、4点+3线和5点+1线这4种组合方式，由于特征点的数量均小于6个，点模型无法使用(p≥6)。将全景成像的姿态参数(ex, ey, ez)设为(1.0°, -2.0°, 3.0°)，位置参数(XS, YS, ZS)设为(300.0 m, 400.0 m, 3.0 m)。场景中共有1600多个特征点，选取与成像位置平面距离小于100 m的特征点共136个，再从中随机选取特征点分别构建4种特征点和线的组合，特征线由随机选取的两个特征点组成，为避免偶然误差，每种组合进行10次试验，取平均误差作为最终精度评价指标。图 4(a)—(d)分别展示了4种组合下特征点和线的分布，红色数字与对应的红色方块为选取的特征点(图 4(a)中1~2)；黑色数字与对应的黑色连线为特征线(图 4(a)中1~7)。使用136个特征点进行模型精度评价，经过10次试验取平均值的方式，结果表明4种组合下模型误差均为0像素，由此证明联合模型在不同特征点和线组合情况下的适用性，同时也表明联合模型可用于点特征缺失场景中全景图像位姿参数的解算。

图 4 特征点和线的不同组合方式Fig. 4 Different combinations of feature points and lines

图选项

(2) 大姿态角分析。使用2点+7线的组合方式，检验联合模型在大姿态角情况下的适用性。如图 5(a)—(d)所示，分别试验(a)ex=30°, ey=0°, ez=0°；(b)ex=0°, ey=30°, ez=0°；(c)ex=0°, ey=0°, ez=30°；(d)ex=30°, ey=30°, ez=30°这4种大姿态角情况，由于仅选取2个特征点，无法使用点模型进行求解。将全景成像的位置参数(XS, YS, ZS)均设为(300.0 m, 400.0 m, 3.0 m)，特征点和特征线的选择方法跟上文一致，且每种情况仍随机进行10次试验，取平均误差作为评价指标。使用136个特征点进行模型精度评价，结果表明4种大姿态角情况下联合模型误差均为0像素，由此证明了联合模型在大姿态角情况下的适用性。

图 5 不同情况的大姿态角分析Fig. 5 Analysis of large angle under different conditions

图选项

2.3 联合模型的容差性分析

为定量获取联合模型在不同类型及量级误差下的精度指标，同时证明联合模型在准确性和稳健性上优于点模型，本文从全景图像坐标误差和三维场景坐标误差两方面对联合模型进行容差性分析。由于点模型至少需要6个特征点进行解算，为综合比较点模型和联合模型，见表 1，试验中对多控制点(p=10)、均控制点(p=6)和少控制点(p=5) 3种情况分别添加1~3条垂直线，并附加不同量级的两类误差，来验证联合模型的容差性优于点模型。在实际应用中，建筑物轮廓线、灯杆等地物通常符合垂直线特征，垂直线的使用无须从三维场景中选取线特征，仅从全景图像中获取线上任意两点的坐标，可以在工作量增加最少的前提下取得最优的解算效果，因此试验中选取垂直线代表线特征。表 1列出了全景图像坐标误差分别为0、0.5、1.0、2.0、3.0、4.0和5.0像素的7种情况，三维场景坐标误差分别为0.05、0.10、0.20和0.50 m的4种情况下各组试验的结果。特征点和线在三维场景和全景图像中的分布会影响解算结果[30]，为削弱随机选取的影响并分析联合模型的稳健性，每组试验10 000次，将模型中误差δ大于100像素的试验视为失败试验，表 1中v表示试验的失败率(%)，δ表示成功试验的平均误差(像素)，*表示不满足模型解算要求。图 6和图 7分别为表 1中全景图像和三维场景坐标误差试验结果的图形化展示。

表 1 垂直线辅助的联合模型精度与可靠性分析Tab. 1 Accuracy and reliability analysis of vertical line assisted point line joint pose solution model

表选项

图 6 全景图像坐标误差分析Fig. 6 The Error analysis of panoramic image

图选项

图 7 三维场景坐标误差分析Fig. 7 The error analysis of scene points

图选项

由表 1、图 6和图 7可得出以下6条结论：

(1) 在多控制点情况下(p=10)，点模型和联合模型均可高精度地解算出全景图像的位姿参数。分析全景图像坐标误差(一类误差)的影响，平均误差δ随一类误差的增大近似线性增加(图 6(a))，垂直线可以降低δ，但优化幅度小于2像素；垂直线同时也降低了解算失败率v(图 6(d))，随着一类误差的增大，垂直线的优化效果愈加明显，且v始终接近于0，表明垂直线可以提高解算的精度和稳健性。分析三维场景坐标误差(二类误差)的影响，垂直线对δ没有影响(图 7(d))，但可以小幅降低v(图 7(a))。

(2) 在均控制点情况下(p=6)，分析一类误差的影响，垂直线可以大幅度降低δ(图 6(b))和v(图 6(e))，随着一类误差的增加，优化效果越好，当一类误差为5像素、3条垂直线辅助时，δ和v分别降低了约15像素和28%，表明垂直线可以提高解算的精度和稳健性。分析二类误差的影响，垂直线对δ没有影响(图 7(d))，但可以降低v(图 7(b))，且优化效果不受二类误差大小的影响，优化幅度均在4%左右，表明垂直线可以提高解算的稳健性。

(3) 在控制点少于解算要求的情况下(p < 6)，单独使用点模型无法求解，必须加入线特征。当p=4时，加入垂直线依然无法求解；当p=5时，加入垂直线可以求解。分析一类误差的影响(图 6(c)、(f))，2~3条垂直线的效果明显优于单条垂直线，大幅度降低了δ和v，当一类误差为5像素时，3条垂直线相比于1条垂直线，δ和v分别降低了约14像素和27%，表明垂直线不仅可用于控制点缺失场景下位姿参数的解算，而且多条垂直线的优化效果明显优于单条垂直线。分析二类误差的影响，多条垂直线对δ没有影响(图 7(d))，但多条垂直线相比于单条垂直线可以降低v(图 7(c))，优化效果不受二类误差大小的影响，优化幅度均在5%左右，表明多条垂直线的稳健性优于单条垂直线。

(4) 不同量级(0.5~5.0像素)的一类误差试验表明，两条垂直线效果优于1条垂直线，3条垂直线效果与两条垂直线相似，不同数量垂直线的加入均优化了解算结果。

(5) 二类误差对位姿参数求解精度的影响只与二类误差本身大小相关，与点和垂直线的数量无关(图 7(d))。当二类误差等于0.1 m时，δ约为5.5像素；0.2 m时，δ约为11.0像素，两者近似线性相关。

(6) 综上可知，无论是一类误差还是二类误差，无论是多控制点、均控制点还是少控制点，每种情况10 000次试验的结果表明，理论上联合模型在精度、稳健性和容差性等方面优于常用的点模型。

3 点-线特征联合全景图像位姿解算方法的应用

点-线特征联合的全景图像位姿解算方法可应用于全景图像与激光点云的融合，使用真实场景的车载激光点云和两幅全景图像进行试验，同时验证点-线特征联合的位姿解算方法优于单纯的点特征解算方法[31]。图 8展示了真实场景的激光点云，约1800万点，包含建筑物、路灯和道旁树等地物，道路长度约为500 m，场景中的建筑物轮廓、灯杆等可提供垂直线信息。图 9为该场景中采集的两幅全景图像(4096×8192像素)，分别为全景图像Ⅰ和Ⅱ，两幅全景图像中各选取了两条垂直线。

图 8 真实场景的激光点云Fig. 8 LiDAR points in real scene

图选项

图 9 真实场景的全景图像及其垂直线信息Fig. 9 The panoramic image and vertical line in real scene

图选项

从激光点云和全景图像中手动选取同名特征点，全景图像Ⅰ和Ⅱ中各选取了20对同名点，此外分别从两幅全景图像中选取两条垂直线。在联合模型中，无须从激光点云中选取垂直线上的特征点，仅从全景图像中选取垂直线上、下两端点的图像坐标。为避免点位分布的影响，从20对特征点中随机选取p=6、10对点，分别进行500次有垂直线(δa)和无垂直线(δb)的试验，每次试验均使用20对特征点进行精度评价。将500次试验的结果划分为4个等级，即强优化(δa≪δb)、弱优化(δa < δb)、弱退化(δa>δb)和强退化(δa≫δb)，在此以|δa-δb|>5像素作为强弱区分指标。

如表 2所示，在均控制点情况下(p=6)，两条垂直线的加入可以极大地优化点特征解算方法，两幅全景图像的优化率均在90%左右，且强优化率在70%左右，远远大于弱优化率的20%左右；在多控制点情况下(p=10)，两幅全景图像的优化率均在75%左右，且弱优化率大于强优化率，表明在控制点较多的情况下，垂直线的加入仍然可以优化融合效果，但不如控制点较少的情况下明显。试验中出现的少量弱退化和极少数强退化的原因，首先是全景图像与激光点云的融合精度跟特征点的空间分布有关，当随机选择的特征点过于集中，会导致融合出现较大偏差，即使附加垂直线也不能达到优化效果；其次，全景图像本身存在拼接误差，特征点的选取若位于拼接误差较大的区域也会影响融合结果，导致垂直线特征辅助作用的削弱。图 10展示了使用点-线特征联合的全景图像位姿解算方法，实现全景图像与激光点云融合的局部效果，图中的黑色点为激光点云。

表 2 点-线特征联合全景图像位姿解算方法的应用分析Tab. 2 Application analysis of position and attitude calculation based on point-line feature combination (%)

表选项

图 10 全景图像(局部)与激光点云的融合Fig. 10 The fusion of panoramic image (local) and LiDAR points

图选项

4 结 论

本文提出了一种点-线特征联合的全景图像位姿解算方法，通过仿真道路场景证明了该方法具有优异的适用性和容差性，将该模型应用于全景图像与激光点云的融合，从理论和实践两方面证明了点-线特征联合的位姿解算方法优于单纯的点特征解算方法。本文的结论如下：①点-线特征联合的全景图像位姿解算方法中，使用线上的任意两点表示线特征，且不要求选点具有对应关系，因此易于选取，具有较高的实用性；②点-线特征联合的全景图像位姿解算方法适用于任意姿态角下全景成像位姿参数的解算，具有极大的适用性；③点-线特征联合的全景图像位姿解算方法在精度、稳健性和容差性等方面优于常用的点特征解算方法。

作者简介

第一作者简介：朱宁宁(1988-), 男, 博士后, 研究方向为摄影测量与遥感。E-mail: ningningzhu@whu.edu.cn

通信作者：杨必胜，E-mail：bshyang@whu.edu.cn

初审：张艳玲复审：宋启凡
终审：金 君

资讯