文 | 爱嘤斯坦丁

编辑 | 爱嘤斯坦丁

«——【·前言·】——»

无人机在获取空间数据方面的应用越来越普遍，被称为无人机系统（UAS）。这是由于它的经济成本低，而且灵活性高。UAS图像已用于各种应用程序，涵盖广泛的主题，例如三维重建和建模，城市变化检测，移动三维制图以及灾后监督和分析。

在这些应用程序中，数字三维建模通过提供地表概述的方式，为空间数据处理和解释带来现代影响。除了顶视图像外，UAS最重要的能力之一是捕捉来自不同视角的图像。通过这些UAS斜视图像，对于空间应用和分析来说，3D模型重建变得更加全面。

«——【·摄影测量学和计算机视觉中的针孔模型·】——»

在将3D物体点投影到2D图像平面上时，摄影测量学和计算机视觉社区都使用针孔相机模型。如图所示，这两种模型都基于光线追踪，通过相机中心（C）将3D物体点放置在2D图像的特定位置。

针孔相机模型在（a），采用度量坐标系的摄影测量学和（b）采用传感器，定义坐标系的计算机视觉中。

计算机视觉采用以传感器本身为定义的传感器系统，像素数量是测量单位，如上图的（b）所示。在这两个插图中，相机中心的EOPs、2D图像特征和3D物体点的三个元素通过针孔相机模型空间连接在一起。

下表总结了两个社区在光学图像处理方面的常见术语。

摄影测量学利用共线条件，描述了三维点在平面图像上的投影。共线条件引入了一组双重方程，用于表达由外方位元素和三维物体点P（X，Y，Z）解释的图像点p（x，y）。三个旋转角形成由九个元素构成的旋转矩阵，如以下公式所示：

相机的外方位元素组成一个联合矩阵，其中M是一个3×3的旋转矩阵，t是一个位置向量。与摄影测量学不同，计算机视觉方法中的所有元素，都是由传感器定义的坐标来衡量的。

通常不需要进行初始估计和迭代，与摄影测量学方法相比，结果可能不够准确。经典的数学模式由以下公式表示。

«——【·特征点匹配的增量式结构光成像·】——»

这里提出了一种基于特征的增量式结构光成像方法，包括首先选择立体图像对、图像对组合和错误图像对修正等内容。

下图描述了使用未知相机姿态系列，倾斜无人机图像进行3D重建的工作流程。

基于特征的增量式结构光成像（fi-SfM）和3D建模的工作流程

为了找到具有最高相关性的图像对，需要对每个图像进行特征匹配，包括第一组立体图像。对于在下图中显示的顺序数据集，可能会有多个具有最高相关性的图像（例如，左右相邻），这可能导致两个立体模型。

图像序列、相似度和空间连接

这样的过程可以在向系统添加新图像时进行处理，其中一些图像已经被空间链接。以上图为例，可以通过图像(k)的2D和3D点，以及解来估计图像(k-1)的EOP，确定第一对图像后，再使用它们的位置向量t（k-1）和t（k），来计算图像k-1和k的基线。如果基线的长度超过阈值，则将引入这个新图像到建模系统中。

通过查找离散图像对，可以重新组合由图像k-1和k+1组成的新图像对，因为图像k和k+1已经可用，而图像k和k-1是相关联的。对于这个改进的图像对，如果基线仍然小于阈值，则认为图像(k-1)不适合3D重建并被排除。

这种fi-SfM方法有两个重要的特征：（1）模型尺度是任意和未知的，由齐次坐标和本质矩阵调用，（2）所得到的所有相机EOP相对于参考图像。

尽管修改后的fi-SfM方法可以将图像进行空间链接，自动更新图像对并丢弃不合适的数据，但误差传播的影响不能被忽略。为进一步增强鲁棒性，我们采用了捆绑调整，来通过最小化完整的投影误差，来微调所有EOP和3D点。

以下方程表示捆绑调整计算，假定在m个视图中可以看到n个3D点。在该方程中，p_i,j表示第i个3D点在图像j上的测量值。

同时，令g表示二进制变量，如果第i个3D点在图像j上可见，则g等于1，否则为0。投影模型记作Q，预测3D点（P_i）在可见的图像上的投影，相机方向被参数化为a_j (= K[M|t]_j)。

基于预测值和2D测量值，Levenberg-Marquardt（LM）和最小二乘解，同时用于优化摄像机方向和稀疏的3D点。

«——【·稠密点云生成·】——»

下图展示了另一种基于单应性矫正的方法，它通过使用相对定向参数，方程中定义的两个摄像机的相对位置，来平移和旋转两幅基础图像。

利用相对相机姿态进行极线矫正

在此方程中，相对旋转矩阵MR，通过两个旋转矩阵M1和M2获取，并且基线（B）向量通过两个位置，向量t1和t2以及M1计算而得。实施单应性矫正还需遵循两个原则：

1.将两个极点映射到水平轴上的无穷远点（1，0，0）（e1→e′1，e2→e′2）；

2.极线（l1和l2）被扭曲成与基线（e1p1→e′1p′1，e2p2→e′2p′2）平行。

方程式（5）中定义的三个向量h1，h2和h3构成了一个立体对的矫正矩阵。第一个向量h1与基线方向一致，而两个极点也位于此向量上。

第二个向量h2垂直于h1，关于光轴方向进行正交。单位向量h3用于消除歧义，由h1和h2进行叉乘计算得出。

在此方程中，∥B∥表示基线B向量的大小，T表示转置运算符。因此，根据式（5）中的三个向量计算出两个矫正矩阵HT1和HT2，以产生极线视差模型。

在使用SGBM测量沿着特定间隔内，极线上的特征相似性时，视差范围起着重要作用。

如下图所示，视差范围通过起始和末端限制了特征匹配的能力。因此，如果间隔不当，则会导致匹配错误，并且不能实现DSM重建。离散极线立体模型的视差范围各自不同，一个统一的间隔显然不适合于每个立体模型。

(a) 基于像素级操作的半全局匹配；(b) 基于模板操作的半全局匹配；(c) 特征相似度评估的视差范围

在涉及许多特征对的情况下，由以下等式定义的差的最大值具有最大的稠密立体匹配潜力。

为了生成3D点云，传统的多视图立体重建（MVS）会合并多个深度图像，这些图像是通过单张图像，视差图和相机EOP，进行3D投影计算得到的。

从极线立体模型中提取的特征对不能直接使用，因为经过同轴校正后会明显改变图像几何形状。

为了使用从fi-SfM中导出相机EOP，进行空间交会，使用校正矩阵、主点和以下公式将特征对从极线图像重新映射到它们的基础源。可以为生成密集的3D点云，重新计算特征在原始图像中的坐标（u，v）=（u ′/w ′，v ′/w ′）。

由于相机EOP处于相同的坐标系中，可自动合并，每个独立的立体模型获得的点云。最后，使用统计离群点剔除，可以去除无效或不太可能的3D点。

«——【·实验结果、分析和讨论·】——»

以东京工业大学铃潟校区作为研究区域，使用常规飞行路径获取了一系列斜视影像。这些影像是在2014年使用一个简单的UAS平台，装备校准的Canon EOSM-22相机模型拍摄的。

下表总结了相机的IO参数，包括主点、焦距、径向畸变参数A1、A2、A3和离心畸变参数B1和B1。

发现重叠率、空间分辨率，和正射或近垂直影像等辅助信息不可用，为了能够使用这些影像并实现三维重建，从其中一条飞行线中选择了8张斜视图像来测试所设计的方法，如下图所示。

给出了用于空间处理和三维重建的斜视UAS图像

«——【·图像对选择和相机EOPs恢复·】——»

在估计相机的外部参数（EOPs）时，通过相机矩阵（K）对2D坐标进行归一化，以纠正主点偏移和镜头畸变。

下表记录了初步图像对之间的相对图像相似度指数和优化结果，由于原始组合中的基线无效，因此通过提出的跟踪策略，重新组织了两个立体模型，并且不存在丢失数据的情况。

随后，进行平差以优化从fi-SfM导出的所有空间信息。通过相机的EOPs、稀疏的三维点云和立体组合，将总投影误差从12.540像素降低到0.380像素。表中还列出了每个修改后图像对的基线长度，包括平差前和平差后。

可以看出，图像对4和5、5和6以及7和8的基线长度发生了很大变化，表明这些立体模型中仍存在不匹配的情况，并在后期细化过程中进一步发现。该操作可以从图像中移除引起无效三维点的错误匹配，从而使EOPs更加鲁棒。

显示了fi-SfM恢复的飞行路径在进行平差后的可视化效

«——【·数字表面重建·】——»

为了解决稠密立体匹配的问题，特意创建了一个基于极线的立体模型。在摄像机的外部定位元素(EOPs)建立的前提下，通过对之前定义的图像对进行同态矫正，生成了极线立体模型。

下图展示了使用最后一对图像，生成一个极线立体模型的示例。为了验证极线立体模型，将使用SIFT特征匹配技术对两幅图像进行匹配，随机选取了50个样本，以检查它们的y视差。

使用图像对(7和8)生成极线立体模型的示例，用于y视差验证和视差范围估计

通过y视差的均方差(MSE)可得出结果为2.320像素，说明每个特征对都在特定的极线上进行了空间对齐。这个极线立体模型，可以成为稠密立体匹配的基准模型，能够在极线上评估特征相似性。

通过使用每个极线立体模型执行SGBM和WLS滤波器，并将视差图转换为实际匹配点，通过相机的EOPs逐步增加稀疏的三维点云的密度。

如图所示，所定义的图像对导出的重建图像被自动合并，呈现出完整的数字表面模型。

通过有序图像对和相机EOPs重建的DSM。

WLS滤波器能够插值缺失的视差值并生成更多的点云，在可视化中很明显，一些场景的部分是不容易识别的。

本研究使用了两个指标来评估质量，即准确性和完整性。由于数据集中没有野外测量的地面控制点(GCPs)可见，因此绘制了一组虚拟的地面真值作为独立检查点(ICPs)来检查3D模型的完整性。

目前提出了两种解决方案来解决这个问题，第一种是通过手动从用户感兴趣的图像中识别几个点，第二种是通过局部关键点，匹配自动获得这些点。

为了进行完整性评估，特意比较了去除异常值后的两个3D模型。在获取独立检查点(ICPs)后，通过最小欧氏距离确定其在DSM中空间上最接近的点。

由于ICPs是随机选择的，在这种评估中可能只能区分出微小的差别。但是，这种比较表明，采用SGBM与WLS滤波器，密集立体匹配仍然具有增加点云，以实现更完整DSM的能力。

在95%置信区间内的结果

如下图所示，现场测量了六个段以评估DSM的精度。验证数据进一步分为两类，其中四个段占水平距离（X-Y平面），而另外两个段占海拔高度（Z方向）。

将这些因子乘以参考的现场测量距离，以便估计其余段的长度到其真实值。使用测量和估算之间的比较，来评估3D模型的精度。使用SGBM与WLS滤波器重建的DSM用于此目的。

采用现场测量段长度进行精度评估

每个组中的参考段由3D模型中最短的距离固定，其余段的距离估计可以计算并与相应的现场测量进行比较。在得到估算和测量之间的差异后，该实验结果的总体精度为0.235（m）。

通过y-视差的MSE（2.320个像素）可以粗略计算出分辨率，导致图像数据下采样后的GSD约为10.129（厘米），原始图像的可能空间分辨率可由2.532（厘米）近似估计。

«——【·结论·】——»

实验结果表明，增量式SfM能够实现稳健的相机姿态，并指出不适合用于DSM重建的图像。它们可能会造成嘈杂的三维点云，这不适合提出真实的地表。

为验证三维重建的质量，本文利用稀疏伪ICP来评估完整性，并利用现场测量的部分来评估准确性。

通过50个随机ICP计算的完整性率和双尾检验结果表明，除了包含混合像素的场景外，大部分地表都可以成功重建超过90%的程度，这些像素在3D模型中被分离。

准确性验证也说明了DSM的重建是可靠的，可以进一步，应用于瞬时危害调查和快速决策支持服务。在未来的工作中，将包含更多的图像，因为SfM能够将成千上万的图像组合在一起，从而使现实领域的几何约束能够满足不同应用的需求。

参考文献：

1.Aicardi, I., F. Chiabrando, N. Grasso, A. M. Lingua, F. Noardo, and A. Spanó. 2016.

2.Al-Rawabdeh, A., F. He, A. Moussa, N. El-Sheimy, and A. Habib. 2016.

3.Bay, H., T. Tuytelaars, and V. Gool. 2006. “Surf: Speeded up Robust Features.” Computer Vision – ECCV 2006 3951: 404–417.

4.Beder, C., and R. Steffen. 2006. “Determining an Initial Image Pair for Fixing the Scale of a 3d Reconstruction from an Image Sequence.”

5.Birchfield, S., and C. Tomasi. 1998. “A Pixel Dissimilarity Measure that Is Insensitive to Image Sampling.”