关注“测绘学术资讯”

三角网内插及约束的精细影像点云构建

胡春梅1，夏国芳2，张 旭3，王 伟3，尉丽霞3

(1. 北京建筑大学 测绘与城市空间信息学院，北京 100044；

2. 中国文物信息咨询中心，北京 100029；

3. 山东正元数字城市建设有限公司，山东 烟台 264670)

摘 要：针对目前几何及纹理复杂对象影像建模在点密度方面不能按需获取及边缘精度不高等问题，该文提出了基于均匀同名特征三角网内插及约束的精细点云构建方法。首先以格网形式提取并匹配同名均匀特征点对，构建同名三角网；其次在上述三角网约束下，以三角形重心为条件，以面积作为精细程度的阈值，确定内插重心同名点，同时，对边缘也进行特征提取和高精度匹配；最后应用前方交会方法生成具有需求点密度和高精度边缘特征的三维影像点云。实验证明，该文方法在点云密度和边缘信息上都有一定的优势，提高了对象点云模型的整体精度。

0 引言

随着科技的发展，对象的三维数字化已经在各行各业得到了充分的应用，不同行业对三维重建的精细需求各有不同。诸如文物对象，多以几何结构复杂，纹理信息丰富为特点，表面三维建模对几何和纹理的要求较高。目前，对象表面三维高精度数字化主要有三维扫描[1]和影像三维建模[2]等模式。在三维扫描方面，随着硬件设备的不断创新，数据采集的精度和密度在逐步提高，从地面激光扫描仪、关节臂扫描仪到结构光三维扫描仪，扫描分辨率可达到亚毫米级甚至更高[3]。上述三维扫描设备的价格都比较昂贵，虽然能获得一定分辨率的三维几何模型，但是不能直接获得高分辨率的三维纹理模型，还需要经过高分辨率摄影和贴图来完成，而目前贴图软件普遍存在效率低、配准精度差和纹理接缝等问题[4]。影像建模主要通过对重叠影像的位姿确定和影像密集匹配生成三维几何及纹理模型，建模成本较低，数据获取灵活，可以同时获取几何和纹理模型，从纹理重建角度上讲要优于三维扫描建模的方式，同时，上述两种建模方法都有高精度三维几何特征的特点。

影像位姿的确定在测绘行业被称为空中三角测量，空中三角测量的主要内容是定向点匹配、立体模型生成，模型连接、平差计算等[5]，其理论已经较为完备；影像匹配一直是测绘、计算机视觉行业多年来研究的热点，包括基于灰度的匹配算法，如相关系数匹配、最小二乘匹配等[5]，基于旋转、缩放等不变的特征匹配，如尺度不变换特征变换(scale invariant feature transform,SIFT[6])、仿射不变换特征变换(affine scale invariant feature transform ASIFT[7])、彩色尺度不变变换(color scale invariant feature transform, CSIFT[8])、加速鲁棒特征检测(speeded up robust features, SURF[9])、快速特征点提取和描述(oriented fast and rotated brief, ORB[10])匹配等；在密集匹配方面，文献[11]提出了多视图三维重建方法，文献[12]提出了一种基于规则格网的密集匹配方法，文献[13]采用多匹配基元实现密集匹配，文献[14]提出了基于FAST算法的密集匹配，文献[15]提出了一种融和SIFT匹配与半全局匹配的密集匹配方法，文献[16]等提出了一种SURF和薄板样条算法的密集匹配算法；在匹配策略方面，主要有金字塔约束、视差约束、核线约束等；在匹配的鲁棒性方面，发展了很多种粗差剔除算法，如随机抽样一致性算法(random sample consensus, RANSAC[17])，空间一致性约束[18]，相邻特征点虚拟线光度描述符约束方法[19]，基于局部辐射约束的四特征点结构匹配方法[20]等。基于航空摄影测量和计算机视觉方面的理论，已经形成了很多影像重建和应用产品，比如服务于测绘行业4D产品生产的VirtuoZo、JX4、Pixel Factory等，以及面向影像三维点云重建的ContextCapture、PhotoScan等。

目前比较成熟的三维影像点云重建商业软件在点云分辨率方面主要按照所设置的等级确定，并没有按照在影像能满足的物方分辨率基础上实现按需确定，且三维边缘精度不高[21]，所以，还存在点云密度不能按需获取和边缘精度不能保证的问题。三维扫描仪分辨率由硬件设备决定，而影像点云分辨率可以通过算法实现按需重构。鉴于以上，本文预研究复杂几何及纹理对象的精细影像点云重构方法。为了可以达到影像点云分辨率按需、稳健构建，并能够顾及到边缘信息，本文以同名三角网为基础，以内插三角网中心以同名三角形为匹配约束条件进行密集匹配及点云生成，主要内容包括：①均匀同名特征点匹配及三角网构建；②基于三角网内插及约束的密集点匹配；③边缘特征提取与三角网约束匹配；④精细影像点云生成。通过实验对比分析，验证了本文方法的正确性和可行性。

1 方法

本文主要研究过程为：首先对左影像分网格提取特征点，并以影像位姿参数等为约束，得到均匀同名点，并以此为种子点建立同名三角网；其次，以左影像上的三角形作为匹配单元，内插三角形重心点，以对应的同名三角形和相邻影像间的核线几何作为约束条件，在右影像相应的同名三角形中搜索匹配同名点，不断更新三角网；再次，对左影像进行边缘特征提取，以边缘点所在同名三角形和相邻影像间核线几何为约束条件，得到右影像同名边缘点；最后以某个阈值为三角形内插重心截止条件，结合边缘特征，按需生成密集、精细三维影像点云。具体技术路线如图1所示。

1.1基于Harris算子均匀种子点提取与匹配

在影像匹配前先对影像进行空中三角测量解算，确定每张影像的外方位元素即位姿参数。为了能够获得较均匀的同名特征种子点，本文采用分网格特征提取与匹配的方法构建匹配种子点，并以较均匀的种子点构建三角网为约束来实现三角网内插及匹配。本文选用哈里斯（Harris）算子作为格网点提取方法。Harris算子在特征点提取时仅涉及影像的一阶差分，且特征点的数目可控制，基于此，本文按照一定的格网大小对影像进行划分，计算格网窗口中各个像素点的兴趣值，以窗口中兴趣值的极值点作为特征点，得到影像上均匀分布的特征点。

对上述提取的左影像均匀特征点匹配右影像同名点，本文首先采用单应矩阵计算左影像特征点在右影像上的初始同名点位，单应矩阵是表示影像间点对点之间的一种对应关系，通过影像匹配的同名点(4对以上)，利用计算机视觉中的单应变换求解算法求得。左右影像同名点和单应矩阵的关系为

应用立体像对中的单应矩阵，可将像对中左影像上的Harris特征点通过单应变换得到对应同名点的初始点，然后应用影像的位姿参数，计算左影像特征点在右影像上的核线，并结合初始点位确定核线上下左右一定区域为搜索窗口，应用相关系数匹配和最小二乘匹配得到高精度的同名特征点，上述理论都较为成熟，在此不做过多叙述。

1.2 基于三角网内插及约束的密集点匹配

通过Harris特征匹配得到分布均匀的同名点对，把这些同名点对作为种子点，以左影像上的同名点为基础，构建狄洛尼三角网，参照同名点之间的对应关系，在右影像上构建相应的三角网，从而得到同名狄洛尼三角网，本文中称为同名三角形。由于Harris特征匹配的同名点分布均匀，所以以狄洛尼方法构建的三角形大小相似，均匀覆盖在整幅影像上。

以左影像上的三角形作为匹配单元，内插三角形重心点，以对应的同名三角形和像对间

的核线几何作为约束条件，在右影像相应的同名三角形中搜索匹配同名点，同时不断更新三角网。因为重心点可以把一个三角形分割成三个面积相等三角形，因此，以三角形的面积作为重心内插条件并设置面积阈值。当三角形面积小于阈值时就不再内插此三角形。具体过程如下：

首先计算左影像Harris匹配构建狄洛尼三角网中三角形的面积，判断与设定面积阈值的大小，其面积的计算见式（1）。

根据位姿参数中立体像对的核线几何关系，计算内插重心点在右影像所对应的核线，计算所对应同名三角形三条边的直线方程，并求出与核线的交点，根据两交点确定核线在同名三角形内的范围。如图2所示的内插匹配示意图，其图2(a)所示左影像上内插的三角形重心点，用红色方框内的蓝色点表示。并在右影像对应的同名三角形内确定核线范围，如图2(b)所示的红色线，用相关系数匹配在同名三角形中的核线范围内搜索得到匹配初始值，再用最小二乘匹配精确定位同名点位置，如图2(b)所示黄色方框内的蓝色点。

将左影像三角形内的重心点与右影像同名三角形内搜索匹配获得的同名点拆分成3个三角形，同时更新三角网，按照相应的点位关系存储，使更新后三角形依旧保持同名三角形原则，并重复上述步骤。

被测对象的边缘信息是非常重要的细节信息，由于点特征和边缘特征提取算法不同，要想得到更精细的边缘信息，需要对影像进行特征边缘的提取与匹配，增加影像点云的精细程度。本文利用稳定的Canny算子提取影像边缘特征，其具体原理在此不进行介绍。在提取边缘线的基础上，可按需对边缘线采样得到所需边缘点。考虑到边缘同名点的精度及准确性，以两种约束方法搜索匹配边缘点，以匹配种子点构建的狄罗尼三角网作为判定条件，对在三角网中的边缘点，以所在的同名三角形作为约束条件，将左影像角形中的边缘点，利用核线几何在右影像同名三角中直线作为搜索范围，采用相关系数和最小二乘匹配精确定位同名点；对于在三角网之外的边缘点，以单个边缘点为匹配单元，利用上面介绍的单应变换得到粗值点并结合像对之间的核线几何关系共同约束搜索范围，同样将匹配的同名点结果作为初值，通过最小二乘匹配精确定位同名点。

1.3 精细点云构建

1.2节构建了密集的同名点对，根据每张影像的内外方位元素等信息，通过前方交会可以获得同名特征点的三维坐标。空间前方交会的数学模型主要有两种，一种为基于点投影系数的空间前方交会法，另一种是基于共线方程的严密解交会法。本文采用共线方程法，其数学模型见式(3)。

对于立体像对的任一对同名像点，都可列出4个方程，在有多余观测的情况下，采用最二小乘法解算。如一个地面点对应n张影像，可列出2n个方程解求X、Y、Z 3个未知数。这是一种严格的、不受影像数据约束的空间前方交会方法。

2 实验与分析

本文以国内某石窟寺彩塑局部近景高重叠度影像为研究对象，所用设备为尼康D810。实验平台以C++程序设计语言为基础，结合QT图形用户界面并利用可视化图形库DirectX 11进行系统总体设计，程序设计主界面如图3所示，实验平台算法主要包括相机标定、序列影像定向（位姿估计/空中三角测量）、密集匹配、影像重建4个功能模块。其中，本文涉及的密集匹和影像点云重建是整个实验平台的部分内容，平台界面如图3所示。

以实验数据中一对影像为例，对左影像进行200×200个网格划分，在每个格网内以Harris特征值最大值所在像素为特征点，如图4所示；应用单应矩阵，获取右影像的始同名点，结果如图5所示；通过核线约束、相关系数法匹配、最小二乘匹配，得到其高精度匹配点对，其局部如图6所示，其中图6(a)为左影像特征点，图6(b)中黑色点为初始点，蓝色点为最终高精度匹配点对。此处Harris算法调用的OPENCV中的Harris点特征提取函数。

以上述同名点对为种子点构建同名狄洛尼三角网，其局部如图7所示。

根据1.2节的理论，对左右影像进行三角网约束内插匹配，例如，设置面积阈值为40.7，该值是以像素为单位进行的计算，边长大约为10倍像素大小，此处可按照需要进行设置，其匹配结果如图8所示。

按照1.3节的方法，对上述两张影像进行Canny边缘特征提取和匹配。其中，Canny算法双阈值约束取经验阈值，分别为0.3和0.1，图10为边缘特征提取结果，边缘匹配结果如图9所示，经过前方交会，最后生成边缘点云如图11所示。此处Canny算法调用的openCV中的Canny边缘特征提取函数。

把密集匹配点云和边缘匹配点云结合，生成精细影像点云，结果如图12所示，对局部连续13张影像进行精细重建，其结果如图13所示。

对上述同样影像数据，应用PhtoScan和Smart3D两款商业软件进行对比，且以最高分辨率进行建模，针对本文和上述两种软件点云，多次量测特征点和边缘点之间的距离并取平均值，其结果如表1所示。通过对比可以看出，本文方法生成的点云在特征点间距和边缘点间距可达到与现有软件相当的水平，且可在影像分辨率允许的范围内按需获取点云密度，边缘信息有一定的优势。

表1 不同方法对比结果

3 结束语

本文针对文物近景影像点云精细程度按需获取的需求，提出了基于三角网内插及约束的影像精细点云生成方法，该方法以均匀格网同名特征点为种子点建立同名三角网，通过内插重心点加密三角网，并且以三角形面积作为阈值，按需生成密集点，同时对边缘特征进行三角网约束下的高精度匹配，增加了最终点云的精细程度,提高了对象边缘特征的精度。本文以石窟寺彩塑影像为研究对象，通过实验证明了本文方法的正确性和可行性，同时通过与影像点云生成软件进行对比，本文方法在点云密度和边缘信息上都有一定的优势，提高了对象点云模型的整体精度。

引文格式：胡 春 梅，夏 国 芳，张 旭，等． 三 角 网 内 插 及 约 束 的 精 细 影 像 点 云 构 建 ［Ｊ］． 测 绘 科 学，２０２２，４７（４）：８７-９３，１６８．

END