去除错误的匹配对是基于特征的点云配准方法成功的关键步骤之一。尽管在这一领域引入深度学习技术越来越受欢迎，但是由点云之间的刚体变换特性所带来的空间一致性，却几乎没有在现有的学习框架中受到任何关注。在本文中，我们提出了PointDSC，一种新的深度神经网络，它显式地结合了空间一致性来去除错误的匹配对。首先，我们提出了一个非局部特征聚合模块，通过特征和空间一致性加权，用于为输入的匹配对提取特征。其次，我们构造了一个可微的谱匹配模块，在空间一致性的监督下，从特征中估计每个匹配对的是正确匹配对的概率。在相对适中的计算开销下，我们的方法在多个真实数据集上比最先进的手工和基于学习的outlier rejection方法有显著优势。我们还通过结合PointDSC和不同的3D局部描述子展示了PointDSC模型广泛的应用性。

本期AI TIME PhD直播间我们有幸邀请到香港科技大学计算机系博士生——白旭阳，为我们带来报告分享——《PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency》。

白旭阳：香港科技大学计算机系在读博士，师从戴秋兰教授。主要研究方向为三维视觉，曾在三维点云配准、点云语义分割和图像配准领域发表论文，CVPR2020的论文入选口头报告，本次报告的内容为CVPR2021上关于点云配准的一篇文章。

个人主页：

01

背 景

基于特征匹配的点云配准方法通常分为两步：①局部描述子的提取和匹配，建立初始的匹配对。②通过outlier rejection滤除错误的匹配对。随着深度学习技术的兴起，点云描述子的研究飞速发展，但是通过匹配局部描述子来得到的匹配对不可避免地包含大量离群点。比如在室内场景中通常有很多重复场景，一个房间中包含很多相同的椅子；另外一种可能是两帧点云的重叠度很小，那传统的鲁邦估计算法RANSAC就可能失效了。

所以，本文致力于提出一个高效且鲁棒的outlier rejection算法实现更加鲁棒的点云配准。

传统的outlier rejection方法通常是利用三维空间一致性找到inlier correspondences。比如下面的spectral match的方法，这里的空间一致性是指两帧点云之间刚体变化所带来的保角、保边的属性，比如inlier correspondence的c1、c2在第一、二帧点云中的线段是相等的。而outlier与inlier，以及outlier之间一般是不满足这样的性质的，所以inlier correspondence之间的空间一致性可以帮我们排除一定数量的outlier，但有的outlier之间也可能碰巧出现这种长度一样饿情况，因此仅仅依赖correspondence之间的空间一致性进行outlier rejection是不够的，并且这种方法很难处理outlier 比率较高的情况。

近年来，基于深度学习的outlier rejection逐渐得到重视，这类方法将outlier rejection看作inlier和outlier的分类问题并借助神经网络强大的拟合能力实现分类。首先讲输入的初始匹配对进行特征提取，利用提取的特征进行分类。在特征提取时通常只有通用的特征提取方式（如shared MLP，sparse convolution）会被使用，而忽略了其中重要的三维空间关系。在利用提取到的特征进行分类时，每一个匹配对又是被单独分类的，忽略了inlier correspondence的一致性。本文认为，正是由于没有显式地利用三维空间的一致性，这种基于学习的outlier rejection方法与所训练的描述子和场景强绑定，从而影响了模型的泛化能力和普适性。

基于对上述两类方法的思考，本文提出一种两阶段的神经网络模型，在特征提取和匹配对分类两个阶段都显式地利用空间一致性，从而得到强大且具有泛化能力的outlier rejection模型。

02

方 法

本文结合基于空间一致性的传统方法和基于学习的方法的优点，提出了一个两阶段的PointDSC模型，一阶段进行特征提取，二阶段进行outlier和inlier的分类。本文在PointDSC的特征提取阶段提出了一个由空间一致性特征引导的非局部几何特征提取模块——SCNonlocal（非局域空间一致性）模块。SCNonlocal对每个输入的匹配对提取高维特征，为了建模匹配对之间的空间关系，我们采用了引入空间一致性子项的非局部算子来辅助原有的特征相似性。

在特征分类阶段，本文提出Neural Spectral Matching模块，利用了图的技术得到inlier和outlier的标签。首先将输入的correspondence转换为compatibility graph。

如上图，绿线标识的correspondence是inlier的，红色是outlier的。从统计学的角度，每一对inlier和inlier之间都有很大的概率是符合一致性的，从而会形成强连接的cluster。而outlier与inlier以及outlier之间符合一致性的概率很小，一般不会形成cluster。因此这里我们可以把inlier、outlier的分类问题可以转化为在compatibility graph上寻找最大cluster的问题。而每一个correspondence与最大cluster的关系就反映了该correspondence的是inlier的概率。

上图PointDSC方法的整体框架，输入是由3D局部描述子构建的初始匹配对。

在outlier占比较高的情况下，在compatibility graph上outlier之间可能也会形成一些cluster来阻碍我们找到由inlier形成的最大cluster。因此，我们进一步提出了Seeding Mechanism，通过一些可靠的correspondence作为种子，将整个问题拆解为许多简单的子问题。

03

实 验

数据集：3DMatch（室内）、KITTI（室外）

Baseline：

（1）传统方法：Spectral Matching (SM) 、RANSAC、GC-RANSAC 、TEASER、 FGR

（2）基于学习的方法：DGR、3DRegNet

实验结果：

下面首先给出了PointDSC方法与Baseline的实验结果，然后将PointDSC的SCNonlocal模块和NSM模块分别都进行了消融实验，结果证明了PointDSC方法在outlier rejection任务的鲁棒性和高效性。

04

总 结

本文设计了一种为三维点云配准服务的outlier rejection网络，它显式地利用了两帧点云的欧式变换（刚体变换）所带来的空间一致性。我们分别提出了一个空间一致性引导的非局部模块（SCNonlocal）用于特征嵌入，和基于图聚类的错误匹配滤除的神经模块（NSM）。我们进一步提出了一种seeding机制，通过多次采用NSM模块，以提高算法在高离群值比率下的鲁棒性。

在不同数据集上的大量实验表明，我们的方法比现有技术有了显著的性能提升。我们的方法还表现出了很强的泛化能力，并能够与不同的三维局部描述符无缝协作。

项目源码：