作者：泡椒味的口香糖 | 来源：3D视觉工坊

在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接

添加微信：dddvision，备注：自动驾驶，拉你入群。文末附行业细分群

笔者个人体会

大家对RANSAC想必都很熟悉，小到曲线拟合，大到端到端学习，都有RANSAC的身影。但传统的RANSAC本身是无偏差的随机采样，提出已经过去很多年了，无论是收敛速度还是模型精度都有待提升。

今天笔者将为大家分享几项最新开源的顶会RANSAC改进方案，大家可以替换自己原有的RANSAC，提升一下精度速度，也能水一下工作量。

下面一起来阅读一下这些工作，当然笔者水平有限，如果有理解不当的地方欢迎大家批评指正~

1.可微RANSAC

摘要：我们提出了∇-RANSAC，一个广义的可微RANSAC，它允许学习整个随机稳健估计管道。所提出的方法使得能够使用松弛技术来估计采样分布中的梯度，然后通过可微分求解器传播该梯度。可训练的质量函数边缘化来自在∇-RANSAC内点估计的所有模型的分数，以指导网络学习准确和有用的内点概率，或者训练特征检测和匹配网络。我们的方法直接最大化得出一个优质假设的概率，允许我们学习更好的抽样分布。我们在各种真实世界场景中测试了∇-RANSAC的基本矩阵估计和3D点云注册，包括室外和室内，以及手工制作和基于学习的功能。它在精确度方面优于最先进的技术，而运行速度与精确度较低的替代产品相似。

ICCV 2023的开源方案，主要思想是把整个随机采样+模型估计的过程设计为可微的，进而实现端到端学习，缺点是需要特征匹配的置信度，如果用的传统匹配方法的话还需要设计获取置信度s。三个工作量，包括可微采样器、可微求解器、可微质量函数。

采样器的设计上直接用了Gumbel Softmax Sampler，输入是匹配的置信度，引入Gumbel（0，1）分布做为噪声，为了保证可微设计了两条支路（红色不可微，绿色可微）。然后一方面对引入噪声的置信度s选择概率最大的k组匹配，一方面将Softmax输出与停止梯度（sg）相加减，以允许梯度的反向传播。

但Gumbel Softmax Sampler很早就已经提出了，而且后面求解器就是用的传统算法，质量函数直接调用的MAGSAC，感觉整体创新性不大。

运行效果的定量对比，对比的方案还是挺多的，实验做的很扎实。

2.BANSAC

摘要：基于RANSAC的算法是计算机视觉中鲁棒估计的标准技术。这些算法是迭代的且计算量大；它们在数据的随机抽样、计算假设和运行内层计数之间交替进行。许多作者尝试了不同的方法来提高效率。一个主要的改进是有一个引导取样，让RANSAC循环停止得更快。本文提出了一种新的RANSAC自适应采样方法。先前的方法或者假设没有关于数据点的内/外分类的先验信息，或者在采样中使用一些先前计算的分数。在本文中，我们推导了一个动态贝叶斯网络，它在迭代RANSAC时更新单个数据点的inlier得分。在每次迭代中，我们使用更新的分数进行加权采样。我们的方法在有或没有先前数据点评分的情况下都有效。此外，我们使用更新的内部/外部得分来导出RANSAC循环的新停止标准。我们在多个真实数据集上对我们的方法进行了测试，获得了最先进的结果。我们的方法在准确性上优于基线，同时需要较少的计算时间。

ICCV 2023的开源方案，主要思想是每次迭代都使用上次迭代的先验信息，用贝叶斯模型更新单个点的内点概率。这样每次迭代都更新采样权重，实现快速收敛。

看一下具体的运行效果，颜色越深表示匹配的置信度越高，模型在几十次迭代就可以收敛。

3.强化学习RANSAC

摘要：鲁棒估计是一项至关重要且仍具挑战性的任务，它涉及在噪声环境中估计模型参数。尽管传统的基于共识的采样算法多次采样以实现鲁棒性，但是这些算法不能有效地使用数据特征和历史信息。在本文中，我们提出了RLSAC，一种新的用于端到端稳健估计的强化学习增强样本一致性框架。RLSAC采用图形神经网络来利用数据和存储特征来指导对下一个最小集合进行采样的探索方向。下游任务的反馈作为无监督训练的奖励。因此，RLSAC可以避免差分学习特征和下游任务的反馈，用于端到端稳健估计。此外，RLSAC集成了一个状态转换模块，可对数据和存储器特性进行编码。实验结果表明，RLSAC能够从特征中学习，逐步探索出更好的假设。通过分析，显而易见的是，RLSAC可以很容易地转移到其他基于采样一致性的稳健估计任务。据我们所知，RLSAC也是第一个使用强化学习对一致性进行采样以进行端到端稳健估计的方法。

同样是ICCV 2023的开源方案，使用强化学习来增强采样的探索性，本身也算是一个无监督过程。RLSAC将采样一致性视为强化学习中智能体与环境交互的过程。具体来说，使用神经网络从数据中采样最小集合作为动作，然后环境根据动作进行模型生成和评估并输出下一个状态，用于下一次迭代。

以基本矩阵估计问题为例，黑线、绿线和蓝线分别代表离群点、内点和最小集合。黄色箭头表示在初始化时只使用一次，红色和橙色箭头表示回环。初始状态是随机采样的，然后通过对所有假设打分来选择该场景的最佳假设。将采集到的经验记录在回放缓冲区中进行训练。

做了很多特征匹配的实验，来证明采样和模型估计的精度+收敛速度。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

3D视觉交流群

大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：

视觉SLAM、激光SLAM、语义SLAM、NeRF-SLAM、路径规划、相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、阵列相机、光度立体视觉、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产群。

添加微信: dddvision，备注：研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 小助理会拉你入群。