SuP: Sub-cloud Driven Point Cloud Registration

一句话看懂SuP 先在两帧重叠很少的三维扫描中找出彼此高度重叠的小块子点云对,再只在这些子点云对内部建立匹配,在低重叠基准 Color3DLoMatch 上的配准召回率(RMSE 小于 0.2 m 的扫描对所占比例)达到 90.2%。
问题背景
点云配准的任务是求出一组旋转和平移,把同一场景的两帧三维扫描对齐。当两帧扫描共享大量几何结构时,现有方法已能实现高精度对齐。但在大规模建图、自主导航等应用中,两个视角往往只有一小部分场景重叠。一旦共享表面低于约 30%,无论是经典的 ICP 还是基于学习的方法,都难以建立可靠的对应关系,配准会出现收敛缓慢、错位甚至完全失败。
论文将这类失败归因于两帧之间“不重叠”的区域:这些区域在几何或语义上仍可能彼此相似,直接对两帧完整点云做匹配,就会产生大量错误对应,把少数正确对应淹没。早期工作尝试显式预测哪些点位于重叠区,但这种预测依赖一致的特征表示,在低重叠样本上效果明显下降。后续方法借助注意力机制,并引入几何编码、语义或颜色信息来增强特征,但随着重叠率降低,性能依然下滑。

方法原理
SuP 换了一个角度看问题。两帧扫描整体上可能只有少量重叠,但若把每帧切成更小的块并两两配对,其中有一部分子点云对具有很高的重叠率。SuP 把这些高重叠的子点云对称为“锚点对”:先分两个阶段把它们找出来,再只在锚点对内部建立匹配。

- 提取整帧特征。 KPConv 骨干网络在多个尺度上提取点特征,再由注意力层在帧内和两帧之间交换上下文信息。SuP 默认采用 ColorPCR 的颜色增强骨干网络和注意力模块。
- 划分子点云。 每帧点云被划分为 k 个子点云:先用最远点采样选出分布均匀的中心点,再以各中心点为核心,在半径范围内收集近邻点,构成子点云。
- 第一阶段:重叠引导的先验加权(OPS)。 对每一对源–目标子点云,SuP 只统计互为前几强的特征相关,以此度量两者点特征的相关程度,并保留得分最高的若干对作为候选。这一步是高效的初筛,用来排除不重叠的子点云对。
- 第二阶段:多尺度后加权网络(MPN)。 先用加权 SVD 为每个候选对估计初步位姿并对齐,再由一个轻量的可学习网络在两个尺度上检查:对齐后彼此靠近的点,特征是否也相似。特征一致性权重最高的候选对成为锚点对。训练时,该网络以各候选对实际的对齐误差作为监督信号(对齐感知加权损失)。
- 合并匹配。 将所有锚点对中的内点对应合并,在更稠密的点上细化,再交给标准估计器(RANSAC 或无需 RANSAC 的 LGR)求出最终的旋转和平移。
在论文的实验设置中,每帧点云划分为 6 个子点云,共 36 种组合;OPS 保留其中 24 对,再按特征一致性取前 8 对作为锚点对。

实验结果
实验采用室内基准 3DMatch 的颜色增强版本:Color3DMatch 中点云对的重叠率高于 30%,Color3DLoMatch 是重叠率为 10%–30% 的更难子集。配准召回率指估计变换的 RMSE 小于 0.2 m 的点云对所占比例。SuP 默认采用 ColorPCR 的颜色增强骨干网络;与最强的基线 ColorPCR 本身相比,在 LGR 设置下,SuP 将 Color3DMatch 上的召回率从 96.5% 提升到 97.8%,将 Color3DLoMatch 上的召回率从 88.3% 提升到 90.2%。正确匹配的比例也随之提高:在 Color3DLoMatch 上采样 250 个对应点时,SuP 的内点率为 76.0%,ColorPCR 为 68.0%。
子点云策略也可以作为插件用于其他方法。接入 GeoTransformer 后,Color3DLoMatch 上的召回率从 74.0% 提升到 76.7%;接入 PEAL 后,从 81.2% 提升到 83.4%(表 4)。消融实验中,依次加入四个组件(OPS、特征一致性权重、MPN 和对齐感知加权损失),每一步都使两个基准上的召回率进一步提高(表 5)。子点云的大小同样重要:子点云过小可能因重叠不足而降低召回率,过大则会丢失局部细节,默认半径参数 τ = 0.35 取得了最佳平衡(表 6)。论文在局限性部分指出,若两帧扫描来自差异很大的传感器,特征可能出现细微不一致,从而影响 OPS 和 MPN;引入特征归一化或域自适应是后续可行的方向。

引用
@inproceedings{fung2026sup,
title={SuP: Sub-cloud Driven Point Cloud Registration},
author={Fung, Sheldon and Pan, Wei and Cao, Ling and Hou, Fei and Chen, Ling and Mao, Shasha and Li, Hongdong and Lu, Xuequan},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={24185--24194},
year={2026}
}