Robust Multi-Model Fitting through Learning Neighbor Regions
Chang Nie, Guangming Wang, Zhe Liu, Hesheng Wang
cs.CV
2026-09-14
随机抽大量最小集,网络先筛出好的再求解;邻域几何特征单独打分和精修每个假设。NYU-VP 消失点 AUC@5° 从 CONSAC 的 50.61 升到 57.54。
多模型拟合要在噪声里同时找出多条线、多个消失点、多块平面或多种运动。Sequential RANSAC 把内点剥掉再拟合下一个,每个点只能属于一个模型,重叠就被低估。后来的两步法先堆假设池再挑组合,坏最小集太多,优化浪费在明显错误的假设上;模型重叠还得靠复杂能量函数硬扛。
往网络上靠又碰到不可微:随机采样和最小求解器没有稳定梯度。CONSAC、PARSAC 把点的采样概率交给网络,PARSAC 还要预先知道实例个数。缺的是一套能用学习、又不必把采样和求解器求导的流程。
LNR 把两步法改成粗到细,学的是点的几何特征,不是假设参数本身。输入是无序的 N 个 c 维点。先做傅里叶位置编码,共享 MLP 出点特征,再 max-pool 出全局特征,拼成 256 维。然后像 RANSAC 一样随机抽大量最小集,例如两点定一条线。粗层网络读每个最小集里点的特征,输出置信度,只把 top 的好最小集送进最小求解器,得到粗假设。坏样本不再占用求解。
细层给每个粗假设划邻域:到该假设距离小于 R 的点构成区域,距离定义随任务变,线用欧氏距离,消失点用方向距离,平面用重投影误差,运动用归一化对极距离。区域内点的几何特征加上到假设的残差,送进带精修头和打分头的网络。精修头预测参数增量,打分头给出质量,替代简单内点数。测试时用假设级非极大值抑制去掉冗余,不需要预先指定模型个数。
训练三条损失一起走:粗层置信度和细层分数都是相对真值相似与否的二分类交叉熵,精修是 Smooth L1。细层损失会回传到粗层,让粗层选出的假设更适合细层消化。
四项任务。合成多线拟合,1 到 10 条线、40% 到 60% 外点,[email protected]° 在十条线时 77.51,CONSAC 74.84,Sequential RANSAC 48.55。消失点在 NYU-VP 上 AUC@5° / @10° 为 57.54 / 71.93,超过专用方法 Lin et al. 的 55.87 / 69.53,也超过 CONSAC 的 50.61 / 64.29 和 PARSAC 的 51.68 / 64.61。只在 NYU-VP 上训练,YUD 和 YUD+ 不微调仍最高。速度 10.31 Hz;tiny 配置 46.96 Hz,接近 PARSAC 的 84.13 Hz,但 PARSAC 需要实例数先验。
双视图平面分割在 AdelaideRMF 上平均误分类 2.91%,Barath et al. 3.12%,CONSAC 5.23%。双视图运动 LNR 是 5.75%,Barath et al. 是 5.33%,这一项没有超过对方,tiny 配置 6.27%。消融:拿掉粗层,NYU-VP AUC@5° 掉到 49.26;细层换成内点计数,掉到 44.21。
| 任务 | 指标 | LNR | 最强对照 |
| 消失点 NYU-VP | AUC@5° | 57.54 | Lin et al. 55.87 |
| 多线 10 条 | [email protected]° | 77.51 | CONSAC 74.84 |
| 平面分割 | 误分类 % | 2.91 | Barath 3.12 |
| 双视图运动 | 误分类 % | 5.75 | Barath 5.33 |
多模型拟合的工程价值在重建、混合现实、自动驾驶里拆平面和运动。LNR 的实用点是邻域特征可以复用到多个假设上,重叠不再靠互斥聚类硬切;采样和求解器保持经典实现,换任务主要换最小求解器和邻域距离。消失点跨数据集不微调还能涨,说明邻域打分比专用结构更可迁移。
双视图运动没有夺第一,不能把四项都说成全面领先。
正文讨论了可解释性,没有单独局限节。邻域半径和距离定义仍是任务相关超参。粗层之前仍要随机抽大量最小集,效率来自少求解,不是少采样。多线数据是合成的,噪声模型和真实线检测有差距。运动任务上落后 Barath et al. 0.42 个百分点,假设级 NMS 在基础矩阵这种点到模型分配问题上可能过抑制。PARSAC 在已知 K 时更快,LNR 的速度优势取决于「K 未知」这个前提。