VGGT「知道自己不知道」:HardMatch 上 35% 失败可被线性探针预警

kwangmoo_yi · x · 2026-10-28

arXiv 论文 2610.35806 研究前馈 3D 重建模型 VGGT 的自知识：模型对预测位姿不报告不确定性，错误位姿与正确位姿看起来一样。作者构建 HardMatch 基准（1000 对刻意刁难的图像对，VGGT 在 35% 上失败），发现冻结特征上的线性探针预测位姿失败达 93.5% ROC-AUC，远超 VGGT 自带 point-map 置信度（79.7%）与全输出分类器（77.7%）；还能捕捉 VGGT 高置信度的失败，无需再训练即可迁移到 PhotoTourism 与 ScanNet-1500 的旋转失败。该信息不存在于单图编码器，而是在双视图融合的中间层产生，π³ 模型同样成立。