LingBot-Vision 边界掩码自监督预训练方法

StillThese3747 · reddit · 2026-07-07

提出在线边界场驱动的掩码自监督预训练:教师模型在线预测稠密边界场,边界所在 token 被强制纳入学生掩码,迫使学生重建无法靠上下文推断的区域;边界目标来自教师自身而非标签或外部边缘检测器。设计上将边界场重铸为逐像素分类分布,以复用自蒸馏的中心化/锐化机制防止表征坍缩,且解码出的分割需通过 a-contrario 验证才参与监督。

自报数据(均为作者自己报告):1.1B(patch-16)模型在 NYUv2 线性探针 RMSE 达 0.296,优于对比中 DINOv3-7B 的 0.309;蒸馏版 ViT-L(0.3B)达 0.310,接近 7B 水平;数据预算仅用 1.61 亿张图,不到 DINOv3 的三分之一。短板:在 giant/L 规模 ImageNet 分类及 ADE20K 上落后于 DINOv3。