VISReg 提升自监督泛化
ylecun · x · 2026-07-15
VISReg 提出了一种**基于正则化的自监督学习（SSL）方法**，作者称它打破了一个常见权衡： - 传统领先 SSL 方法往往依赖较多训练技巧来保持稳定，例如 EMA、师生训练、层冻结等。 - 纯正则化路线虽然更简单，但过去一直难以匹配主流 SSL 方法的泛化表现。 - VISReg 被描述为**首个在域外泛化上达到 SOTA 的正则化式 SSL 方法**。 - 论文声称它优于 MoCov3、DINO、data2vec、iBOT、I-JEPA、MAE 和 DINOv2。 帖子同时附上了 arXiv 论文和 GitHub 代码。