$λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning
Berker Demirel, Clémentine Dominé, Valentino Maiorca, Marco Fumero, Marco Mondelli, Francesco Locatello
cs.LG, cs.CV
2026-09-28
ISTA提出谱正则SACReg并做成λ-JEPA。ViT-S在ImageNet-1k上训100轮，线性探测69.7，八数据集迁移平均77.6，比LeJEPA高出8.9点。
Joint-embedding 自监督学习（JE-SSL）把同一张图的不同增强视图拉近，再额外加机制防止表征坍缩。常见手段是对比负样本、教师-学生不对称，以及 VICReg、LeJEPA、VISReg 这类显式正则。这些目标几乎都打在投影头之后的 z 上。下游任务把非线性投影头丢掉，只用 backbone 的 h。
两个空间可以差得很远。ISTA 在显式正则的 JE-SSL 里看到：正样本对在 h 和 z 里都对齐得很好，不同图像在 backbone 里仍然挤在一起。RankMe 用奇异值分布估计有效秩，它在投影空间通常更高，backbone 在 VISReg 和 LeJEPA 上尤其偏低。任务无关的预训练里，不同下游可能吃不同的特征方向；有效秩低，等于少了一批可迁移方向。Garrido 等人已经报告过，JE-SSL 里有效秩能预测下游表现。投影空间没塌，不保证真正拿去迁移的那一层没塌。
切入点是特征学习里的 λ-balance：两层线性网络中相邻层权重的相对尺度，写成 Δ = W2^T W2 − W1 W1^T。若 Δ = λI 且 λ < 0，编码器 Gram 矩阵被从下方托住，最小奇异值有下界；输入协方差正定时，隐层表征也不会塌成低秩。无正则梯度流会把这个平衡守恒住。深度非线性网络很难靠初始化钉死它。
他们改成约束优化：端到端映射固定时，最小化对称 L2，外加编码器 Gram 的负 log-det。最优解落在负平衡 λbal = −γ/λreg。梯度流下 imbalance 指数收敛到这个点，与数据集和初始值无关。
非线性网络没有守恒的 Δ，同一套谱惩罚改打在表征协方差上，得到 SACReg（Spectral Anti-Collapse Regularization）。均值项把表征拉回原点，trace 项管总方差，负 log-det 惩罚过小的协方差特征值，ε=1e-4 做数值稳定。单独最小化时，最优点是零均值、各向同性协方差。ε=0 时任一特征值趋近 0，正则项趋于无穷。
接到 JE-SSL 上就是 λ-JEPA。不变性损失仍在投影空间算，是各视图两两均方距离，不含负样本。SACReg 打在图像中心上：同一张图的 V 个全局视图先平均，再在这些中心之间鼓励散开。backbone 和投影空间各加一项；接到别人现成的 SSL 目标上，只加 backbone 那一项。特征维高于 batch 内图像数时，完整 log-det 退化，每步随机切一个正交低维切片再算（投影后 128 维；ViT-S backbone 128，ViT-B 256）。ImageNet-100 用 4 个全局视图，ImageNet-1k 和视频用 6 个。损失权重用梯度校准，长训没有重搜。
100 epoch 从零训练 ImageNet-1k，冻结线性探测和八个分类数据集的迁移平均：
| 方法 | 骨干 | IN-1k 线性探测 | 迁移平均 |
| LeJEPA | ViT-S/16 | 62.5 | 68.7 |
| DINO | ViT-S/16 | 70.0 | 75.7 |
| iBOT | ViT-S/16 | 70.9 | 75.9 |
| λ-JEPA | ViT-S/16 | 69.7 | 77.6 |
| LeJEPA | ViT-B/16 | 69.7 | 74.2 |
| VISReg | ViT-B/16 | 70.3 | 76.4 |
| DINO | ViT-B/16 | 73.9 | 78.3 |
| iBOT | ViT-B/16 | 77.0 | 80.7 |
| λ-JEPA | ViT-B/16 | 74.2 | 80.9 |
ViT-S 迁移比 LeJEPA 高 8.9 点；线性探测 69.7，贴近 DINO 的 70.0，低于 iBOT 的 70.9。ViT-B 迁移 80.9，比 VISReg 高 4.5 点，略高于 DINO 的 78.3，与 iBOT 的 80.7 持平；线性探测 74.2 仍低于 iBOT 的 77.0。
同一套超参拉到 400 epoch，没有重调。ViT-B 为 76.0 / 82.0，比 400 epoch 的 VISReg（74.6 / 79.1）高 2.9 个迁移点，距同长度 DINO（77.2 / 83.1）和 iBOT（78.5 / 83.2）还有缺口。ViT-S 迁移 79.3，基本齐平 300 epoch 的 DINO / iBOT。长训对照的训练长度并不齐。
视频沿用 LeVJEPA 的模型、优化器和数据管线，只换损失，在 Kinetics-710 的类别均衡 20% 子集上从零训。ViT-S 240 epoch 的 ImageNet 冻结准确率 46.8，对照 LeVJEPA 39.4、V-JEPA 2 38.7。ViT-B 240 epoch：ImageNet 52.9（LeVJEPA 50.7，V-JEPA 2 51.6），SSv2 43.9 对 LeVJEPA 的 30.4，高 13.5 点。1085 epoch 时 SSv2 48.3 对 40.4，高 7.9 点；同一张表上 ImageNet 反而是 LeVJEPA 的 61.0 高于 λ-JEPA 的 57.1。K400 上 CLS 探测 45.7，LeVJEPA 报告的是 mean-pool 的 44.6；同一套冻结编码器 mean-pool 只有 43.4，attentive probe 到 62.0。探头协议对不齐。
ImageNet-100 上把 SACReg 接到六种 SSL 的 backbone，原目标不动：LeJEPA、VICReg、VISReg、SimCLR、DINO、BYOL。六种方法的 RankMe 都升，kNN 全升，线性探测也升，VICReg 的线性升幅更小。投影空间统计变化小得多。λ-JEPA 在 100 类里有 96 类的类中心可分性变好，增强敏感度有升有降。涨点来自图像中心沿类别方向更分开，正样本对并没有被拉得更死。
给 JEPA / VICReg 这条线一个很具体的补丁：防坍缩别只打在扔掉的投影头上。SACReg 可以单加在现成 SSL 损失上，代码已开源。Frozen transfer 上的数字比 ImageNet 线性探测更站得住，SSv2 的时间推理增益也大于静态分类。
100 epoch 的迁移优势更清楚；拉长训练且不重调之后，与 DINO / iBOT 的差距在收。适用面是全局视图加 CLS token 的分类和迁移，不是 dense prediction。
论文自己写了：SACReg 作用在 CLS 和全局视图上。接到 patch 特征和 local crop 会让每张图的 view center 更吵，协方差正则不稳定，实验里训练会炸。密集预测还没有结果。
理论保证停在两层线性网络。非线性只说明正则项单独看喜欢各向同性满秩协方差，并不保持 W2^T W2 − W1 W1^T = −(γ/λreg)I。ViT 上用 CKA 和经验 NTK 相对初始化的漂移来主张 rich learning，这是一致性证据，不是证明。
对照也不干净。400 epoch 和 1085 epoch 没重搜超参；长训基线训练长度不同；视频 K400 的 CLS 与 mean-pool 探头不一致。视频预训练数据是 Kinetics-710 的 20% 子集。ImageNet-100 上 DINO 的正则权重单独调过，其余方法共用梯度校准。