λ-JEPA 提出谱正则化 SACReg，防表征坍缩并超越 LeJEPA
ClementineDomi6 · x · 2026-09-30
Locatello 团队等发布论文《λ-JEPA: Spectral Anti-Collapse Regularization for Self-Supervised Learning》。
- 问题：联合嵌入自监督学习通常靠投影头后的不变性目标+防坍缩机制，但下游任务用的是投影头之前的骨干表征，研究发现这一错位并不能阻止骨干网络的维度坍缩，有效秩偏低、限制迁移能力。
- 方法：提出谱防坍缩正则项 SACReg，基于 λ-balance（各层权重矩阵相对尺度）分析；在两层线性网络中证明 λ-balance 可防坍缩、该正则可诱导 λ-balance；非线性场景在 ImageNet100 上实证提升表征秩。
- 结果：将 SACReg 应用于 JEPA 得到 λ-JEPA，在 ImageNet-1k 分类和八个下游图像数据集的平均 linear-probe 迁移上超越 LeJEPA 与 VISReg；视频自监督学习上也优于 LeVJEPA 与 V-JEPA 2。
「研究」频道最新
- 新研究:AI 当「导师」比当「替身」更聪明,用户表现反超 — CackleRooster · 2026-09-30
- 麦肯锡研究：AI 参与的候选药物将发现周期缩短约 15-80% — HealthcareAIGuy · 2026-09-30
- 五个实验名额如何验证 AI 模型？五槽位测试法给出答案 — bravo_abad · 2026-09-30
- AI 模型独立得出 Odlyzko-Poonen 猜想新证明,已用 Lean 完全形式化 — fedzbar · 2026-09-30
- TLA+ 作者泼冷水:Claude Code 用 TLA+ 找竞态很酷,但形式化方法救不了 AI — leland_mcinnes · 2026-09-30
- Frontier Data Summit 聚焦 AI 评测科学,十余个新基准齐亮相 — sanmikoyejo · 2026-09-30