λ-JEPA 论文:投影头防塌缩不等于骨干表征不塌缩,SACReg 正则提升迁移性能
FrancescoLocat8 · x · 2026-10-14
arXiv 论文《λ-JEPA: Spectral Anti-Collapse Regularization for Self-Supervised Learning》(Demirel、Dominé、Maiorca、Fumero、Fumero、Mondelli、Locatello 等)提出一个关键发现:
- 核心问题:联合嵌入自监督学习的防塌缩机制通常作用在投影头之后,而下游任务用的是投影头之前的骨干(backbone)表征。作者发现这种错位并不保证骨干不发生维度塌缩——高秩的投影表征不能保证非塌缩的骨干,骨干可能仍保持低有效秩,限制下游迁移。
- 方法:提出谱反塌缩正则化器 SACReg,基于对 λ-balance(跨层权重矩阵相对尺度)的分析。在两层线性网络中证明 λ-balance 可防止塌缩,且将该正则应用于骨干可诱导 λ-balance;非线性情形下同样有效。在 ImageNet100 的真实架构上,该正则能实证提升表征的秩。
- 结果:将 SACReg 应用于 JEPA 得到 λ-JEPA,在 ImageNet-1k 分类及八个下游图像数据集的平均 linear-probe 迁移上超越 LeJEPA 和 VISReg;在视频自监督学习上也优于 LeVJEPA 和 V-JEPA 2。
所属事件:λ-JEPA 论文质疑 JEPA 假设并提出谱反塌缩正则(2 条相关)→
「研究」频道最新
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 用布尔逻辑训练语言模型，CPU 单线程前向仅需数微秒 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- ReAPO 论文:RLVR 中让模型在失败后重试,推理成绩与训练效率双升 — jasondeanlee · 2026-10-23
- 首个可跑在真实量子电路上的 JEPA 世界模型 Quantum-JEPA 发布 — DrMorganLevine · 2026-10-23
- Omnii Genome 单一通用模型全面超越 AlphaGenome — JosephJacks_ · 2026-10-23