λ-JEPA 论文质疑 JEPA 假设并提出谱反塌缩正则

arXiv 新预印本《λ-JEPA: Spectral Anti-Collapse Regularization for Self-Supervised Learning》质疑 JEPA(联合嵌入预测架构)的一个隐含假设:投影头后表征高秩、未塌缩,并不代表骨干(backbone)表征同样未发生坍缩。作者据此提出谱反塌缩正则 SACReg,直接约束骨干表征,实验显示该方法可提升下游迁移性能。

2026-10-14 ~ 2026-10-14 · 2 条相关

• λ-JEPA 论文:投影头防塌缩不等于骨干表征不塌缩,SACReg 正则提升迁移性能 — FrancescoLocat8 · 2026-10-14
• λ-JEPA 预印本:投影表示高秩不代表骨干表征未坍缩 — FrancescoLocat8 · 2026-10-14