LeJEPA 公平调参后仍不敌 JEM，缩放对比引 LeCun 关注
gabriberton · x · 2026-11-08
围绕自监督图像学习方法的对比实验讨论：
- 引用帖中 @SimonGoodman 汇报了对 LeJEPA 重新调参后的公平比较，它仍不如 JEM；从算力等价曲线看 LeJEPA 已明显进入平台期，不改配方很难再提升。
- 他还在跑一个去掉 LayerScale 的 JEM 实验（发现 LayerScale 会导致注意力残差贡献异常下降，且 ViT-B 本不需要它），目前已超过此前所有尝试。
- 主帖作者回应称，拿大量数据训练的模型与便宜模型直接比不公平，希望看到公平对比和 scaling law 层面的证据，并贴出显示 LeJEPA 比 JEM 更早进入平台期的实验。
- 背景是 LeCun 的长评：图像/视频 SSL 方法的差异在于是否用重建、是否有 predictor（JEA vs JEPA）、防坍塌手段与数据增广方式；DINO 技术上也是一种 JEPA（JEA），区别在防坍塌准则。
所属事件:LeJEPA 效果之争：Berton 质疑规模化，LeCun 亲自下场回应(7 条相关)→
「研究」频道最新
- 研究者吐槽审稿制度:奖励零瑕疵,惩罚真创新 — wzenus · 2026-11-08
- 数学圈激辩 Glazer 证明与 OpenAI H10 论文:「slop on slop」未必是坏事 — littmath · 2026-11-08
- 斯坦福论文：更多信息反而让部分 LLM 交易代理收益大跌 — rohanpaul_ai · 2026-11-08
- Neel Nanda 质疑线性表征假设：同一转向向量四种强度可触发四种行为 — NeelNanda5 · 2026-11-08
- AI 生成社区笔记质疑权重空间编程论文，作者当场点下 No — DimitrisPapail · 2026-11-08
- Sandberg 与 Fong 论进步建模：简化模型终将不够用 — anderssandberg · 2026-11-08