SADL 插件损失号称把 JEPA 训练崩溃率从 50% 降到 0
TheTuringPost · x · 2026-11-19
David Sunok 介绍新方法 SADL(Supply And Demand Loss):作者认为 JEPA 训练中的表征崩溃不是正则化问题,而是「供需错配」——编码器 H 先崩溃,导致梯度无法回传到 Z。
要点:
- 崩溃率从 50% 降到 0%
- 1 个 epoch 效果超过原来 10 个以上
- 任意目标形状,免搜索即可达 92% 以上可控性
- 单一即插即用损失,已开源
作者同时肯定 LeJEPA 对 Z 的判断是对的,只是没有解决编码器侧先崩溃的问题。
「研究」频道最新
- StatePortal 用 agent 合成检查点,GUI 深状态测试完成率 0%→27.5% — SJUT1 · 2026-11-19
- PNAS 研究:LLM 写简历与筛选双重放大劳动力市场性别偏见 — AnnaCiaunica · 2026-11-19
- LeCun 新论文:文本 JEPA 可与 DINOv2 视觉表征对齐,样本省 42 倍 — jiqizhixin · 2026-11-19
- 社区讨论:prefill 用原生精度量化、decode 用高精度 weight-only 可行吗 — AlpinDale · 2026-11-19
- 《The Little Book of ML Metrics》临近正式发售,预售价60美元 — santiviquez · 2026-11-19
- Schmidhuber 发布 AI 全史注释长文:从链式法则到深度学习溯源 — SchmidhuberAI · 2026-11-19