作者自曝局限:早期 decay 结论基于单种子,大模型无明确收益
ziv_ravid · x · 2026-11-19
作者坦承实验局限:结论大多来自单种子;在 405M 用 AdamW + ReLU² 时该方法无效;405M 与 1.4B 的下游评测也未显示相对恒定 decay 的明确优势;且尚不能解释为何这条 step-size 轨迹是好的。
所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→
「研究」频道最新
- 「物理停滞 50 年?」PRL 新论文用摩擦加热解释冰为什么滑 — CatAstro_Piyush · 2026-11-19
- TMol 论文发布:把 Rosetta 全原子分子能量搬进 PyTorch 可微分层 — gottapatchemall · 2026-11-19
- ELLIS图宾根安全团队公开horizon-labs智能体轨迹数据集 — NielsRogge · 2026-11-19
- Noam Brown 确认「解纳维-斯托克斯」的是强数学模型,haider 推测为数学微调版 — haider1 · 2026-11-19
- UVA 学者 11 月 18 日在线讲 LLM 自动生成心理测量题目的新框架 — GolinoHudson · 2026-11-19
- 学者称同行评审体系已到临界点,会议规模越大越难维系 — LucaAmb · 2026-11-19