162M 调好的 decay 时刻表可直接迁移到 1.4B,训练 73% 处反超
ziv_ravid · x · 2026-11-19
在 1.4B 规模上,直接沿用为 162M 模型挑选、未经重调的 decay 时刻表,在训练进行到 73% 时超过无 decay 基线,最终也优于尝试过的最佳恒定 decay。背景:实验用 Muon 训练 162M 到 3.4B 的 decoder-only Transformer,weight decay 只在早期窗口开启、之后关闭。
所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→
「研究」频道最新
- 「物理停滞 50 年?」PRL 新论文用摩擦加热解释冰为什么滑 — CatAstro_Piyush · 2026-11-19
- TMol 论文发布:把 Rosetta 全原子分子能量搬进 PyTorch 可微分层 — gottapatchemall · 2026-11-19
- ELLIS图宾根安全团队公开horizon-labs智能体轨迹数据集 — NielsRogge · 2026-11-19
- Noam Brown 确认「解纳维-斯托克斯」的是强数学模型,haider 推测为数学微调版 — haider1 · 2026-11-19
- UVA 学者 11 月 18 日在线讲 LLM 自动生成心理测量题目的新框架 — GolinoHudson · 2026-11-19
- 学者称同行评审体系已到临界点,会议规模越大越难维系 — LucaAmb · 2026-11-19