162M 调好的 decay 时刻表可直接迁移到 1.4B,训练 73% 处反超

ziv_ravid · x · 2026-11-19

在 1.4B 规模上,直接沿用为 162M 模型挑选、未经重调的 decay 时刻表,在训练进行到 73% 时超过无 decay 基线,最终也优于尝试过的最佳恒定 decay。背景:实验用 Muon 训练 162M 到 3.4B 的 decoder-only Transformer,weight decay 只在早期窗口开启、之后关闭。

所属事件:Muon预训练临时权重衰减:早用早停反超基线(8 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →