实测确认 AdamC 最优权重衰减 0.5 显著高于 AdamW 的 0.1–0.2

aaron_defazio · x · 2026-11-17

实验确认 AdamC 优化器的最优权重衰减系数可以比 AdamW 更大:在 qwen3-0.5m 训练中扫描多个 weight decay 值(0–1),AdamC 在 wd=0.5 时 val loss 最低(约 3.1725),优于 AdamW 常用的 0.1–0.2 区间。作者 aarondefazio 转发并表示这与理论预期一致,附完整 loss 曲线图。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →