实测确认 AdamC 最优权重衰减 0.5 显著高于 AdamW 的 0.1–0.2
aaron_defazio · x · 2026-11-17
实验确认 AdamC 优化器的最优权重衰减系数可以比 AdamW 更大:在 qwen3-0.5m 训练中扫描多个 weight decay 值(0–1),AdamC 在 wd=0.5 时 val loss 最低(约 3.1725),优于 AdamW 常用的 0.1–0.2 区间。作者 aarondefazio 转发并表示这与理论预期一致,附完整 loss 曲线图。
「研究」频道最新
- PyTorch 将推全新无状态 RNG API,giffmana 吐槽一年终获采纳 — giffmana · 2026-11-17
- 用 250 个 Agent 训练单一算法:程序学习高效重建全球地貌 — willdepue · 2026-11-17
- 学者论战:同行评审被灌水淹没,但论文结果仍需审核机制 — EarlenceF · 2026-11-17
- 菲尔兹奖得主 Maynard:OpenAI 证明准黎曼假设令其震惊 — emax · 2026-11-17
- vismatch 迁移 Kornia 0.9.2:LoFTR 快 47%、DeDoDE 快 43% — ducha_aiki · 2026-11-17
- 首批 10 万小时第一视角数据开源,机器人学习数据垄断被打破 — lukas_m_ziegler · 2026-11-17