AdamW 一作 Loshchilov 开推,权重衰减缩放规则早已写在原始论文里
SeunghyunSEO7 · x · 2026-10-18
有网友发现,如今常被讨论的「权重衰减随学习率缩放」规则,其实早已写在 AdamW 的原始论文中。发帖人还顺带指出:AdamW(以及 NGPT)的第一作者 Ilya Loshchilov 本人在 X 上有账号,并晒出了他回复相关讨论的截图。这条推文引发了对经典优化器论文「被忽视的细节」的回顾。
「研究」频道最新
- 自动化实验让选题更关键:递归自我改进可能一直在验证错误前提 — Gauri_the_great · 2026-10-18
- Papers with Code 推出 Following 订阅流,可追踪任务、基准与作者动态 — NielsRogge · 2026-10-18
- 计算机科学家 Moritz Hardt:AI 基准测试已根本性失灵 — asusarla · 2026-10-18
- 注意力头像开关:研究者拆解让模型回答从 No 翻转到 Yes 的机制 — CatAstro_Piyush · 2026-10-18
- 哈佛 CS249r 机器学习系统教材开源,GitHub 星标已达 2.91 万 — mdancho84 · 2026-10-18
- 25 人跨学科工作论文探讨全面暂停前沿 AI 训练的可行性与时长 — wfithian · 2026-10-18