AdamW破坏LM头梯度零和结构，致平均logit漂移
micahgoldblum · x · 2026-11-03
Goldblum 线程第 6 条：抛出谜题——精确算术下给所有 logit 加同一常数既不改 softmax 分布也不改交叉熵梯度，为何平均 logit 漂移仍导致训练失败？引用的上文给出成因：LM 头交叉熵梯度在词表上求和为零，但 Adam 的逐坐标预条件破坏了这一性质，造成平均输出嵌入与平均输出 logit 的漂移（此前工作已证明 logit 为何增长）。
所属事件:研究解析 AdamW 致 LM logit 漂移失效的有限精度谜题(2 条相关)→
「研究」频道最新
- 研究发现：模型原生读图可提升深度研究 Agent 且减少工具调用 — RulinShao · 2026-11-04
- CMU 发布 IdeaTaste：LLM 研究品味仅达人类社区约 26%–18% — CMU-SCS · 2026-11-04
- JFPuget 团队同日斩获 Kaggle 双 ARC-AGI 赛季公开榜第三 — JFPuget · 2026-11-04
- 斯坦福数据为中心 AI 研讨会 2026 开幕,全天直播可看 — jure · 2026-11-04
- 新论文实测 5 种上下文压缩策略：几乎都不影响 benchmark 成绩 — khademinori · 2026-11-04
- Four Bridges 评测：无人教欺骗，所有被测前沿模型都自发学会了 — Mila_Quebec · 2026-11-04