研究解析 AdamW 致 LM logit 漂移失效的有限精度谜题

Goldblum 发推探讨一个谜题：精确算术下给所有 logit 加同一常数既不改变 softmax 分布也不改变交叉熵梯度，为何 AdamW 破坏 LM 头梯度的零和结构、导致平均 logit 漂移后训练仍会失败。谜底在于有限精度：BF16 中可表示数值的间隔随幅度增大而增加，平均 logit 变大后 logit 间差异的分辨率丢失，而这一差异正是决定 softmax 分布的关键。

2026-11-03 ~ 2026-11-03 · 2 条相关