谜底是有限精度：logit变大后BF16分辨率不足以表达差异
micahgoldblum · x · 2026-11-03
Goldblum 线程第 7 条：谜底在于有限精度。BF16 中可表示数值的间隔随幅度增大而增加，平均 logit 变大后 logit 之间差异的分辨率丢失，而这个差异决定了 softmax 概率——这就解释了为何平均 logit 漂移会引发训练失败。
所属事件:研究解析 AdamW 致 LM logit 漂移失效的有限精度谜题(2 条相关)→
「Infra」频道最新
- NetBird 反向代理新增路径级鉴权：/ 免端口开私有应用可按路径放行或封锁 — philipvollet · 2026-11-04
- Intel 称服务器 CPU 供不应求，Micron 点名 DRAM 是主要瓶颈 — tengyanAI · 2026-11-04
- DeepSeek 开源 DeepInfer 推理引擎:单卡每秒输出超 2.6 万 token — bycloud · 2026-11-04
- 马斯克:2026 年底 AI 芯片将多到没电可插,瓶颈是电力不是芯片 — elonmusk · 2026-11-04
- PROCS 快照压缩论文：恢复到首 token 延迟最高降 44.7% — charles_irl · 2026-11-04
- 大中华投资人悲观到极致:有人怀疑 2027 算力 capex 都难按计划 — terryyuezhuo · 2026-11-04