研究发现 LM Head 是梯度瓶颈，Anthropic 或已破解
zhaoran_wang · x · 2026-08-15
一篇新论文指出，语言模型末层的 LM Head 是优化的梯度瓶颈，导致 95-99% 的梯度范数被抑制，严重影响训练效率。同时，社区成功复现了 Claude 的分词器，发现其词汇量仅约 1.5 万条，远低于常规模型。有观点推测 Anthropic 可能已通过缩小词汇量缓解了这一瓶颈问题。
所属事件:论文指LM Head为梯度瓶颈,95%-99%梯度丢失(3 条相关)→
「模型」频道最新
- will.deeb：质问小实验室为何不和最新模型比，通常是个蠢问题 — willcb · 2026-10-16
- Grok 订阅算账：$200 Ultra 还是 $300 SuperGrok Heavy？ — alexcovo_eth · 2026-10-16
- 用户实测称 Opus 5.5 研究构思能力远超 Astra — menhguin · 2026-10-16
- 网友猜测 Meta 新版跃升靠蒸馏 OpenAI,故不开源 — teortaxesTex · 2026-10-16
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- 传智谱 GLM 5.5 即将发布，编码能力有望追平前沿模型 — bindureddy · 2026-10-16