研究发现 LM Head 是梯度瓶颈，Anthropic 或已破解
zhaoran_wang · x · 2026-08-15
一篇新论文指出，语言模型末层的 LM Head 是优化的梯度瓶颈，导致 95-99% 的梯度范数被抑制，严重影响训练效率。同时，社区成功复现了 Claude 的分词器，发现其词汇量仅约 1.5 万条，远低于常规模型。有观点推测 Anthropic 可能已通过缩小词汇量缓解了这一瓶颈问题。
所属事件:论文指LM Head为梯度瓶颈,95%-99%梯度丢失(3 条相关)→
「模型」频道最新
- Qwen 3.8 27B编码实测胜Codex：成本仅1/3，性能更优 — tokenbender · 2026-08-16
- DeepSeek被指通过灰色测试刷分，Opus 5输出质量存疑 — teortaxesTex · 2026-08-16
- 研究：Qwen 可解释性透镜跨版本迁移实测 — imstilllearningthis · 2026-08-16
- 爆料：dots3或大量蒸馏自DeepSeek V3，多模态成绩亮眼 — teortaxesTex · 2026-08-16
- Z.ai 暂缓 GLM-5.3 开源权重，因模型意外涌现黑客能力 — Justgototheeffinmoon · 2026-08-16
- OpenAI 预览 GPT-5.6 Sol 超快模式：Cerebras 赋能提速 14 倍 — Justgototheeffinmoon · 2026-08-16