新论文称 LLM 输出层在反向传播中破坏 95-99% 训练信号
LChoshen · x · 2026-08-17
一篇题为“Lost in Backpropagation: The LM Head is a Gradient Bottleneck”的论文指出，LLM 的输出层（LM Head）在反向传播过程中会破坏 95-99% 的训练信号，从而显著减缓预训练速度。作者思考了如果移除这一瓶颈，网络架构应如何调整，以及损失函数和概率分布可能的变化。
「研究」频道最新
- Transformer 训练蝙蝠神经数据建成海马体"数字孪生",揭示未知群体活动结构 — patrickmineault · 2026-10-16
- RLM 发布一周年:递归语言模型让 GPT-5-mini 长上下文成绩翻倍且更省钱 — a1zhang · 2026-10-16
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16
- 每图元仅 10 参数:36 个图元精准拟合 T-pose 人体 — letandrewcook · 2026-10-16
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16