探讨 LLM 架构：大词表如何缓解 Softmax 秩瓶颈
kalomaze · x · 2026-08-14
研究员 @kalomaze 在推文中探讨了大型语言模型（如 DeepSeek V3）架构中的 Softmax 秩瓶颈（rank bottleneck）问题。
- 背景：在回复中提到，模型似乎非常想避免 Softmax 秩瓶颈问题，否则有些信息客观上永远无法正确建模。
- 分析：他指出，DSV3-like 架构的隐藏层维度大约在 7168。如果使用 15k 大小的词表，其 Softmax 在学习概率分布的精细度上，秩瓶颈效应比窄维度架构小了 10 倍。
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16