新研究揭示 Transformer 架构设计阻碍长上下文扩展
yoavartzi · x · 2026-08-18
推文指出 COLM 会议上有两篇与 Transformer 架构优化相关的论文值得关注。第一篇论文通过消融实验证明，qk-norm、GQA 和 SWA 等常规设计选择会对模型的长上下文扩展能力产生复合负面影响，组合使用可能导致性能下降 47%；第二篇工作则论证了输出投影层造成的梯度瓶颈拖慢了预训练收敛。这些发现提示在现代 LLM 设计中，特别是算力受限的压缩场景下，需要重新审视并协同设计底层架构。
所属事件:COLM 多篇论文指 Transformer 标配设计拖累长上下文(4 条相关)→
「研究」频道最新
- 研究推出 dropout 缩放律：按激活参数量用 sigmoid 公式定最优 dropout — gordic_aleksa · 2026-10-16
- 移除 Gemini 后相关性从 0.20 升至 0.96：通用能力与机器人能力高度挂钩 — ycombinator · 2026-10-16
- EPFL 用 RFdiffusion 设计变形蛋白,单序列可折叠两种构象 — ferruz_noelia · 2026-10-16
- 通过操纵「地位感」观察模型行为,作者续谈夺权反事实推断 — jd_pressman · 2026-10-16
- 新基准测「对齐伪装」模型：五种检测法中一种识别率高达 98% — jd_pressman · 2026-10-16
- MLP 神经元可解释性六年研究脉络:一帖梳理关键论文 — aryaman2020 · 2026-10-16