研究：细微架构选择严重阻碍模型长上下文能力
rohanpaul_ai · x · 2026-08-17
一篇新论文测试了 26 个 7B 模型，研究了 QK 归一化、分组查询注意力（GQA）、滑动窗口注意力（SWA）和预训练上下文长度这四种架构选择对长上下文扩展的影响。研究发现，某些在短语境预训练中表现良好的架构（如 GQA 和 SWA 的组合），在扩展到长语境时性能会大幅下降。即使经过大量长语境训练，糟糕的架构也无法弥补先天的劣势。论文建议在早期阶段就进行长语境压力测试，而非仅关注短语境损失。
所属事件:COLM 多篇论文指 Transformer 标配设计拖累长上下文(4 条相关)→
「研究」频道最新
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 四页短文解 subcubic 全对最短路径，借力 Anthropic AI 参与的突破 — gautamcgoel · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16