COLM 多篇论文指 Transformer 标配设计拖累长上下文

COLM 会议上多篇论文一致质疑 Transformer 的“标配”架构设计。其中一篇在固定数据、tokenizer 和上下文扩展方案的前提下，对比 26 个 7B 模型，消融研究 QK 归一化、分组查询注意力（GQA）、滑动窗口注意力（SWA）和预训练上下文长度四种架构选择的影响。核心发现是：一些为节省算力而流行的设计选择反而会严重损害模型的长上下文扩展能力，说明每处默认设计都在常规评测测不到的维度上付出代价。

2026-08-17 ~ 2026-08-18 · 4 条相关

• 研究：细微架构选择严重阻碍模型长上下文能力 — rohanpaul_ai · 2026-08-17
• 论文横评 26 个 7B 模型：省算力的架构反而不擅长长上下文 — eyishazyer · 2026-08-17
• COLM 三篇论文齐质疑：Transformer 标配设计在暗处付出实价 — 量子位 · 2026-08-17
• 新研究揭示 Transformer 架构设计阻碍长上下文扩展 — yoavartzi · 2026-08-18